首頁 科技資訊 網絡

揭秘騰訊大數據十年發展歷程:從關系型數據庫到分布式機器學習

【TechWeb】10月18日消息,近日,騰訊大數據團隊詳細披露了騰訊大數據十年發展歷程,并全面展示了騰訊第三代全棧機器學習平臺Angel在大模型數據訓練、深度學習、圖計算等方面的技術能力。

QQ圖片20191018183341

據騰訊大數據負責人劉煜宏介紹,騰訊大數據從2009年開始, 經歷離線計算、實時計算與機器學習三個階段,2009年之前,騰訊主要使用傳統的關系型數據庫。2009年開始,傳統的單機數據庫所提供的服務,在系統可擴展性、性價比方面已不再適用騰訊業務爆發式的增長。面對這種變化,騰訊大數據轉向分布式,基于開源的Hadoop體系,構建了騰訊第一代大數據平臺,并建設離線計算平臺,主要發力規模化。騰訊大數據由此進入第一階段。三年里,騰訊實現了從關系型數據庫到自建大數據平臺的全面遷移,到2012年,騰訊大數據的單集群規模突破了4400臺。

2012年,移動互聯網爆發,應對業務數據統計及時性、快速性的需求,騰訊大數據從Hadoop轉向Spark和Storm體系,在吸收開源技術的基礎上,結合騰訊自身的需求進行重寫,探索流式計算、秒級采集系統的建設,構建企業級的實時數據分析體系,騰訊大數據發展進入第二階段。

2015年至今,騰訊大數據邁入了第三階段。隨著數據挖掘、數據應用的深入,騰訊大數據再次自我迭代,于2016年推出了自研機器學習平臺Angel,專攻復雜計算場景,可進行大規模的數據訓練,支撐內容推薦、廣告推薦等AI應用場景。它由騰訊與北京大學聯合研發,兼顧了工業界的高可用性和學術界的創新性。

據騰訊Angel開發負責人肖品介紹,騰訊Angel從騰訊海量業務場景中而來,是超大樣本和超高維度的機器學習平臺。如今,Angel已在QQ、微信支付、騰訊廣告、騰訊視頻等騰訊旗下產品中廣泛應用,并向微眾銀行等行業合作伙伴全面開放,普遍適用于智能推薦、金融風險評估等圖計算業務場景。

2017年,騰訊Angel就正式開源。2018年8月,騰訊將Angel捐贈給Linux旗下專注人工智能的LF AI基金會,結合基金會成熟的運營,全面升級的 Angel與國際開源社區深入互動,致力于讓機器學習技術更易于上手研究及應用。

官方微博/微信

每日頭條、業界資訊、熱點資訊、八卦爆料,全天跟蹤微博播報。各種爆料、內幕、花邊、資訊一網打盡。百萬互聯網粉絲互動參與,TechWeb官方微博期待您的關注。

↑掃描二維碼

想在手機上看科技資訊和科技八卦嗎?

想第一時間看獨家爆料和深度報道嗎?

請關注TechWeb官方微信公眾帳號:

1.用手機掃左側二維碼;

2.在添加朋友里,搜索關注TechWeb。

手機游戲更多

一肖中特高手内部料