大数据

腾讯大数据分析平台规模:服务器集群超过2万台

文章发布:电商行业协会 日期:2016年10月08日 次数:

近日,在互联网+大数据峰会上,腾讯云数据产品副总经理刘煜宏表示,在大数据领域,规模就是能力。腾讯的很多产品体验在国内甚至在全球都是比较优秀的,其中,通过数据挖掘提升用户体验占了很大的比重。
谈到腾讯的数据资产,刘煜宏表示,QQ每个月的活跃用户9亿,月活8亿。现在腾讯所有的产品占据了所有的网民上网时间的50%,每天有数亿计的用户在腾讯的平台上做交互,社交、游戏、文学、娱乐、视频、听歌等等,这些用户每天贡献几万亿条数据的规模。腾讯通过对庞大数据不断的挖掘分析,找到用户的需求,找到腾讯的问题,去改进腾讯的产品。
刘煜宏介绍,腾讯在服务亿万用户的过程当中,积累了很多的数据分析和数据处理的经验,腾讯的大数据处理平台也是在这个过程中成长起来的。目前,腾讯整个做大数据分析相关的平台的整个集群规模超过2万台,存储的数据量将近300P,每天新增的仅做数据分析的数据如果不压缩约3P。腾讯每天在平台上做计算、挖掘的数据量超过20P,每天作业数200多万,每天在平台上面启动的应用超过1.5亿,腾讯每天分析6.2万亿条数据,平均每秒7000多万条,高峰的时候每秒好几亿条。这个就是腾讯的规模。
在数据分析方面,刘煜宏介绍,腾讯从2014年开始就进入了机器学习阶段,腾讯做算法很多年了,很多年前就在做精准推荐、新浪网游,广告推荐。但是和业务结合的主要是算法工程。腾讯从2014年开始,把积累了多年的算法经验平台化,推出了自己的机器学习平台和基于CPU的深度学习的平台。