获得计算冠军,腾讯云发动大数据变革

企业动态
11月10日,2016 Sort Benchmark排序竞赛的成绩在官网上予以公布,腾讯云用不到99秒(98.9秒)的速度,完成了100TB的数据从小到大的排序,打破了去年阿里云329秒的纪录,速度提升了3.3倍。

 

在数据排序领域,往往呈现出颠覆性的提速,在前年百度夺冠时候,100TB排序的最短时间是716秒,更早前Hadoop的纪录是4222秒。

Sort Benchmark在全球具有计算奥运会之称,腾讯云的胜出,对于当前国内云计算市场、企业大数据应用究竟意味着什么?

技术准备:运算速度大幅提升,平台投入不断加强

关注大数据和计算机的小伙伴对Sort Benchmark并不会陌生。这家专门从事排序基准评估的非盈利机构,每年都会举办一次排序基准评估比赛,吸引了包括亚马逊、Apache Spark、Hadoop、腾讯、百度在内的世界上大型网络科技公司和***学术机构参赛,以评估各自软硬件系统架构能力及***研究成果,可以说是全球计算界的***赛事。

Sort Benchmark的排序竞赛一共包含4项比赛,其中Gray Sort和Minute Sort主要评测计算系统的规模和效率,在4项比赛中含金量***。每一项比赛又分通用目的排序(Daytona)和专用目的排序(Indy)两个类别。腾讯云的数智分布式计算平台,全部夺得上述4个子项的冠军并创造了新的世界纪录,大幅刷新了去年阿里云的成绩。

 

排序竞赛中,100TB数据的排序比赛的规则最简单,也最能直观地看出平台的运算能力。100TB数据排序,就是把1万亿条无规律的100字节记录,严格按照从小到大的顺序排好。这直接考验分布式系统中存储、调度、通信等各个子系统的性能,反映一个平台的整体计算能力。

在这场跑数据的奥运会上,腾讯云和阿里云是近年的新秀。这几年来,腾讯云和阿里云都在倡导大数据计算,投入都十分巨大。在本次比赛中,腾讯云数智在架构和软件方面下了十足的功夫,同时在硬件上投入512台IBM的Open POWER服务器和迈络思的100Gb互联技术,可谓软硬兼修。

市场变化:成也数据,败也数据,云计算已成为刚需

现在的竞争,已经是数据的竞争,数据处理速度的背后,关系到业务洞察能力的高低。对云计算平台来说,在Sort Benchmark上争排名高低,不仅关乎平台整体形象,更与业务的开展和效益的提升息息相关。一方面,没了计算速度,云服务就成了空中楼阁、无本之木;另一方面,速度带来的效益,远不止我们想象的那么简单,往往一秒之差,企业的经营结果就高下立判。

当下企业的经营,对大规模生产的依赖度已经有所降低,而对精准营销和主动营销的需求不断强化。大数据分析水平的高低,在很大程度上决定企业的盈利能力。

依靠云计算和大数据,可以帮企业实现以前不可能实现的目标。首先,通过分析用户行为信息对其精准画像,开展差别化营销,激发潜在消费,使营销更加精准。其次,依靠大数据对各因素之间相关性的计算,进行用户消费行为的预测,使营销更加主动,贯彻“用户终身价值管理”理念。***,也是最重要的,云计算可以帮助企业打造新的盈利模式,这类情况,在金融、快消等领域有很多案例。

比如,近两年春节红得发紫的微信和QQ的“红包”,微信在2016年除夕经受住了1秒钟收发40多万个红包的***流量冲击,全球QQ用户则在那天晚上“刷”了1894亿次。

全民抢红包的幕后,云计算是当之无愧的英雄。为保证红包的正常收发,腾讯云在广州和上海两地的云机房上做了分流,设置了容灾系统,开发列表系统用来处理用户抢、拆、发、查红包的数据,并整合DNS Pod输出了跨域流量调度方案,这些技术在云计算行业史上都是***次。

除了让微信和QQ经受了“红包大战”高峰值、大流量的考验,腾讯云更是助力其成功打造了一个以红包为纽带的盈利模式,要知道,用户使用红包,一般就会绑定银行卡,而绑定银行卡之后,很多业务和盈利也就有了想象空间。

受益于云计算的不止微信和QQ。市场研究公司Gartner称,公有云能为企业平均降下14%的成本。经过这几年的市场启蒙,企业对大数据作用的认识已经被唤醒,云服务逐渐取代了企业自建的服务系统,企业刚需不断催生了大数据和云服务市场的开发。Gartner的数据显示,全球公共云服务市场规模今年有望达到2040亿美元,较2015年的1750亿美元增长16.5%,而且这种两位数的发展势头将会持续到2017年。

使用进展:数智让企业数据真正跑起来

就目前来看, 大数据的收集已经不是难事。一方面,数据不一定要是文字和数字,图片、声音、视频甚至地理位置等非结构化的信息都能被加以利用。另一方面,数据的获取渠道已经无处不在,很多时候甚至不容易被人察觉。比如一些APP可以通过WIFI、射频技术(RFID)和蓝牙所获取用户位置信息。海量的数据不断积累,并且在以几何级数增长。

但是数据收集起来之后,又面临一个问题,也是传统IT一直没有很好解决的一块问题——企业数据的利用率很低。为了避免数据的浪费,腾讯云特地为企业开发了“数智分布式计算平台”。数智包含3层46个产品组件,是在腾讯多年海量数据处理经验之上,结合开源Hadoop生态和自研组件服务,对外提供的可靠、安全、易用的大数据处理平台。为客户提供了从采集、存储、计算、挖掘到可视化的一站式数据处理服务。

此次创下Sort Benchmark四项新纪录,可以看做是数智在国际大赛上的牛刀小试。国内实践方面,在10亿用户画像数据分析,量级约为10TB的count、sum和group计算中,数智平台能够将传统Hadoop长达20分钟的计算时长缩短到秒级,大数据处理速度提升高达780倍。数智在对微信每天160亿级别的多维分析场景中,能够做到6秒返回结果。

基于此,数智的应用领域已经在扩展。广东省旅游部门通过数智,结合腾讯覆盖全国10亿的人群画像能力,及日调用量超过400亿腾讯位置大数据服务,成功地对景区进行实时客流量监控及预测,并推动了旅游产品服务的精准营销。

数智的广泛运用,也反映了腾讯在大数据上的步伐在加速。今年8月,腾讯云与大数据分析平台厂商,永洪科技达成战略合作,永洪科技旗下500多家合作伙伴、2000多家企业客户(包括中国移动、中国电信、华为集团、中信银行等)和4万多个付费用户将成为腾讯云进一步发展的基础。此外,腾讯云和同程旅游、人民日报的合作正在扎实推进。

毫无疑问,云计算、大数据和人工智能将在多方面重塑企业的经营和管理,企业对数据存储和利用的能力将成为核心竞争力。除了腾讯、阿里在布局大数据和云计算之外,通讯企业和其他诸多互联网公司都纷纷卷入竞争,谁都不想错过了这次技术革新的机会。

不管愿意还是不愿意,企业未来在互联网上的业务成功将高度依赖云计算,这是行业趋势,也是历史的必然。

责任编辑:xiejuan 来源: 51CTO
相关推荐

2016-11-16 18:34:26

腾讯云云计算

2016-06-06 10:01:05

云计算大数据CRM

2016-09-27 20:54:10

云计算

2013-07-11 13:52:31

大数据云计算

2012-11-01 09:18:11

Gartner移动大数据

2016-05-11 15:02:31

大数据

2012-08-31 09:48:12

云计算大数据

2013-01-16 10:10:26

2011-07-14 09:52:07

大数据Watson服务器

2019-01-17 11:29:06

云计算企业云平台

2020-09-11 10:19:03

腾讯云大数据数据

2016-08-25 19:51:06

数据中心

2015-07-21 12:57:03

大数据云计算

2012-11-20 14:34:30

大数据SaaS云计算

2021-05-08 09:14:55

云计算大数据人工智能

2018-01-04 13:39:34

大数据云计算IT行业

2012-07-25 09:18:11

云计算大数据混合云

2017-03-06 09:58:11

腾讯云两会
点赞
收藏

51CTO技术栈公众号