大数据:电信行业的战略方向

企业动态
随着IT和通信技术全面融入社会生活,每天产生的海量数据中蕴藏了巨大价值,数据正在成为企业的战略资产。从海量数据中获得新的认知、方法,从而创造新的价值,是各行业,尤其是电信行业的战略方向之一。

 随着IT和通信技术全面融入社会生活,每天产生的海量数据中蕴藏了巨大价值,数据正在成为企业的战略资产。从海量数据中获得新的认知、方法,从而创造新的价值,是各行业,尤其是电信行业的战略方向之一。

电信运营商有望成为大数据***者

大数据给我们的***个感觉就是大,那么大数据到底有多大呢?一组名为“互联网上的一天”的数据可以给我们一些参考。

一天之中,互联网产生的全部内容可以刻满1.68亿张DVD;发出的邮件有2940亿封(相当于美国两年的纸质信件数量);发出的博客帖达200万个(相当于《时代》杂志770年的文字量);卖出的手机为37.8万台,高于全球每天出生的婴儿数量37.1万……并且这些数字还在不断上涨。

截至2012年,数据量已经从TB(1024GB=1TB)级别跃升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至ZB (1024EB=1ZB)级别。国际数据公司(IDC)的研究结果表明,2008年全球产生的数据量为0.49ZB,2009年的数据量为0.8ZB,2010年增长为1.2ZB,2011年的数量更是高达1.82ZB,相当于全球每人产生200GB以上的数据。而到2012年为止,人类生产的所有印刷材料的数据量是200PB,全人类历史上说过的所有话的数据量大约是5EB。IBM 的研究称,整个人类文明所获得的全部数据中,有90%是过去两年内产生的。而到了2020年,全世界所产生的数据规模将达到今天的44倍。

那么大数据只意味着大么?不,它更意味着,水面下的冰山即将露出水面。目前数据中蕴藏的价值金山已受到广泛关注。2012年3月美国奥巴马政府宣布投资2亿美元启动“大数据研究和发展计划”,将发展大数据上升为国家意志,对未来的科技与经济发展必将带来深远影响。

那么究竟何为大数据呢?广义上讲,大数据是指那些超过传统数据库系统处理能力的海量数据,它的数据规模和传输速度要求很高,或者其结构不适合原本的数据库系统。确切的讲,大数据具备四大特征,即数据量大(Volume)、数据种类多样(Variety)、 实时性强(Velocity)以及其蕴藏的商业价值大(Value)。

既然大数据有着如此大的价值诱惑,那么他能够使得众多“英雄”竞折腰也不足为奇了。目前开展大数据价值挖掘技术的“英雄”包括电信运营商、互联网厂商、金融企业等等。在众多英雄中,因为互联网厂商的大投入,使得他们在大数据领域已经占据了较为领先的位置。但是,运营商因为拥有电信网络中最全和最完整的数据,而一跃成为开展大数据跨行业应用最有力的竞争者。今后,随着运营商的持续大力投入,他必将成为这个领域的***者。

运营商网络中的数据大致有如下一些类型:各类终端的型号数据、用户位置数据、互联网业务数据、用户基本属性数据和用户消费数据。

中兴通讯认为,大数据将成为各行业,尤其是电信行业的战略发展方向。

对电信行业,当前同质化竞争严重,有强烈愿望寻找经营蓝海。由于网络管道化促使企业升级和转型其盈利模式,通过本身拥有的海量核心资源——网络数据,进行分析利用,从而提高运营水平、找到创新点,是运营商的出路之一。

对政企行业而言,随着日益社会化的信息交互,企业用户有更多的选择余地,留住用户变得更困难。企业需要通过经营数据深入研究消费群体,持续改善产品和服务体验,才能生存发展。而信息化水平的提高,也使得产品、服务更快地被竞争对手模仿学习。总体上,信息化推动了市场竞争,企业必须通过有效利用数据的潜在价值,才能生存和持续发展。

作为资深的电信领域方案和产品提供商,中兴通讯认为,电信行业发展大数据的立足点在于最有价值的位置、语音、网络流量、视频大数据的处理、分析和挖掘,在四个层次上支撑企业更高水平的运营和创新。一是大数据的收集预处理(ETL、云存储);二是数据信息化(统计、检索、查询);三是深度分析挖掘(用户分群、行为分析);四是预测(产品、资费、用户的趋势)。

在政企领域,基于运营数据(大企业呼叫中心数据、零售业店铺信息、交通路况信息、政府部门数据等)自身的收集处理、分析挖掘,并可以结合电信行业数据(手机用户位置等),能够通过对大数据的分析利用,直接支撑和推动政企运营水平的提高。

创新技术是大数据发展的基石

要想实现对大数据的价值挖掘,大数据技术无疑是基石及助推器。而在大数据技术发展的整个过程中,分布式计算的精髓被体现得***,其中Apache的Hadoop分布式开源架构是大数据的助推器,为包括IBM、阿里巴巴及中兴通讯在内的众多大数据公司所采用.

大数据挖掘的逻辑流程如图所示。在不同的应用过程和领域依托于不同的技术。

中兴通讯大数据价值挖掘技术逻辑图

中兴通讯的数据挖掘技术可以分为三个阶段、八个环节。其中从数据采集和存储以及检索汇聚是数据的预处理阶段;数据处理、分析、挖掘和模型预测为数据挖掘阶段;***为结果输出阶段。

在数据预处理阶段,中兴通讯使用ETL工具,负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,***加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。

数据挖掘阶段为整个过程最为关键的阶段,中兴通讯采用CEP(复杂数据处理)和MapReduce等技术,其中CEP将数据流抽象为事件序列,使上层应用能够实时掌握运行状况并采取行动。

***是输出呈现阶段,目的是是更加智能、简便及顺畅的呈现数据挖掘的各种成果。中兴通讯采用的技术有云计算、标签云、关系图等。

整个过程中,大数据涉及到的技术繁多,同时也日新月异,技术总在不断地演进。中兴通讯作为通信行业中的标兵,一直致力于大数据技术的研发工作,为大数据整体技术的演进起到了推动作用。在大数据的的演进中,中兴通讯认为以下趋势会日趋明显:

在数据存储和管理上,高效存储成为存储技术主要的研究方向,关系数据库和分布式数据管理方式逐步走向融合。

大规模数据处理分析需求的多样性,导致离线批处理、实时流处理、分布式内存计算、图计算框架等多种计算框架并存。需要灵活采用混搭架构满足应用需求。同时,多模式计算框架走向融合。

对自然语言理解的需求推动语义WEB技术发展,跨媒体的数据融合业务推动多维多模态信息融合与处理,大数据可视化成为快速理解大数据的***途径。

电信智能数据应用沿“MSS至BSS至OSS至电信网元”路径发展深入,应用场景大大丰富,同时不同领域的数据存在交叉融合。

大数据平台技术更能直观地体现大数据挖掘技术的组成。大数据平台是介于数据整合和应用之间的,具备数据预处理、处理、分析挖掘以及对外接口共享等功能。其中数据处理包括了实时流处理(CEP技术)和离线批处理(包含了Hadoop的文件系统HDFS和数据处理MapReduce等关键技术)。在数据挖掘中,中兴通讯针对各种应用开发出了不同的组件,包括人流分析组件、用户行为分析组件等。这些组件的开发,充分体现了中兴通讯致力于大数据的实际应用开发的智慧和能力。

Hadoop MapReduce是离线批处理中的主流技术,Hadoop发展过程中一个重大的变化就是引入了YARN,将MapRedcue中的资源管理调度剥离出来,为多计算架构融合打下基础。Hadoop的开源促进了大计算技术快速的应用,但是开源系统的不完善也是实际使用过程中需要解决的问题。中兴通讯在高可用性、性能优化、管理优化等方面做了大量的工作。

实时流处理CEP采用事件触发机制,对于输入的事件在内存中及时处理。CEP支持规则以满足灵活的事件处理要求。CEP采用分布式内存数据库、消息总线等机制来实现快速实时响应。

大数据应用正逐渐丰富成熟

大数据业务应用呈个性化、社交化、智能化的趋势,人机交互的需求推动智能问答发展和应用。

大数据的应用已广泛深入我们生活的方方面面,涵盖通信、医疗、能源、经济、交通、零售业等各种行业:

Seton Healthcare是采用IBM***沃森技术医疗保健内容分析预测的***客户,该技术允许企业找到大量病人相关的临床医疗信息,通过大数据处理,更好地分析病人的信息。

维斯塔斯风力系统,依靠的是BigInsights软件和IBM超级计算机,然后对气象数据进行分析,找出安装风力涡轮机和整个风电场***的地点。利用大数据,以往需要数周的分析工作,现在仅需要不足1小时便可完成。

NTT docomo把手机位置信息和互联网上的信息结合起来,为顾客提供附近的餐饮店信息,接近末班车时间时,提供末班车信息服务。

零售企业也监控客户的店内走动情况以及与商品的互动。它们将这些数据与交易记录相结合来展开分析,从而在销售哪些商品、如何摆放货品以及何时调整售价上给出意见,此类方法已经帮助某领先零售企业减少了17%的存货,同时在保持市场份额的前提下,增加了高利润率自有品牌商品的比例。

而对于我们特别关注的通信市场来说,运营商在大数据上的应用主要体现在如下四个层面。

在市场层面,运营商可以利用大数据为自身的产品服务,通过大数据分析用户行为,改进产品设计,并通过用户偏好分析,及时、准确地进行业务推荐,强化客户关怀,这样就可以不断改善用户体验,增加用户的信息消费以及对运营商的黏度;

在网络层面,可以通过大数据分析网络的流量、流向变化趋势,及时调整资源配置,同时还可以分析网络日志,进行全网络优化,不断提升网络质量和网络利用率;

在企业经营层面,可以通过业务、资源、财务等各类数据的综合分析,快速准确地确定公司的经营管理和市场竞争策略;

在业务创新层面,可以在确保用户隐私不被侵犯的前提下,对数据进行深度加工,对外提供信息服务,为企业创造新的价值。这样,大数据将助运营商实现从网络服务提供商,向信息服务提供商的转变。

总之,运营商正在寻求对自有数据***化的价值变现,提高运维效率,降低运维成本,提升用户关怀质量;提升运营能力,开拓业务市场,加速ICT融合。

作为大数据技术的***者,中兴通讯主要基于运营商数据和行业数据,在大数据的应用开发上横跨了电信、金融、交通、互联网等行业,开发出了一整套业界领先的大数据应用。

以商铺选址为例,融合用户位置数据和用户画像的商铺选址,克服了传统人工选址的局限,帮助商业用户以低成本快速、精准选址,实现运营商增值业务和商业客户的深度捆绑,提升价值客户黏性。

又如将大数据应用于客流分析,实时采集用户位置信令数据,动态呈现区域客流密度和人群流动轨迹、发现和预测人群活动规律,满足市政部门道路交通规划和应急安全管控等需求。

还有智能运营应用,基于大数据的新型网规网优解决方案以精细化运营为导向,以客户体验提升为目标,以网规网优性能指标量化、科学评估预测和精准资源投放为抓手,通过引入新型的数据源和采用基于大数据的海量数据处理方式,为网络建设规划和优化提供有力的支撑和保障。

 

(大数据百科)大数据与云计算

大数据被业界重视要晚于云计算,本来独立发展的两大方向能否很好地互补,结成一个美妙的组合呢?答案是肯定的。在互联网时代,大数据与云计算的结合可以实现对海量数据快速、廉价的存储与分析,从而推动大数据在各行各业的发展。

两者合作的关系可以体现在以下几个方面:

云计算作为大数据的IT基础,而大数据成为云计算的一个杀手级应用;

大数据的许多重要技术根植于云计算,云计算关键技术中的海量数据存储技术、海量数据管理技术、MapReduce编程模型,都是大数据技术的基础;

云计算驱动大数据的成长,而另一方面,由于数据越来越多、越来越复杂、越来越实时,这就更加需要云计算去处理;

大数据着眼于“数据”,关注实际业务,提供数据采集分析挖掘,看重的是信息积淀,即数据存储能力;

云计算着眼于“计算”,关注IT解决方案,提供IT基础架构,看重的是计算能力,即数据处理能力。

责任编辑:市场部 来源: 人民邮电报
相关推荐

2015-06-03 14:54:19

大数据大数据行业

2012-09-21 16:19:43

IBM大数据

2014-03-28 17:30:03

大数据应用

2012-11-28 11:46:15

浪潮一体机大数据战略

2017-07-19 11:04:40

大数据大数据应用方向

2024-03-18 00:04:10

大数据银行

2013-11-22 09:35:07

电信企业大数据

2023-04-03 14:25:08

大数据机器学习

2012-03-12 10:09:50

Hadoop微软大数据

2020-12-11 11:33:15

大数据Hadoop

2017-02-09 15:30:54

大数据 时代

2018-11-19 13:44:39

2019-11-18 11:55:24

大数据人工智能技术

2017-02-22 17:38:55

电信 大数据

2021-09-28 13:32:01

大数据大数据战略数据策略

2017-03-15 10:30:16

麦肯锡大数据医疗

2009-10-30 11:17:17

2017-02-23 16:25:33

网易

2016-08-03 15:01:20

医疗行业大数据

2013-04-02 09:32:18

大数据分析大数据市场预测大数据全球技术峰会
点赞
收藏

51CTO技术栈公众号