大咖话数据:技术热潮下的应用场景冷思考

原创
大数据 开发
大数据热潮虽潮席卷已久,技术支撑困难、创新能力不足、专业人才缺乏等种种仍是大数据落地于企业实际应用的绊脚石。近日,51 CTO携手IBM,与典型的传统企业及一线互联网公司的技术专家汇聚一堂,以“大咖荟萃话数据,群策群力展未来”为主题,共话大数据驱动下的技术创新和商业变革。

无所不在的数据催生了一场新的工业革命,庞大的数据资源使各个领域都加快了量化的进程。数据分析能力日益成为企业的核心竞争力,因为指导企业决策的不再是经验和直觉。

无疑,数据作为当下重要生产因素之一,正协助企业不断地发展新业务,创新运营模式。然而我们都知道,不是所有数据都可以为企业所用,也并非所有IT人员都了解数据该如何使用。大数据热潮虽潮席卷已久,技术支撑困难、创新能力不足、专业人才缺乏等种种仍是大数据落地于企业实际应用的绊脚石。

近日,51 CTO携手IBM,与典型的传统企业及一线互联网公司的技术专家汇聚一堂,以“大咖荟萃话数据,群策群力展未来”为主题,共话大数据驱动下的技术创新和商业变革。

[[165189]]

近三个小时的时间里,来自IBM的大数据技术专家刘胜利、黄海硕与来自国内某能源行业云计算事业部技术负责人孙杰、马上消费自席数据官刘志军、AdMaster副总裁卢亿雷、猎聘网首席数据官单艺、民生银行北京管理部数据应用处处长郭庆,从大数据的概念、技术、业务到趋势展望,敞开心扉讨论交流,共同感受“探索·分享·共进”的力量。

机器智能与业务创新

不久前,AlphaGo大战李世石的新闻,让谷歌给全世界都上了一课。一时间,街头巷尾,无论是不是专业的IT技术人员,都在热烈讨论“人工智能”这个并不算新的概念。从1997年的”深蓝”到如今的AlphaGo,从大数据到机器学习,再到不久前IBM提出的“认知商业”,人工智能在这20年间经历了怎样的演进?企业又该如何落地这些“高大上”的技术概念,推动业务的发展和创新?

刘胜利:技术成熟带来应用场景的爆发

IBM专家刘胜利评价到,过去十年间大数据的技术热度一涨再涨。1997年深蓝和世界冠军帕斯卡罗夫下国际象棋时,人工智能没有像今天这样在技术上取得全面成熟,然而最近,阿尔法狗的出现给全世界上了一课。无论懂不懂IT技术,大家都会觉得人工智能技术已经发展到很高的水平。

人工智能发展到如今这个时代,已经出现了在某些领域专用型的人工智能,并有其清楚的规则和定义,也存在可能会超过人类智慧的可能。技术的成熟势必会带来市场应用的大爆发,特别是对传统行业。在石油、金融等传统企业内部,IT的使用水平非常高,面对如今数据储备更复杂,处理能力更强的需求和现状,人工智能、机器学习技术,都将加速传统行业的业务改造和创新。

而对于非传统行业和创新型行业,刘胜利认为也将出现让大众眼前一亮、脑洞大开的社会性变革。以游戏这个刚需行业为例,下一代的机器恐龙、小机器人马上就会成为孩子的玩具。孩子的玩具在购买之初就会实现联网。这个机器人可以和小孩子对话,无论通过对自然语言的理解还是手势。机器人会基于小孩的思想,学习这个孩子是什么性格,并基于孩子的特点进行个性化刻画。也许当孩子和机器人经过了一年的相处以后,这个机器人就会变得完全不一样,包括对话的方式和寓教于乐的方式。

刘胜利大胆预测,在机器人、游戏、媒体和娱乐等各种和人交互打交道的行业,如果有大量的数据和需求存在,五年以后,我们就会看到今天想象不到的东西。

郭庆:将业务人员的痛点作为技术的突破口

民生银行北京管理部数据应用处处长郭庆坦言,相比于金融业最新发展及趋势的把控,他对云计算、大数据、人工智能等技术底层进化与迭代的关注就显得不那么敏感了。因此当他听到AlphaGo以4:1战胜李世石的这个消息时,脑子里首先产生了两个疑问:第一,在这次以压倒性优势战胜李世石的比赛中,AlphaGo在第三局为什么会输?第二,在其背后是何种规模的计算资源在提供技术支撑?在与嘉宾们热烈探讨、寻找问题答案的过程中,他同时阐述了如何利用人工智能、机器学习等最新技术进行银行创新的思考。郭庆给出的答案就是:切忌盲从,一定要瞄准某个业务方向,带着目标去拥抱最新技术,致力于解决实际业务问题,才有可能取得实质性的成效。

具体来讲,郭庆认为问题的关键是要剖析业务人员在工作开展过程中存在的“痛点”,并以此作为问题切入的突破口。以营销人员向客户推介理财产品这个场景为例,在现实工作中,理财经理的管户客户数量众多,该向每位客户推荐具体什么产品?一直以来都是让大家很头疼的事。为了解决这个问题,他曾经带领团队对各大电商平台争相采用的商品推荐系统进行深入研究,与一线理财经理共同进行银行场景方案的设计,并在解决方案中运用了机器学习等大数据技术。通过目标产品的客户群数金融据的提取,建立模型进行客户相似度匹配,并利用推荐引擎实现对不同客户、不同产品的精准推荐。在机器学习的帮助下,推荐成功率从最初的千分之六逐步提高到后来的百分之三、百分之五,最好的时候甚至达到了百分之十。

因此,技术的进步一定要应用于实际的业务场景当中。当业务人员感到头疼的时候,就应该考虑介入相应的技术,再加上应用过程中的不断调优,从而完善整个体系的健壮程度,最终突破传统业务创新发展的瓶颈。

大数据平台的混搭

企业更关心的是技术实际落地的问题。面对业务类型的纷繁复杂,数据类型的多源异构,企业的大数据基础技术肯定不只等于Hadoop。那么,大数据平台的混搭应该怎么玩儿呢?

孙杰:应用改造和性能提升是企业的普遍需求

某能源行业云计算事业部技术负责人孙杰表示,在企业中传统的数据管道通常呈现“烟囱式”的形态。到了大数据时代,企业开始追求效率。如可通过分析企业历史的离线数据挖掘价值,结合在线数据的实时分析,产生快速的反应,将传统的BI与开源的方式相结合,应该是架构师或技术经理应该思考的问题。

这里首先涉及到的就是应用的改造。企业里很多历史数据需要迁移到一个新的数据平台里面,涉及到最大的是应用改造。像孙杰所在的企业以前用的很多都是Oracle,现在如果将数据迁走,就会牵涉到存储过程和触发器等很多特定的程序。如果对程序进行改造,又会涉及到人力、成本、周期,业务的风险性等诸多棘手的问题。

另外一个问题是性能。传统的数据中心追求性能就是靠买一些高端的设备来支持信息化的建设,走的是硬件化的道路,对企业来说成本压力非常大。因此企业纷纷拥抱开源,开始向互联网道路转型,来摆脱单纯使用高端的硬件来提升业务的局面。

但是面对客户的不同需求 ,有时开源软件并不能提供很好的支持。像系统的吞吐量、数据包的流量限制,与企业的需求目标都相去甚远。

再者,就是关于系统和应用之间耦合性关系的问题。大家都在谈大数据,但是传统企业中很多业务间都存在很强的依赖关系。如果将某个业务的数据要全面开放至互联网平台,如何解决业务耦合性和关联度,也是企业非常实际的需求。

因此,无论是开源还是商业产品,如何从性能、应用改造的周期成本和业务的处理角度,解决企业数据迁移的问题,是存在于传统企业中的普遍需求。孙杰表示,其实他们现在也在尝试,包括大数据与云的混搭,如何打通公有云和私有云,梳理业务的需求和内在联系,兼顾安全和性能。企业也正在寻找一个云平台,可以模糊掉公有云与私有云间的界线,将企业的虚拟设备与实体设备统一管理起来。

卢亿雷:探索不同技术间的优势结合

AdMaster副总裁卢亿雷谈到,对于创业公司来说,其实或供选择的技术并不多,基本都是使用开源的产品,而且很多是没有现成的解决方案的,只能通过团队不断的试错和摸索,也有一些经验分享给大家。

比如说现在企业在大数据的实时计算这块,都会说企业到底是需要一个Storm还是 Spark Streaming。其实关键要看业务真正的需求是什么。从表面来看,Spark Streaming与Spark好像做的事情没什么区别。但具体来说,如果你的业务产品是需要在一秒种以内计算到达B端的,应该选择Storm。如果你的业务管理是需要需要有严格的认识和序列的,那这时就应该选择Spark Streaming,这是这两种技术区别很大的一个地方。

另外卢亿雷分享说,他曾对Hadoop和Spark做过一个很详细的对比,得到了一些非常有价值的信息。举例来说,很多人都会觉得Spark 的性能超越Hadoop上百倍。但其实当处理求和、统计这些计算需求时,还是MapReduce体现出了比较强的优越性;另外,像卢亿雷所在的AdMaster会同时运行Hadoop和Spark,结合他们发现,MapReduce上执行的任务数要远远大于Spark。再有,MapReduce的特点是他可以保存计算机的结果,下一次就可以直接进行计算,这样再处理时就会快一些。当然,目前来说Hadoop的社区活跃度非常强,所以对于创业公司在搭建大数据平台时,一定要选择稳定的、成熟的,并且经过大公司验证的技术,通过不断的探索和验证,将不同技术的优势结合起来,发挥最大的价值。

大数据入侵给营销带来的发展和变革

大数据入侵后,对传统营销带来巨大的变革和发展,如何以数据为核心创新营销策略,猎聘网首席数据官单艺谈到,大数据在互联网里最早的成功用该案例,一是搜索引擎,另一个就是广告营销。

单艺:将数据作为深入的箭头

单艺曾有过六年左右的广告技术经验,他认为大数据对于营销来讲,直观的就是让广告和营销活动更精准。另外还有很多从表面看不到的价值。比如说提高了整个广告的交易效率。与传统广告营销相比,流动性更强。同时,单艺也认为在大数据隐私方面,大家普遍会感到有非常大的挑战。

目前在国内,营销活动还没有受到太深入的控制。还是要将营销与用户体验结合起来。如果网站搭建得很烂,就算外面广告打得再好,用户没有好的体验,转化效果依然会很差,最后这个广告都是白打的。苏琪分享到,为了提高转化率,猎聘网曾经构建过一个用户模型,比不用模型时点击率大概可以提高十倍,原来是万分之几,现在是提高到了千分之几。这种改变的核心就是大数据。将数据作为深入的箭头,能够让整个的营销链条彻底到位,保证转化结果。Facebook有一套Growth Hacking的系列的方法,单艺建议大家可以去了解,这个部分也恰恰是国内相对比较薄弱的环节。

云与大数据融合带来的机遇和挑战

随着云计算与大数据技术的融合,未来的大数据将拥有更强大的基础资源作为支撑。对于未来大数据技术与云的结合及其发展方向,嘉宾们也分享了许多独到的见解。

刘志军:技术发展和意识建立

马上消费金融首席数据官刘志军认为,大数据的本质是技术基础,但未来要得到更好的发展,仅仅依靠IT技术人是远远不够的。目前看来,大数据技术还有两大挑战亟待解决。

一是技术的挑战,也就是如何在对传统的数据概念和基础上,提高对大数据技术的重视,无论是企业的管理人员,还是业务人员,都有利用大数据的能力反过来推导一些数据的能力,从而对企业的发展和业务的创新起到强有力的推动作用。

另外一个挑战是,目前有很多人没有对大数据形成一个完整的认识。大数据技术和大数据的分析,仅仅一个Hadoop是远远不够的,如果大数据分析技术没有发展起来,仅仅靠Hadoop这样分析做模型和算法都是没有意义的。

黄海硕:删除——暴风骤雨之势下的冷静思考

IBM专家黄海硕也从不一样的视角,警示大家看冷静看待大数据的问题。大数据这几年被大家广泛讨论,是非常热的话题。几年前在IBM2013技术峰会上,黄海硕曾有一次和《大数据时代》的作者维克托•迈尔-舍恩伯格座谈的机会,这对他在看待大数据分析技术上有了一些别样的启发。

在那次交流中维克托•迈尔-舍恩伯格透露了他下一本书的书名,既出人意料,却又在情理之中——《删除》。大数据就像是暴风骤雨一样来了。面对大数据,在积极探索的同时,我们还要保持冷静。大数据不是万能的,哪些数据才能用,有什么用,怎么用,如何取舍,都是我们应该冷静思考的问题。

大数据是一个概念,落实到具体的应用,需要我们从高处着眼,低处着手,循序渐进。然后用可衡量的价值去实施这件事,这可能是比较切实的一些实际的大数据的方面。

云计算、大数据为导向的技术革新

正如各位嘉宾所言,云计算是大数据分析技术应用的基础,海量的数据需要更多的计算资源支持;无论是大数据还是小数据,最终也是要应用到业务的价值当中。大数据的发展也离不开业务应用场景的建设。伴随着云计算、大数据为导向的技术革新,数据价值将不断被深入挖掘,从数据中得到的好处也将带给企业前所未有的发展空间和潜力。

如果你也想约约大咖,共话数据,请扫描二维码:

责任编辑:Ophira 来源: 51CTO.com
相关推荐

2020-11-03 18:44:28

造芯IC芯片企业

2020-08-03 11:38:08

数据中台数据平台互联网

2014-12-10 10:36:23

IaaS云应用场景

2015-08-25 11:10:25

光纤布线

2020-05-12 10:01:10

网络安全新基建安全威胁

2016-08-31 01:30:18

大数据市场大数据应用

2011-12-22 15:41:58

2018-04-20 09:01:06

TechNeo/沙龙/

2019-12-06 13:55:28

人社部大数据应用场景

2021-11-08 10:24:05

智能自动驾驶汽车

2015-09-18 11:28:23

2019-04-10 15:43:12

SDN场景网络架构

2016-05-24 14:35:32

2023-02-09 10:15:23

AIChatGPT

2020-07-03 19:48:24

区块链区块链技术

2014-12-30 10:36:25

2012-07-12 09:41:42

2023-02-07 21:17:00

ChatGPT人工智能

2021-08-06 22:53:20

微服务开发前端

2023-09-13 23:15:08

物联网应用物联网
点赞
收藏

51CTO技术栈公众号