社区编辑申请
注册/登录
实时分析面临的12道坎 译文
大数据 数据分析
由于许多企业期望通过扩大实时分析的应用以保持竞争力,实施成为了一个挑战。找到从长远来看有效满足贵公司要求的方案常常比想象的来得困难。我们列出了贵公司在寻求实时分析方案时要避免的12个常见的障碍。

【51CTO.com快译】“实时”分析对你和你公司来说意味着什么?

多年来,业务用户一直要求IT部门提供实时分析功能,可是并非提出要求的每个用户都果真需要,有的甚至不知道实时分析意味着什么。改用实时分析的高昂成本确实有必要吗?虽然内存、存储和带宽的价格都不断下降,但是技术整合问题、流程问题和文化问题都需要考虑。

更让人一头雾水的是,“实时”方面缺乏标准化定义。“实时”可能指亚秒,也可能指24小时以上的一段时间,这取决于你问的是谁。

像内存计算、Hadoop和Spark这些技术创新都旨在满足对速度永无止境的要求。可是,许多老大难问题让公司无法像业务领导人希望的那样迅速前进。

格雷厄姆·克拉克(Graham Clark)是全球IT解决方案服务提供商NIIT Technologies的数字化服务主管,他在接受采访时说:“IT部门常常没有部署用来收集、管理和响应实时数据的平台。这意味着试图做出实时[动作]的任何做法都是有缺陷的,甚至是危险的。此外,创建和使用实时分析平台需要实时的业务理念,这种理念需要渗透到整个企业。”

杰夫·维斯(Jeff Veis)是惠普企业(HPE)旗下惠普企业软件部门主管大数据平台营销的副总裁,他在接受采访时表示,公司应考虑使用场合作为所有项目的目标,而不是专注于实时分析。“毕竟,它在很大程度上取决于你需要答案有多快,如果业务部门能等待这种洞察力的话,要付出什么样的代价。”

越来越多的公司在考虑不实施实时分析的成本。如今,响应时间被认为是一种竞争武器;一些观察人士认为,由于物联网设备数量激增,这个趋势会变得更加明显。然而,加快业务流程带来了风险,我们考虑潜在好处时也要权衡这些风险。

NYC Data Science Academy的创始人兼***技术官薇薇安·张(Vivian Zhang)在接受采访时说:“人们可能会走极端,要求实时收集和使用所有的可用数据,但并非所有数据都同等重要。一些数据很重要,一些数据不重要。如果你把太多的干扰或无关信息放入到数据管道,它可能毫无帮助,可能会对公司里面发生的一切产生错觉。”

简而言之,别低估了做好实时分析所需要的前提,因为这个过程中许多方面可能会出错。下面是成功道路上面临的几个最常见的障碍。

1. 没人知道实时的真正含义。

厂商们吹嘘实时分析软件有多好,没有种种的IT头痛问题和策略,结果业务主管信以为真。实时分析似乎很简单。无论谁购买和实施实时分析功能,明白用户对于实时的认识很明智,因为他们的定义有可能相差悬殊。

NIIT的格雷厄姆·克拉克说:“实时意味着即时,但我们认为实时是尽快。最重要的是,它是客户需要的那种实时。一家金融服务交易公司可能迷恋于微秒和纳秒级响应,寻找廉价机票的顾客可能有两个月的窗口期。从客户需求开始入手,再作相应打算。”

2. 业务和IT有分歧。

集中式IT常常成为阻碍进步的瓶颈。同时,影子IT现象引起了碎片化,影子IT是指业务部门不有劳IT部门,就能够自行做出软件采购方面的一些决策。因而带来的问题解决起来可能难度大、成本高、耗时久,牵涉面大。

大数据分析平台厂商Datameer的市场战略和情报部门高级主管安德鲁·布鲁斯特(Andrew Brust)在接受采访时说:“面临一道微妙平衡的难题,可能很难解决这个问题。业务部门需要自主权,以便能完成工作,而这种自主权惠及IT部门,因为减少了积压的工作量。”

“但IT部门必须参与其中,能够了解和监控业务部门所做的工作,并确认数据和分析的有效性。公司往往发现自己没有做好这种平衡,不是业务部门的做法不受约束,就是IT部门成为阻碍进步的一大瓶颈。”

3. 事后才想到数据治理。

在合理的治理控制措施没到位的情况下移动数据会让贵企业面临不必要的风险。影子IT常常是罪魁祸首。

商业智能和分析软件厂商TARGIT的***技术官乌尔里克·佩德森(Ulrik Pedersen)在接受采访时说:“与任何数据治理策略一样,数据在进入到整个商业智能实践之前,必须加以测试和验证。”

“就实时数据而言,这很难做到,因为在数据送到用户之前没时间来清理数据。这就是为什么编写能够处理诸多数据问题的查询至关重要,比如缺失值、缺失记录、其他数据录入错误,为什么编写足够智能化、可处理异常情况的计算方法至关重要。”

4. 迅速获得洞察力后,迅速行动没跟上。

你认为需要实时数据。但贵企业到底多久之后才根据提供的洞察力采取行动?当然,一些实时系统包括自动化决策机制。但是在决策支持场景下,人类应对实时信息的能力表明,真正的实时功能并不是那么实用。

数字化体验公司76Design的总裁马塞洛·伯兹斯泰恩(Marcelo Burzstein)说:“在我看来,这酷似‘皇帝的新装’。大多数时候似乎了解情况,而不是响应实际要求。实际上,我发现人们越是了解实时分析和预测方法,比如线性回归及其他机器学习算法,就越认识到实时分析可能并不是最适合其使用场合的模式。”

5. 技术和文化没有齐头并进。

技术创新的步伐总是比企业文化来得快。现有的基础设施和需要快速移动有时不一致,不是减慢了数据流动,就是带来了将来会出现的棘手问题。

分析软件厂商LatentView Analytics的创新和技术主管拉梅什·哈里哈兰(Ramesh Hariharan)在接受采访时说:“IT部门已在传统的数据仓库和商业智能系统方面投入了巨资,这些系统并不总是支持实时使用场合。另一个原因是用来交付这些功能的流程。企业更关注敏捷性,可能会牺牲扩展性和企业层面的其他考虑因素。”

6. 价值主张转变。

移动和物联网需要更快的响应时间,这取决于业务场景。比如说,物联网分析涉及边缘的自动化决策,以便降低成本、缩短响应时间。

内存计算平台厂商ScaleOut软件公司的***执行官兼创始人威廉·贝恩(Willian Bain)在接受采访时说:“获取实时分析的价值需要IT和业务部门的采购员重新考虑分析技术如何整合到关键任务型系统。不是将这项技术局限于数据仓库,作为独立的实体加以管理,现在它可以直接整合到关键任务型系统,比如生产线、物联网遥测路径和电子商务网站。”

7. 短视策略。

实时分析仅仅是另一个IT项目,还是说它是一项重要的企业能力?从长远来看,把它视作需要处理的另一个项目危害很大。不要一开始就搞成本高昂的大项目,需要两三年时间来实施。需求会不断变化。

NIIT Technologies的格雷厄姆·克拉克说:“运营实时分析驱动的商业模式,以提供实时预测和实时方案,这是一种全新的思路。普遍的观念是,可以通过一个项目获得实时分析的结果,而我们的经验表明,成功的实时分析是个初始项目,一套长期永远优化的流程需要跟上。”

8. 高层管理班子没搞懂。

高层管理班子的任务就是,明白解决了哪些具体的问题,在获得哪些具体的业务机会,以及那些项目的可量化结果。遗憾的是,高层管理班子常常对于需要什么来实现实时分析抱有不切实际的期望。

LatentView Analytics的拉梅什·哈里哈兰在接受采访时说: “高层管理班子应该明白,实时分析不是一蹴而就的,而是建立在整个企业投入于良好的数据基础设施上。实时分析建立在实时数据收集和数据移动(相当于ETL)的基础上。手头有没有技术通常不是障碍。看待和使用技术的方式才是真正的障碍。”

9. 技术复杂性延长了响应时间。

提供实时信息面临许多障碍。内存技术厂商在解决响应时间。经过改进的API有助于处理集成问题。 Hadoop和云在解决容量问题。这些是最适合实时分析使用场合的选择吗?

惠普企业的杰夫·维斯说:“业务用户对于实时分析可能抱有的***的不切实际的期望就是,规模以及实时系统的开放功能。由于实时分析必须按准确的时间间隔来执行,为系统引入新的数据源、更多数据或者新的分析工具都会干扰这种时序。公司别指望实时分析有***的规模,也别指望它可以支持***的用户或***的数据量。”

10.价值没有得到理解。

任何技术项目要是没有与某种投资回报率(成本/效益分析)和度量指标联系起来,注定要失败。说到实时分析,IT部门往往关注成本,而业务部门往往关注机会。常常忽视了机会成本,即不采取行动的成本。

Datameer的安德鲁·布鲁斯特说:“高层管理班子应明白,如果等待响应业务现象时间较长,会蒙受多大的损失。对场景进行一番分析,看看更早行动会不会给账本底线带来重大的积极影响。如果响应过快有风险,那些同样应考虑在内。这有助于设定期望和需求,切实地了解项目预算和超支容许范围。”

11.高层管理班子错失机会。

实时分析有助于带来新的商业模式。公司和整个行业正受到创新者的颠覆,他们在使用包括实时分析在内的功能,改变传统行业的规则。

企业商业智能软件公司Information Builders的CIO雷多·科托洛夫(Rado Kotorov)说:“许多高层管理人员错过了Uber革命,这就是为什么他们没有办法从概念上思考实时设计支持要求。他们要考虑哪些种类的实时决策可以带来更多业务。”

12. 明明及时可以,非要实时。

筛查实时系统请求时,IT部门不得不考虑业务部门及客户的实际时间要求、实施成本和投资回报率。如果实时显然很重要,比如说可能会瞬间损失数百万美元或性命,那么决定很显然。而在不太重要的情况下,要不要实时大有争论的余地。

惠普企业的维斯说:“决定改用实时分析的关键完全取决于业务使用场合。”比如说,如果公司想要一个开放的系统,一个项目能承受不太精确的服务级别,“一种不同的‘及时’分析系统反而比实时分析系统来得更灵活、更省钱。”

【51CTO译稿,合作站点转载请注明原文译者和出处为51CTO.com】

责任编辑:赵立京 来源: 51CTO
相关推荐

2022-04-01 06:18:48

数据分析IT领导者

2020-05-15 10:28:04

实时分析客户需求CIO

2020-10-14 15:05:35

2021-02-23 09:28:48

大数据数据分析

2019-05-22 14:51:45

边缘计算中国移动网络

2021-04-07 14:43:41

数据分析大数据工具

2020-08-17 07:55:45

2021-04-15 17:39:39

大数据互联网大数据应用

2018-01-03 10:32:21

面试经验套路

同话题下的热门内容

数据专家的晋级之路:大数据中的四大挑战!节日消费数据不“杀熟”?大数据带你一起“解”七夕!五个方法,破解数据分析的核心难题2022年网购如何对抗大数据杀熟,更换商品名词有惊喜

编辑推荐

什么是数据分析的漏斗模型?数据分析师还吃香吗?用数据告诉你对比解读五种主流大数据架构的数据分析能力《狄仁杰之四大天王》影评分析(爬虫+词云+热力图)22个免费的数据可视化和分析工具推荐
我收藏的内容
点赞
收藏

51CTO技术栈公众号