社区编辑申请
注册/登录
大数据(BigData)环境下的商业智能平台技术解析 原创
云计算 商业智能
Hadoop 分布式文件系统、MapReduce 算法、大规模并行处理(MPP)数据库技术最先是由Google、Facebook等互联网公司发展起来的。Hadoop作为开源技术,现在吸引了很多企业级用户开始尝试。

【51CTO专访报道】BigData又是一个没有规范定义的概念,不同的应用对大数据都有不同的理解。虽然我们不能现在就下结论是否大数据又开启了一个新时代,但是,近期Facebook宣布用户量目前超过了7.5亿,每天的分享的次数达到40亿。IDC预测从2009年到2020年,数据总量将增长44倍,达到35ZB(zettabyte),并且其中80%的数据都是非结构化数据。

“仅仅是数量级上的不断刷新并不能代表就是Big Data大数据”,51CTO记者采访Informatica企业数据集成产品管理总监郑玮时,她分享道:“大数据有两个明显的特征,***,数据的属性是非结构化或者半结构化数据;第二,数据之间频繁产生交互,大规模进行数据分析,并实时与业务结合进行数据挖掘。”

 

Informatica企业数据集成产品管理总监郑玮

大数据的技术解构

从这两大特征可以看出,大数据是包括了交易和交互数据集在内的所有数据,无论从规模还是复杂程度上,远超出常用数据库或者商业智能技术的捕捉、管理和处理能力。一些企业已经感受到失控的数据增长对业务造成的影响,郑玮认为大数据是由三项主要技术趋势汇聚组成的:
1、大交易数据:在从 ERP 应用程序到数据仓库应用程序的在线交易处理(OLTP)与分析系统中,传统的关系数据以及非结构化和半结构化信息仍在继续增长。随着企业将更多的数据和业务流程移向公共和私有云,这一局面变得更加复杂。
2、大交互数据:这一新生力量由源于 Facebook、Twitter、LinkedIn 及其它来源的社交媒体数据构成。它包括了呼叫详细记录(CDR)、设备和传感器信息、GPS 和地理定位映射数据、通过管理文件传输(Manage File Transfer)协议传送的海量图像文件、Web 文本和点击流数据、科学信息、电子邮件等等。
3、大数据处理:大数据的涌现已经催生出了设计用于数据密集型处理的架构,例如具有开放源码、在商品硬件群中运行的 Apache Hadoop。对于企业来说,难题在于以具备成本效益的方式快速可靠地从 Hadoop 中存取数据。

不久前在美国举行的2011 Hadoop论坛,5500名参会者,入场券据说在开放后8小时全部售罄。Hadoop 分布式文件系统、MapReduce 算法、大规模并行处理(MPP)数据库技术***是由Google、Facebook等互联网公司发展起来的。Hadoop作为开源技术,现在吸引了很多企业级用户开始尝试。相对于之前昂贵的大规模并行处理和海量数据分析技术,Hadoop确实能够用比较经济的、有更高性价比的方式进行大数据的部署应用。“将传统的交易数据与全新的交互数据组合起来,获得企业的洞察力和商业价值”,郑玮举例谈到:“企业可以通过社交媒体来了解客户的喜好,完善客户资料来提高目标营销的效率。”

大数据的应用平台

从业务角度来看,大数据环境中企业仍然需要数据集成、商业智能,只是它们的规模进入海量级别,同时对数据集成的基础架构要有更好的延展性。今年6月Informatica推出了Informatica9.1 for Big Data,郑玮认为这是全球***个专门为大数据而构建的统一数据集成平台。“这个平台的开发目标非常明确,就是以Informatica的数据集成技术为基础,帮助企业用户充分发挥大数据的业务潜力”,郑玮说:“数据集成平台上在IT 部门保持操控权的基础上,通过自助服务增强所有用户获取相关信息的能力,并且能够自适应数据服务,提供按业务需求进行调整的相关数据和可信数据,获得业务洞察力和一致性。”

应对大数据的特征,Informatica 9.1在数据集成的三个方面分别提供了创新的解决方案。首先是全新的数据仓库设备包能够与大交易数据相互连接,并且通过OLTP在线分析处理存储数据,提供对高流量的交易数据的访问速度。其次,借助与新型社交媒体的连接器与大交互数据的连接。访问如 Facebook、Twitter、LinkedIn 和其它媒体的数据源。将数据收集的范围扩大到企业所在行业的新兴价值数据集,还包括了设备和传感器、CDR、海量图像文件。

第三,利用平台的连接功能支持对海量数据的处理。让 IT 部门将不同来源的数据输入Hadoop,并对Hadoop中的数据应用、数据质量进行探查和挖掘计算。更好的将Hadoop系统内外的交互数据进行统一的管理,提供企业的洞察力。

“我们的某个客户,是一家领先的专业时装零售商,通过当地的百货商店、网络及其邮购目录业务为客户提供服务”,郑玮向我们介绍了Informatica的一个成功案例:“公司希望向客户提供差异化服务,如何定位公司的差异化,他们通过从 Twitter 和 Facebook 上收集社交信息,更深入的理解化妆品的营销模式,随后他们认识到必须保留两类有价值的客户:高消费者和高影响者。希望通过接受免费化妆服务,让用户进行口碑宣传,这是交易数据与交互数据的***结合,为业务挑战提供了解决方案。”Informatica的技术帮助这家零售商用社交平台上的数据充实了客户主数据,使他的业务服务更具有目标性。

责任编辑:马沛 来源: 51CTO.com
相关推荐

2021-02-05 11:21:54

大数据大数据技术

2014-07-24 09:08:07

大数据平台架构

2020-12-17 19:15:48

大数据大数据平台架构数据平台建设

2019-12-12 10:22:16

大数据平台大数据安全大数据

2019-12-24 08:11:39

大数据架构数据开发

2020-12-04 08:34:08

数据分析 数据处理 效率

2017-06-19 13:10:59

2015-09-11 13:54:51

大数据关键技术

2012-10-18 10:15:01

IBMdw

2016-12-16 15:30:41

大数据商业智能

2018-02-09 07:47:47

大数据BI商业智能

2020-06-02 09:28:46

大数据物联网IOT

2013-08-22 11:08:27

大数据商业只能Hadoop

2021-04-03 23:44:21

2021-02-26 10:51:15

大数据

2017-07-13 11:13:18

大数据数据存储

2018-05-31 21:14:49

Amas大数据监控平台

2021-01-29 10:07:31

大数据大数据技术

2016-03-28 10:39:00

开源大数据平台技术架构

2021-10-22 22:59:38

同话题下的热门内容

一篇文章学会什么是KubernetesKubernetes 可观测性:利用四个开源工具风险日益严峻,容器云平台如何做好安全隔离?JuiceFS 在携程海量冷数据场景下的实践备份和恢复Kubernetes集群中的Etcd数据云计算下半场:谁主沉浮?IDC:阿里云稳居中国大数据平台公有云市场第一位美国第二大零售商Target公司十年云计算之旅的经验教训

编辑推荐

一文让你看懂IaaS、PaaS和SaaS看完小白也能懂什么是公有云、私有云、混合云陌陌基于K8s和Docker容器管理平台的架构实践科技公司创始人谈MySQL的未来AWS公布AWS媒体服务家族,专为完整视频工作流提供支持
我收藏的内容
点赞
收藏

51CTO技术栈公众号