四款有针对大数据的数据处理系统

大数据
为了从大数据中挖掘出有价值的信息,需要有针对大数据的数据处理系统。目前,一些大型的互联网企业,例如谷歌、Facebook 等企业都研发了针对大数据的数据处理系统。

为了从大数据中挖掘出有价值的信息,需要有针对大数据的数据处理系统。目前,一些大型的互联网企业,例如谷歌、Facebook 等企业都研发了针对大数据的数据处理系统。

1)批量数据处理系统:

这种系统是对互联网中产生的海量的静态的数据进行处理。例如对客户在网站中的点击量和网页的浏览量等数据进行处理,从而或者客户对哪些商品比较偏爱。谷歌公司研发的 GFS(Google File System,即大规模分散文件系统)和 Map Reduce(大规模分散 Frame Work)系统就是典型的批量数据处理系统。

2)流式数据处理系统:

这种系统是对互联网中大量的在线数据进行实时处理。这些在线数据具有复杂的格式,并且数据是连续不断地来源于众多的渠道,该种系统需要对这些实时的数据进行实时的、快速的处理。例如生物体中传感器的数据、商场人流量数据、定位系统的数据都需要高效地实时处理。Storm系统是典型的流式数据处理系统,Twitter、Spotify、雅虎等公司都使用该系统。

3)交互式数据处理:

这种数据处理系统可以用人机交互的方式实现数据的处理。例如互联网搜索引擎。Dremel 系统是典型的交互式数据处理系统。

4)图数据处理系统:

该种系统用于处理大数据中的图数据。例如社交网络中人与人之间的社会关系图数据。Spark系统是典型的图数据处理系统。

随着社交网络的发展、传感器的广泛应用、物联网的不断扩展,大数据已经深入我们生活的方方面面,针对大数据的处理也越来越深入,如何更高效的挖掘大数据中蕴藏的价值需要不断地研究和改进。

责任编辑:赵宁宁 来源: 中国大数据
相关推荐

2016-11-01 09:15:43

大数据处理系统

2016-12-13 11:56:09

大数据Hadoop计算框架

2013-09-23 09:24:33

2019-08-21 09:48:37

数据处理

2020-07-22 08:13:22

大数据

2017-07-21 14:22:17

大数据大数据平台数据处理

2018-12-07 14:50:35

大数据数据采集数据库

2020-11-02 15:56:04

大数据数据库技术

2023-11-29 13:56:00

数据技巧

2021-07-20 15:37:37

数据开发大数据Spark

2015-11-09 09:58:31

大数据Lambda架构

2018-11-05 15:15:38

大数据流式数据互联网

2022-11-17 11:52:35

pandasPySpark大数据

2017-07-26 17:45:05

2011-12-08 09:56:14

Hadoop

2012-05-31 14:37:10

Hadoop大数据

2018-04-03 10:33:15

大数据

2017-11-14 05:04:01

大数据编程语言数据分析

2017-09-06 17:05:54

大数据处理流程处理框架

2018-12-04 15:32:09

数据处理大数据数据分析
点赞
收藏

51CTO技术栈公众号