数据仓库:过去、现在和未来

大数据 数据库 数据仓库
我经常接触数据仓库建设的需求,而现有的大数据系统也希望基于大数据建设数据仓库,然而Hadoop为核心发展起来的软件适用于OLAP的数据分析需求,OLTP这样的分布式数据库系统也如火如荼的发展。

我经常接触数据仓库建设的需求,而现有的大数据系统也希望基于大数据建设数据仓库,然而Hadoop为核心发展起来的软件适用于OLAP的数据分析需求,OLTP这样的分布式数据库系统也如火如荼的发展。

在企业数据信息数据整合过程中,往往都是不同数据源放到不同的数据库系统中,没有数据仓库的规范化建设,跨部门进行数据协作,打破数据孤岛无法实现。

[[211150]]

分布式系统,帮助解决这些问题,我们真正深入了解数据价值的人都知道,建设统一的数据中心,数据仓库,整合行业数据可以进行多种维度的数据分析,数据驱动决策,帮助企业创新。目前在金融、电商、广告等行业已经大规模利用新技术取得了不菲的成绩。

今天,企业级数据分析平台发生了很大的变化。

发生什么了?

数据仓库:过去、现在和未来

那么,对于传统的数据仓库,你有各种各样的数据来源。您正在收集、清洗和整合数据,以便您可以将其呈现在您的数据仓库中,进行统计分析、预测分析、商业智能和其他工作。

好吧,随着时间的推移,现在变得更加复杂了。

数据仓库:过去、现在和未来

我们有云、有移动设备、社交媒体数据、机器数据、传感器数据。越来越多的数据来源,数据爆发式增长,非结构化数据、半结构化数据、结构化数据。

有大量的关于大数据介绍中,你会看到幻灯片谈论您必须处理PB级数据量,才能利用上这些新的数据分析技术。但是对我来说,这是没有抓住重点。

数据仓库真正的意义是什么?为什么企业对数据仓库支出不断增加。这是因为不是数据量和速度问题。随着发展,我们只需要增加硬件就能增加我们数据处理的规模,这才是分布式系统的强大之处。

万物互联的时代,随着数据的多样性和异质性从而增加数据分析的复杂性。我们的需求是关联和整合这些数据。但是,我们现有的数据分析工具,Hadoop或Spark并没有带来任何神器的解决方案。我们仍然在努力解决同样的问题:如何从不同的渠道获取数据、然后将他们关联起来,这样企业可以让数据说话,数据驱动决策。为了解决这些问题,我们需要依赖更多新的工具。

数据仓库的演变

利用新技术,使我们能更好的解决实际业务问题。

那么,我们来看看不同的技术,是如何帮助我们解决与数据相关的需求,为业务提供数据支撑。

OLAP场景的Hadoop解决方案,OLTP场景的NewSQL解决方案。

流水线式的数据分析

我们看到一个有趣的现象,每个公司几乎都建立了一个数据流水线,随着新数据的进入,他们利用NoSQL数据库来存储文档数据。就像是一个无线容量的数据库,拥有很好的扩展性,并且还能进行大数据量的高速查询和搜索。

我们可以看到很多大规模使用MongoDB、Hbase、cassandra数据库,还有NewSQL的发展。

随着数据多样性的出现,出现了很多新型的数据库。

新型数据分析需求

越来越高的数据分析需求和数据多样性的探索,导致了数据库系统的蓬勃发展,国产数据库也有了非常大的进步可以进入国际***的数据库会议发表论文,2017年腾讯的开源项目VLDB也发文了,而做为去IOE发起者的阿里在云端阿里云也如火如荼的发展数据库服务,比如:PolarDB、蚂蚁金服金融级数据库分布式数据库OceanBase都是黑科技级别的产品。为了在云端兼顾OLTP和OLAP的数据分析引擎,各大云厂商阿里云、腾讯云、XX云都使劲的推广各自的数据库技术,也采取与开源数据库厂商广泛合作的方式。

底层数据库系统,特别是NewSQL几大巨头也有有在长期招聘相关职位。可见目前分布式OLTP/OLAP数据库发展的势头,必然是与Cloud相结合,也只有云化才有机会大把捞金,不然开源数据库这样的生态下,底层基础软件出路在何方?

数据仓库:过去、现在和未来

Analytic DB 的发展

我们列表 RDBMS -> MPP -> HADOOP -> NOSQL -> NEWSQL 主流的系统,根据我接触过的公司或产品来列举,个人认知有限,如未能列表全面,欢迎补充。

RDBMS

数据仓库:过去、现在和未来

MPP

数据仓库:过去、现在和未来

Hadoop Ecosystem

数据仓库:过去、现在和未来

NoSQL

数据仓库:过去、现在和未来

NewSQL

数据仓库:过去、现在和未来

虽然NoSQL因其性能、可伸缩性与可用性而广受赞誉,但其开发与数据重构的工作量要大于SQL存储。因此,有些人开始转向了NewSQL,它将NoSQL的优势与SQL的能力结合了起来。

  • OLAP场景做到***的Hadoop生态。
  • OLTP场景的NewSQL数据库的发展。
责任编辑:未丽燕 来源: 36大数据
相关推荐

2017-08-08 15:40:26

OpenStack转型基金会

2012-02-16 09:10:31

JavaScript

2016-08-28 15:55:04

Hadoop大数据

2020-11-30 11:06:52

数据中心数据中心融合

2020-05-26 11:17:34

区块链金融技术

2023-03-21 11:24:44

eSIM移动通信

2017-03-22 20:36:34

深度学习机器学习人工智能

2021-08-16 08:44:54

Pravega Fli项目协议

2021-07-16 10:05:34

项目企业系统

2022-07-14 08:17:59

中间件微服务开发

2009-05-15 17:23:56

2022-05-17 16:13:31

区块链以太坊监管

2019-09-08 17:37:47

2020-11-17 13:00:37

物联网IOT物联网应用

2021-08-12 10:25:55

人工智能AI人工智能技术

2018-08-06 13:25:28

人工智能深度学习芯片

2020-10-13 09:23:57

LinuxKernel调度器

2012-06-25 14:57:27

HTML5

2018-08-09 20:41:29

人工智能AI神经网络

2024-03-27 08:51:47

人工智能机器学习模型
点赞
收藏

51CTO技术栈公众号