徐正君:实时流式数据处理及应用

原创
云计算
在26日下午的NoSQL&NewSQL专场论坛中,SAP高级系统架构师徐正君发表了主题为“实时流式数据处理及应用”的演讲。徐正君解析了流计算的定义,并分析了案例。

2013年4月26日-27日,由51CTO传媒集团旗下WOT(World Of Tech)品牌主办的2013大数据全球技术峰会在北京富力万丽酒店召开。本次峰会将围绕大数据基础架构与上层应用的生态系统,解决大规模数据引发的问题,探索大数据基础的解决方案,激发数据挖掘带来的竞争力,让数据发出声音。51CTO作为本次峰会的主办方,将全程视频、图文直播报道这场数据的盛宴,更多内容请点击专题:2013大数据全球技术峰会

 

2013大数据全球技术峰会专题

在26日下午的NoSQL&NewSQL专场论坛中,SAP高级系统架构师徐正君发表了主题为“实时流式数据处理及应用”的演讲。徐正君解析了流计算的定义,并分析了案例。

[[71734]]

SAP高级系统架构师徐正君

他谈到,现在企业内部存在各种各样的数据,库存数据、销售数据、交易数据、客户数据、移动端数据等,这让业务人员想要高效管理大量数据,得到正确而完整的信息,以及面对问题实时获取答案都非常困难,传统的数据库很难解决数据量和速度的问题,而流计算或许是解决问题的方式。

传统的数据库,将所有数据存储起来,计算时用SQL语句查询,流计算则是让数据流动起来,数据从内存中流过,截取需要的数据。由此得出数据流所具备的特征:数据连续不断;数据来源众多,格式复杂;数据量大,但是不十分关注存储;注重数据的整体价值,不要过分关注个别数据;数据流顺序颠倒,或者不完整。而对应的处理工具则需具备高性能、实时性、分布式、易用性。

企业是否选择流计算需要自问是否对数据的实时性有迫切需求,是否更关注对当前数据的分析与响应,是否适用于高吞吐量、低延迟事件流处理的场景。接着徐正君还介绍了常用的开源流计算产品(Puma、Storm、S4(Simple Scalable Streaming System))、商业流计算产品、流计算的产品架构、ESP与DataBase的结合等。

 

最后他以比利时电信和算法交易为实例,说明流计算的相关应用方式。

以上是51CTO.com记者从一线为您带来的精彩报道。后续我们还有更加精彩的独家报道,敬请关注。

责任编辑:曾真 来源: 51CTO
相关推荐

2017-08-31 16:36:26

2018-11-05 15:15:38

大数据流式数据互联网

2018-12-04 15:32:09

数据处理大数据数据分析

2015-11-09 09:58:31

大数据Lambda架构

2022-03-01 08:40:34

StormHadoop批处理

2015-06-16 16:49:25

AWSKinesis实时数据处理

2023-07-12 12:02:06

WOT大数据流式数据湖

2012-05-18 10:49:36

SAP大数据HANA

2022-11-09 10:26:48

智慧城市物联网

2024-02-04 16:22:13

Python流式输出开发

2011-12-30 13:50:21

流式计算Hadoop

2015-03-16 14:54:06

大数据流式大数据大数据处理

2023-10-11 14:37:21

工具开发

2011-08-19 13:28:25

海量数据索引优化

2016-11-14 10:06:04

大数据max位图

2023-08-18 09:29:59

Java数据流

2023-09-26 09:29:08

Java数据

2021-03-10 14:04:10

大数据计算技术

2024-01-31 23:22:35

vaexPython

2013-10-12 16:53:46

SAP
点赞
收藏

51CTO技术栈公众号