从大数据到快数据的技术转身-从大数据到小数据

我认为数据爆炸得益于以下几点：处理能力增加，处理器小型化，以及成本也有所下降。这些变化的综合结果是，从我们的手表到冰箱，几乎都具有了处理能力。这就是快数据的例子。

为什么称这样的数据为快数据?有如下两个原因：

1、数以百万的终端节点推送流式数据。

2、数据更新频率的期望为分钟级，秒级更佳。

这些都是机器生成的数据。数据可以用来丰富用户体验，优化用户交互和提升企业洞察力。下一代应用程序能够破除快数据的限制，进而推动快数据的发展。对于传感器应用、日志记录管理或网站交互都是这样。

我将在本系列文章里，通过特定的客户案例来说明这一点。我们一直与一家从事贵重金属开采等固定资产管理的公司保持合作关系。该公司在特定的时间段内都使用传感器对矿井中近十万个设备进行监测。如果他们要寻找一把丢失的铲子，那么报告晚几分钟或几个小时都无所谓。但如果人体身上的传感器监测到心脏跳动停止，即使不要求立刻提示，也要尽快通知。如果我要建立一个系统来管理这些数据，我会让该系统快速的接收数据，而且要做到非常快。

但数据事件并不是孤立存在的。继续上面所说的例子。如果某仪器上的一个传感器获取数据的地点不在它的“授权区”，我不会关心这样的数据。如果某个传感器正要进入修理状态，这个时候采集的数据，我也不关心。在这种情况下，我会对这样的传感器事件进行过滤，使用其他数据辅助我的决策，因为系统中的数据是相互关联、相互依托的。(这是个业内小秘密：我们常称之为“交易”。)

进行计数、聚合、排序等或者实时分析操作后，数据同样拥有很大价值。我认为，对数据进行实时分析通常处于两种目的。

工作人员想从仪表盘了解矿井的实时状况，如多少传感器正在工作，多少传感器处于工作范围之外，总体使用率为多少等等类似的情况。

另外一类是实时分析应用于自动决策处理。比如说，如果某个工人身体上的传感器传出的信息表示某一时刻环境含氧量变低，这可能是传感器的异常反应。但是，如果系统监测到在过去5分钟之内同一区域内6个工人周围环境的含氧量都突然降低，那么这就是一个需要立即关注的紧急事件。

矿井的固定资产管理是快速数据应用于真实场景的一个实例，它告诉我们要管理快数据，需要什么样的系统。不过这只是一个例子。DDoS检测、日志文件管理、广告投放优化等也有各自对应的模式。

1、快速接入数据，以提供访问。

2、尽快处理数据，根据每个事件进行决策，以***化利用事件价值。

3、对数据进行实时分析，以支持自动决策和易读的仪表盘。

如果你做到了这三点，就可以说真正利用了快数据，而且还让数据的应用更加智能。

企业数据架构建设需要直面快速数据，并能在新架构下的深度分析中获得所需的结果。