探讨:预测模型要大数据还是小数据?

数据库
很多数据分析专家都对大数据抱有很大的希望。但是在预测分析世界大会上,演讲者讲到预测分析模型,对大数据并不是很乐观。

StatSoft的高级数据分析师兼数据挖掘顾问Gary Miner表示:“大数据对我来说只是一个炒得很热的概念,并没有什么新鲜的。”

Miner认为,对于大数据究竟是什么,仍存在争议。广为流传的是IBM提出的三个V,即规模大、速度快和种类多。但是,要想用一个精确地量来定义“大”数据,这本身就是不精确的。有人说几TB,有人说几百TB。

样本代替总量

Miner的感受是,对大数据,人们言过其实了。相反,分析小规模数据集倒来的更实际。他举了一些医学实验如何通过不足100的病例取得研究成果的例子。因为更小、更精良的数据集更容易过滤“噪声”,获得“信号”。

存储空间的成本正在降低,这让分析界倾向于分析全部数据集。不过Miner 认为通过随机样本,你会更快速地获得更好的结果。

“如果你想从数据中挖掘因果关系,你最好分析小数据集。”

旅游社区TripAdvisor商业部门的分析总监Michael Berry表示,在大数据时代,人们希望通过部署一个技术,就可以解决多种问题。供应商们正在积极迎合这种需求,声称自己的大数据软件可以极大地简化业务分析项目。但Berry认为,这种简单便捷的解决方案基本上只是一种幻想。

“这只是一种营销策略,从来没有实现过。”

Berry建议,与其坐等大数据软件来解决一切问题,不如去提升自己的预测模型。定义预测模型的变量要比放入模型中的大规模数据有用的多。

Berry认为,在模型中加入更多的数据反而会增加分析的时间。在分析数据集的时候,样本足以揭示总量的规律,而且更快捷。如果分析了100个数据节点之后,样本已经显而易见了,就不需要继续分析剩下的十万个数据节点了。这样只会延长项目,降低收益。

数据质量

并不是每一个人都这样看衰大数据。广告代理商Carmichael Lynch的数据分析战略家Peter Amstutz认为,在创建预测模型的时候,尽可能多的收集数据变量是很重要的。有时,可以通过一个标准记录的数据源积累信息变量,但很多时候,组织会得到大量的非结构化数据。这时,大数据就派上用场了。

Amstutz最近帮助Subaru部署了一个提升建模项目,汽车制造商可以通过它更精确地锁定目标客户。Amstutz表示,他一直在寻找包含客户信息的新的数据源,以便于建立目标客户的个人档案。参照这些变量,广告商就可以更精确地找到目标客户。

数据分析供应商ForeSee移动、媒体和娱乐的高级总监Eric Feinberg认为,最重要的是数据的质量,而不是规模。大数据只有在标准和精确的条件下才有用。

他强调,不同行业应用大数据分析有所不同。在研究销售趋势的时候,明显的峰值只会增加噪点,让人难以判断真实的趋势。而在欺诈检测中,峰值正是分析人员要分析的。所以使用少量样本的时候,销售预测效果较好,但要进行欺诈检测,就得依靠大数据了。

另一方面,更传统的方法或许效果更佳。Feinberg举了医疗器械公司想要完善心脏病客户个人档案的例子。医疗器械公司可以通过收集大数据找到相似客户的共同点,或者花钱找几个心脏病患者过来。

“两者是一样的。甚至后者更难,因为它要花费更多的时间,但结果是一个成熟的数据集。”

原文链接: http://www.36dsj.com/archives/5144

责任编辑:彭凡 来源: 36大数据
相关推荐

2016-03-18 15:51:24

大数据预测

2018-02-01 16:25:55

2019-01-07 15:46:41

大数据互联网企业

2021-10-29 22:45:47

大数据算法技术

2016-08-12 00:20:22

大数据小数据

2013-03-20 10:31:14

大数据数据云服务

2017-05-10 15:19:10

大数据小数据多样性

2013-01-22 10:10:45

大数据小数据

2015-07-23 09:34:57

大数据数据分析

2017-11-28 17:41:39

大数据

2013-02-21 16:36:09

大数据

2013-03-18 10:14:00

大数据小数据

2021-09-23 18:12:09

大数据分析预测分析

2012-05-14 10:54:35

数据信息

2015-08-12 15:10:22

2013-05-30 13:40:10

小数据大数据网络流量

2014-01-22 15:27:13

大数据

2017-08-02 08:56:43

大数据技术SaaS

2024-03-22 09:56:48

供应链分析大数据

2014-04-08 10:55:15

点赞
收藏

51CTO技术栈公众号