航运大数据的罗生门

大数据
写这样的一篇文章,并不是要为航运大数据泼一盆冷水,而是希望与所有正在关注、从事航运大数据的朋友们共勉,路漫漫其修远兮,不论今天大数据的概念如何风光,明天大数据的概念是否会被淡忘,只要我们坚信数据中蕴含着能让航运业变革的重要信息,我们就要踏踏实实的把大数据做成实事,真正做好,不忘初心、上下求索!

[[176260]]

1、什么是航运大数据?

2015年夏,国务院相继出台了《关于运用大数据加强对市场主体服务和监管的若干意见》和《促进大数据发展行动纲要》,一时间各行业大数据风起云涌,就连古老的航运业也加入了这支浩荡的创新队伍之中。

大数据概念炙手可热,可是其内涵却扑朔迷离。关于什么是航运大数据这个问题:如果你问IT人,他会跟你举出NoSQL、Hadoop、Spark之类的新技术,换句话说IT人眼中的大数据是传统技术解决不了的数据问题;如果你问港口、航运从业者,他们会想到是业务上涉及的数据可以轻松获取,数据调查、分析可以更容易,战略规划可以依靠数据来说话,甚至想到自己的饭碗可能会被大数据取代,换句话来说港航从业者眼中能用数据来解决问题就是大数据;

如果你问政府官员,他会告诉你大数据是政府信息公开,推进行业大数据的应用,运用数据科学监管,服务行业服务社会等,可见在政府官员眼中数据的开放、共享、应用就是大数据。所以,一个有趣的现象发生了,那就是大家明明对大数据的理解不同,却能聊在一起,这是为什么呢?航运大数据之所以被各界关注,本质还是因为数据是用来支撑经营和决策的,当人们觉得大数据是未来的发展方向时,就急于去了解和掌握它,希望自己可以在竞争争取上游、避免淘汰。在低迷了近9年的航运市场里,这种心情的迫切程度可想而知。

笔者曾在《大数据时代的航运信息平台》一书中,给出过航运大数据的定义:航运大数据(Shipping Big Data)是指航运业务、管理、监管等领域产生的海量数据,以及围绕这个数据规模有效的融合、存储、加工、查询、分析相关技术和解决方案的统称。主要可以解决三大问题:实时数据计算、历史数据分析、未来数据预测。这个定义算是开宗明义,为我们下面的探讨打一个基础。

2、航运大数据究竟处于哪个阶段?

要探讨航运大数据首先要认清我们处于哪一个阶段,不用谈之色变。我们正处在一个经济泡沫尚未消退,概念泡沫迅速膨胀的时代,理论上可行的概念和实践之间距离越来越大。

拥有数据和掌握数据一样吗?比方说,你的电脑上有1万张照片,你能很快找到你儿子划船的那张吗?你每天要处理大量的公务文件,你能马上找出首付款只有30%的那份合同吗?虽然你知道他们就在你的硬盘上。所以说,拥有数据和掌握数据是不一样的,所以你还没有掌握数据的时候,谈什么大数据都是空谈。

面对大数据航运业的各个主体又何尝不是面临着这样的窘境呢?

比如,政府要做信息开放和大数据应用时,发现单位里几十套信息系统的数据结构、内容很难理清楚,企业填报的监管数据可靠度不清楚,行业需要什么样的数据服务不清楚,该怎么实施大数据的路径也不清楚,有一些敏感的数据如何脱敏公开也不清楚;

又比如,企业做大数据,着可以分三类。

  • 第一类是大的港航企业,它们在这个行业生存,现在的体量已经很大,一般都是有很清晰的主营业务了,这些主营业务盈利状况还好的话,他们很难有创新机制去探索大数据应用,因为所有的数据都在为核心业务的流程推进服务,那些需要冒大风险去尝试新兴市场机会的决策难以产生,即使运用大数据做一些分析,也只是停留在企业BI(商业智能)分析上,很少有新业务和对外服务的应用;
  • 第二类是中小企业,它们的数量非常庞大,比如上海的货代就有1万多家,虽然提单、报关、贸易、拖车等方面的数据都会通过它们,但是它们未必有统一的信息系统,零散的数据很难汇集并产生数据的规模效应;
  • 第三类是航运电商企业,它们的业务很多都是在线提供的,对信息的格式的标准化呀,还有业务的线上执行都有比较高的要求,也存在要给客户提供数据服务的需求,也存在尝试高风险、高收益的创新勇气,所以这些企业对大数据更为看重,寄希望于推出增值服务和带动盈利增长,但是由于航运业的线上交易量尚未形成气候,可以用来分析的数据太少,虽然可以依赖网络爬虫来抓取但是朝不保夕,有公信力的大数据分析一定要基于充足的样本,这成为这些企业目前无法真正突破大数据的瓶颈。

那么今天,你如果要问我,我们究竟处于哪个阶段?我可以告诉大家不用紧张,虽然大数据的概念很好,但是,我目前还只是处于起步阶段。

3、航运大数据很难做

罗马是一天建成的吗?做大数据绝对不是三两年就能够做成的一件事情,因为它是需要一个土壤和基础的。比如说我们港口、航运业的数据规范性、一致性、数据共享程度都不高的话,大数据是很难发展起来的。

最先去实践大数据的都是些什么样的行业呢?是一些没有实物商品和线下服务的领域。比如,金融行业大部分交易都在网上的信息系统中完成,数据的规范性和准确性都有良好的保障,所以能先发展大数据;还有出版行业、媒体、手机app这些行业,用户的消费可以虚拟提供,还可以在提供服务时采集用户数据,比如看视频的网站可以分析用户喜欢什么内容,手机app市场可以分析每个软件的用户年龄结构等。

所以,航运业属于目前还不适合做大数据的行业,一旦一种服务,要通过线下实际的线下去提供一种商品和服务,而不能够完全通过信息系统去解决,就会导致很多数据不会保存下来,失去了做大数据的基础。所以,要么让机器代替人去线下搜集数据,要么把交易和服务完全放到线上来,航运大数据因此也就只有两个来源,那就是物联网和航运电商。

即使有了电商平台,大数据的发展也要很长的周期。例如提供实物商品交易的淘宝网,大约在2005年左右成立上线,发展到2010年才刚刚完成利用数据支撑平台运营,到2015年才真正有能力面向社会提供各种大数据分析服务。

所以,笔者大胆的预言,航运大数据大行其道应该需要10-20年的发展周期。

4、航运大数据的真正价值在于细节和异常分析

虽然航运大数据的发展道路任重道远,但是航运业原本就有一些传统数据服务。这些服务基于一些抽样、人工采集、统计分析的手段,已经在为这个行业提供着重要的信息。与他们相比,航运大数据要长足发展必须找到自身的优势,那就是对细节和异常的分析。

一方面,传统指标数据对于表达宏观信息效果已经很好,大数据能弥补其在微观分析上的不足。大多数情况下,指标性数据已经可以解决大部分企业的需要了,但它没法还原出很多细节的问题。比如,像各家班轮公司的船期表、船舶的建造信息、某个船东的船队阵容、每个港口各种货物的吞吐量等这较宏观的数据,现在都能比较方便的获得。但当我们把问题深挖一层,我们想知道船期表上每个班次的准点率、每条船的准点率,船舶的每次维修费用和加油量,某个船东在各个航线上的运力投放策略,港口货物吞吐量中小麦的水路转运量和目的地等,这些传统统计口径没法回答,这就是大数据擅长的方面了。

另一方面,传统的数据描述着这个航业通常的运行情况,但是无法感知异常情况的发生。很多时候数据是平淡而乏味的,比如大部分的船都是长期来往于自己善于经营的区域,偶尔查询一下船舶位置也会发现没什么变化。但是,有一天某一种船型突然开始转移到一个航线上,一些船被悄悄的封存起来了,一些航道突然进入了一些比以往更大的船,这样的变化要在初期发现就需要计算机长期精确的分析,而不是人工偶尔的抽查,这些异常情况往往蕴含着重要的信息。

5、结语

写这样的一篇文章,并不是要为航运大数据泼一盆冷水,而是希望与所有正在关注、从事航运大数据的朋友们共勉,路漫漫其修远兮,不论今天大数据的概念如何风光,明天大数据的概念是否会被淡忘,只要我们坚信数据中蕴含着能让航运业变革的重要信息,我们就要踏踏实实的把大数据做成实事,真正做好,不忘初心、上下求索!

责任编辑:未丽燕 来源: 36大数据
相关推荐

2011-12-31 14:48:36

2013-04-08 09:25:28

2012-02-06 23:29:11

2013-11-06 17:51:23

搜狗浏览器360漏洞

2015-07-22 12:53:55

罗生门式

2016-03-29 13:23:54

2011-01-10 13:39:27

2016-10-10 13:30:54

大数据快递航运

2013-06-20 09:43:31

2015-10-28 14:32:27

大数据幸福

2013-07-01 14:13:53

2015-08-05 15:46:56

2017-09-14 12:03:30

大数据数据分析语言

2015-03-18 10:41:53

大数据即服务云端大数据管理

2013-07-10 10:31:29

2016-05-05 11:08:15

2014-07-04 11:38:35

2017-11-20 10:08:48

大数据后悔的事

2013-09-25 16:25:59

2015-07-24 14:25:37

点赞
收藏

51CTO技术栈公众号