阿里云发布ODPS 可分析PB级海量数据

云计算
7月8日,阿里云计算发布核武级大数据产品——ODPS。通过ODPS在线服务,小型公司花几百元即可分析海量数据。ODPS可在6小时内处理100PB数据,相当于1亿部高清电影。此前,全球掌握这种能力的公司屈指可数,如Google、亚马逊等。

7月8日,阿里云计算发布核武级大数据产品——ODPS。通过ODPS在线服务,小型公司花几百元即可分析海量数据。ODPS可在6小时内处理100PB数据,相当于1亿部高清电影。此前,全球掌握这种能力的公司***,如Google、亚马逊等。

    五年间,阿里云的工程师们写下250万行代码,不断打磨ODPS。该团队在一封公开信中描述:“把数据海洋里的水灌进ODPS,设定好一套参数,拧开水龙头,出来的就是鲜榨果汁!”对比工业时代,ODPS相当于大数据时代的流水生产线,水龙头里流出来的“果汁”,随原始数据和算法的改变而千变万化。

    公开信中表示:工业革命后的200多年里,人类对物理资源的利用登峰造极,对数据资源的利用却仍处于起步阶段。Google、Facebook、阿里巴巴等互联网公司先行一步,触碰到了大数据的魅力。然而,人类拥有的绝大部分数据还无法产生价值。

    采用传统方案处理大规模数据,一般得耗资数千万自建数据中心,请专业技术人员维护运作。一旦数据总量超过100TB,技术挑战会非常大。Hadoop开源运动降低了这一成本,不过自建一个像样的Hadoop集群,仍然需要上百万的起步资金。专业的Hadoop人才则更加稀缺。

    相比而言,使用ODPS的成本和门槛则低得多。ODPS采取按量收费的模式,目前定价0.3元/GB,即开即用,一个月内免费。根据大部分公司的数据量来测算,一般每月只需花费数百元。

    在对外商用之前,ODPS一直是阿里巴巴内部的秘密武器。阿里小贷***将ODPS应用到商业领域。如今,超过36万人从阿里小贷借款,最小贷款额为1元,并实现3分钟申请、1秒放款、0人工干预。要做到这一点,阿里小贷每天得处理30PB数据,包括店铺等级、收藏、评价等800亿个信息项,运算100多个数据模型,甚至得测评小企业主对假设情景的掩饰和撒谎程度。阿里小贷每笔贷款成本3毛钱,不到普通银行的1/1000。

    据悉,淘宝、支付宝等阿里巴巴最核心的数据业务,都运行在ODPS平台。比如阿里妈妈广告的核心算法,点击预测模型的训练等。ODPS商用,意味着阿里云将这种大数据处理能力对外开放,此举将大幅降低社会创新成本。

    在公共领域,ODPS也具备广泛应用的潜力:华大基因利用ODPS进行基因测序,耗时不到传统方式的十分之一,未来一旦爆发生物危机,可以为人类赢得宝贵的破译时间;药监部门利用ODPS,全程监管药品流向,解决假药问题。“我们期待未来每一桶油、每一道菜的数据都跑在ODPS上,食品安全问题需要通过创新的方式来解决。”

    目前,全球提供类似服务的仅有Google和亚马逊,国内尚无同类产品可供比较。阿里云方面表示,ODPS将比Google BigQuery更强大,不仅支持更丰富的SQL语法,还将提供MapReduce编程模型和机器学习建模能力,可以服务更多应用场景。

责任编辑:鸢玮 来源: 阿里云
相关推荐

2013-01-08 14:29:03

阿里云开放数据处理ODPS

2016-05-27 08:23:33

数据分析数据科学数据思维

2014-07-17 15:05:49

阿里云ODPS数据处理

2014-05-22 09:56:36

初志科技云存储

2019-07-29 09:37:44

海量数据企业级私有云

2017-10-10 15:20:10

架构数据存储PB级数据

2018-11-23 17:33:42

阿里云SQL Server 集群版

2014-06-05 11:10:47

2020-12-01 14:28:48

水滴业务场景

2012-07-06 16:19:23

华为服务器

2020-10-27 09:18:16

ClickHouse数据库架构

2013-10-16 11:36:08

分布式大数据

2013-05-29 10:07:34

大数据存储技术

2014-12-17 11:39:52

阿里云大数据

2014-07-25 15:04:00

阿里云

2023-11-13 08:21:35

阿里云盘

2013-10-30 16:40:55

阿里巴巴阿里云云计算

2016-02-25 10:46:33

数据排序数据处理谷歌

2011-04-28 10:12:13

海量数据分析平台

2021-05-28 17:00:43

阿里云低碳
点赞
收藏

51CTO技术栈公众号