Facebook的“大数据”到底有多大

系统
目前Facebook有着世界最大的分布式文件系统,单个集群中的数据存储量就超过100PB。在Facebook内部,从一开始就没有在不同的部门之间(比如广告部和用户支持部)设立障碍或者分割数据。这样一来产品开发者就可以跨部门获得数据,实时知晓最近的改动是否增加了用户浏览时间或者促成了更多的广告点击。

据说这是一个“大数据”的时代,到底有多大呢?

 

[[92717]]

Facebook最近在总部的一次会议中披露的一组数据可以给大家一个初步的印象,来一起看看每天Facebook上都得处理多少数据吧:

25亿 Facebook上分享的内容条数

27亿 “赞”的数量,

3亿 上传照片数

500+TB 新产生的数据

105TB 每半小时通过Hive扫描的数据

100+PB(1PB=1024TB) 单个HDFS(分布式文件系统)集群中的磁盘容量

FB的工程总监Parikh解释了这些数据对于Facebook的意义:“大数据的意义在于真正对你的生意有内在的洞见。如果你不能好好利用自己收集到的数据,那你只是空有一堆数据而已,不叫大数据。”

目前Facebook有着世界***的分布式文件系统,单个集群中的数据存储量就超过100PB。在Facebook内部,从一开始就没有在不同的部门之间(比如广告部和用户支持部)设立障碍或者分割数据。这样一来产品开发者就可以跨部门获得数据,实时知晓最近的改动是否增加了用户浏览时间或者促成了更多的广告点击。

作为普通用户,大家也许会对如此海量的数据心存不安,担心自己的数据被随意浏览。对此Facebook表示有各种防范措施来防止此类事情的发生,比如所有的数据读取记录都会被存档,哪些人看过哪些数据都是记录在案的;如果有员工越线,会被直接开除。Parikh着重强调:“在这件事上我们的政策是零容忍。”

责任编辑:张浩 来源: 雷锋网/大数据
相关推荐

2012-08-23 14:21:47

大数据

2022-05-10 15:10:25

加密货币区块链金融犯罪

2021-07-26 11:02:29

郑州暴雨河南

2012-05-31 09:24:55

云计算云存储

2012-02-22 13:59:11

云计算数据中心

2017-05-23 22:16:16

IT数据

2019-10-08 14:25:50

AndroidiOS安卓

2016-10-25 09:25:36

大数据楼市走势

2016-09-25 09:15:27

大数据数据分析

2013-04-28 09:29:38

云计算

2013-06-07 09:02:00

Amazon云计算服务器

2016-07-01 14:49:09

人工智能大数据

2019-05-07 19:23:46

大数据漫威人物

2018-11-23 10:13:47

2021-03-04 15:51:59

大数据薪资数据分析

2021-05-11 17:38:11

5G4G网络

2020-11-26 14:29:23

手机iPhone苹果

2017-02-06 11:48:31

大数据基础硬件

2020-08-05 07:00:00

SSD硬盘存储

2016-10-14 14:10:12

点赞
收藏

51CTO技术栈公众号