社区编辑申请
注册/登录
为何HDFS是大数据分析的软肋
大数据 数据分析
分布式文件系统是大型分析非常重要的一环。即使你是在使用Spark,你仍然需要将大量的数据快速的存入内存,所以文件系统一定要可以是高速率的。但是,HDFS并不像它标榜的那样好,它是大数据分析的薄弱环节。

分布式文件系统是大型分析非常重要的一环。即使你是在使用Spark,你仍然需要将大量的数据快速的存入内存,所以文件系统一定要可以是高速率的。但是,HDFS并不像它标榜的那样好,它是大数据分析的薄弱环节。

 

 

 

什么是分布式文件系统?普通的文件系统是基于块来存储文件的。查找文件时,要去磁盘中匹配每一个块。一般是有文件分配表或多种FAT的。但是,分布式文件系统的物理存储资源是不一定直接连接在本地节点上的,而是通过计算机网络与节点相连。另外,像RAID或SAN系统,块是会复制的,因此,网络节点丢失并不会造成数据丢失。

HDFS存在的缺陷

HDFS中的文件分配表的核心是NameNode。客户端主要通过NameNode执行数据操作,DataNode会与其他DataNode进行通信并复制数据块以实现冗余,这样单一的DataNode损坏不会导致集群的数据丢失。但是NameNode一旦发生故障,后果会非常严重。虽然NameNode可以故障转移,但是需要花费大量的时间。这也意味着序列中会有更多的等待时间。HDFS的垃圾回收,尤其是Java垃圾回收是需要占用大量的内存,一般是本机有效内存的10倍。

因为HDFS的设计更多的是建立在响应"一次写入、多次读写"任务的基础上。在多数情况下,分析任务都会涉及数据集中的大部分数据,也就是说,对HDFS来说,请求读取整个数据集要比读取一条记录更加高效。所以HDFS在语言选择方面更偏向于基础语言,而不是高级语言。

传统的操作可以用更短的时间来开发部署,维护成本更低、安全性更好。业内有这样一种说法,大多数操作系统支持C语言、汇编和Java的原因是,文件系统处于一个较低的水平。

HDFS的工具和其他文件系统的工具相较是有差距的。比起你曾经处理的任何文件系统或分布式存储HDFS周围的工具是一种较差。基于Java的文件系统只能搭上IT人员最喜爱的POSIX工具的末班车。你尝试过NFS挂载HDFS吗?其它的HDFS工具的安装也是非常复杂的。相反的,如果你使用REST bridge Tool和客户端命令行就会非常容易。

HDFS支持原生代码扩展,提高了运行效率。另外,社区也为NameNode的发展做出了很多贡献。如果你想要打造一个高端的系统,那么必须打破监测和诊断工具中的NameNode瓶颈。总之,在操作系统上使用基于C或C ++的较为成熟的分布式文件系统往往是一个更好的选择。

Spark和云计算需求的变化

早期的Hadoop企业部署基本上是在本地完成的,随着Spark和云部署的崛起,使用Amazon S3作为数据源的情况渐渐多了起来。

Hadoop供应商都期望能够出现更为统一的Hadoop平台,期望HDFS能够与安全组件集成。Spark本身就因文件系统的多样性而存在很多矛盾,所以,想要和文件系统紧密集成几乎是不可能的。

MAPR FS文件系统渐渐引起了企业的兴趣。MAPR FS没有NameNode,而是采用了更标准和熟悉的集群方案方案。 MAPR的分区设计也很好的避免了瓶颈。

除了上述的分布式文件系统,还有很多的分布式文件系统可以供选择,例如Ceph、Gluster。Gluster是一种更为标准的分布式文件系统,擅长I/O操作。目前,大多数人选择使用Spark来存储文件是因为他们对于Spark更加熟悉,而并非是因为它性能好、速度快。

大型HDFS安装的迁移是不可能一蹴而就的,但是随着时间的迁移,未来我们在Spark和云项目中会越来越少的看到HDFS。也许,HDFS会脱离YARN,单独成为Hadoop的一部分。

责任编辑:张燕妮 来源: it168网站
相关推荐

2022-04-06 15:59:11

大数据HDFS存储系统

2022-08-03 14:30:52

大数据数据分析数据收集

2020-05-14 14:52:05

HDFS数据集架构

2021-04-14 09:04:03

大数据HDFS大数据开发

2018-08-28 15:10:16

2017-05-22 10:11:11

Hadoop HDFSJava APIHadoop

2018-08-23 16:25:29

HadoopHDFS存储

2020-03-03 17:00:58

HDFS存储数据

2016-03-17 09:55:52

HDFSHadoop分布式文件系统

2020-01-09 10:47:15

HDFS数据文件

2013-06-18 14:00:59

2018-03-01 16:26:30

HDFSHadoop系统

2019-11-06 08:54:21

HDFSHadoopMapReduce

2021-01-28 05:11:26

2022-06-26 18:52:02

2016-12-20 18:21:29

Hadoop大数据面试

2020-04-08 16:41:18

大数据Hadoop工具

2019-11-05 09:35:26

2017-03-06 10:45:29

2019-10-30 15:08:09

大数据Hadoop数据中心

同话题下的热门内容

大数据分析技术和方法有哪些?节日消费数据不“杀熟”?大数据带你一起“解”七夕!五个方法,破解数据分析的核心难题数据专家的晋级之路:大数据中的四大挑战!2022年网购如何对抗大数据杀熟,更换商品名词有惊喜

编辑推荐

什么是数据分析的漏斗模型?数据分析师还吃香吗?用数据告诉你对比解读五种主流大数据架构的数据分析能力《狄仁杰之四大天王》影评分析(爬虫+词云+热力图)22个免费的数据可视化和分析工具推荐
我收藏的内容
点赞
收藏

51CTO技术栈公众号