Hadoop性能优化功能测试详解

开发 架构 Hadoop
Hadoop性能你是否了解,这里就向大家介绍一下hadoop性能优化功能测试方面的内容,欢迎大家一起来学习,相信本文的介绍一定会让你受益。

本节向大家介绍一下hadoop性能优化功能测试方面的内容,在学习Hadoop的过程中,此类的问题你可能时常会遇到,在这里和大家分享一下,欢迎大家一起来学习hadoop性能优化的知识。

hadoop性能优化功能测试
以下是分别就配置了机架感知信息和没有配置机架感知信息的hadoopHDFS启动instance进行的数据上传时的测试结果。

写入数据

当没有配置机架信息时,所有的机器hadoop都默认在同一个默认的机架下,名为“/default-rack”,这种情况下,任何一台datanode机器,不管物理上是否属于同一个机架,都
会被认为是在同一个机架下,此时,就很容易出现之前提到的增添机架间网络负载的情况。例如,对没有机架信息的hadoopHDFS启动instance上传一个文件,其block信息如下:
从上图可以看出,在没有机架信息的情况下,namenode默认将所有的slaves机器全部默认为在/default-rack下,根据hadoop代码的分析也能知道哦啊,此时在写block时,三个
datanode机器的选择完全是随机的。

而hadoop性能优化功能测试时当配置了机架感知信息以后,hadoop在选择三个datanode时,就会进行相应的判断:

1.如果上传本机不是一个datanode,而是一个客户端,那么就从所有slave机器中随机选择一台datanode作为***个块的写入机器(datanode1)。
a)而此时如果上传机器本身就是一个datanode(例如mapreduce作业中task通过DFSClient向hdfs写入数据的时候),那么就将该datanode本身作为***个块写入机器(datanode1)

2.随后在datanode1所属的机架以外的另外的机架上,随机的选择一台,作为第二个block的写入datanode机器(datanode2)。

3.在写第三个block前,先判断是否前两个datanode是否是在同一个机架上,如果是在同一个机架,那么就尝试在另外一个机架上选择第三个datanode作为写入机器(datanode3)。
而如果datanode1和datanode2没有在同一个机架上,则在datanode2所在的机架上选择一台datanode作为datanode3。

4.得到3个datanode的列表以后,从namenode返回该列表到DFSClient之前,会在namenode端首先根据该写入客户端跟datanode列表中每个datanode之间的“距离”由近到远进行一
个排序。如果此时DFS写入端不是datanode,则选择datanode列表中的***个排在***位。客户端根据这个顺序有近到远的进行数据块的写入。在此,判断两个datanode之间“距
离”的算法就比较关键,hadoop目前实现如下,以两个表示datanode的对象DatanodeInfo(node1,node2)为例:
a)首先根据node1和node2对象分别得出两个datanode在整个hdfs集群中所处的层次。这里的层次概念需要解释一下:每个datanode在hdfs集群中所处的层次结构字符串是这样描述
的,假设hdfs的拓扑结构如下:

每个datanode都会对应自己在集群中的位置和层次,如node1的位置信息为“/rack1/datanode1”,那么它所处的层次就为2,其余类推。
b)得到两个node的层次后,会沿着每个node所处的拓朴树中的位置向上查找,如“/rack1/datanode1”的上一级就是“/rack1”,此时两个节点之间的距离加1,两个node分别同
上向上查找,直到找到共同的祖先节点位置,此时所得的距离数就用来代表两个节点之间的距离。所以,如上图所示,node1和node2之间的距离就为4.

5.当根据“距离”排好序的datanode节点列表返回给DFSClient以后,DFSClient便会创建BlockOutputStream,并想这次block写入pipeline中的***个节点(最近的节点)开始
写入block数据。

6.写完***个block以后,依次按照datanode列表中的次远的node进行写入,直到***一个block写入成功,DFSClient返回成功,该block写入操作结束。
通过以上策略,namenode在选择数据块的写入datanode列表时,就充分考虑到了将block副本分散在不同机架下,并同时尽量的避免了之前描述的网络多于开销。
对配置了机架信息的hadoopHDFS启动instance上传一个文件,其block信息如下:
从上图可以看出,在配置了机架信息的情况下,为了减少机架间的网络流量,namenode会将其中两个副本写在同一个机架上,并且为了尽量做到容错,会将第三个block写道另一
个机架上的datanode上。看一下hadoop性能优化功能测试如何读取数据。

读取数据

当对某个文件的某个block进行读取的时候,hadoop采取的策略也是一样:
1.首先得到这个block所在的datanode的列表,有几个副本数该列表就有几个datanode。
2.根据列表中datanode距离读取端的距离进行从小到大的排序:
a)首先查找本地是否存在该block的副本,如果存在,则将本地datanode作为***个读取该block的datanode
b)然后查找本地的同一个rack下是否有保存了该block副本的datanode
c)***如果都没有找到,或者读取数据的node本身不是datanode节点,则返回datanode列表的一个随机顺序。本节关于hadoop性能优化功能测试方面的内容介绍到这里。

【编辑推荐】

  1. Hadoop性能优化及配置如何实现?
  2. Hadoop集群与Hadoop性能优化
  3. 专家讲解 Hadoop:HBASE松散数据存储设计
  4. 两种模式运行Hadoop分布式并行程序
  5. Hadoop概念及其用法专家讲解
责任编辑:佚名 来源: csdn.net
相关推荐

2010-05-24 14:59:29

Hadoop集群

2010-03-02 09:53:14

MySQL性能优化

2024-03-07 11:03:21

ElasticseaES索引

2023-08-31 08:36:52

.NET性能测试开源

2019-08-02 11:28:45

HadoopYARN调度系统

2009-09-22 17:25:41

优化Hibernate

2011-06-20 14:27:57

Qt Embedded

2010-06-04 09:42:47

Linux 测试cpu

2010-06-04 10:48:15

Hadoop性能

2023-11-15 16:35:31

SQL数据库

2023-07-10 16:18:18

性能优化开发

2010-06-07 09:14:55

Hadoop集群

2011-08-01 16:24:04

XCode CodeTimer 测试

2023-07-31 09:13:13

ValidatorGolang

2010-06-03 13:55:38

Hbase和Hadoo

2020-06-04 16:57:07

移动开发互联网实践

2010-06-04 16:07:09

Linux 性能测试工

2009-11-19 10:55:33

Visual Stud

2023-04-17 16:33:27

云计算工具云性能测试

2010-04-22 17:27:22

Oracle性能
点赞
收藏

51CTO技术栈公众号