Hadoop架构二三事儿

系统 Hadoop
Hadoop是IT行业一个新的热点,是云计算的一个具体实现、Hadoop本身具有很高的技术含量,是IT工程师学习的首选!下面我们来详细讲讲什么是Hadoop。

Hadoop是IT行业一个新的热点,是云计算的一个具体实现、Hadoop本身具有很高的技术含量,是IT工程师学习的首选!下面我们来详细讲讲什么是Hadoop

完整hadoop讲解视频教程下载地址

1、http://kuai.xunlei.com/d/CLCBYHQKJQNT

2、http://kuai.xunlei.com/d/CSMFERCHAGEE

Hadoop是什么:

Hadoop = The Hadoop projects

Common, Avro, MapReduce, HDFS, Pig, Hive, Hbase, ZooKeeper, Sqoop, Oozie

Hadoop要解决的两个问题:

1、海量数据的存储 -- HDFS

2、海量数据的分析 -- MapReduce

Hadoop发展的历史:

始于2002年的apache项目Nutch

2003年Google发表了关于GFS的论文

2004年Nutch的开发者开发了NDFS

2004年Google发表了关于MapReduce的论文

2005年MapR被引入了NDFS

2006年改名为Hadoop,NDFS的创始人加入Yahoo,Yahoo成立了一个专门的小组发展Hadoop

HDFS设计目标:

1、Very large files

2、Streaming data access

write-once, read-many-times

3、Commodity hardware

HDFS架构:

在Hadoop中,一个文件被划分成大小固定的多个文件块,分布的存储在集群中的节点中

Block:一个文件分块,默认64M

NameNode:保存整个文件系统的目录信息,文件信息以及文件相应的分块信息。

DataNode:用于存储Blocks

HDFS的HA策略:NameNode一旦宕机,整个文件系统将无法工作。

如果NameNode中的数据丢失,整个文件系统也就丢失了。

2.x开始,HDFS支持NameNode的active-standy模式。

责任编辑:黄丹 来源: blogjava.net
相关推荐

2017-07-10 08:30:11

Spark UDF变长参数

2016-12-05 08:46:07

缓存架构设计

2021-10-18 10:47:29

EDAEventBridge

2021-05-10 08:58:09

Harbor架构Registry 服务

2013-06-17 14:49:18

IT企业企业架构

2015-11-04 09:36:44

超融合IT基础架构

2013-12-04 09:46:56

Hyper-VNUMA

2019-10-30 16:24:34

分层架构缓存

2019-05-15 10:18:29

HDFSHadoop监控

2015-12-02 09:52:42

2022-03-16 19:04:33

设计模式场景

2013-08-07 14:19:30

禁用

2012-06-26 15:13:50

Hadoop数据架构

2018-11-19 15:14:46

Hadoop架构公共云

2015-07-29 10:36:05

hadoop数据挖掘

2017-10-24 09:39:03

2012-12-18 20:13:00

云存储初志

2017-07-28 15:40:01

数据库MySQL死锁与日志

2018-12-27 12:34:42

HadoopHDFS分布式系统

2019-07-17 13:25:03

SparkHadoop架构
点赞
收藏

51CTO技术栈公众号