鸿蒙开发者社区

WOT技术大会

AIGC创新中国行

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 2024年软考 PMP项目管理软考资讯

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO题库小程序

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

账号设置退出

Hadoop

836内容

关注

涵盖Hadoop相关研究热点、技术难点与应用场景，让用户更加深入地学习这一大数据基础技术。

共 159 条

Hadoop1.x和2.X的HDFS fsimage和edits文件运行机制对比

一、概述之前写过一篇非常详细的,利用QJM在HDFS2.0部署HA策略的文章，主要说了利用QJM进行HA部署以及其原理（http://zengzhaozheng.blog.51cto.com/8219051/1441170）。但是，其中没有详细描述HADOOP2.x通过QJM部署HA完毕之后，ActiveNamenode和StandbyN

2014-10-09 11:06:28

hadoop edits hadoop Ha

Datax与hadoop2.x兼容部署与实际项目应用工作记录分享

一、概述Hadoop的版本更新挺快的，已经到了2.4，但是其周边工具的更新速度还是比较慢的，一些旧的周边工具版本对hadoop2.x的兼容性做得还不完善，特别是sqoop。最近，在为hadoop2.2.0找适合的sqoop版本时遇到了很多问题。尝试了多个sqoop1.4.x版本的直接简单粗暴的报版本不兼容问题，其中测了sqoop-1.4.4.bin_

2014-08-15 15:51:20

hadoop sqoop datax

利用QJM实现HDFS的HA策略部署与验证工作记录分享

1、概述 Hadoop2.X中的HDFS(Vsersion2.0)相比于Hadoop1.X增加了两个重要功能，HA和Federation。HA解决了Hadoop1.X Namenode中一直存在的单点故障问题，HA策略通过热备的方式为主NameNode提供一个备用者，并且这个备用者的状态一直和主Namenode的元数据保持一致

2014-07-22 09:09:15

HA mapreduce hadoop

hadoop 1.x升级至hadoop-2.2.0记录

一、概述公司hadoop集群从1.2.1升级到2.2.0已经有一段时间，这篇blog将总结一下我前段时间在升级至hadoop2.2.0版本过程中遇到的一些问题，以及具体的升级步骤。二、升级过程(1)停掉hadoop1.x集群。(2)备份namenode原数据，即备份dfs.namenode.name.dir指向的路径。以免造成由于升级版本带来的风险。

2014-06-18 15:28:23

hadoop yarn MRv2

Hadoop2的ResourceManager高可用配置

Hadoop 2.2没怎么关注过，太新，bug太多。2.4出来以后关注了一些东西，比如2.4里面直接带了ResourceManager的高可用，这点比较吸引人。之前2.2没注意有没有，貌似是没有，然后CDH自己出了一个解决方案，这次2.4的更新直接自己带了，还不错，这样就全了，Namenode有HA和Federation，RM也有了HA，而且也可以通过ZKFC自动做故障切换。大概从2.4开始，Ha

2014-06-06 23:04:15

运维 ha hadoop

Hadoop运维记录系列(十三)

记录一下在2.x里面不会很常见的报错。只是在测试集群中发生，生产集群大概很少有人会去重启Namenode吧，特别是做了HA的。场景是在2.x里做好了Namenode HA，以Namespace URI方式访问HDFS时，报错，然后两个Namenode貌似都是standby，然后历史任务服务器无法启动，HBase的Master也无法启动。其实这个故障很简单。2014-06-0517:20

2014-06-05 17:57:33

部署开发运维

namenode gc导致的故障一例

周末处理的一次故障，这里简单记录下。故障现象：6点1分左右开始，Hadoop集群异常，所有的hdfs操作都出现问题。几十个job报以下错FAILED: RuntimeException org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException)

2014-05-29 00:10:25

海量数据解决思路之BitMap

一、概述本文将讲述Bit-Map算法的相关原理,Bit-Map算法的一些利用场景，例如BitMap解决海量数据寻找重复、判断个别元素是否在海量数据当中等问题.最后说说BitMap的特点已经在各个场景的使用性。二、Bit-Map算法先看看这样的一个场景：给一台普通PC，2G内存，要求处理一个包含40亿个不重复并且没有排过序的无符号的int整数，给出一个整数，问如果快速地判断这个整数是

2014-04-28 17:19:38

mapreduce hadoop bitmap

cdh4.6.0升级测试2-distribute cache bug fix

distribute cache purge阻塞task的bug测试。cdh4.2.0:测试方法：local.cache.size=650因为cachedir size和count是存在内存中的HashMap中的，把local.cache.size值设置的足够小，在每次job运行时都会触发delete distribute cache的操作。又因为是private的，是同步删除，会造成task阻塞

2014-04-23 22:46:17

给刚玩Hadoop的朋友一些建议

随着两会中间央视新闻天天说大数据，很多人纷纷开始关注大数据和Hadoop以及数据挖掘和数据可视化了，我现在创业，遇到很多传统数据行业往Hadoop上面去转型的公司和个人，提了很多问题，大多数问题还都是差不多的。所以我想整理一些，也可能是很多人都关注的问题。关于Hadoop版本的选择？目前为止，作为半只脚迈进Hadoop大门的人，我建议大家还是

2014-04-17 17:42:16

部署开发运维

Ubuntu下利用Myeclipse开发hadoop程序

开发的大环境是Ubuntu11.04，hadoop0.20.2，myeclipse9.1首先要安装Myeclipse，在Ubuntu下安装Myeclipse和windows环境下安装的方法一样，下载myeclipse-9.1-offline-installer-linux.run然后双击运行就ok了。接下来安装Myeclipse的Hadoop插件，在hadoop的安装路径里找到hadoop的ecl

2014-04-13 21:37:44

hadoop中MapReduce多种join实现实例分析

一、概述对于RDBMS中的join操作大伙一定非常熟悉，写sql的时候要十分注意细节，稍有差池就会耗时巨久造成很大的性能瓶颈，而在Hadoop中使用MapReduce框架进行join的操作时同样耗时，但是由于hadoop的分布式设计理念的特殊性，因此对于这种join操作同样也具备了一定的特殊性。本文主要对MapReduce框架对表之间的join操作的

2014-04-09 17:05:55

join mapreduce map join

su And sudo提权

1.su与sudo命令详解命令：su功能：切换用户语法：su [选项]... [-] [USER [ARG]...]选项：-, -l, --login：切换至目标用户，其用户权限，环境变量都会随之切换至目标用户；若无此选项，则只有用户的权限切换至目标用户-c, --command=COMMAND：以指定用户的身份执行一次命令，就立即退出-m, --preserve-environment：-m和-

2014-04-06 21:26:45

impala集成kerberos问题一例

最近在折腾hadoop+kerberos，由于线上使用的组件比较多，遇到不少问题，记录下来，碰到同样问题的同学可以参考下。在hdfs+mapred+kerberos运行正常后，开始尝试集成impala.其中statestore的参数：export IMPALA_STATE_STORE_ARGS=${IMPALA_STATE_STORE_ARGS:- -log_dir=${IMPALA_LOG_DI

2014-03-21 23:05:20

hadoop之MapReduce自定义二次排序流程实例详解

一、概述MapReduce框架对处理结果的输出会根据key值进行默认的排序，这个默认排序可以满足一部分需求，但是也是十分有限的。在我们实际的需求当中，往往有要对reduce输出结果进行二次排序的需求。对于二次排序的实现，网络上已经有很多人分享过了，但是对二次排序的实现的原理以及整个MapReduce框架的处理流程的分析还是有非常大的出入，而且部分分析

2014-03-18 20:44:45

map端数据流向 hadoop二次排序

zabbix value type导致的断图一例

最近老毕在加hbase的监控，发现生成的graph有断图的情况。。因为之前有次zabbix断图定位到了是proxy的性能问题，通过调整相应的参数解决掉了。。再看这次的情况，发现有些item的graph是ok的，也就排除了proxy性能问题。。看来还是和item相关。整个数据链路是agent---proxy(db)----server(db)，从上游数据库开始入手：1.找出正常的和断图

2014-03-15 03:17:15

zabbix 断图 v

Hadoop连载系列之四：数据收集分析系统Chukwa

系列前三篇文章中介绍了分布式存储和计算系统Hadoop以及Hadoop集群的搭建、Zookeeper集群搭建、HBase分布式部署等。当Hadoop集群的数量达到1000+时，集群自身的信息将会大量增加。Apache开发出一个开源的数据收集和分析系统—Chukwa来处理Hadoop集群的数据。Chukwa有几个非常吸引人的特点：它架构清晰，部署简单；收集的数据类型广泛，

2014-03-14 11:18:27

记一则Hadoop DataNode OOM故障,以及解决方案

一、故障症状最近公司一个集群跑大任务时，datanode日志报DataXceiveServer: Exiting due to:java.lang.OutOfMemoryError: unable to create new native thread异常，然后计算节点上的DataNode直接挂掉。DataNode异常日志截图如下：2014-03-06 03:41:05

2014-03-08 02:43:56

hadoop DataNode OO

写几个Hadoop部署用到的小脚本

最近抛弃非ssh连接的hadoop集群部署方式了，还是回到了用ssh key 验证的方式上了。这里面就有些麻烦，每台机器都要上传公钥。恰恰我又是个很懒的人，所以写几个小脚本完成，只要在一台机器上面就可以做公钥的分发了。首先是生成ssh key脚本#!/bin/sh ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cp ~/.ssh/id_rsa.pub ~/.ss

2014-03-07 18:44:31

shell hadoop deploy

hadoop 1.X资源管理机制缺陷分析和解决方案

一、概述用hadoop1.x版本已经有一年多了，在使用的过程中发现hadoop1.X的资源管理机制存在诸多缺陷，甚至在这种资源管理机制下会造成服务器资源的严重浪费，负载过高或者过低。本文主要介绍hdaoop1.X的资源管理机制，这种机制的缺点，总结一下自己在这方面遇到的实际问题，最后是自己对改进hadoop资源管理机制的一些想法。二、hadoop 1.x资源管理机制&n

2014-02-22 16:19:57

slot hadoop 资源管理

hadoop之MapReduce框架JobTracker端心跳机制分析(源码分析第七篇)

一、小概述JobTracker端的心跳机制主要任务是处理TaskTracker发送过来的心跳信息，判断TaskTrakcer是否存活、及时让JobTracker获取到各个节点上的资源使用情况和任务运行情况和为TaskTracker下达各种命令等功能。二、心跳处理过程详解JobTracker端的心跳机制处

2014-02-17 17:20:01

心跳机制 heartbeat mapreduce

hadoop之MapReduce框架TaskTracker端心跳机制分析(源码分析第六篇)

1、概述 MapReduce框架中的master/slave心跳机制是整个集群运作的基础，是沟通TaskTracker和JobTracker的桥梁。TaskTracker周期性地调用心跳RPC函数，汇报节点和任务运行状态信息。MapReduce框架中通过心跳机制可以实现给TaskTracker分配任务、使JobTracker能够及时获取各个节点的资源使用情况和任务运行状态

2014-01-23 17:34:08

mapreduce hadoop heartbeart

hadoop作业初始化过程详解（源码分析第三篇）

（一）概述我们在上一篇blog已经详细的分析了一个作业从用户输入提交命令到到达JobTracker之前的各个过程。在作业到达JobTracker之后初始化之前，JobTracker会通过submitJob方法，为每个作业都创建一个JobInProgress对象(本文以后简称JIP)，用于维护作业的运行时信息以及监控正在运行作业的运行状态和进度。然后检查提交作业的用户是否

2014-01-09 16:26:22

集群 map hadoop

hadoop1.x作业提交过程分析（源码分析第二篇）

（一）概述本文基于Hadoop1.0.0版本的源代进行分析，研究用户从输入作业提交命令到作业提交到jobTracker的整个流程，其中涉及到的组件JobClient和JobTracker的具体工作细节。（二）具体分析从源代码来看，hadoop作业的提交过程是比较简单的，主要包含了几个过程：运行提交作业脚本、创建目录、上传作业文件以及产生Input

2014-01-06 21:59:15

作业提交 hadoop初始化 hadoop运行过程

hadoop作业分片处理以及任务本地性分析（源码分析第一篇）

(一) Map输入数据块的切分算法（基于hadoop源码 1.0.1）：（1）分片算法MapTask的个数据主要取决于InputFormat通过对输入数据调用getSplit()方法分割为若干个分片数据，即InputSplit数。hadoop中切片大小主要由以下几个因素：blockSize:块大小minSize:最小分片大小，由参数ma

2014-01-02 17:02:59

hadoop 任务调度切片

Hadoop自动化运维之创建deb包

2014第一篇博文，将来也会逐步写成一个系列，新年新气象。将hadoop及其周边生态系统deb/rpm化对于自动化运维来说意义重大，建立好整个生态的rpm和deb然后再创建本地yum或者apt的源，可大大简化hadoop的部署和运维。实际上，cloudera和hortonworks都是这么做的。本来想把rpm和deb都写了，不过估计篇幅不够，还是分开吧，先从deb讲起。deb创建比较容易一些，不需

2014-01-01 13:27:35

运维自动化 rpm

煮酒品茶：大晚上的，有气无力的呻吟，让你深深的感觉听我的声音是一种折磨。没录好，笔记本声音也没录好，将就着听吧。哈哈# Install Hadoop Master# DownLoad Hadoop and Jdk packetsOne : stop all hosts Selinux and iptables.# service iptables stop# chkconfig iptables

2013-11-12 11:24:28

Hadoop虚拟化扩展(HVE)之资源扩展技术

背景在虚拟化的云环境中，Hadoop可以有更好的“弹性”，这是云计算的一个重要优势，例如亚马逊的EMR(ElasticMapReduce)服务, 用户可以迅速的在云中根据需求部署一个Hadoop集群，运行计算任务，并且用户可以向集群动态的添加或删除计算节点。这里存在着一个潜在问题，Haodop的数据节点并非天生的“有弹性”，删除一个数据节点意味着需要重新复制存储在这个节点的数据，这是一个缓慢的过程

2013-11-06 16:38:35

hadoop vSphere 虚拟化扩展;资源管理

深入Hadoop节点部署的策略

简介每个Hadoop集群都包括不止一个节点。这些节点可以按功能分成几个组，比如master组，worker组，client组等等。每个组里面的节点都有不同的资源要求，比如CPU，内存，存储。在虚拟数据中心（DataCenter）中有一个或多个虚拟集群（Cluster），每个虚拟集群中有一个或多个主机（Host）。节点部署是在保证每个节点资源需求的前提下，按照一定策略将Hadoop集群中的所有节点部

2013-10-28 14:14:43

hadoop vSphere 大数据

0.16版本salt的安装与日常应用

现在分享一下我对0.16版本salt的学习笔记一、安装1、在ubuntu系统安装添加源debhttp://debian.saltstack.com/debian wheezy-saltstack main把这个源放到/etc/apt/sources.list更新源apt-get update安装服务端或者客户端apt-get installsalt-masterapt-get installsal

2013-10-21 10:35:28

salt安装 salt应用 salt日常命令

Hadoop运维记录系列(十一)

记录一些Hive的优化点，和能够提升的效率差异。Hive是目前应用最多最广的SQL on Hadoop工具，近期很多专业的大数据公司推出了很多新的，基于列式或者内存热数据的SQL工具，像Impala，Tez，Spark等等，但是Hive仍然是目前使用率最高和普及面最广的SQL on Hadoop的工具。在以前淘宝罗李的报告中，淘宝90%的业务跑在Hive上面。暴风影音的比例更高一些，大概95%以上

2013-09-12 18:19:35

系统性能调优

Hadoop运维记录系列(十)

昨天同事遇到一个hadoop故障，找了半天没看出问题，问到我这里，花了一会解决了一下，估计这是我给暴风的集群解决的最后的故障了，以后就不定给谁解决问题去了。只截下来了Namenode的报错Log，Datanode的刷屏刷过去了，不过都差不多。2013-09-03 18:11:44,021 WARN org.apache.hadoop.hdfs.StateChange: BLOCK* NameSys

2013-09-04 16:31:43

记录运维 hadoop

Pig自定义过滤UDF和加载UDF

Pig是一种数据流编程语言，由一系列操作和变换构成，每一个操作或者变换都对输入进行处理，然后产生输出结果，整体操作表示一个数据流。Pig的执行环境将数据流翻译为可执行的内部表示，在Pig内部，这些变换操作被转换为一系列的MapReduce作业。 Pig自身有许多个方法，有时候需要我们自己定制特定的处

2013-09-04 09:26:02

Pig自定义过滤UDF 加载UDF

MapReduce工作的基本流程

Hadoop0.2之前版本和之后版本在Job中有很大的改进，本次采用的版本是Hadoop1.1.2版本。现在作为作业驱动器，可以直接继承Configured以及实现Tool，这种方式可以很便捷的获取启动时候命令行中输入的作业配置参数，常规的Job启动如下：public class SortByHash extend

2013-09-02 20:58:46

工作流程 mapreduce hadoop

datanode单块盘故障导致节点失效之脚本解决

问题：在hadoop的1.2.0中由于单个磁盘故障导致datanode节点失效，生产环境中datanode节点大多都有多块磁盘，我们现在需要一种方法，让datanode不会被单块磁盘的故障导致整个节点失效。解决方法及适用场景： 1、修改hadoop源代码(介个在作者能力之外)2、修改hdfs-site.xml中的dfs.data.dir的值，将故障盘的挂载点删除并重启(推荐在手动部署的hadoop

2013-08-29 11:59:16

datanode hadoop.shel

Hadoop数据分析平台搭建

一．配置安装环境1> 在虚拟机Vmware上搭建三台Red Hat Enterprise linux，其中一台为master，另外两台位slaves。2> 下载相关的软件，如java jdk、hadoop-0.20.2等。二．安装和配置步骤1> 要是hadoop能过正常的免密码在各个节点中连接传输数据，最重要的是配置SSH，生成密钥。2> jdk的安装，修改/etc/pro

2013-08-27 23:58:05

是否需要追逐潮流！基于Hadoop的感想

近几年大数据的概念被炒的红红火火，各种云应运而生，也有不少企业开始搭载自己的云，但是真的什么企业都需要吗？下面我要说的也仅仅是基于我目前工作的一些感想，欢迎拍砖！公司的主要数据是利用HBase收集的报文，整个到目前运行了一年零一两个月的时间。目前数据量是266GB（其中包含一份完全副本，实际业务数据133GB），在7月出进行数据统计时，该平台

2013-08-16 05:01:28

统计 Hadoop 潮流

Hadoop周边生态软件和简要工作原理(二)

接着Hadoop周边生态软件和简要工作原理(一)Sqoop：sqoop在hadoop生态系统中也是应用率比较高的软件，主要是用来做ETL工具，由yadoo研发并提交给Apache。Hadoop整个生态圈里面，大部分的应用都是Yadoo研发的，贡献非常大。Yahoo里面出来两拨人，分别组建了Cloudera和Hortonworks。所谓ETL，就是数据的抽取(extract)加载(load)转换(t

2013-07-19 16:58:15

hadoop mahout sqoop

Apache BigTop试用感想

Bigtop是去年apache基金会推出的一个对Hadoop及其周边生态进行打包，分发和测试的工具。推出的时间不长，加上官方的文档很简单，只告诉你如何用bigtop安装hadoop，其他都不讲。这两天深入的玩了一下，就个人体会来说，Bigtop算是个比较有趣的玩具。实用价值不大，尤其是对准备在hadoop本身上做文章的公司和个人来说，是一个看上去很美，但实际部署是很值得商榷的玩意。Bigtop，本

2013-07-06 17:55:23

运维 hadoop bigtop

Hadoop运维记录系列(六)

这两天有业务部门反馈，总有hive跑某天的log失败。看了一下log，虽然各种报错不一样，但基本都是OOM，追了一下午，终于追出来原因了，特此记录一下。这个问题很诡异，map阶段oom，按说map的时候一个map对应一个数据块，最大也就占用128M内存，怎么会溢出呢，通常都应该是reduce溢出才对。先看看各个hadoop节点的tasktracker报的错误log。节点一2013-05-08 20

2013-05-08 22:44:47

运维 hadoop 故障分析

Hadoop运维记录系列(四)

记录一下，可能算是个比较典型的故障，磁盘满导致的task tracker无法启动。故障是一台tasktracker挂了，怎么也起不来，报错信息如下。 2013-03-2617:34:57,620ERRORorg.apache.hadoop.mapred.TaskTracker:Cannotstart&nb

2013-03-26 19:04:00

运维 hadoop 故障分析

Hadoop之zookeeper快速安装

查看jdk环境的版本执行java–version和javac–version命令[root@node10~]#java-versionjavaversion"1.6.0_37"Java(TM)SERuntimeEnvironment

2013-03-26 17:01:47

hadoop zookeeper 安装zookeeper

pycurl实现hadoop的客户端功能

pycurl实现hadoop的客户端功能目前在测试一个hadoop的功能，需要频繁的和hadoop打交道。刚开始采用的python的subprocess模块来调用底层的hadoop提供的命令行工具实现的。一，hadoop提供的命令行格式说明： hadoop fs [cmd]具体的命令有: hadoop fs [-fs <local | file sys

2013-03-11 14:30:27

Hadoop运维记录系列(三)

Hive 0.10发布了，修正了一些bug，搞了一些新特性，对提高工作效率很有帮助，于是尝试升级了一下，然后遇到了一些问题，记录一下。主要是看上了下面几个feature，打算换上看看。 1.AllowSELECT<col>withoutamapreducejob

2013-01-30 15:06:36

运维 hadoop 故障分析

Hadoop系列之四：MapReduce进阶

MapReduce中的map、reduce、partition、shuffle & sort等。

2013-01-02 16:15:22

mapreduce hadoop hbase

Hadoop配置项整理(core-site.xml)

记录一下Hadoop的配置和说明，用到新的配置项会补充进来，不定期更新。以配置文件名划分以hadoop 1.x配置为例 core-site.xml name value Description

2012-12-26 15:36:19

配置 hadoop 大数据

Hadoop的虚拟化之恋-【软件和信息服务】2012.12

Apache Hadoop这朵奇葩日益吸引了企业界的目光，大量企业都在思考如何把Hadoop这个美丽的新娘娶回自己的数据中心

2012-12-17 10:10:42

Apache 虚拟化 VMware

ubuntu安装与测试hadoop1.1.0版本

最近没什么事，就使用之前测试openstack的机器，测试一下hadoop，看看他到底是干嘛的？测试环境为ubuntu 12.04 64位系统，hadoop版本是1.1.0 下面是安装过程 1、安装jdk apt-getinstallopenjdk-7-jdk 安装完成后测试一下 root@openstack:~/hadoop/conf#&nbsp

2012-11-28 13:24:58

ubuntu ubuntu安装had 测试hadoop

EasyHadoop软件开发总结和知识点整理

之前一直忙于写代码，也没有整理一下思路来做一个技术点的分享，也该整理一下技术相关的东西。分两篇吧，一篇太长了也不利于阅读，废话写多了，大家看着困。当然我的技术水平也很烂，懂行的不要见笑就好了。第一篇写EasyHadoop，第二篇写phpHiveAdminEasyHadoop最早只是一个hadoop的安装Shell脚本，这就没有什么可说的了，界面化的分布式安装还有有些知识点可以总结和分享下的，或许能

2012-11-14 18:05:31

知识点 hadoop 技术分享

开源项目第二蛋EasyHadoop

继phpHiveAdmin之后，推出第二个开源项目：EasyHadoop。和phpHiveAdmin一样，EasyHadoop也是个为懒惰而生的项目。简而言之，就是在一个网页上对Hadoop集群进行安装，重启，修改配置文件，查看log等功能。后续还会加入hive，hbase，pig之类的。当然，Cloudera Manager是个不错的选择，不过一旦集群数量超过50，当然仍然可以使用hadoop，

2012-09-04 20:53:49

php easy 云计算

上一页 1 2 3 4 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区 AI.x社区

教育

51CTO学堂精培企业培训 CTO训练营