直播训练营

鸿蒙开发者社区

WOT技术大会

AIGC创新中国行

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 2024年软考 PMP项目管理软考资讯

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO题库小程序

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

账号设置退出

Hadoop

835内容

关注

涵盖Hadoop相关研究热点、技术难点与应用场景，让用户更加深入地学习这一大数据基础技术。

共 161 条

EasyHadoop软件开发总结和知识点整理

之前一直忙于写代码，也没有整理一下思路来做一个技术点的分享，也该整理一下技术相关的东西。分两篇吧，一篇太长了也不利于阅读，废话写多了，大家看着困。当然我的技术水平也很烂，懂行的不要见笑就好了。第一篇写EasyHadoop，第二篇写phpHiveAdminEasyHadoop最早只是一个hadoop的安装Shell脚本，这就没有什么可说的了，界面化的分布式安装还有有些知识点可以总结和分享下的，或许能

2012-11-14 18:05:31

知识点 hadoop 技术分享

开源项目第二蛋EasyHadoop

继phpHiveAdmin之后，推出第二个开源项目：EasyHadoop。和phpHiveAdmin一样，EasyHadoop也是个为懒惰而生的项目。简而言之，就是在一个网页上对Hadoop集群进行安装，重启，修改配置文件，查看log等功能。后续还会加入hive，hbase，pig之类的。当然，Cloudera Manager是个不错的选择，不过一旦集群数量超过50，当然仍然可以使用hadoop，

2012-09-04 20:53:49

php easy 云计算

使用FreeBSD的ports安装hadoop

3月初写过FreeBSD下安装hadoop的文章，那会hadoop还没有进入FreeBSD的ports，刚写完没多久，3月27日。FreeBSD的ports树就引入了hadoop，安装就太方便了。怎么更新ports树就略过了，直接跳到安装hadoop#cd /usr/ports/devel/hadoop#make install clean等着完事就行了。都是编译安装，非常优化，而且自动解决依赖关

2012-06-11 16:26:54

安装配置 FreeBSD

用Hadoop管理界面来分析Map-Reduce作业

如果我们只是在IDE里面跑Hadoop作业，那么这个作业的运行过程不会显示在Hadoop 管理界面上，但是如果我们把作业上传到服务器上运行，那么作业的运行过程就会显示在管理界面上。还是以上次的分析最高气温的Map-Reduce为例，源代码可以见http://supercharles888.blog.51cto.com/609344/878422这

2012-06-02 14:55:20

Hadoop 管理界面

Hadoop 2.0.0-alpha尝鲜安装和hello world

仅供测试学习的文章，不推荐在生产环境使用2.0，因为2.0采用YARN，hive，hbase，mahout等需要map/reduceV1的可能无法使用hadoop 2.0或者会出现意外情况。 5月23日，apache发布了hadoop 2.0的测试版。正好跟家呆着没事干，小小的体会了一下map/reduce V2。环境，virtual box虚拟机ubuntu server 12.04，open

2012-06-01 23:32:00

2.0 hadoop 大数据

Hadoop Map-Reduce的压缩最终输出文件

Hadoop 可以在作业的Configuration对象中通过设定一系列参数来改变作业的行为，比如，我们需要进行一个map-reduce作业，并且吧最终作业reduce过程的结果输出为压缩的格式，我们可以在一般的map-reduce上进行一些定制。实现还是以以前做的删选最高气温的例子为参照：以前的例子可以见这个博文：http://supercharles88

2012-05-31 13:51:26

Hadoop 压缩输出格式

Hadoop 利用FileSystem API 执行hadoop文件读写操作

因为HDFS不同于一般的文件系统，所以Hadoop提供了强大的FileSystem API来操作HDFS. 核心类是FSDataInputStream和FSDataOutputStream 读操作：我们用FSDataInputStream来读取HDFS中的指定文件（第一个实验），另外我们还演示了这个类的定位文件位置的能力，然后从指定位置开始读取文件（第二个实验）。代码如下：

2012-05-26 13:39:27

Hadoop FileSystem

快速搭建 Hadoop 环境

对于Hadoop来说，最主要的是两个方面，一个是分布式文件系统HDFS，另一个是MapReduce计算模型，下面讲解下我在搭建Hadoop 环境过程。 Hadoop 测试环境共4台测试机，1台namenode3台datanodeOS版本：RHEL5.5X86_64Hadoop：0.20.203.0Jdk：

2012-02-09 12:58:07

hadoop状态分析系统chukwa

Apache 的开源项目 hadoop，作为一个分布式存储和计算系统，已经被业界广泛应用。很多大型企业都有了各自基于 hadoop 的应用和相关扩展。当 1000+ 以上个节点的 hadoop 集群变得常见时，集群自身的相关信息如何收集和分析呢？针对这个问题， Apache 同样提出了相应的解决方案，那就是 chukwa。

2011-01-28 17:47:10

系统分析休闲

HDFS数据流程剖析

一、 HDFS总体结构示意图 1．图中展现了整个HDFS三个重要角色：NameNode、DataNode和Client 1) NameNode可以看作是分布式文件系统中的管理者，主要负责管理文件系统的命名空间、集群配置信息和存储块的复制等。NameNode会将

2010-08-17 10:03:08

职场休闲 hadoop

hadoop原理浅析及安装

经过几天的测试，hadoop分布式系统搭建完毕。首先说一下这几天对hadoop理论知识的理解，然后说一下安装及碰到的问题。有图有真相http://192.168.0.20:50070/dfshealth.jsp 第一：理论知识：什么是hadoop： &

2010-04-09 18:24:51

职场原理休闲

上一页 1 2 3 4

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区

教育

51CTO学堂精培企业培训 CTO训练营