51CTO首页
AI.x社区
博客
学堂
精品班
直播训练营
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

Hadoop

835内容  
涵盖Hadoop相关研究热点、技术难点与应用场景，让用户更加深入地学习这一大数据基础技术。
文章 博文
共 835 条
Facebook的Hadoop应用与故障转移方案
我们知道，Facebook使用Hadoop来进行大数据的处理，但Facebook又是如何保障频繁、庞大的数据请求等高压环境下不发生故障的呢？我们一起来了解一下Facebook内部的Hadoop使用情况以及其NameNode故障转移技术。

2012-07-03 11:38:32

FacebookHadoop
Hadoop核心机制详细解析
Hadoop的核心机制是通过HDFS文件系统和MapReduce算法进行存储资源、内存和程序的有效利用与管理。在现实的实例中，通过Hadoop，可以轻易的将多台普通的或低性能的服务器组合成分布式的运算-存储集群，提供大数据量的存储和处理能力。

2012-07-03 10:57:54

Hadoop核心机制
Hadoop集群系列8：Eclipse开发环境设置
本文为Hadoop集群系列第八篇，今天我们讲讲Hadoop条件下，Eclipse开发环境设置。

2012-07-03 08:37:24

Hadoop集群
Hadoop集群系列7：WordCount运行详解
本文为Hadoop集群系列第七篇，单词计数是最简单也是最能体现MapReduce思想的程序之一，可以称为MapReduce版"Hello World"。

2012-06-29 10:58:27

Hadoop集群
大数据计算：Hadoop的前世今生
大数据计算我们把它理解成为一个什么事情呢?目前现在这个时代通信、网络等等这些电子信息技术发展，使数据规模得到了极大的增加。

2012-06-29 09:19:39

大数据
了解关于Hadoop的12个事实
本文中，分析师给出了关于Hadoop的12点事实，帮助您认识一个真实的Apache Hadoop生态系统。

2012-06-28 15:57:08

Hadoop
Hadoop集群6：JDK和SSH无密码配置
本文为Hadoop集群系列第六篇，包括JDK和SSH无密码配置。如果你的计算机仅仅作为开发使用时推荐使用这种方法，因为所有用户的shell都有权使用这些环境变量，可能会给系统带来安全性问题。

2012-06-28 10:52:06

Hadoop集群
Hadoop 2.0预计将在一年内面世
Hadoop 1.0于2011年年底发布，具有强大的Kerberos身份验证功能，并支持HBase数据库，但该版本由于MapReduce的限制，让个人用户无法卸载集群。新的Hadoop 2.0即将面世，HortonWorks公司(该公司一直是Apache Hadoop的贡献者)首席技术官Eric Baldeschwieler透露了即将发布的2.0中包含的功能。

2012-06-26 15:20:30

Hadoop 2.0
快速部署Hadoop基础架构
据国外媒体消息，为应对海量数据浪潮，VMware启动Serengeti开放原始码计划，便于企业在VMware vSphere虚拟化平台上快速部署与管理Apache Hadoop集群，部署虚拟化技术与分布式计算混用的基础架构。

2012-06-26 15:13:50

Hadoop数据架构
Hadoop集群系列5:Hadoop安装配置
本文为Hadoop集群系列第五篇，SecureCRT是一款支持SSH（SSH1和SSH2）的终端仿真程序，同时支持Telnet和rlogin协议。

2012-06-25 10:30:06

Hadoop集群
VMware的Hadoop大数据战略：精明还是错误？
虚拟基础架构云上的Hadoop消除了可靠性问题;通过vSphere,Hadoop应用如果节点失败能够自动重启。此外，虚拟化巨鳄也正致力于同Hadoop社区成员合作，包括Cloudera Inc.、Greenplum、Hortonworks、IBM,继续致力于ASF的可扩展性，这也是Hadoop“虚拟化感知”的要害所在。

2012-06-21 09:56:50

VMware大数据
Hadoop集群系列4:SecureCRT使用
本文为Hadoop集群系列第四篇，SecureCRT是一款支持SSH（SSH1和SSH2）的终端仿真程序，同时支持Telnet和rlogin协议。

2012-06-20 09:19:19

Hadoop集群
Hadoop集群系列3:VSFTP安装配置
本文为Hadoop集群系列第三篇，VSFTP是一个基于GPL发布的类Unix系统上使用的FTP服务器软件，它的全称是Very Secure FTP。

2012-06-19 15:51:22

集群系列2
Hadoop，有所为而有所不为 译文
但是尽管Hadoop颇具吸引力，想了解Hadoop能够为企业扮演什么角色、如何最有效地部署它，仍要面临一条很陡的学习曲线。换句话说，学起来很费劲。只有明白了Hadoop的有所为而有所不为，你才能更清楚地了解如何才能最有效地把它部署到你自己的数据中心或云环境。然后，才可以为部署的Hadoop落实最佳实践。

2012-06-19 09:28:46

Hadoop
Hadoop集群系列2:机器信息分布表
本文为Hadoop集群系列第二篇，讲述如何采用4台安装Linux环境的机器来构建一个小规模的分布式集群。

2012-06-19 09:28:33

Hadoop集群
Hadoop体系的强大工具组合
HDFS和MapReduce只是打造Hadoop平台最基本的核心套件，在Apache基金会的网站中还有其他的相关开源套件，共同组成了一个Hadoop体系（Hadoop Ecosystem）。

2012-06-15 14:38:29

Hadoop分布式文件系统
Facebook分享：解决Hadoop的单一故障点 译文
Facebook的工程师们开发出了一种方法，以规避Hadoop数据分析平台的一个根本缺点：只依赖单单一台名称服务器来协调所有运营。Facebook估计，如果可以克服这个缺点，就能将其数据仓库的停机时间缩短几乎一半。为了解决这个问题，Facebook开发出了一款名为Avatarnode的软件：万一主名称节点由于某种原因而失效，该软件就会切换至备用名称节点。

2012-06-15 09:54:19

FacebookHadoop
VMware推Serengeti项目 支持Hadoop虚拟化
VMware于美国时间本周三宣布了Serengeti开源项目，旨在为Hadoop在VMware虚拟化环境中的使用进行优化。

2012-06-15 09:22:56

VMware
Hadoop集群系列1:CentOS安装配置
本文为Hadoop集群系列第一篇，CentOS安装配置。CentOS是一个基于Red Hat企业级Linux提供的可自由使用的源代码企业级的Linux发行版本。

2012-06-13 09:56:53

Hadoop集群
SQL Server 2012将与Hadoop无缝集成
SQL Server 2012致力提供大规模且低成本的分析数据和数据仓库解决方案，并保证实现规模化和灵活性。在大数据时代Microsoft也做出了一些完善：SQL Server 2012将与Hadoop无缝集成。

2012-06-08 10:00:01

SQL ServerBig DataHadoop
IT企业利用云计算平台Hadoop的10种方式
如果你是世界上广大Hadoop用户的一员，你肯定知道Google曾经靠着分布式计算技术（Hadoop），在搜索引擎和广告方面取得了举世瞩目的成就。而今天我们要探讨的是，Hadoop 作为基础云计算平台，除了广告，IT公司还用哪些方式在利用Hadoop。

2012-06-07 13:39:20

Hadoop云计算
IT企业利用云计算平台Hadoop的10种方式
如果你是世界上广大Hadoop用户的一员，你肯定知道Google曾经靠着分布式计算技术(Hadoop)，在搜索引擎和广告方面取得了举世瞩目的成就。今天我们要探讨的是，Hadoop 作为基础云计算平台，除了广告，IT公司还用哪些方式在利用Hadoop。

2012-06-07 09:28:41

云计算Hadoop
Hadoop也需要有数据生命周期管理
我们希望让Hadoop来承载海量结构化数据和非结构化数据的存储，以及部分的数据加工，也许以后还会通过HIVE或者PIG的方式承载一些高端的即席查询任务。这种混合而不是单一的任务注定了也需要实施生命周期管理，因为数据加工通常是对近段时间的数据进行，而数据存储和数据查询则需要对历史数据进行。

2012-06-06 15:55:36

Hadoop数据
分散处理 Hadoop架构服务器角色
在Hadoop运算集群架构中，先分解任务，分工处理再汇总结果这些服务器依据用途可分成Master节点和Worker节点，Master负责分配任务，而Worker负责执行任务，如负责分派任务的操作，角色就像是Master节点。

2012-06-05 08:59:35

Hadoop架构服务器
给Hadoop一个支点：撬动大数据
大数据大概是继云计算之后，最热门的科技名词了。一些科技厂商不约而同，纷纷打出大数据口号，情况就像云计算热潮一样。那么大数据到底是怎么回事？

2012-06-01 16:13:09

Hadoo大数据
如何使用Hadoop进入大数据库时代？
Hadoop有多火？从业界的一系列举动就可以看出来。包括甲骨文、微软、Sybase在内的主流数据库厂商都纷纷发布了Hadoop连接器产品，为的就是让用户可以在传统关系型数据库与开源分布式处理系统之间更轻松地传输信息。

2012-05-31 15:56:23

Hadoop大数据
大数据与Hadoop之间的关系
大数据，一种新兴的数据挖掘技术，它正在让数据处理和分析变得更便宜更快速。大数据技术一旦进入超级计算时代，很快便可应用于普通企业，在遍地开花的过程中，它将改变许多行业业务经营的模式。但是很多人对大数据存在误解，下面就来缕一缕大数据与Hadoop之间的关系。

2012-05-31 14:54:59

Hadoop大数据
Hadoop并非大数据处理的一切
Hadoop作为一个重量级的分布式处理开源框架已经在大数据处理领域有所作为，企业希望利用Hadoop来规划其自身未来数据处理的蓝图。从EMC、Oracle到Microsoft，几乎所有高科技厂商都在过去几个月中宣布了自己以Hadoop为基础的大数据战略。然而Hadoop并非大数据处理的一切。

2012-05-31 14:37:10

Hadoop大数据
Hadoop源码分析之心跳机制
既然“心跳”是Datanode主动给Namenode发送的。那Datanode是怎么样发送的呢？本文作者将对Hadoop的心跳机制进行详细的分析，详细请看内容

2012-05-31 02:54:07

HadoopJava
如何利用Hadoop降低大数据分析成本
大数据将成为代替云计算的新一代热门话题。这是必然的结果：随着时间的推移，企业产生的数据量已经越来越大了，这些数据包括客户购买偏好趋势、网站访问和习惯、客户审查数据等等;那如何利用Hadoop降低大数据分析成本呢?

2012-05-30 11:29:14

Hadoop大数据
浅析Hadoop文件格式
Hadoop 作为MR 的开源实现，一直以动态运行解析文件格式并获得比MPP数据库快上几倍的装载速度为优势。不过，MPP数据库社区也一直批评Hadoop由于文件格式并非为特定目的而建，因此序列化和反序列化的成本过高[7]。本文介绍Hadoop目前已有的几种文件格式，分析其特点、开销及使用场景。希望加深读者对Hadoop文件格式及其影响性能的因素的理解。

2012-05-29 09:48:21

Hadoop
Hadoop文件格式解读
Hadoop 作为MR 的开源实现，一直以动态运行解析文件格式并获得比MPP数据库快上几倍的装载速度为优势。本文介绍Hadoop目前已有的几种文件格式，分析其特点、开销及使用场景。希望加深读者对Hadoop文件格式及其影响性能的因素的理解。

2012-05-29 09:06:32

Hadoop文件格式
Big Data, Hadoop and StreamInsight
微软的首席StreamInsight™ 项目经理发布的一篇博客 Big Data, Hadoop and StreamInsight™，微软的大数据解决方案中包含 Microsoft StreamInsight™ 和微软的 Hadoop-based Services for Windows。

2012-05-28 13:58:36

Hadoop大数据
Apache Hadoop 2.0 Alpha 发布
Hadoop并不仅仅是一个用于存储的分布式文件系统，而是设计用来在由通用计算设备组成的大型集群上执行分布式应用的框架。

2012-05-28 09:23:40

JavaHadoopApache
如何使用Linux、Hadoop进行分布式计算
Hadoop 的一个应用是并行索引 Internet Web 页面。Hadoop 是一个受到 Yahoo!、Google 和 IBM 等公司支持的 Apache 项目。本文将介绍 Hadoop 框架，并展示它为什么是最重要的基于 Linux® 的分布式计算框架之一。

2012-05-21 16:28:29

LinuxHadoop
基于Hadoop的云计算模型研究
云计算是在网格计算基础上新兴的计算模型，是互联网公司争相追逐的新技术。云计算作为一种商业计算模型，可以把任务分布在大量的计算机构成的资源池上。介绍了云计算的关键技术，这些技术包含虚拟机和计算模型等，还基于Hadoop对云计算模型进行了研究。

2012-05-21 16:08:07

Hadoop云计算
如何用Hadoop搭建大型分布式应用？
在去年Techonomy会议上参加讨论时，谷歌CEO Eric Schmidt引用一个惊人的事实指出，我们现在每两天创造的信息和2003年以来整个历史上所创建的信息一样多。信息泛滥带来了一系列的技术突破，这让企业的数据存储扩展到数千亿字节甚至是数拍字节。谷歌在此领域的贡献是尤其值得注意，包括它在MapReduce上的工作，它是一种大型分布式数据处理的方法，谷歌采用此方法来记录位于索引资源（映射这些数据）收藏里的关键字或短语，接着再把这些位置的记录和清单返回给用户（将映射数据减少到紧密相关的结果）。映射和减少操作可以涵盖模式识别、图解

2012-05-21 10:19:31

Hadoop
三台主机建立Hadoop小集群
我们将介绍如何用三台主机建立Hadoop小集群，先用VMWare安装三台虚拟机（可以先安装一台，然后clone两台），按照节点安排及网络拓扑配置网络。

2012-05-21 09:42:12

Hadoop
Hadoop是一个值得信赖的推动引擎
2011年，对Hadoop来说注定是载入史册的一年：Yahoo!与风险投资公司BenchmarkCapital联合建立独立公司Hortonworks，接手Yahoo!开源软件平台ApacheHadoop；Hadoop海量数据分析平台Datameer、Karmasphere和Hadapt分别获得千万美元级别投资；一向对开源趋势不屑一顾的微软转投Hadoop怀抱；Hadoop之父DougCutting第一次莅临中国，布道Hadoop0.23……

2012-05-10 16:32:01

Hadoop
IDC：Hadoop、MapReduce相关收入预计将暴涨
根据IDC周一发布的最新报告，用于大数据分析的Hadoop和MapReduce编程框架相关的软件市场将会从2011年的7700万美元暴涨至2016年的8.128亿美元，年复合增长率为60.2%。

2012-05-09 09:13:29

IDCHadoopMapReduce
分布式计算平台Hadoop发展现状乱而稳定的解读
雅虎开发者Doug Cutting六年前创建了一个用于管理，存储和分析大量数据的平台，用他儿子的玩具大象命名，并把它交给阿帕奇软件基金会。鉴于围绕Hadoop建立的 整个行业的迅速，这会使某些人觉得非常惊讶，那就是阿帕奇软件基金会最近才推出了Apache Hadoop 1.0——被认为是足够稳定而成为“企业就绪”的第一个版本。

2012-05-08 10:46:38

Hadoop解读
Hadoop在MapReduce中使用压缩详解
Hadoop对于压缩格式的是透明识别,我们的MapReduce任务的执行是透明的，Hadoop能够自动为我们将压缩的文件解压，而不用我们去关心。

2012-04-23 10:30:38

Hadoop
数据分析不使用Hadoop的五大理由
我一度是Hadoop的忠实拥护者。我喜欢它可以轻而易举地处理PB级别的数据，喜欢它可以将运算扩展到数千个节点的分布式计算能力，也喜欢它存储和加载数据的灵活性。但在经历过一系列的探索与使用之后，我对Hadoop非常失望。

2012-04-18 09:42:36

数据分析Hadoop
Hadoop——Microsoft大数据战略的核心
众所周知，大数据浪潮正在渐渐的席卷全球的各个角落。而Hadoop正是这股风暴的动力之源。Microsoft更是史无前例的与Apache Hadoop社区合作。Microsoft此举就是希望利用自己在软件领域的优势构建一个打上Microsoft烙印的Hadoop生态圈。

2012-03-12 10:09:50

Hadoop微软大数据
大数据时代：Hadoop认证变身高薪敲门砖
众所周知，积极的参加各类的培训并获得相关的认证是IT专业人士的显著特征。而在2012年哪种技术会成为热点?毫无疑问是Hadoop。Apache Hadoop作为开源数据管理软件主要用来在分布式环境中的分析大量的结构化和非结构化数据。Hadoop已被用在包括Yahoo，Facebook，LinkedIn和eBay等众多流行的网站之中。

2012-03-12 09:45:57

大数据Hadoop云计算
Microsoft大数据计划：在Hadoop上用C#编程
Microsoft在去年10月西雅图举行的SQL PASS 2011峰会上宣布将与从Yahoo分拆出来的Hortonworks合作开发，旨在实现Windows Server和Windows Azure平台之上的Hadoop。Microsoft官方将未来支持Windows Azure和Windows Server的Hadoop框架的产品套件的代号定义为“Isotope”。

2012-03-05 10:19:23

微软Hadoop编程
除了Hadoop：带你了解更多大数据解决方案 译文
要对当下的大数据解决方案进行分类评估可着实不是易事。首先，大数据工具似乎是在一夜之间就如雨后春笋般涌现出来，因此大家自然会对它们抱有一丝怀疑，毕竟像Hadoop与NoSQL这样的大项目也才刚刚付诸实际应用。

2012-02-29 09:20:24

Hadoop大数据解决方案
淘宝Fourinone介绍及与Hadoop的性能PK
FourInOne（中文名字“四不像”）是一个四合一分布式计算框架，在写这个框架之前，我对分布式计算进行了长时间的思考，也看了老外写的其他开源框架,当我们把复杂的hadoop当作一门学科学习时，似乎忘记了我们想解决问题的初衷：我们仅仅是想写个程序把几台甚至更多的机器一起用起来计算。

2012-02-27 09:28:34

HadoopFourinone淘宝
利用Hadoop搭建大型分布式应用系统
本文介绍了如何利用Hadoop搭建大型分布式应用，Hadoop已经是分布式数据处理的实际解决方案了，数十个国际公司已经从执行和开发两个方面大力投资该项目。

2012-02-23 09:59:05

Hadoop分布式应用
思科UCS服务器将支持Greenplun Hadoop
思科将和EMC合作在其UCS服务器上新增支持Greenplum Hadoop。思科的服务器访问及虚拟技术群组架构师Raghunath Nambiar在博文中表示，这两个虚拟计算环境公司采取迂回的方式，提供预配置Hadoop堆栈，结合思科的C系列机架服务器和Greenplum同名的Greenplum MR Hadoop 分布。

2012-02-21 09:28:09

思科UCS服务器Greenplun H
上一页 1 ··· 1213141516 17
点赞

51CTO技术栈公众号

业务
速览
在线客服