51CTO首页
内容精选
博客
学堂
精培
企业培训
CTO训练营
智能汽车
开源基础软件社区
WOT全球技术创新大会
公众号矩阵
移动端
免费课程课程排行直播课软考学堂
精品班厂商认证IT技术2023年软考PMP项目管理
在线学习企业服务
CTO训练营技术经理研习营LeaTech峰会
文章资源问答开源课堂专栏直播
51CTO
开源基础软件社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
开源基础软件社区订阅号
51CTO学堂APP
51CTO学堂企业版APP
开源基础软件社区视频号
账号设置 退出

Hadoop

829内容  
涵盖Hadoop相关研究热点、技术难点与应用场景，让用户更加深入地学习这一大数据基础技术。
文章 博文
共 829 条
Ubuntu 12.04 搭建 hadoop 集群版环境
hadoop集群的环境如何搭建？其实，搭建的流程和单机版基本差不多，本文是对搭建过程的一个总结梳理，欢迎查阅。

2012-11-01 17:15:04

hadoop集群
Cloudera Impala：将Hadoop变为分析型数据库
虽然Impala同Hadapt相比还略显不成熟，但是它还是有很多优势：它是免费的；它的可管理性更好；它针对一些环境的性能是非常好的。Monash认为Impala将成为Hadoop转向分析型数据库的重要工具。

2012-11-01 10:01:56

HadoopClouderaImpala
Splunk实现与Hadoop的集成与监控
Splunk在Strata Conference + Hadoop World上推出Splunk Hadoop Connect和Splunk App for HadoopOps。前者实现与Hadoop相集成，并且能够与其进行互动，后者监控超越Hadoop本身的集群资源，这些都意味着Hadoop外延应用越来越丰富，当然也意味着今年国内HBTC 2012会议会更加精彩！

2012-10-29 10:14:07

APPHadoopSplunk
Cloudera Impala：基于Hadoop的实时查询开源项目
号外！Cloudera发布了实时查询开源项目Impala！多款产品实测表明，比原来基于MapReduce的Hive SQL查询速度提升3～90倍。Impala是Google Dremel的模仿，但在SQL功能上青出于蓝胜于蓝。

2012-10-29 09:55:52

HadoopImpalaDremel
Hadoop管理员的十个最佳实践
Hadoop工具因大数据的火热而流行起来，但你是否真的已经掌握的Hadoop的使用技能，本文基于Cloudera CDH 3u4编写的，提供了一些关于Hadoop的管理方法。

2012-10-29 09:30:47

HadoopHadoop集群Hadoop生态系统包
Splunk为Hadoop用户开启全新机会
O’Reilly Strata大会+ Hadoop World(纽约)全球领先的实时运营信息软件供应商Splunk(NASDAQ:SPLK)今天宣布Splunk Hadoop Connect和Splunk App for HadoopOps现已全面上市。Splunk Hadoop Connect可提供双向集成，轻松可靠地完成在Splunk与Hadoop之间迁移数据

2012-10-24 11:11:32

Splunk
拓展Hadoop范畴
围绕Hadoop，产业链更加清晰。十月或许是大数据历史上值得标注的一个月，因为Hadoop会被重新定义：既可以是大数据批量处理的一个研究框架，也可以是结构化与非结构化数据大规模并行分析数据高速的发动机，交互分析的产品。Birst、Splice Machine和Teradata这三家企业的产品从外延提升了Hadoop的应用范畴。

2012-10-22 10:14:30

HadoopMapReduce
硅谷顶尖技术人员纷纷转投Hadoop创业企业
Hadoop不仅是成熟的大数据处理技术，更带来了无限的商业期待和吸引硅谷高级技术人才的磁石。围绕在Hadoop周围，在各路风投的推波助澜下，诞生了MapR、Hortonworks、Cloudera等创业公司，更吸引了Facebook、Yahoo、VMware、思科等高级人才加盟。

2012-10-16 09:54:21

MapRHortonworksCloudera
大数据利器Hadoop的应用现状和发展趋势
Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。用户可以利用Hadoop轻松地组织计算机资源，从而搭建自己的分布式计算平台，并且可以充分利用集群的计算和存储能力，完成海量数据的处理。

2012-09-28 11:00:19

大数据Hadoop
Hadoop是大数据平台的唯一？ 原创
“忽如一夜春风来，千树万树梨花开。”用岑参的这句诗形容大数据最为形象不过了。随着云计算日渐成熟，大数据话题好像突然变得尤为火热，大数据时代正在悄然降临。而提到大数据，不得不说的是与大数据相关的技术名词，Hadoop、MapReduce、Hbase、NoSQL等，业界的众多厂商也都开始从技术入手，打造各自的大数据解决方案，一时间，Hadoop成为了大数据的代名词。

2012-09-26 22:18:19

IBM大数据Hadoop
Hadoop架构二三事儿
Hadoop是IT行业一个新的热点，是云计算的一个具体实现、Hadoop本身具有很高的技术含量，是IT工程师学习的首选！下面我们来详细讲讲什么是Hadoop。

2012-09-21 09:49:37

HadoopHDFS
基于流的数据处理可以使Hadoop运行更快吗？
Apache Hadoop分布式文件处理系统是有好处的，而且它正在获得注意力。然而，它也有坏处。有些组织发现从Hadoop开始的话需要重新思考软件架构，而且它所需要的数据技能也是必要的。

2012-09-20 11:23:18

Hadoop云计算
分布式计算Hadoop简介
Hadoop是什么：Hadoop是一个开发和运行处理大规模数据的软件平台，是Appach的一个用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算。

2012-09-19 14:09:20

Hadoop开源
Hadoop成功实施案例之旅游行业 译文
前言：上文讲过《Hadoop成功部署案例之eBay篇》与《Hadoop成功部署案例之eBay篇》后，为大家带来第三篇Hadoop成功案例介绍。在本文中为大家介绍的是Orbitz Worldwide旗下的全球消费者旅游品牌每天要处理数以百万计的搜索和交易。

2012-09-18 13:19:45

Hadoop
Hadoop 2.0集群配置详细教程
Hadoop是apache的开源项目，开发的主要目的是为了构建可靠，可拓展scalable ，分布式的系统， Hadoop是一系列的子工程的总和。我们今天就谈谈Hadoop 2.0集群配置。

2012-09-18 09:55:44

Hadoop 2.0
通过Informatica释放Hadoop强大潜能
在大数据时代，许多人寄希望于Hadoop厂商们能够开发出成熟可靠的工具、功能和技术创新，以更经济的方式、更好的性能实现数据处理和分析。拥有近20年数据集成创新经验和领导才能的Informatica，扩展了其数据集成平台以支持Hadoop，最新发布的Informatica 9.5提供了全新及扩展功能，极好的释放了Hadoop潜能，帮助客户实现大数据最大投资回报。

2012-09-13 16:59:06

InformaticaHadoop大数据
Hadoop集群搭建之SSH无密码登录配置
在多台电脑上搭建Hadoop集群已经有一段时间了，SSH无密码登录服务配置成了一道无法逾越的鸿沟，在启动hadoop集群时，老是让输入datanode也就是slave的密码，但是输入密码但却总是提示permission denied，启动不了datanode。为什么呢？下面就对ssh密码登录其他主机做一个粗略的说明。

2012-09-13 13:26:40

Hadoop集群
大数据来袭 传统IT厂商紧握Hadoop机遇
大数据时代已经来临，并悄悄的影响着我们的生活。根据IDC最近一项研究显示，在Facebook上每20分钟就有100万个新链接被分享，1000万条用户评论被发布。Facebook和其他所有互联网网站、互联网应用，已经逐渐变成了整个数据采集、分析、处理、增值的数据架构。

2012-09-13 10:07:10

大数据Hadoop
Hadoop成功部署案例之通用电气(GE) 译文
上文讲过《Hadoop成功部署案例之eBay篇》后，为大家带来第二篇Hadoop成功案例介绍。在本文中为大家介绍的是通用电气公司的Hadoop成功实施方案。据通用电气公司（GE）Hadoop技术部的产品经理Linden Hillenbrand声称，情感分析很棘手——它不仅仅是个技术挑战，还是个业务挑战。

2012-09-11 09:57:09

Hadoop部署方案
如何让Hadoop运行得更快一些？
在数据处理方面，我们发现数据输入速度一般要比的数据处理速度快很多，这种现象在大数据领域尤为明显。随着数据不断膨胀，相应的响应时间自然要有所增加，数据处理的复杂度也在不断提高。对于Hadoop来说，如何提升它的速度呢？来看看下文。

2012-09-11 09:16:52

Hadoop
探秘淘宝Hadoop集群
据悉，淘宝Hadoop集群拥有2860个节点，清一色基于英特尔处理器的x86服务器，其总存储容量50PB，实际使用容量超过40PB，日均作业数高达15万，为淘宝网的日常运营做出了关键支撑。对了，它还有一个很美丽的名字：“云梯”。

2012-09-10 15:18:11

云梯淘宝大数据
Hadoop成功部署案例之eBay篇 译文
据估计，到2015年，全世界一半以上的数据将涉及Hadoop——围绕这个开源平台的生态系统日益庞大，这有力地印证了这个惊人的数字。然而，有些人表示，虽然Hadoop是眼下热闹非凡的大数据领域最热话题，但它肯定不是可以解决数据中心和数据管理方面所有难题的灵丹妙药。考虑到这一点，我们暂且不想猜测这个平台未来会如何，也不想猜测彻底改变各种数据密集型解决方案的开源技术未来会如何，而是关注让Hadoop越来越火的实际应用案例。

2012-09-10 09:39:31

Hadoop成功部署案例eBay
让你的Hadoop运行的更快
目前，在数据处理上，我们输入数据的速度往往比我们处理数据的速度快得多。在大数据的环境下，这个问题正变得更加明显。针对这个问题，GigaSpaces的CTO和创始人Nati Shalom日前在他的博客中介绍了如何让Hadoop的速度更快的相关技术。

2012-09-06 09:36:17

谷歌NatiShalom数据处理
大数据案例分析：电信业Hadoop应用分析
联通采用了Hadoop、HBase，这里面还有用户管理员信息等等。目前，在客服使用当中感觉也是非常非常好的，更重要的是利用这个系统可以做深入的数据挖掘工作。

2012-09-05 10:21:33

大数据
开源破解大数据困局 Hadoop非唯一选择
以Hadoop为代表的一系列开源技术，成为大数据存储、处理和分析的主力军。各大IT巨头瞄准开源技术，纷纷推出各自的大数据战略。Hadoop作为其中的最受关注的技术，已逐渐走向商业化的道路，面向企业提供商用版本，就像红帽对Linux的做法一样。

2012-09-05 09:34:30

大数据
运维经验分享：Hadoop管理员的十个最佳实践
大多数管理员都是从Apache Hadoop开始学习。笔者最开始也使用Apache版本Hadoop进行开发和部署工作，但接触到Cloudera CDH后，我发现它可以使管理员的工作更简单，不仅可以获得最新的特性和Bug修复，有时也会带来令人惊喜的性能改善。

2012-09-03 10:39:13

Hadoop管理员
Hadoop管理员的十个最佳实践
接触Hadoop有两年的时间了，期间遇到很多的问题，既有经典的NameNode和JobTracker内存溢出故障，也有HDFS存储小文件问题，既有任务调度问题，也有MapReduce性能问题.遇到的这些问题有些是Hadoop自身的缺陷（短板），有些则是使用的不当。

2012-09-03 10:33:43

Hadoop管理员
开源破解大数据困局 Hadoop非唯一选择
大数据不仅影响着人们生活的方方面面，更重要的是它给企业带来的改变。一提到大数据，往往会与Hadoop联系起来。不可否认，Hadoop的确是一款非常出色的处理大数据的开源工具。

2012-09-03 10:03:13

开源大数据Hadoop
与小象共舞 领略Hadoop风采——Hadoop培训9月火热报名中
据预测，到2020年，电子数据存储量将在2009年的基础上增加44倍，达到35万亿GB。根据IDC数据显示，截止到2010年，这个数字已经达到了120万PB，或1.2ZB。如果把所有这些数据都存入DVD光盘，光盘高度将等同于从地球到月球的一个来回也就是大约 480,000英里。在这个巨大的数据金矿面前，Hadoop作为对大量有序或无序数据集合的挖掘工具显得尤为亮丽，或普通了解或全面掌握Hadoop成为从事云计算和大数据挖掘工作人员的一项必修课。

2012-08-31 14:38:23

Hadoop
VMworld 2012：Hadoop离虚拟化还有多远？
如果软件应用能够超越一切基础架构的差异性，企业IT将会少掉多少烦恼?本周举行的VMworld 2012大会上，VMWare重申了该公司的重大图谋：将所有物理资源虚拟化，实现全面池化以快速调配和部署，即软件定义型数据中心(SDDC)。在应用层，这家虚拟化巨头正在努力将Hadoop搬进虚机之中，以应对“大数据”。

2012-08-31 10:07:34

VMware
深入理解Hadoop集群和网络
本文将着重于讨论Hadoop集群的体系结构和方法，及它如何涉及到网络和服务器基础设施。开始我们先学习一下Hadoop集群运作的基础。

2012-08-31 10:00:12

Hadoop云计算群集网络
海量数据的二度人脉挖掘算法（Hadoop 实现）
最近做了一个项目，要求找出二度人脉的一些关系，就好似新浪微博的“你可能感兴趣的人” 中，间接关注推荐；简单描述：即你关注的人中有N个人同时都关注了 XXX 。

2012-08-28 09:15:33

Hadoop海量数据挖掘算法
开源八预言：桌面linux必亡、Hadoop要火_IT技术周刊第286期_51CTO.com 原创
近两年，在IT圈中开源这个词已经变得越来越常见，人人开口闭口谈云计算OpenStack、大数据Hadoop、手机Android，开源Linux。开发者、运维人员和IT媒体们也开始关注Eucalyptus、OpenStack、Hadoop、Ubuntu这些开源项目。

2012-08-27 10:23:24

IT技术周刊
开源八预言：桌面linux必亡、Hadoop要火
近两年，在IT圈中开源这个词已经变得越来越常见，人人开口闭口谈云计算OpenStack、大数据Hadoop、手机Android，开源Linux。开发者、运维人员和IT媒体们也开始关注Eucalyptus、OpenStack、Hadoop、Ubuntu这些开源项目。

2012-08-20 08:58:40

开源linuxHadoop
天云趋势联合中云学院举办Hadoop培训 火热报名中
天云趋势联合中云学院举办Hadoop培训 火热报名中

2012-08-09 15:40:16

Hadoop培训
近期Hadoop实施心得与总结
Hadoop实施已经有快一个月了，对Hadoop(1.0.3)的概念理解、使用，Linux 与 Shell脚本，甚至对 Mysql 都有了更多的理解。

2012-08-09 09:42:23

HadoopNoSQL实施
用Hadoop和MapReduce进行大数据分析
Google在2001年发布图像搜索功能时，只有2.5亿索引图像，不到10年，这个巨大的搜索功能已经可以检索超过100亿个图像了，每分钟有35小时的内容上传到YouTube。据称，Twitter每天平均5500万条记录。早些时候，搜索功能每天记录6亿条查询记录。这就是我们讨论大数据的意义所在。

2012-08-08 09:53:23

HadoopMapReduce
天云趋势联合中云学院推出Hadoop培训公开课
目前，互联网正从数据爆炸进一步发展到海量数据分析和挖掘的时代，而基于Hadoop技术的解决方案为海量数据存储和处理提供了经济、高效、高安全性和高可靠性的保障，Apache Hadoop也因此成为大数据行业发展背后的驱动力。

2012-07-18 10:30:40

Hadoop培训
Hadoop危机？替代HDFS的8个绝佳方案
HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，坦白说HDFS是一个不错的分布式文件系统，它有很多的优点，但也存在有一些缺点，包括：不适合低延迟数据访问、无法高效存储大量小文件、不支持多用户写入及任意修改文件。

2012-07-13 10:17:39

HadoopHDFS
Hadoop的十大应用场景
在大数据背景下，Apache Hadoop已经逐渐成为一种标签性，业界对于这一开源分布式技术的了解也在不断加深。但谁才是Hadoop的最大用户呢？

2012-07-12 09:41:42

Hadoop分布式技术
Hadoop架构中的HDFS和NameNode
到目前为止，我们谈到Hadoop是一个创建分布式集群的框架，能够处理大的、不同的数据集。然而，另一个说法是将Hadoop理解为一个存储设备或存储环境。确实，它是一个能够在其上创建应用的平台，有存储PB级数据的能力。此外，它能够处理并分析数据;提供越来越多的“大数据”应用结果。

2012-07-11 17:21:23

HadoopHDFS
Hadoop集群系列9:HDFS初探之旅
本文为Hadoop集群系列第九。HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础篇，今天我们讲讲Hadoop条件下，Eclipse开发环境设置。

2012-07-05 10:51:57

Hadoop集群
告诉你Hadoop是什么
Hadoop是什么？Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算.

2012-07-03 16:56:12

Hadoop
Facebook的Hadoop应用与故障转移方案
我们知道，Facebook使用Hadoop来进行大数据的处理，但Facebook又是如何保障频繁、庞大的数据请求等高压环境下不发生故障的呢？我们一起来了解一下Facebook内部的Hadoop使用情况以及其NameNode故障转移技术。

2012-07-03 11:38:32

FacebookHadoop
Hadoop核心机制详细解析
Hadoop的核心机制是通过HDFS文件系统和MapReduce算法进行存储资源、内存和程序的有效利用与管理。在现实的实例中，通过Hadoop，可以轻易的将多台普通的或低性能的服务器组合成分布式的运算-存储集群，提供大数据量的存储和处理能力。

2012-07-03 10:57:54

Hadoop核心机制
Hadoop集群系列8：Eclipse开发环境设置
本文为Hadoop集群系列第八篇，今天我们讲讲Hadoop条件下，Eclipse开发环境设置。

2012-07-03 08:37:24

Hadoop集群
Hadoop集群系列7：WordCount运行详解
本文为Hadoop集群系列第七篇，单词计数是最简单也是最能体现MapReduce思想的程序之一，可以称为MapReduce版"Hello World"。

2012-06-29 10:58:27

Hadoop集群
大数据计算：Hadoop的前世今生
大数据计算我们把它理解成为一个什么事情呢?目前现在这个时代通信、网络等等这些电子信息技术发展，使数据规模得到了极大的增加。

2012-06-29 09:19:39

大数据
了解关于Hadoop的12个事实
本文中，分析师给出了关于Hadoop的12点事实，帮助您认识一个真实的Apache Hadoop生态系统。

2012-06-28 15:57:08

Hadoop
Hadoop集群6：JDK和SSH无密码配置
本文为Hadoop集群系列第六篇，包括JDK和SSH无密码配置。如果你的计算机仅仅作为开发使用时推荐使用这种方法，因为所有用户的shell都有权使用这些环境变量，可能会给系统带来安全性问题。

2012-06-28 10:52:06

Hadoop集群
上一页 1 ··· 1112131415 ··· 17
点赞

51CTO技术栈公众号

业务
速览
在线客服