51CTO首页
AI.x社区
博客
学堂
精品班
直播训练营
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

Hadoop

835内容  
涵盖Hadoop相关研究热点、技术难点与应用场景，让用户更加深入地学习这一大数据基础技术。
文章 博文
共 835 条
White Elephant：开发者必备的Hadoop利器
为了应对这些超大数据，LinkedIn使用Hadoop进行产品开发，并且为了更好地理解LinkedIn在所有用例中的Hadoop集群使用情况，他们创建了White Elephant。

2013-07-19 09:47:57

White ElephHadoopLinkedIn
Hadoop：Cloudera收购Myrrix共创“Big Learning”
目前机器学习已经成为大数据的典型使用案例，通过收购机器学习创业公司Myrrix，Cloudera又朝着其大数据一站式服务点的目标迈进了一步。Myrrix创始人Sean Owen， 7月16日上午在博客中正式宣布了这一收购，Sean Owen目前已担任Cloudera位于伦敦的数据科学部总监。

2013-07-19 09:43:16

Hadoop大数据Cloudera
Hadoop新貌，掀起企业工作流的革命
Hadoop走入大型机 — Hadoop能够掀起企业工作流的革命，让企业的业务变得更加快捷，能够直接消除平台限制，为企业节省百万成本。基于Hadoop的生态环境与整体解决方案能够大幅度的降低大型机的批处理时间，在更细致的水平上进行数据存取与分析。

2013-07-19 09:07:28

Hadoop工业流
Hadoop集群部署（部署脚本，namenode高可用）
本文的所有部署都基于cloudera公司的CDH4,CDH4是cloudera公司包装好的hadoop生态圈一系列yum包，把CDH4放到自己的yum仓库中，能极大的提高hadoop环境部署的简易性。

2013-07-11 13:39:23

Hadoop
VMware对大数据平台Hadoop实现虚拟化 译文
VMware宣布的这些新功能是公共测试版的一部分，使用vSphere 5.1的客户现在可以报名申领公测版;预计这些功能会在年底前正式投放市场。除了宣布这些扩展件外，VMware还表示Serengeti项目支持来自Apache Hadoop的最新开源代码，其中包括新的YARN功能：Hadoop社区的一些人认为，这款资源管理器有望为基于Hadoop平台开发的新应用程序打开闸门。

2013-07-08 09:50:22

VMwareHadoop虚拟化
Hadoop+GPU强强联手的性能探索
Hadoop并行处理可以成倍地提高性能。现在的问题是如果将一部分计算工作从CPU迁移到GPU会怎么样?能否更快理论上，这些处理如果经过了并行计算的优化，在GPU上执行会比CPU快50-100倍。

2013-07-08 09:41:50

HadoopGPU性能优化
XOR的黄色大象：Erasure Code为Hadoop节省数据恢复带宽
如何在尽可能少的成本下，保证数据安全，或在数据丢失后实现快速恢复？这的确是个不小的挑战。在Azure和Facebook中都使用了Erasure Code，这是一种替代Hadoop三副本和传统Reed Solomon Code的高效算法。

2013-07-05 10:12:35

HadoopErasureCodeReed
Hadoop Summit 2013 Day1：BOF&Meetup
YRAN的Developer Meetup是几个HortonWorks的哥们主持的，先是收集大家的问题，主要包括intro、roadmap、API、compability、Storm、HBase等内容，以讨论形式为主。

2013-07-03 14:53:48

BOFhadoop
Hadoop Summit 2013 Day2：信息大爆炸
今天参加了3个keynotes，42个session中的8个，和一大堆厂商讨论技术，真是信息大爆炸的一天。

2013-07-03 14:27:05

hadoop
大数据初创企业WibiData将Hadoop“打包”
其实WibiData在创立初期，并没有什么宏伟的战略规划，仅仅是想成为第一个提供基于Hadoop商业应用套件的软件供应商(即使不是第一，也应该是之一)。在今年5月份，WibiData宣布获得了1500万美元的B轮融资，该轮融资由Canaan Partners领投，原有的投资者NEA以及谷歌董事长埃里克·施密特也有参投，共同助力WibiData完成这一宏伟的目标。

2013-07-02 13:38:59

WibiDataHadoopCloudera
VMware筹备Serengeti项目 欲推Hadoop虚拟工具
作为一家像VMware这样的服务器虚拟化供应商，其眼中恐怕没有哪种工作负载不能(或者说不应该)，被以抽象形式剥离底层硬件、从而使其变得更具可塑性与便携性。从这个角度出发，VMware理所当然地把Hadoop作为下一个进军目标——顺便赚点经济回报。

2013-07-01 10:07:14

VMwareHadoop虚拟工具
Netflix开源Hadoop工具：日处理近万作业、上千TB数据
而近日，这头来自Netflix的妖怪终于被放出神灯， 于GitHub上开源 。在这里不得不感叹一句Amazon确实该给Netflix颁发个最佳生态伙伴奖。

2013-06-28 11:29:15

云计算数据Hadoop
TCloud牵手WANdisco 加速Hadoop中国发展
通过合作，TCloud将为国内企业客户及现有WANdisco的客户提供综合性的Hadoop解决方案，其中包括业务使用情况调查、开发、集成、交付和服务支持。

2013-06-27 17:48:05

TCloudHadoop
ChinaHadoop夏季技术沙龙
集结号再次响起，ChinaHadoop开源社区再次联络在互联网公司具有多年Hadoop大数据平台使用经验的技术专家，在盛夏之际为大家献上一场精彩的技术分享活动。

2013-06-24 10:45:26

ChinaHadoop
雅虎之子创立Hadoop公司
Altiscale集群服务允许企业用户将Hadoop集群的更新与维护工作外包给由前谷歌及雅虎员工们组成的技术团队，该团队承诺帮助用户从数据分析平台管理工作中解脱出来。

2013-06-17 09:50:26

雅虎Hadoop大数据
前雅虎CTO发布Hadoop云服务Altiscale
最近，Stata创办的Hadoop创业公司Altiscale募集了1200万美元A轮融资。Stata曾亲手将Hadoop从一个小微项目打造成一个规模可达42000个节点的大型生产系统，而Altiscale，正是Stata在Hadoop技术领域浸淫7年的成果。

2013-06-14 09:24:59

Hadoop云服务Altiscale
Ubuntu 12.04搭建Hadoop2.0.4单机版伪分布式环境
本文将为您介绍Ubuntu 12.04搭建Hadoop2.0.4单机版环境的过程，希望对大家有所帮助。

2013-06-13 10:39:54

Hadoop2.0.4
Hadoop 2.0：分布式环境搭建安装配置
今天我们将搭建的是Hadoop 2.0分布式环境，包括真实主机和虚拟机的环境。

2013-06-08 14:34:42

Hadoop 2.0
详解Hadoop 2.0中的CDH4 MR配置
我们今天要谈到的是Hadoop 2.0中的CDH4 MR配置，另外mr1,mr2不能同时运行在hadoop资源上，但是可以调整配置，使其两者可切换启动。

2013-05-30 09:07:29

Hadoop 2.0
技术小白：Hadoop 到底是啥？
大数据是个铺天盖地的词，而谈论大数据又不可避免地要提到Hadoop，遗憾的是今天大多数大数据鼓吹者，甚至专业人士其实并不能说清楚Hadoop到底是什么玩意，以及有何功用，而他们的管理层小白听众更是一头雾水。

2013-05-29 10:17:56

Hadoop分布式文件系统
Hadoop 2.0 Yarn代码:心跳驱动服务分析
当RM(ResourcesManager)和NM(NodeManager)陆续将所有模块服务启动，最后启动是NodeStatusUpdater，NodeStatusUpdater将用Hadoop RPC远程调用ResourcesTrackerService中的函数，进行资源是初始化等操作，为将要运行的Job做好准备。以下主要分析在Job提交之前 RM与NM在心跳的驱动下操作。

2013-05-29 09:22:03

Hadoop 2.0
Hadoop 2.0发布 大数据新突破在即
不过这并不一定就是坏事。把Hadoop当作廉价有效的存储正好是Hadoop下一阶段演进的的完美起点。今年夏天就要亮相的Hadoop 2.0将会令数据仓库中的信息以及非结构化数据池前所未有地容易访问。

2013-05-28 09:49:04

Hadoop 2.0大数据数据存储
Hadoop 2.0 NameNode HA和Federation实践
天云趋势在2012年下半年开始为某大型国有银行的历史交易数据备份及查询提供基于Hadoop的技术解决方案，由于行业的特殊性，客户对服务的可用性有着非常高的要求，而HDFS长久以来都被单点故障的问题所困扰，直到Apache Hadoop在2012年5月发布了2.0的alpha版本，其中MRv2还很不成熟，可HDFS的新功能已经基本可用，尤其是其中的的High Availability(以下简称HA)和Federation。Cloudera也于7月制作了CDH4.0.1，包含了Hadoop 2.0的诸多新功能和组件，于是我们就基于CDH4.0.1进行了HA和Federation的测试。此工作由我和同事张军、钱兴会共同完成。

2013-05-28 09:12:59

Hadoop 2.0
Hadoop 2.0：大数据的新突破在即
以往 Hadoop 似乎就是大数据的代名词。不过最近随着大数据应用的深入，大家已经越来越倾向于仅仅把它看成是大数据的一个存储工具了。接下来的Hadoop 2.0就为了解决之前所出现的问题。

2013-05-27 15:12:49

Hadoop 2.0
Hadoop 2.0.3在Linux环境下单机部署
与之前的稳定的hadoop-1.x相比，Apache Hadoop 2.x有较为显著的变化。这里给出在HDFS和MapReduce两方面的改进。

2013-05-27 14:37:31

Hadoop 2.0.
Hadoop 2.0的两种RPC
Hadoop 2.0中存在两个ipc包, 分别为hadoop RPC和新的YarnRPC, 本文简要描述了两种RPC。

2013-05-27 14:31:34

Hadoop 2.0
红帽LINUX 5下安装Hadoop 2.0.0-alpha
本文将为大家介绍在红帽Linux 5下安装Hadoop 2.0.0-alpha的全部工作，包括之前安装环境和配置工作。

2013-05-27 14:21:58

Hadoop 2.0.
Hadoop版本及cloudera的CDH3 CDH4
Hadoop有两个分支：0.20.x 和0.23.x。其中0.20.x是比较稳定的版本，0.23.x中新特性更多，但相对不稳定。

2013-05-27 14:19:39

Hadoop
Hadoop 2.0.2和Hive 0.10.0单机伪集群配置
今天我们要讲的是Hadoop 2.0.2和Hive 0.10.0单机伪集群配置。

2013-05-27 14:13:51

Hadoop 2.0.
Hadoop 2.0基本术语解释
在阅读Hadoop 2.0的相关资料时，很多人将一些概念混淆了，本文将对Hadoop 2.0涉及到的术语进行比较全面的介绍。

2013-05-27 14:05:16

Hadoop 2.0
Hadoop 2.0将发布 大数据的新突破在即
不过这并不一定就是坏事。把Hadoop当作廉价有效的存储正好是Hadoop下一阶段演进的的完美起点。今年夏天就要亮相的Hadoop 2.0将会令数据仓库中的信息以及非结构化数据池前所未有地容易访问。

2013-05-27 10:21:51

Hadoop 2.0大数据
从问题域出发认识Hadoop生态系统
Hadoop作为一个生态系统，每个系统只解决某一个特定的问题域（甚至可能很窄），这也是Hadoop的魅力所在：不搞统一型的一个全能系统，而是小而精的多个小系统。本文重点讨论分布式领域的几个系统问题域。

2013-05-27 10:01:33

HadoopHadoop系统
英特尔让大数据“接地气”：Hadoop从架构做起
当大数据成为常挂在口边的一个词，那么，接地气就显得尤为重要。英特尔将大数据解决方案英特尔Hadoop发行版软件最先发布在中国，并在通信等行业得以实施，更要紧的是，英特尔为ISV、应用软件供应商在大数据上的实施带来了便捷。

2013-05-21 10:24:11

英特尔大数据Hadoop
Hadoop 文件系统多次关闭的问题
当读写文件的时候，Hadoop抛异常说文件系统已经关闭。后来发现，是一个多线程的程序。FileSystem.get(getConf())返回的可能是一个cache中的结果，它并不是每次都创建一个新的实例。这就意味着，如果每个线程都自己去get一个文件系统，然后使用，然后关闭，就会有问题。

2013-05-21 10:10:29

Hadoop文件系统
专为Mac本跟踪Hadoop任务的应用
JobTracker.app是一个针对Hadoop JobTracker的Mac菜单栏应用。它提供了对Mapreduce 任务启动、完成、失败的通知，可以通过它轻松访问这些任务的详细页面。

2013-05-20 16:42:17

HadoopMac OS
Hadoop目前只是“穷人的ETL”
根据IDC发布的Hadoop-MapReduce软件生态系统预测报告，Hadoop市场正在以60%的年复合增长率高速扩张。但是该报告也揭示了一个让人吃惊的事实，作为大数据分析应用的代名词，Hadoop的流行其实与数据分析无关。实际上大多数采用Hadoop的公司都没有将Hadoop用于大数据分析，而是把Hadoop作为一种廉价的海量存储和ETL(抽取、转换、加载)系统。

2013-05-20 09:36:32

Hadoop大数据分析工具大数据
Hadoop傻瓜化：Datameer大数据收入翻三番
Datameer这样的硅谷大数据创业公司摸准了企业的需求，并且已经淘到了真金白银，这将进一步刺激大数据淘金热，同时也为其他大数据创业公司指明了方向。

2013-05-15 09:45:50

HadoopDatameer大数据
走出沙盒 Hadoop数据管理重要性提升
在Web应用方面Hadoop已经证明了自己，但是迄今为止大多数的工作也仅仅归为POC的范畴。健壮的管理能力缺失是造成这一现象的主要原因，然而事情正在发生改变：在企业中，Hadoop有待于更进一步的融入运营工作流，以期带来更好的安全性和查询功能。

2013-05-13 10:32:01

Hadoop数据管理提升
Cloudera释放Impala 1.0：与Hadoop完全整合，各方面完爆Hive
5月1日，Cloudera释放了Impala 1.0版本(下载传送门);对比旧版本，新的版本基于社区回馈和现实世界中不同的负载做出了修改，其根本的设计理念是与Hadoop无缝的整合——共同使用一个存储池、元数据模型、安全框架以及系统资源集。

2013-05-13 09:36:28

ClouderaImpala 1.0Hadoop
Teradata业内独创技术支持直接访问Hadoop数据
全球大数据分析和数据仓库解决方案厂商Teradata天睿公司宣布，成为业内独家向业务分析师提供优化、自助、低成本访问Apache Hadoop解决方案的厂商。通过Teradata企业级Hadoop访问工具(Teradata Enterprise Access for Hadoop)，帮助他们实现更快、更加明智的战略业务决策。

2013-05-09 16:18:20

Teradata Hadoop天睿
如何让你的作业在Hadoop集群中真正实现分布式运行？
搭建过hadoop之后，如何让程序在hadoop集群中分布式运行成了一件令人头痛的事。如何让你的作业在Hadoop集群中真正实现分布式运行？本文有解决方案，敬请关注！

2013-05-09 15:39:30

Hadoop集群分布式
大数据“流言”：剖析Hadoop和大数据的七误解
如今，Hadoop成为解决大数据需求的主要投资领域之一，而类似Facebook等互联网巨头在都公开的吹捧Hadoop上取得的成功，同样初入大数据领域的公司也必先着眼于Hadoop。但对于Hadoop技术而言，是一个多维的解决方案，可以通过不同的方式进行部署和使用。下面就了解一些关于Hadoop和大数据的七大错误理念。

2013-05-06 10:22:28

大数据Hadoop
Hadoop大数据分析：Azure HDInsight服务预览
微软全球副总裁Scott Guthrie三月份宣布了该公司HDInsight服务预览版的主要升级，即Hortonworks Hadoop Data Platform v1.1.0。此次更新的预览版中的DevOps特性，让开发者可以更轻松的用Windows Azure服务订阅创建高性能HDInsight计算集群，通过Windows Azure Management Portal实现（图一）。

2013-04-28 10:01:28

HDInsightWindows AzuHadoop
向磊：Hadoop落地为何如此之难 原创
Hadoop落地之所以难，是因为有一下几点问题：1. Hadoop集群部署管理难，麻烦；2. 想办法在工作上偷懒才是王道；3. 解决的问题和为人民服务。

2013-04-27 10:31:56

大数据全球技术峰会Hadoop
罗李：基于Hadoop数据服务平台
Hadoop最重要的两项服务是HDFS和MapReduce，阿里通过分组对资源做了切分，HDFS通过文件数和空间的配额做限制，mapreduce是做slot的限制。数据可以在阿里的平台上方便的共享，计算资源通过分时共享，白天进行开发和测试任务，晚上进行生产任务。

2013-04-27 10:07:04

大数据全球技术峰会阿里淘宝
7个大数据流言——避免错误的Hadoop和云分析决策
数据体积和数据使用在以惊人的速度增长着，这一点从分析师的分析中不难获得——IDC今年在数据存储上的 增长速度将达到53.4%，AT&T声称 无线数据的流量在过去的5年内增长200倍，如果你着眼自己通信渠道的话，将毫无疑问的发现互联网内容、电子邮件、应用通知、社交消息以及每天自动接收的消息都在显著的增长。

2013-04-25 10:24:19

大数据Hadoop云分析
Hadoop集群10：MapReduce初级案例
本文为Hadoop集群系列第九。 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。

2013-04-24 10:47:48

Hadoop集群
小议Hadoop HDFS Balancer
Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点。当HDFS出现不平衡状况的时候，将引发很多问题，我们该如何应对？

2013-04-23 11:17:47

Hadoop
Apache Hadoop 为什么如此风靡？
Apache Hadoop是MapReduce计算模型的一个开源实施。在其最初形式中，MapReduce被当做一种系统集群分布式工作的方法，开发出来。

2013-04-19 13:59:00

Apache Hado
51CTO独家报道ChinaHadoop技术沙龙
阳春四月，京师草长，杂花生树，群莺乱飞。ChinaHadoop开源社区联络在一线互联网公司具有多年Hadoop大数据平台使用经验的技术专家，将为大家献上一场精彩的技术分享活动。

2013-04-19 10:43:47

ChinaHadoop
上一页 1 ··· 910111213 ··· 17
点赞

51CTO技术栈公众号

业务
速览
在线客服