直播训练营

鸿蒙开发者社区

WOT技术大会

AIGC创新中国行

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 2024年软考 PMP项目管理软考资讯

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO题库小程序

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

账号设置退出

Hadoop

835内容

关注

涵盖Hadoop相关研究热点、技术难点与应用场景，让用户更加深入地学习这一大数据基础技术。

共 835 条

详细解析 hadoop 分布式部署

对于 Hadoop 来说,在 HDFS 看来,节点分为 Namenode 和 Datanode,其中Namenode 只有一个, Datanode 可以是很多;在 MapReduce 看来,节点又分为Jobtracker 和 Tasktracker,其中 Jobtracker 只有一个,Tasktracker 可以是很多。我是将 namenode 和 jobtracker 部署在 hadoop1 上, hadoop2, hadoop3 作为 datanode和 tasktracker 。

2014-07-15 11:15:44

hadoop 分布式部署

Hadoop局限性与数据多样性令数据科学家抓狂译文

一份面向数据科学家的调查报告发现，大部分相关从业人士认为随着需要处理的数据源各类与数量的快速增长、其工作的进展难度也在持续攀升。此外，接近四分之一的受访者表示Hadoop无法满足他们在分析执行能力方面的实际需求。

2014-07-08 09:14:54

Hadoop局限性

VMware张振伦：Hadoop的虚拟化之恋

从服务器虚拟化到整个数据中心虚拟化，今天我们已经充分感受到了虚拟化这个小子的力量!如果虚拟化能和Hadoop来场恋爱，企业数据中心选择Hadoop的羁绊是不是都会一扫而光呢?答案是肯定的。虚拟化能让Hadoop和底层物理硬件分离，真正步入云端翩跹起舞，Hadoop从而轻松步入快速部署、高可用、资源弹性调度和安全多租户的云端殿堂，企业数据中心大数据分析和利用的美梦才能真正成为现实。

2014-07-02 16:06:07

在Docker上建立多节点的Hadoop集群

在上篇文章中你已经看到了在你的devbox创建一个单点Hadoop 集群是多么简单。现在我们提高门槛，在Docker上创建一个多点hadoop集群。

2014-07-01 09:53:21

Docker Hadoop集群

VMware张振伦:Hadoop的虚拟化之恋

高速增长的数据量和日益增加的竞争压力，让越来越多的企业开始思考如何挖掘这些数据的价值。传统的BI系统、数据仓库和数据库系统都不能很好地处理这些数据

2014-06-27 10:14:01

未来预测：Hadoop将无法独自处理大数据

大数据的世界正在稳步发展壮大。随着数据数量和种类的不断膨胀，读者都想知道接下来会发生什么。Sriram Mohan博士是罗斯豪曼理工学院计算机科学和软件工程的副教授。同时他还兼任着Avalon咨询公司大数据解决方案高级顾问一职。他融汇理论与实践于一身，他绝对是回答“2014年企业大数据发展趋势”的正确人选。下面是他的一些独到见解。

2014-06-17 09:44:30

关于CentOS 6下Hadoop占用系统态CPU高的处理办法

一次不经意发现Hadoop的系统态CPU使用率很高，然后百度一下居然是个已知问题。RHEL6优化了内存申请的效率，而且在某些场景下对KVM的性能有明显提升。

2014-06-12 20:00:14

CentOS 6 Hadoop

给Hadoop新手的一封信

晚上整理邮箱，找到了一封之前网友的关于hadoop学习的来信以及我的回信，我想应该对初学者会有帮助，就贴出来给大家看看!

2014-06-09 15:43:50

Splunk推出Hunk 6.1 面向Hadoop与NoSQL Data Stores

实时运维智能软件供应商Splunk 宣布推出面向Hadoop与NoSQL Data Stores的6.1版Hunk™: Splunk® Analytics for Hadoop and NoSQL Data Stores。Hunk 6.1可以更快速、更便捷地将Hadoop与NoSQL 数据存储中的原始非结构化数据转化为商业洞察。

2014-05-08 10:12:04

一文读懂大数据：Hadoop，大数据技术及相关应用

你想了解大数据，却对生涩的术语毫不知情？你想了解大数据的市场和应用，却又没有好的案例和解说？

2014-04-29 09:59:44

2014年值得关注的十个Hadoop大数据创业公司

开源大数据框架Apache Hadoop已经成了大数据处理的事实标准，同时也几乎成了大数据的代名词，虽然这多少有些以偏概全。

2014-04-24 09:41:06

Cloudera将Spark划入Hadoop

Spark作为一个通用的并行计算框架，已经成为继Hadoop之后又一大热门开元项目，逐渐获得很多企业的支持。近日，Cloudera正式宣布开始商业支持Apache Spark 机器学习和数据流处理环境。

2014-04-09 10:55:55

开源Hadoop较高下：IBM与AWS关键看啥？

多年来，开源初创公司Cloudera和Hortonworks在Hadoop市场一直占有绝对地位，诸如Oracle、微软以及其他一些公司也想在这个市场占有一席之地，但更多是通过与专业的Hadoop初创公司建立伙伴关系间接地参与市场争夺。

2014-04-01 11:14:29

AWS IBM 开源Hadoop

对比Hadoop 分析Spark受多方追捧的原因

作者Mikio Braun是柏林工业大学机器学习专业的博士后，他通过描述了自己对Spark逐步认识的过程，为我们剖析了Spark的原理和应用。

2014-03-26 11:09:27

Hadoop部署常用的小脚本

最近抛弃非ssh连接的Hadoop集群部署方式了，还是回到了用ssh key 验证的方式上了。这里面就有些麻烦，每台机器都要上传公钥。恰恰我又是个很懒的人，所以写几个小脚本完成，只要在一台机器上面就可以做公钥的分发了。

2014-03-18 10:19:55

Hadoop部署 hadoop集群脚本

使用Windows Azure搭建Hadoop集群

本文主要内容是使用Windows Azure的VIRTUAL MACHINES和NETWORKS服务安装CDH (Cloudera Distribution Including Apache Hadoop)搭建Hadoop集群。

2014-03-17 10:05:45

淘宝主搜索离线集群完成Hadoop 2.0升级

淘宝搜索离线dump集群(hadoop&hbase)2013进行了几次重大升级，本文中将这些升级的详细过程、升级中所遇到的问题以及这些问题的解决方案分享给大家。至此，淘宝主搜索离线集群完全进入Hadoop 2.0时代。

2014-03-13 10:14:59

离线集群 Hadoop 2.0 淘宝

如何让Hadoop结合R语言做大数据分析？

R是GNU的一个开源工具，具有S语言血统，擅长统计计算和统计制图。由Revolution Analytics发起的一个开源项目RHadoop将R语言与Hadoop结合在一起，很好发挥了R语言特长。广大R语言爱好者借助强大工具RHadoop，可以在大数据领域大展拳脚，这对R语言程序员来说无疑是个喜讯。作者从一个程序员的角度对R语言和Hadoop做了一次详细的讲解。

2014-03-12 10:17:22

Hadoop虽然强大，但不是万能的

随着 Hadoop 应用的不断拓展，使很多人陷入了对它的盲目崇拜中，认为它能解决一切问题。虽然Hadoop是一个伟大的分布式大型数据计算的框架，但Hadoop不是万能的。比如在下面这几种场景就不适合使用Hadoop。

2014-02-17 10:56:21

YARN又被称为MapReduce 2.0，借鉴Mesos，YARN提出了资源隔离解决方案Container，但是目前尚未成熟，仅仅提供 Java 虚拟机内存的隔离。

2014-02-14 15:30:18

Hadoop日志分析工具：White Elephant

White Elephant 是一个Hadoop日志收集器和展示器，它提供了用户角度的Hadoop集群可视化。White Elephant 是全球最大的职业社交网站Linkedin开发的一套分析Hadoop作业日志的系统，完全开源。

2014-02-12 10:28:50

Google打造云中Hadoop便捷版强势对抗AWS

开发人员现在已经能够很轻松的在Google计算虚拟机上进行Hadoop操作了，理论上，Google Cloud Storage Hadoop的预览版将使开发人员不用再花大力气去管理集群和文件系统。这将对AWS和它的EC2造成很大冲击。

2014-01-17 10:03:51

Google Hadoop AWS

微软和OpenStack成亚马逊Hadoop即服务新对手

HDInsight通过使用微软和Apache工具让Windows Azure用户可以访问Hadoop。OpenStack的Savanna项目为开源提供商提供了一个选择，但是作为一个不断发展的项目，用户还无法期望得到一个完整的交钥匙解决方案。

2014-01-14 09:11:24

微软 OpenStack 亚马逊

Hadoop YARN配置参数剖析(5)—Capacity Scheduler相关参数

Capacity Scheduler是YARN中默认的资源调度器。想要了解Capacity Scheduler是什么，可阅读我的这篇文章“Hadoop Capacity Scheduler分析”。

2014-01-07 17:18:51

Hadoop YARN配置参数剖析(4)—Fair Scheduler相关参数

首先在yarn-site.xml中，将配置参数yarn.resourcemanager.scheduler.class设置为org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler。

2014-01-07 16:34:36

Hadoop YARN配置参数剖析(3)—MapReduce相关参数

MapReduce相关配置参数分为两部分，分别是JobHistory Server和应用程序参数，Job History可运行在一个独立节点上，而应用程序参数则可存放在mapred-site.xml中作为默认参数，也可以在提交应用程序时单独指定，注意，如果用户指定了参数，将覆盖掉默认参数。

2014-01-07 15:23:15

Hadoop YARN配置参数剖析(2)—权限与日志聚集相关参数

注意，配置这些参数前，应充分理解这几个参数的含义，以防止误配给集群带来的隐患。另外，这些参数均需要在yarn-site.xml中配置。

2014-01-07 15:17:08

Hadoop YARN配置参数剖析(1)—RM与NM相关参数

注意，配置这些参数前，应充分理解这几个参数的含义，以防止误配给集群带来的隐患。另外，这些参数均需要在yarn-site.xml中配置。

2014-01-07 15:05:25

Hadoop YARN中内存和CPU两种资源的调度和隔离

Hadoop YARN同时支持内存和CPU两种资源的调度（默认只支持内存，如果想进一步调度CPU，需要自己进行一些配置），本文将介绍YARN是如何对这些资源进行调度和隔离的。

2014-01-07 14:29:14

Hadoop 2.0中作业日志收集原理以及配置方法

Hadoop 2.0提供了跟1.0类似的作业日志收集组件，从一定程度上可认为直接重用了1.0的代码模块，考虑到YARN已经变为通用资源管理平台，因此，提供一个通用的日志收集模块势在必行，由于目前通用日志收集模块正在开发中（可参考“YARN-321”），本文仅介绍MRv2（MapReduce On YARN）自带的日志收集模块，包括工作原理以及配置方法。

2014-01-07 14:16:22

Hadoop2.0 日志

Hadoop MapReduce两种常见的容错场景分析

本文将分析Hadoop MapReduce（包括MRv1和MRv2）的两种常见的容错场景，第一种是，作业的某个任务阻塞了，长时间占用资源不释放，如何处理？另外一种是，作业的Map Task全部运行完成后，在Reduce Task运行过程中，某个Map Task所在节点挂了，或者某个Map Task结果存放磁盘损坏了，该如何处理？

2014-01-07 14:04:13

Hadoop MapReduce

Hadoop日志到底存在哪里？

初学者运行MapReduce作业时，经常会遇到各种错误，由于缺乏经验，往往不知所云，一般直接将终端打印的错误贴到搜索引擎上查找，以借鉴前人的经验。

2014-01-07 13:54:40

Hadoop YARN常见问题以及解决方案

本文汇总了几个hadoop yarn中常见问题以及解决方案，注意，本文介绍解决方案适用于hadoop 2.2.0以及以上版本。

2014-01-07 13:54:02

将Spark部署到Hadoop 2.2.0上

本文介绍的是如何将Apache Spark部署到Hadoop 2.2.0上，如果你们的Hadoop是其他版本，比如CDH4，可直接参考官方说明操作。

2014-01-07 11:24:45

大数据处理利器：Hadoop具有五大优势

Hadoop是一个高度可扩展的存储平台，因为他可以存储和分发横跨数百个并行操作的廉价的服务器数据集群。不同于传统的关系型数据库系统不能扩展到处理大量的数据，Hadoop是能给企业提供涉及成百上千TB的数据节点上运行的应用程序。

2013-12-30 10:40:12

大数据处理大数据 Hadoop

大数据处理利器：Hadoop具有五大优势

作为一个全新的开源项目，Hadoop提供了一中新的方式用来存储和处理器数据。大型的互联网公司，如谷歌、Facebook都使用Hadoop来存储和管理它们庞大的数据集。本文总结了Hadoop再大数据领域的五大优势，希望对您有所帮助。

2013-12-27 16:15:11

Hadoop 大数据处理

2014的12个大数据趋势：Hadoop继续升温，R将进入主流

2013，“大数据”无疑是IT界最火的词汇之一。MapReduce、Storm、Impala以及Spark，大数据领域开源技术林立。翻过2013，走进2014，大数据领域又会向着什么样的方向发展，这里我们看数位行业高管带来的12条预测。

2013-12-27 09:12:39

大数据 Hadoop R语言

携手Hortonworks市场副总裁：探讨Hadoop目前使用情况

我们正生活在“大数据”的时代。大部分公司将Hadoop作为自己分析大数据和掌握大数据挑战的一个主要工具。本文中，InfoQ与Hortonworks公司的市场副总裁David McJannet一起讨论关于Hadoop目前使用情况Hortonworks的调查结果。

2013-12-20 09:46:56

Hadoop 大数据数据处理

英特尔已为Hadoop开启CPU加密机制

芯片巨头英特尔正在加倍努力以捍卫其宝贵的数据中心领地——具体方式为开发其自有技术以推动数据管理与分析技术——例如Hadoop——的实现。

2013-12-19 10:06:18

英特尔 Hadoop

Hadoop大数据分析获本地R语言支持

随着大家对大数据分析越来越感兴趣，软件供应商Revolution Analytics改进了其R语言统计功能旗舰产品，使它能够与Hadoop数据处理平台运行。

2013-12-18 11:26:08

Hadoop 大数据

使用python构建基于hadoop的mapreduce日志分析平台

流量比较大的日志要是直接写入Hadoop对Namenode负载过大，所以入库前合并，可以把各个节点的日志凑并成一个文件写入HDFS。根据情况定期合成，写入到hdfs里面。

2013-12-17 09:52:13

python hadoop mapreduce

开源SQL in Hadoop解决方案：我们处于什么位置？

随着Facebook开源了最近发布的Presto，已经非常拥挤的SQL in Hadoop市场变得更加错综复杂。一些开源工具正在努力获得开发者的注意：Hortonworks 围绕着Hive创建的Stinger、Apache Drill、Apache Tajo、Cloudera的Impala、Salesforce的Phoenix（用于HBase）以及现在的Facebook Presto。

2013-12-13 10:24:34

开源 SQL Hadoop

Hadoop迈入2.0时代更适合企业应用

“现在是企业应用Hadoop的最佳时机。”Hortonworks公司首席技术官Jeff Markham在11月底举行的2013中国Hadoop技术峰会上演讲时表示。在本次峰会上，Hadoop进入2.0时代成了人们谈论的焦点。Jeff Markham表示，Hadoop 2.0拥有更强大、更广泛的符合企业用户需求的新特性，弥补了Hadoop 1.0的不足之处，更符合企业用户的需求。

2013-12-12 12:47:53

Hadoop 2.0 开源大数据

Facebook数据专家：处理大数据，仅有Hadoop不够

随着大数据在各个业务领域的发展和应用，相关的技术和工具也层出不穷，其中Hadoop框架受到更多的关注和应用。Facebook分析主管Ken Rudin最近在纽约举行的一个Strata+Hadoop世界大会发表主题演讲时表示，不要小看关系型数据库技术的价值。他认为，Hadoop编程框架可能是“大数据”运动的代名词，但它并不是企业从大规模存储的非结构化信息中得到价值的唯一工具。

2013-12-12 10:00:03

十八款Hadoop工具帮你驯服大数据译文

Hadoop业界正在迅速发展，从业企业拿出的解决方案也多种多样，其中包括提供技术支持、在托管集群中提供按时租用服务、为这套开源核心开发先进的功能强化或者将自有工具添加到方案组合当中。本文中，我们将一同了解当下Hadoop生态系统当中那些最为突出的杰作。

2013-12-12 09:39:20

Hadoop Hadoop工具大数据

Hadoop无法解决的问题

最近也想写一些Hadoop的学习和使用心得，但是看到网上那么泛滥的文章，我觉得再写点笔记一样的东西实在是没有价值。倒不如在漫天颂歌的时候冷静下来看看，有哪些不适合Hadoop解决的难题呢？

2013-12-05 09:45:04

Hadoop Hadoop架构图

天云趋势蒙世国受邀出席2013Hadoop技术峰会

作为国内唯一专注于Hadoop技术与应用分享的大规模行业盛会，Haoop中国技术峰会(China Hadoop Summit 2013)于2013年11月22日-23日在北京福朋喜来登集团酒店隆重举行。

2013-12-04 15:03:05

天云趋势 Hadoop

Hadoop2.2.0多节点分布式安装及测试

众所周知，hadoop在10月底release了最新版2.2。很多国内的技术同仁都马上在网络上推出了自己对新版hadoop的配置心得。

2013-12-04 13:32:30

Hadoop2.2.0 安装

Jeff Markham：Hadoop YARN的高可用性原创

2013 Hadoop中国技术峰会上，51CTO记者有幸采访到Hortonworks CTO，Jeff Markham先生。Jeff是曾经与VMware，Red Hat，IBM等公司一起构建不同架构的应用，用以处理非结构化数据。

2013-12-04 09:52:50

Hadoop上开源的类SQL实时查询系统对比

总体来说虽然impala、stinger、drill三个系统都是类SQL实时查询系统，但是它们的侧重点完全不同。而且它们也不是为了替换Hive而生，hive在做数据仓库时还是很有价值的。

2013-12-03 10:20:35

开源 SQL 查询系统

上一页 1 ··· 7 8 9 10 11 ··· 17 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区

教育

51CTO学堂精培企业培训 CTO训练营