51CTO首页
AI.x社区
博客
学堂
精品班
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

Hadoop

836内容  
涵盖Hadoop相关研究热点、技术难点与应用场景，让用户更加深入地学习这一大数据基础技术。
文章 博文
共 836 条
关于Hadoop你需要知道的几件事情
Hadoop特别适合大数据处理任务，并且它可以利用其分布式的文件系统，可靠并且低成本的将数据块复制到集群中的节点上去，从而使数据能在本地机器上进行处理。Anoop Kumar从十个方面讲解了利用Hadoop处理大数据所需要的技巧。

2013-12-02 14:07:02

Hadoop大数据集群
专访刘涛：京东Hadoop高可用解决方案解析 原创
2013年，Hadoop的技术创新不断发展，整个生态系统也变得丰富多彩，大多数机构部署了自己的IT业务系统，京东也自主研发了Hadoop NameNode Cluster方案，51CTO记者很荣幸采访到其Hadoop工程师刘涛，刘涛对京东Hadoop高可用解决方案进行解析，对此感兴趣的网友们，可以通过此文来了解一下。

2013-11-29 12:44:04

HadoopHadoop高可用京东Hadoop
优酷土豆单明辉—基于Hadoop平台下的视频推荐系统 原创
单明辉，优酷土豆集团技术经理。2008年于中科院声学所获博士学位，主导了优酷土豆视频推荐支撑平台设计与开发，目前负责低延时、高并发的大数据应用支撑平台建设。

2013-11-28 17:56:17

Hadoop优酷土豆视频
Hadoop完整安装配置
前言* Hadoop是Apache开源组织的一个分布式计算开源框架，在很多大型网站上都已经得到了应用，如亚马逊、Facebook和Yahoo等等。对于我来说，最近的一个使用点就是服务集成平台的日志分析。服务集成平台的日志量将会很大，而这也正好符合了分布式计算的适用场景（日志分析和索引建立就是两大应用场景）。

2013-11-28 09:44:00

Hadoop
YARN动摇了MapReduce对Hadoop的掌控
Hadoop被认为是运行在HDFS(分布式文件系统)上的MapReduce。通过YARN，Hadoop 2.0扩大了潜在应用的数量。

2013-11-27 09:21:18

YARNMapReduceHadoop
中国联通王志军：Hadoop在通信行业的应用 原创
2013年11月22、23日，CHINA HADOOP SUMMIT技术峰会在北京福朋喜来登大酒店盛大开幕。近千位大数据方面技术精英，一起畅享Bigdata的发展与未来。51CTO为您带来大会相关报道。

2013-11-22 15:30:29

hadoop
京东技术副总裁何刚：Hadoop商业项目将遍地开花 原创
2013年11月22日，Hadoop中国技术峰会（China Hadoop Summit 2013）在北京福朋喜来登集团酒店隆重举行。来自京东的技术副总裁、首席科学家何刚先生给本次大会致辞。何刚认为，随着网络社交的成熟，移动互联网的飞速发展，Hadoop技术将会不断完善，Hadoop的商业项目会遍地开花，为中国大数据产业发展提供更多的推动力。

2013-11-22 12:22:13

Hadoop大数据何刚
hadoop1.2.1+zookeeper-3.4.5+hbase-0.94.1集群安装
集群中包括3个节点：hadoop01为Master，其余为Salve，节点之间局域网连接，可以相互ping通。

2013-11-22 09:57:03

hadoop1.2.1zookeeper-3hbase-0.94.
Hadoop行业英雄谱唱响2013 Hadoo中国技术峰会
作为本年度最具看点的Hadoop压轴盛宴，2013 Hadoop中国技术峰会即将于11月22日-23日在北京福朋喜来登大酒店盛大开幕.大会集结了近千名CIO、CTO、架构师、IT经理、咨询顾问、工程师、Hadoop技术爱好者，以及从事Hadoop研究与推广的IT厂商和技术专家，届时将分享Hadoop相关的热点话题。

2013-11-15 09:50:48

hadoop2013 Hadoo中
Hadoop无法解决的难题
Hadoop是一个非常优秀的分布式编程框架，设计精巧而且目前没有同级别同重量的替代品。网上关于Hadoop的文章也比较多，在漫天颂歌的时候，作者四火根据自己的学习以及工作经验总结了一些Hadoop无法解决的难题。

2013-11-13 14:33:10

hadoop分布式系统
Hadoop虚拟化的性能对比和调优经验
vSphere Big Data Extensions(BDE)为用户在虚拟化环境中灵活的部署和管理Hadoop集群提供了有效的支持。除却这些优势，虚拟化是否会伤害Hadoop运行的性能呢?为此，我们在同等规模上做了虚拟化部署和物理部署的Hadoop集群的性能对比和优化，实验表明虚拟化Hadoop集群可以很好地支持生产环境。

2013-11-08 10:59:17

Hadoop虚拟化VMware vSph
Cloudera拟将Hadoop打造为万能数据解决方案
Cloudera将Hadoop作为企业数据枢纽的想法非常大胆，但是现实却大相径庭。Hadoop距离让其他大数据解决方案黯然失色还有很长的一段路要走。

2013-11-05 09:27:27

ClouderaHadoop数据解决方案
Hadoop生态系统全面盘点 译文
Hadoop拥有一个庞大而且充满活力的开发者社区，但Hadoop生态系统当中的很多项目在名称与功能的匹配性方面出入很大，这直接导致很多朋友难以分清各个项目的作用以及使用目的。

2013-11-04 16:57:21

Hadoop大数据Hadoop生态系统
Teradata称Hadoop对其数据仓库业务影响不大
Teradata上周四驳斥了Hadoop和开源大数据技术将对Teradata的数据仓库路线带来冲击的说法。

2013-11-04 09:54:18

TeradataHadoop大数据
Facebook谈大数据：光有Hadoop还不够
Facebook分析主管Ken Rudin表示，Hadoop编程框架可能是“大数据”运动的代名词，但对于公司从大规模存储的非结构化信息中得到商业洞见的需求，Hadoop不是唯一的工具。

2013-11-04 09:43:34

FacebookHadoop大数据
大数据应用需要对Hadoop进行虚拟化吗
大数据并不需要虚拟化，原因似乎很简单，因为虚拟化技术的核心思想是资源池化，借助池化资源的调度来充分使用资源，提高资源的利用效率。但CPU利用率已达到70%～80%时，虚拟化显然就没有更多的意义了。

2013-11-01 09:33:56

VMware李严冰hadoop
Hunk：Splunk Analytics for Hadoop全面上市
日前，实时运营信息软件供应商Splunk宣布推出Hunk: Splunk Analytics for Hadoop，此产品将进一步推进大数据分析变革。Hunk是一个功能完备、面向Hadoop的综合性分析平台，能够让企业组织中的每个人都能交互式探索、分析并可视化Hadoop中的历史数据。

2013-10-31 09:17:23

大数据HunkSplunk
微软发布新的Hadoop Azure大数据分析服务
就像微软把Excel表单处理引进到商务领域一样，微软希望其推出的新的Windows Azure HDInsight服务能够利用大数据分析带来同样的影响力。

2013-10-30 09:13:35

微软Hadoop AzurWindows Azu
Hadoop都2了 大数据应用会迈上一个新台阶吗
Apache软件基金会终于推出了最新的Hadoop2数据分析平台，从而引发了舆论对大数据演进大飞跃的美好憧憬，此前我曾经写过“Hadoop就是大数据应用又何妨”一文，对国内大数据市场现状进行了分析。

2013-10-29 09:33:20

Hadoop 2Hadoop大数据应用
Hadoop关于处理大量小文件的问题和解决方法
小文件指的是那些size比HDFS的block size(默认64M)小的多的文件。如果在HDFS中存储小文件，那么在HDFS中肯定会含有许许多多这样的小文件(不然就不会用hadoop了)。而HDFS的问题在于无法很有效的处理大量小文件。

2013-10-23 11:22:47

HadoopHadoop处理大量小
Hadoop关于处理大量小文件的问题和解决方法
小文件指的是那些size比HDFS的block size(默认64M)小的多的文件。如果在HDFS中存储小文件，那么在HDFS中肯定会含有许许多多这样的小文件(不然就不会用hadoop了)。而HDFS的问题在于无法很有效的处理大量小文件。

2013-10-23 10:48:30

HadoopHDFS文件处理
Hadoop 2：大数据演进中的一次大飞跃
新的Hadoop不仅能够进一步刺激为Hadoop编写应用程序，同时也将在Hadoop内创造全新的数据处理方法，这在此前的架构限制下是根本不可能实现的。总之，这是好东西。

2013-10-22 09:22:07

Hadoop 2大数据
阿帕奇软件基金会公布Hadoop 2最新版本
阿帕奇软件基金会(Apache Software Foundation)在周三公布了其最新版本的开源数据处理程序Hadoop 2。新版本可同时运行多个程序，以便用户能够以超级计算速度迅捷高效地用多种方式处理数据。

2013-10-18 09:12:43

阿帕奇Hadoop 2Hadoop
Storm获东风，Hortonworks计划将其整合到Hadoop企业版
自YARN及Mesos等技术出现，Hadoop同集群上运行不同技术也成为了可能。然而，开源到商用之间存在的鸿沟不可谓不大。近日，基于广泛用户的需求，Hortonworks已决定将Storm整合到自己的Hadoop企业版中。

2013-10-17 09:35:33

大数据HadoopHortonworks
Hadoop和Web 2.0可能让磁带“东山再起”
磁带专家Spectra Logic推出了一个软件接口和一款设备，来帮助企业将大量较少使用的数据转移到磁带库。该公司产品管理和全球营销执行副总裁Molly Rector表示，磁带是长时间存储不需要经常使用的文件的最便宜的方式。

2013-10-16 10:04:43

HadoopWeb 2.0磁带
用Hadoop，还是不用Hadoop？
Hadoop通常被认定是能够帮助你解决所有问题的唯一方案。 当人们提到“大数据”或是“数据分析”等相关问题的时候，会听到脱口而出的回答：Hadoop！实际上Hadoop被设计和建造出来，是用来解决一系列特 定问题的。

2013-10-15 10:24:23

hadoop大数据
用Hadoop，还是不用Hadoop？
当人们提到“大数据”或是“数据分析”等相关问题的时候，会听到脱口而出的回答：Hadoop！实际上Hadoop被设计和建造出来，是用来解决一系列特定问题的。对某些问题来说，Hadoop可能会是一不合适的解决方案。 关键是要认清你拥有的各种资源，并且理解想要解决的问题的本质。

2013-10-15 10:18:17

Hadoop分布式系统大数据
Etu 知意图，用 Hadoop 帮助商业智能实践“全数据”
2013年9月，由亚洲原生 Hadoop 领航者 Etu 知意图缔造的 Etu 知意图 Hadoop 大数据一体机，在《计算机世界》主办的“大数据时代的商业智能”高峰论坛上，获得了主办方颁发的“大数据优秀产品奖”，共同获奖的还有DELL、华为、浪潮、SAS等知名业界友商。

2013-10-14 17:48:19

知意图商业智能
Hadoop和Web 2.0可能让磁带“东山再起”
在电子计算机出现的时候，磁带就出现了，现在，磁带仍然用于很多类型的长期存储中，但它在基于web的应用中并没有发挥太多作用。当消费者到社交网站查看旧照片时，这些照片很有可能存储在低成本的磁盘上，不过，Facebook现在正在试图将这种类型的数据进行闪存。

2013-10-14 09:22:50

HadoopWeb 2.0磁带
Ubuntu 12.10 +Hadoop 1.2.1版本集群配置
Hadop是一种分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力高速运算和存储。

2013-09-27 11:14:09

Ubuntu 12.1Hadoop 1.2.集群
DB2 10.5 BLU：Hadoop和内存数据库杀手来临?
在最近发布的DB2更新版本中，IBM已经加入了一套统称代号为BLU的加速技术，承诺让这个古老的数据库管理系统更适合于运行大型的内存数据分析工作。

2013-09-24 10:23:04

DB2 10.5 BLhadoop
Zettaset努力为Hadoop大数据加密
在Zettaset工作的安全架构师埃里克•默里表示，公司管理Hadoop集群的Orchestrator套件正在增强，包括建立基于Hadoop数据分区加密的对称密钥管理服务器方式。他指出，此选择不瞄准字段级加密，但将允许安全管理者为储存在Hadoop数据库的数据建立一个自动加密方法。

2013-09-23 13:54:05

ZettasetHadoop大数据
别老扯什么Hadoop了，你的数据根本不够大
本文原名“Don’t use Hadoop when your data isn’t that big ”，出自有着多年从业经验的数据科学家Chris Stucchio，纽约大学柯朗研究所博士后，搞过高频交易平台，当过创业公司的CTO，更习惯称自己为统计学者。对了，他现在自己创业，提供数据分析、推荐优化咨询服务，他的邮件是：stucchio@gmail.com 。

2013-09-23 10:36:17

Hadoop大数据
Hadoop就是大数据应用又何妨
有关大数据，“奥巴马连任总统和大数据、2009年谷歌在甲型H1N1流感爆发前几周成功预测，公共卫生部门震惊、美国折扣店零售商塔吉特与怀孕预测、UPS快递最佳行车路线和汽车修理预测、亚马逊大数据书评推荐下调战胜专家团……”

2013-09-23 09:27:43

Hadoop大数据
VMware王蔚东：Hadoop虚拟化大有可为
Hadoop作为一项技术，目前确实非常流行。王蔚东老师介绍说，国内的开发者和试用的企业已经有了很多了解，搞的比较好的发行版有MP/R, Cloudera;Horntworks;常去他们的网站会得到比较新的知识，另外大家也都别忘了Apache Hadoop社区，上面有最新的进展。

2013-09-18 10:53:40

Hadoop虚拟化
Hadoop运维记录
Hive是目前应用最多最广的SQL on Hadoop工具，近期很多专业的大数据公司推出了很多新的，基于列式或者内存热数据的SQL工具，像Impala，Tez，Spark等等，但是Hive仍然是目前使用率最高和普及面最广的SQL on Hadoop的工具。在以前淘宝罗李的报告中，淘宝90%的业务跑在Hive上面。

2013-09-16 11:15:31

Hadoop
Twitter发布Storm-Hadoop混合系统
Twitter 博客发文公布了Summingbird，公布细节的技术成分很大。但是，如果你想想Twitter 如何运行的，本质问题是很容易理解的。像Trending Topics(话题趋势)和搜索一类的服务需要实时数据处理才会有用。但是最终还是需要准确性或许还要做一些深度分析。Storm有点像医院里的治疗类选科，而Hadoop则是长期患者护理。

2013-09-05 09:47:35

TwitterSummingbird开源
MongoDB升级Hadoop连接器 新增Hive支持
也许很多人没有发现，MongoDB和Hadoop在过去几年里已经变得非常流行。MongoDB之所以成为很多网络和移动应用的业务数据库，是因为它支持JSON文件类型;Hadoop也成为很多公司大数据处理和分析的平台，尤其是大型网络公司和财富500强企业。

2013-09-02 17:24:54

MongoDBHadoop连接器Hive
关于Hadoop的六大误解
Hadoop是一种用于存储和分析大型数据集开源软件框架，可处理分布在多个现有服务器中的数据。Hadoop适合处理来自手机、电子邮件、社交媒体、传感器网络和其它不同渠道的多样化、大负荷的数据，因此通常被认为是一种大数据操作系统。

2013-08-23 10:42:03

Hadoop
有关Hadoop的六大误解
Hadoop是一种用于存储和分析大型数据集开源软件框架，可处理分布在多个现有服务器中的数据。Hadoop适合处理来自手机、电子邮件、社交媒体、传感器网络和其它不同渠道的多样化、大负荷的数据，因此通常被认为是一种大数据操作系统。

2013-08-23 10:18:06

Hadoop
大数据时代如何保证hadoop安全
Jon Clay说，Hadoop其实是一个软件库，由于这个软件库是开源的，所以安全措施比较差，突出表现在以下几个方面。

2013-08-20 09:26:03

大数据时代hadoop
构建Hadoop安全模型 让大数据安全落地 原创
构建Hadoop的安全模型可采用分层方式进行。在最外层必须进行良好的访问控制，确保只有有相关权限的人才可访问Hadoop数据；第二层是网络威胁防御，设定相关机制，防止网络受到入侵；第三层是应用层程序升级，确保没有漏洞；第四层是数据保密，防止数据被窃取；第五层是保证数据的完整性。

2013-08-19 18:22:55

大数据Hadoop趋势科技
Hadoop虚拟化影响大数据存储 SAN成优选？
大数据时代，Hadoop将会会大规模部署于企业之中。VMware新的vSphere Big Data Extensions (BDE) 将其开源项目Serengeti商业化，使企业管理员能够随心所欲地玩转虚拟Hadoop集群。

2013-08-02 10:47:56

Hadoop大数据存储SAN
深入理解Hadoop集群和网络
本文侧重于Hadoop集群的体系结构和方法，以及它与网络和服务器基础设施这件的关系。文章的素材主要来自于研究工作以及同现实生活中运行Hadoop集群客户的讨论。如果你也在你的数据中心运行产品级的Hadoop集群，那么我希望你能写下有价值的评论。

2013-07-31 10:04:42

hadoopHadoop集群集群和网络
将OpenStack部署到Hadoop的四种方案
随着企业开始同时利用云计算和大数据技术，现在应当考虑如何将这些工具结合使用。本文从一些基础知识入手，将 OpenStack 私有云和 Apache Hadoop 环境结合在一起产生的显著的协同效应

2013-07-26 16:38:54

OpenStackHadoop
从安全隐患带来的商机来看，Hadoop同样很美
Hadoop，作为被大肆宣传的大数据利器，设计初衷是为搜索引擎建立网页索引，而不是处理信用卡号，所以安全并不是其重点考虑的问题。基于这个原因，许多企业对Hadoop都是浅尝辄止。目前，包括Cloudera、Intel在内等多个Hadoop发行版厂商，都在实行或制定安全方面的计划。

2013-07-24 09:33:46

Hadoop安全加密
独家提供：最具有价值的Hadoop Summit 2013资料下载_开发技术周刊第094期_51CTO.com

2013-07-23 16:55:31

开发技术周刊
数据分析≠Hadoop+NoSQL，完善现有技术的10条捷径
如果得到正确的应用，Hadoop确实能从根本上提升你公司的业务，然而这条Hadoop的应用之路却充满了荆棘。另一个方面，许多企业(当然不是Google、Facebook或者Twitter)也没有做大数据分析所需要的巨型集群，他们纯粹是被“大数据”这个热门的词语给吸引的。

2013-07-22 09:33:56

NoSQL大数据Hadoop
Hortonworks CTO：Hadoop的现在和将来
Hortonworks公司，由Yahoo和Benchmark Capital于2011年7月联合创建。在激烈的市场环境中，与其他竞争者相比Hortonworks有着自己的优势。出身于名门Yahoo!，Hortonworks拥有着许多Hadoop架 构师和源代码贡献者，这些源代码贡献者以前均效力于Yahoo，而且已经为Apache Hadoop项目贡献了超过80%的源代码，Hortonworks这样说道。

2013-07-19 11:00:36

Hadoop
Hadoop 2013:最受关注的13款大数据产品
2013年6月26、27日两天，在圣何塞举行的Hadoop Summit 2013，不仅是Hadoop生态圈的盛宴，也是各路玩家的战场。不仅有Sqrrl、Wandisco、GridGain等新创业公司涌现，也能看到核心玩家Cloudera和Hortonworks互相角力。

2013-07-19 10:15:54

大数据产品Hadoop
上一页 1 ··· 89101112 ··· 17
点赞

51CTO技术栈公众号

业务
速览
在线客服