51CTO首页
AI.x社区
博客
学堂
精品班
直播训练营
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

Hadoop

835内容  
涵盖Hadoop相关研究热点、技术难点与应用场景，让用户更加深入地学习这一大数据基础技术。
文章 博文
共 835 条
Hadoop平台中SQL优化的四个思路
要正确的优化SQL，必须能快速定位性能瓶颈点，或者说快速找到SQL主要的开销所在。最慢的设备通常是瓶颈点的成因，如文件下载时的瓶颈点可能是网络速度，本地文件复制时的瓶颈点可能在于硬盘性能。

2016-12-09 09:31:22

HadoopSQL大数据
大数据管道技术 推动Hadoop架构与开发模式的变革
快速数据分析和实时处理的兴起，可能会给大数据管道带来一定的变革，微服务架构正在融入Hadoop领域。

2016-12-07 17:12:57

大数据Hadoop
Docker生态会重蹈Hadoop的覆辙吗?
2015年说是Docker之年不为过，Docker热度高涨，IT从业人员要是说自己不知道Docker都不好意说自己是做IT的。2016年开始容器管理、集群调度成为热点，K8s开始成为热点。但这一幕和2013年的Hadoop大数据何其相似，当年你要说自己不知道大数据，或是知道大数据不知道Hadoop，那必然招来鄙视的眼光。

2016-12-02 19:56:11

DockerHadoop大数据
干货|大数据Hadoop快速入门教程
Hadoop是一个由Apache基金会所开发的分布式系统集成架构，用户可以在不了解分布式底层细节情况下，开发分布式程序，充分利用集群的威力来进行高速运算与存储，具有可靠、高效、可伸缩的特点。

2016-12-02 19:19:35

大数据Hadoop
Hadoop生态圈以及各组成部分的简介
Google Chubby的开源实现用于协调分布式系统上的各种服务。例如确认消息是否准确到达，防止单点失效，处理负载均衡等

2016-11-25 09:48:54

Hadoop生态圈MapReduce
Apache Kudu 1.1.0 发布，Hadoop 存储系统
我们为了实现这些目标，首先在现有的开源项目上实现原型，但是最终我们得出结论：需要从架构层作出重大改变。而这些改变足以让我们重新开发一个全新的数据存储系统。于是3年前开始开发，直到如今我们终于可以分享多年来的努力成果：Kudu，一个新的数据存储系统。

2016-11-23 09:57:45

Apache KuduHadoop存储
Hadoop工具引发的改变和提升：让数据仓库迁移更轻松
从高成本数据仓库将任务卸载有时被看做是Hadoop商用集群的首要目标。迁移提取、转换、加载(ETL)、查询以及报告工作并不能显著改变商业模式，但它可能会抑制数据仓库的增长和成本。

2016-11-16 13:34:41

Hadoop数据仓库
如何立足Hadoop成功建立商务智能：七项必备诀窍

2016-11-14 14:45:00

Hadoop诀窍商务
Hadoop工具让数据仓库迁移更轻松
从高成本数据仓库将任务卸载有时被看做是Hadoop商用集群的首要目标。迁移提取、转换、加载(ETL)、查询以及报告工作并不能显著改变商业模式，但它可能会抑制数据仓库的增长和成本。

2016-11-14 10:23:08

Hadoop工具大数据数据仓库
初学hadoop的心路历程
在学习hadoop之前，我就明确了要致力于大数据行业,成为优秀的大数据研发工程师的目标，有了大目标之后要分几步走，然后每一步不断细分，采用大事化小的方法去学习hadoop。下面开始叙述我是如何初学hadoop的。

2016-11-14 10:00:29

hadooplinux大数据
给Hadoop初学者的一些建议
零基础学习hadoop,没有想象的那么困难，也没有想象的那么容易。从一开始什么都不懂，到能够搭建集群，开发。整个过程，只要有Linux基础，虚拟机化和java基础，其实hadoop并没有太大的困难。下面整理一下整个学习过程，给大家一个参考。

2016-11-11 20:33:53

Hadoop大数据云计算
Hadoop2.6下安装Hive
下面我们将介绍如何在Hadoop2.6下安装Hive。

2016-11-09 14:31:36

Hadoop2.6Hive
不会这些，你成不了Hadoop高手！
在大数据主导潮流的时代里，成为Hadoop高手是每位从业者所追求的，那么，现在的你是不是Hadoop高手呢？那就来检测一下吧。

2016-11-09 13:52:35

Hadoop分布式集群
Hadoop何以快速成为最佳网络安全工具？
今天，企业运用Hadoop解决各种各样的问题，从改善人类健康，到挖掘最大金融投资潜力，等等等等。10年间，业内见证了一个以Hadoop为中心的庞大生态系统的诞生和快速发展。

2016-11-04 20:25:19

Hadoop网络安全工具
Spark与Hadoop MapReduce大比拼，谁实力更强
park与Hadoop MapReduce在业界有两种说法 ：一是 Spark 将代替 Hadoop MapReduce，成为未来大数据处理发展的方向 ;二是 Spark 将会和 Hadoop 结合，形成更大的生态圈。

2016-11-02 09:20:01

SparkHadoop MapR大数据
Hadoop 集群搭建
VirtualBox 的虚拟机有多种网络配置模式，包括：桥接、网络地址转换(NAT)、NAT、仅主机等。

2016-10-27 09:37:10

Hadoop集群配置
大数据除了Hadoop，还有Scrapy
互联网+概念的兴起，中国的创业者几乎把互联网+这趟车开进了所有领域，传统领域的商家人心惶惶，言必谈互联网+，仿佛不套点互联网的概念都不好意思宣传自家产品;而赶在这波潮流之前的正是燥热至今的“ 大数据 ”。

2016-10-26 08:57:13

HadoopScrapy大数据
Spark与Hadoop两大技术趋势解
说到大数据分析，16年基本被Spark与Hadoop霸屏，到底是什么样的魔力让它们足以引起大数据世界的波动，未来又会如何发展呢?

2016-10-25 09:13:21

SparkHadoop技术
除Hadoop外的9个大数据技术分析盘点
Hadoop是大数据领域最流行的技术，但并非唯一。还有很多其他技术可用于解决大数据问题。除了Apache Hadoop外，另外9个大数据技术也是必须要了解的。

2016-10-19 21:22:32

大数据大数据技术
大数据存储：扩展Hadoop的十大要点 译文
如果你有Hadoop发行版的多个实例，就会有多个这种横向扩展的存储孤岛。

2016-10-19 13:47:41

大数据存储Hadoop
Hadoop+Spark 大数据开发项目最佳实践
医疗IT系统收集了大量极具价值的数据，但这些历史医疗数据并没有发挥出其应有的价值。为此 ，本文拟利用医院现有的历史数据，挖掘出有价值的基于统计学的医学规则、知识，并 基于这些信息构建专业的临床知识库，提供诊断、处方、用药推荐功能，基于强大的关联推荐能力，极大地提高医疗服务质量，减轻医疗人员的工作强度。

2016-10-12 09:41:45

Hadoop+Spar大数据开发
广州利为携手润乾软件一同亮相Strata+Hadoop纽约站
9月26-29日，Strata+Hadoop World 2016 纽约站盛大召开，汇聚了近300位专家的技术分享，近100家展商以及5000名参会者。润乾软件受合作伙伴广州利为软件的邀请一同亮相这场全球顶级的大数据盛会。

2016-09-30 13:20:33

润乾软件Strata+Hado
广州利为携手润乾软件一同亮相Strata+Hadoop纽约站
9月26-29日，Strata+Hadoop World 2016 纽约站盛大召开，汇聚了近300位专家的技术分享，近100家展商以及5000名参会者。润乾软件受合作伙伴广州利为软件的邀请一同亮相这场全球顶级的大数据盛会。

2016-09-30 10:56:26

润乾软件润乾大数据盛会
大数据领域开源技术 除了Hadoop你还知道哪些
众所周知，大数据正在以惊人的速度增长，几乎触及各行各业，许多组织都被迫寻找新的创造性方法来管理和控制如此庞大的数据，当然这么做的目的不只是管理和控制数据，而是要分析和挖掘其中的价值，来促进业务的发展。

2016-09-29 15:49:08

hadoop大数据领域
Hadoop MapReduce如何进行WordCount自主编译运行
上次我们已经搭建了Hadoop的伪分布式环境，并且运行了一下Hadoop自带的例子–WordCount程序，展现良好。但是大多数时候还是得自己写程序，编译，打包，然后运行的，所以做一次自编译打包运行的实验。

2016-09-19 15:14:41

Hadoop Hadoop MapRWordCount
Hadoop集群datanode磁盘不均衡的解决方案
Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，当hdfs出现不平衡状况的时候，将引发很多问题。

2016-09-19 14:52:12

Hadoophdfs磁盘
如何保证Hadoop数据湖不变成“数据洪水”
数据湖的提出距今已经有了几年时间了，特别是在当今时代中，基于Hadoop建立的数据湖在大数据处理中占有的位置越来越重要。

2016-09-16 22:40:25

Hadoop数据湖
数据太大？你该了解Hadoop分布式文件系统
大数据时代来了。当所有人都争吵着这件事情的时候，当所有企业都看好大数据的发展前景的时候，却都很少关注这些数据从哪儿来，我们有没有足够优秀的技术能力处理这些数据。

2016-09-14 23:51:23

大数据Hadoop
开学好成绩!新华三获Hadoop/Spark大数据认证6项第一
开学季来到，新华三集团迎来新学期首轮好成绩：以12项测试6项第一的傲人成绩，通过大数据Hadoop/Spark产品能力认证性能专项测试，并在9月1日2016可信云大会开幕式中获颁证书，成为新华三大数据平台继4月25号基础能力认证之后的又一突破。这标志着新华三在大数据领域领先的技术实力受到业界的一致认可，也预示着新华三在大数据道路上又往前迈进了一大步。

2016-09-06 13:55:54

新华三
一文读懂Hadoop、HBase、Hive、Spark分布式系统架构
机器学习、数据挖掘等各种大数据处理都离不开各种开源分布式系统，hadoop用户分布式存储和map-reduce计算，spark用于分布式机器学习，hive是分布式数据库，hbase是分布式kv系统，看似互不相关的他们却都是基于相同的hdfs存储和yarn资源管理，本文通过全套部署方法来让大家深入系统内部以充分理解分布式系统架构和他们之间的关系。

2016-09-01 13:48:18

HadoopHBaseHive
Hadoop大数据系统的七大危险信号
大多数企业大数据应用案例尚处于实验和试点阶段，对于少数首次在生产环境部署Hadoop系统的用户来说，最常遇到的就是扩展问题，此类问题往往导致企业因噎废食，终止大数据应用项目。部署和扩展Hadoop系统是一件高度复杂的事情，如果用户能提前对Hadoop扩展可能会遇到的各种问题和危险信号有所了解，就能避免很多“救火”场面。

2016-08-30 14:40:39

Hadoop系统大数据应用
Hadoop的过去、现在和未来
Hadoop是目前大数据分析领域中应用最广泛的一种分布式架构，而经过相当长时间的发展，Hadoop在功能上也越来越成熟。

2016-08-28 15:55:04

Hadoop大数据
大数据项目实践：基于hadoop+spark+mongodb+mysql+c#开发医院临床知识库系统
针对医疗IT系统现状,思考拟利用医院现有的历史就诊记录、处方、诊断、病历数据，挖掘出有价值的基于统计学的医学规则、知识，并基于这些规则、知识信息构建专业的临床知识库，为一线医务人员提供专业的诊断、处方、用药推荐功能，基于强大的关联推荐能力，极大的提高医疗服务质量，减轻一线医疗人员的工作强度。

2016-08-24 17:35:27

hadoopspark中间件
Hadoop World:中国企业崛起 开源贡献迅速攀升 原创
Hadoop如今已经成为开源的代名词之一，其应用范围也非常之广，但安全方面一直饱受争议。据Doug介绍：其实十年前在Hadoop创立的时候是没有做安全这块的，但是我们后来不断的加强对安全模块的研发，现在Hadoop也成为了非常安全的平台

2016-08-11 14:50:48

Cloudera
Hadoop创始人Doug Cutting谈未来大数据的技术
在Doug Cutting十年前创建Hadoop架构的时候，他从未想过这会为企业界带来如此超大规模的计算。“毫无疑问，我当初预想的情况比我们现在所看到的要稍微保守一些。“他在近期伦敦的Strata+Hadoop World大会上说。

2016-06-16 17:13:59

Hadoop
下一代 Hadoop 技术演进路线展望 译文
Hadoop仍然在以极高速度推动创新，而下一代Hadoop目前正在构建当中。这条发展道路承载着一系列Hadoop核心创新以及相关技术。

2016-06-14 13:25:12

Hadoop大数据开源
实现R与Hadoop联合作业的三种方法
实现R与Hadoop的联合作业，R就拥有了在分布式文件系统(HDFS)上处理大数据的能力。本文的目的就是阐述实现二者联合作业的不同技术。但同时，这几种方法也各有利弊。

2016-06-12 09:32:43

R语言Hadoop数据处理
云上运行 Hadoop 会面临哪些挑战
在云上运行Hadoop，很多人担心性能。因为一提到虚拟化就会有人想到有成本，往往得出有偏见的结论-在云上运行肯定比物理机器上运行性能差。确实，在云上运行Hadoop对平台方还是面临一些挑战的，下面主要讲述这些挑战及平台方怎么解决的。

2016-06-02 14:15:22

Hadoop云计算分布式计算
呼之欲出！比Spark快10倍的Hadoop3.0有哪些实用新特性？
Hadoop 2.0是基于JDK 1.7开发的，而JDK 1.7在2015年4月已停止更新，这直接迫使Hadoop社区基于JDK 1.8重新发布一个新的Hadoop版本，而这正是hadoop 3.0。

2016-06-02 14:05:22

Hadoop 3.0大数据处理 Spark
Hadoop真的适合你吗？
Hadoop是低成本高性能的计算框架，可以处理各种IT和业务场景中组织对扩展处理能力或者扩展数据管理能力的需求。下面总结一下应用需求的特点以及建议选择的基于Hadoop分布式应用的数据管理平台。

2016-06-01 15:42:58

Hadoop数据管理分布式
Strata +Hadoop World 北京首届会议已经开始注册
Strata +Hadoop World即将在8月3-6号在北京举行。

2016-05-27 15:31:32

Strata +Had
拥抱开源！解析IBM Power8与Hadoop的不解之缘 原创
IBM一直将开源合作视为创新驱动力，倡导、参与和支持Linux和开源软件，并将开源技术融入满足企业客户需求的各种方案中。IBM是大数据市场中规模最大的供应商。近10年来，他们投资超过150亿美元来开发全套的大数据解决方案。Power对开源的支持，也使今天的开发者更容易利用开源技术开发大数据分析应用。 IBM还在Power Systems服务器上提供最新版本的Ubuntu服务器、Ubuntu OpenStack和Canonical公司的JujuCloud Orchestration工具。基于Power 的Ubuntu为现有的Linux应用向Power移植提供简便的通道

2016-05-27 11:43:06

IBM
至2019年全球Hadoop市场年复合增长率将达53% 译文
adoop系统从多种来源收集信息，如消费者，社交媒体和金融数据，并将收集来的数据储存在一个分布式数据仓库，来管理映射-归约(Map-Reduce)进程。在映射-归约进程中，首先，输入的数据被映射到集群结点中，映射的来源包括XML文件，传统系统，以及包括SCM、ERP、CRM、基于SaaS的应用和行业型文档等在内的企业应用。像网页内容和邮件内容这样的数字化内容也可进行映射-归约程序。在第二阶段，无数个更小的信息节点产生并在服务器中分布。这些节点进行平行计算来产生适用于所有查询的可应用输出，收集的结果用于决策过程。接下来，经过分析的信

2016-05-17 15:08:42

Hadoop
LinkedIn开源Dr. Elephant:Hadoop和Spark性能监控工具
Hadoop的专家们审查流程时发现几个常见的经常性的优化模式，并在此基础上，我们决定开始一个新的实验项目，同时优化Hadoop平台开发者和Hadoop使用者的时间。这就是Dr.Elephant的诞生过程。

2016-04-18 10:45:22

Dr. ElephanHadoop性能监控
WOT2016黄慧攀：海量日志处理可以不用Hadoop或Spark 原创
4月14-15日在北京珠三角JW万豪酒店，51CTO将举办WOT互联网运维与开发者峰会。WOT秉承专注技术，服务技术人群的理念，自 2012年首次举办以来，历经4届，积累了大量的技术资源，成为广大技术从业者和技术爱好者一致认可的技术分享大会、交流和人脉拓展平台。记者专访了本次大会大数据与运维专场的黄慧攀讲师，他分享的内容：海量日志处理系统架构。

2016-04-08 13:26:19

WOT2016又拍云海量日志处理
Hadoop 如何推动现代数据仓库技术的变革
2006年雅虎等团队开始研发Hadoop技术至今已整整十年。在此之间技术发展迅速，Hadoop上的生态系统逐渐扩大。各个行业的用户逐渐开始基于这一新的技术来开发全新的应用，甚至将原先的应用向Hadoop之上进行迁移。

2016-04-05 10:59:59

Hadoop数据仓库架构设计
WOT2016杨大海：优酷土豆Hadoop集群挑战海量数据与高并发之道 原创
4月14-15日在北京珠三角JW万豪酒店，51CTO将举办WOT互联网运维与开发者峰会。WOT秉承专注技术，服务技术人群的理念，自 2012年首次举办以来，历经4届，积累了大量的技术资源，成为广大技术从业者和技术爱好者一致认可的技术分享大会、交流和人脉拓展平台。记者专访了本次大会大数据与运维专场的杨大海讲师，他分享的内容：《优酷土豆大数据平台的演化之路 》。

2016-04-01 09:23:55

优酷土豆大数据平台Hadoop
不同Hadoop上的SQL数据库引擎如何适配BI工作
Hadoop上的SQL引擎Impala是一种新型查询系统基准，发现Spark和Hive在BI的工作负载中有自己的优势与弱势。根据最新的基准，三个主要的SQL-on-Hadoop引擎，Apache Impala 2.3, Apache Spark 1.6 和Apache Hive 1.2，都有各自独特的优势和劣势，这令他们能很好的适应一些BI用例，而不是其他智能。

2016-03-28 10:32:36

Hadoop数据库引擎BI
非要一决高下？听说Hadoop和Spark更配哦
对Hadoop与Spark孰优孰劣这个问题，最准确的观点就是，设计人员旨在让Hadoop和Spark在同一个团队里面协同运行。

2016-03-16 14:59:09

HadoopSpark大数据平台
别再比较Hadoop和Spark了，那不是设计人员的初衷
直接比较Hadoop和Spark有难度，因为它们处理的许多任务都一样，但是在一些方面又并不相互重叠。Hadoop和Spark并不是非此即彼的关系，也不是说一方是另一方的简易替代者。两者彼此兼容，这使得这对组合成为一种功能极其强大的解决方案，适合诸多大数据应用场合。

2016-03-09 14:35:42

HadoopSpark数据处理
上一页 1 ··· 45678 ··· 17
点赞

51CTO技术栈公众号

业务
速览
在线客服