51CTO首页
内容精选
博客
学堂
精培
企业培训
CTO训练营
智能汽车
开源基础软件社区
WOT全球技术创新大会
公众号矩阵
移动端
免费课程课程排行直播课软考学堂
精品班厂商认证IT技术2023年软考PMP项目管理
在线学习企业服务
CTO训练营技术经理研习营LeaTech峰会
文章资源问答开源课堂专栏直播
51CTO
开源基础软件社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
开源基础软件社区订阅号
51CTO学堂APP
51CTO学堂企业版APP
开源基础软件社区视频号
账号设置 退出

Hadoop

829内容  
涵盖Hadoop相关研究热点、技术难点与应用场景，让用户更加深入地学习这一大数据基础技术。
文章 博文
共 829 条
这是一篇最通熟易懂的Hadoop HDFS实践攻略！
以下是HDFS的基础内容，希望可以帮助您快速熟悉HDFS的思路和使用方式。

2017-05-22 10:11:11

Hadoop HDFSJava APIHadoop
零基础搭建Hadoop大数据处理-集群安装
经过一系列的前期环境准备，现在可以开始Hadoop的安装了，在这里去apache官网下载2.7.3的版本 http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

2017-05-11 17:36:50

数据分析Hadoop大数据
零基础搭建Hadoop大数据处理-环境
由于Hadoop需要运行在Linux环境中，而且是分布式的，因此个人学习只能装虚拟机，本文都以VMware Workstation为准，安装CentOS7，具体的安装此处不作过多介绍，只作需要用到的知识介绍。

2017-05-11 11:00:11

大数据Hadoop数据处理
零基础搭建Hadoop大数据处理-初识
Hadoop的学习不仅仅是学习Hadoop，还要学习Linux，网络知识，Java、还有数据结构和算法等等，所以万里长征才开始第一步，希望Hadoop学习不是从了解到放弃。

2017-05-05 09:53:34

Hadoop大数据处理
Hadoop没有消亡，它是大数据的未来
有人认为 Hadoop 正在失败，但硅谷数据管理公司 Hortonworks 的总经理 Vamsi K. Chemitiganti 并不这么看，本文就是对其观点的编译介绍。

2017-05-01 22:54:01

Hadoop大数据开源
Spark：超越Hadoop MapReduce
和 Hadoop 一样，Spark 提供了一个 Map/Reduce API(分布式计算)和分布式存储。二者主要的不同点是，Spark 在集群的内存中保存数据，而 Hadoop 在集群的磁盘中存储数据。

2017-04-19 11:17:48

SparkHadoopMapReduce
Hadoop常见错误和处理方式
目前发现很多的地方，TASKTRACKER和HDFS都分了组，但是只修改一组的参数，造成系统大量出问题。java heap size以及tasktracker被拉黑名单的问题。

2017-04-17 10:05:51

Hadoop错误方式
Hadoop环境中管理大数据存储八大技巧
目前大数据行业也越来越火爆，从而导致国内大数据人才也极度缺乏，下面介绍一下关于Hadoop环境中管理大数据存储技巧。

2017-04-10 08:56:46

Hadoop环境数据存储技巧
Hadoop1.0和Hadoop2.0的区别
今天我们讲讲如何选择不同的Hadoop版本。

2017-03-22 20:21:16

Hadoop框架分布式
如何使用Hadoop提升Hive查询性能
Apache Hive 是一个 Hadoop 之上构建起来的数据仓库，用于数据的分析、汇总以及查询。Hive 提供了一种类 SQL 的接口来查询被存储在各种数据源和文件系统中的数据。

2017-03-13 09:50:00

HadoopHive
DIY Hadoop大数据环境的5大陷阱
虽然Hadoop可以运行在廉价的商品计算机硬件，且用户很容易添加节点，但是它有一些细节是很昂贵的，尤其是你在生产环境中运行Hadoop。

2017-03-09 14:45:13

DIY Hadoop大数据环境
多云未来，Hadoop何去何从？
Hadoop在未来还会保持两到三年的强劲增长，但最终它可能只会留在数据库与大型机身边。数字时代的变化速度太快，没有任何一种技术可以长盛不衰!

2017-03-09 09:24:43

Hadoop技术大数据
Hadoop正在走下坡路
长期以来，Hadoop 这个词铺天盖地，几乎成了大数据的代名词。三年之前，提起超越 Hadoop 这件事，似乎还显得难以想象。但三年后的今天，这一情况发生了一些改变。

2017-03-07 07:59:16

Hadoop下坡路
跌下神坛的Hadoop 过度炒作还是理性选择？
单纯从 Hadoop 的市场占有率来推断其发展态势似乎有些片面了，因为还有许多公司并非不想采用 Hadoop，只是他们发现很难利用现有的技术团队充分挖掘 Hadoop 的应用价值，实际上，他们只是需要更多的专业知识。

2017-03-06 14:24:26

Hadoop炒作选择
Hadoop历史、HDFS特点及对大数据时代的意义
如今Apache Hadoop已成为大数据行业发展背后的驱动力。Hive和Pig等技术也经常被提到，但是他们都有什么功能，为什么会需要奇怪的名字（如Oozie，ZooKeeper、Flume）。

2017-03-06 10:45:29

HadoopHDFS大数据
OpenStack Sahara如何构建Hadoop和Spark系统
OpenStack是一种云操作系统，用于提供虚拟机，而OpenStack Sahara是一个附加组件，使管理员能够在这些虚拟机上部署Spark和Hadoop。

2017-03-06 09:40:39

OpenStack SHadoopSpark
5节点Hadoop分布式集群搭建经验分享
本文章我们使用hadoop2.6.0版本配置Hadoop集群，同时配置NameNode+HA、ResourceManager+HA，并使用zookeeper来管理Hadoop集群。

2017-02-28 09:48:30

Hadoop集群搭建
基于Hadoop的数据仓库Hive基础知识
Hive是基于Hadoop的数据仓库工具，可对存储在HDFS上的文件中的数据集进行数据整理、特殊查询和分析处理，提供了类似于SQL语言的查询语言–HiveQL，可通过HQL语句实现简单的MR统计，Hive将HQL语句转换成MR任务进行执行。

2017-02-28 09:21:56

HadoopHive数据仓库
Hadoop让大数据在零售业变得更有价值
在过去几年，全球零售商一直试图利用大数据创造价值。由于其大数据分析基础架构的限制，许多工作被一再推迟。Hadoop为这些零售商打开了新的大门，它可以解决他们在过去几年在大数据领域面临的许多问题和挑战。

2017-02-27 16:47:52

零售业大数据
海量数据汹涌而来，Hadoop不再一家独大
2017年大数据将不再是Hadoop一家独大，也不再是编程者们的自娱自乐，企业和终端用户的不断涌入，海量数据“堆积如山”，随之而来的储存、分析、处理成为从业者的下一挑战。

2017-02-23 11:30:11

Hadoop数据DataLake
Kudu，支持快速分析的新型Hadoop存储系统
Kudu是Cloudera开源的新型列式存储系统，是Apache Hadoop生态圈的新成员之一（incubating），专门为了对快速变化的数据进行快速的分析，填补了以往Hadoop存储层的空缺。本文主要对Kudu的动机、背景，以及架构进行简单介绍。

2017-02-20 07:57:42

Kudu快速分析Hadoop
Hadoop在云环境中找到理想归宿 译文
Hadoop概念涵盖了全部“商业化打包及支持的开源Hadoop相关项目版本”。换言之，除了传统的HDFS与MapReduce之外，Gartner还在其中融入了YARN、Pig、Hive、HBase、ZooKeeper、Avro、Flume、Kafka、Oozie、Parquet、Solr、Spark及Sqoop等项目

2017-02-17 09:14:14

Hadoop
为什么说Storm比Hadoop 快？
实际流计算和批处理系统没有本质的区别，像storm的trident也有批概念，而mapreduce可以将每次运算的数据集缩小(比如几分钟启动一次)，facebook的puma就是基于hadoop做的流计算系统。

2017-02-14 14:20:02

StormHadoop
大数据框架对比：Hadoop、Storm、Samza、Spark和Flink
大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算类型的普遍性、规模，以及价值在最近几年才经历了大规模扩展。

2017-02-14 13:11:23

HadoopStormSamza
打破TPCx-BB测试记录又怎样，会玩Hadoop大数据应用吗?
随着移动互联网的快速发展，数据量急剧膨胀，新经济模式下，如何从积累的海量数据中挖掘出新的价值，支撑企业及社会发展，是当前大数据大热的内在驱动力。大数据应用所需要的IT设施的计算资源、存储资源越来越大。

2017-02-10 17:55:30

华为
Hadoop面试中6个常见的问题及答案
Hadoop 是一个开源软件框架，用于存储大量数据，并发处理/查询在具有多个商用硬件(即低成本硬件)节点的集群上的那些数据。

2017-02-10 10:10:46

Hadoop面试数据仓库
大数据计算架构Hadoop、Spark和Storm 三者技术比较
纵观技术的发展史，我们可以看到，每一项新技术的问世都有着之前技术的身影，伴随着大数据的需求增长，不同的架依然会不断进化，并改进自身的缺点，从而使得自身架构得到进一步的完善。就目前来看Hadoop，Spark和Storm目前远谈不到谁取代谁。

2017-02-10 09:00:03

HadoopSparkStorm
零售业如何用Hadoop开启大数据之门？
“大型零售商永远不可能利用其传统的大数据基础设施进行这种分析。存储如此多的历史数据是十分昂贵的，并且数据类型复杂，并且需要相当多的准备以允许它与PoS事务组合。Hadoop解决了这两个问题，并且可以运行比旧系统更复杂的分析。”

2017-02-09 14:31:54

Hadoop零售业大数据
TensorFlow的开源与Hadoop的开源有什么不同？
出现这种区别最大的原因是来源于Google与Apache本质上不同，Google作为一个商业公司，有的是人来维护代码，基本上不在乎来自公司外的贡献。对于Google来说，开源TF(目测k8s也差不多)最大的目的是制定标准，推进自己的cloud，另外如果有更多的人来测试和修修补补那些外围一点的东西那是再好不过了。

2017-02-07 09:30:49

TensorFlowHadoop开源
TensorFlow的开源与Hadoop的开源有什么不同？
最近看TensorFlow代码的时候，用Git pull下来最新的master一看，哇好多的更新，然后点击去之前看到一半的cc文件继续看，好多地方都改变了。但是一看Git log，有好多巨大的commit叫什么 “Merge commit for internal changes”, “Merge for github”，没有任何的其他描述…，这样基本上不知道到底改动是为了什么。

2017-02-06 17:00:09

TensorFlowHadoop开源
成本与性能兼得 简化Hadoop云部署的高招
对于大数据管理和分析应用程序云服务，用户的关注度正不断增长，而为了应对这一趋势，供应商已经开始努力简化Hadoop的云部署流程，并试图降低云端Hadoop的购买价格。

2017-01-22 10:40:31

Hadoop云部署大数据
成本性能要兼得?简化Hadoop云部署有高招
对于大数据管理和分析应用程序云服务，用户的关注度正不断增长，而为了应对这一趋势，供应商已经开始努力简化Hadoop的云部署流程，并试图降低云端Hadoop的购买价格。

2017-01-19 15:05:38

Hadoop云计算大数据
ZooKeeper原理及其在Hadoop和HBase中的应用
ZooKeeper是一个开源的分布式协调服务，由雅虎创建，是Google Chubby的开源实现。分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。

2017-01-17 09:38:52

ZooKeeperHadoopHBase
大数据除了Hadoop，还有Scrapy
互联网+概念的兴起，中国的创业者几乎把互联网+这趟车开进了所有领域，传统领域的商家人心惶惶，言必谈互联网+，仿佛不套点互联网的概念都不好意思宣传自家产品;而赶在这波潮流之前的正是燥热至今的“ 大数据 ”。

2017-01-15 14:18:35

大数据HadoopScrapy
Hadoop创始人寄语2017：五种让开源项目成功的方法
在未来的几年内，开源生态系统将继续扩大，也会不断地在有实际意义的项目里实施。它汇聚了今天最聪明的头脑，在通力合作下，以十年前不可能的速度推进软件开发。

2017-01-15 11:26:31

Hadoop开源项目
Hadoop开发过程中所遇到的那些坑
每次对NameNode格式化之后都会产生一个新的namespaceID，如果多次对NameNode格式化的话可能导致NameNode节点和DataNode节点中存放的版本号不一致。

2016-12-30 11:10:32

Hadoop开发JVM
Kafka在行动：7步实现从RDBMS到Hadoop的实时流传输
本文目标读者是技术人员。 继续读，我会图解Kafka如何从关系数据库管理系统(RDBMS)里流输数据到Hive， 这可以提供一个实时分析使用案例。 为了参考方便，本文使用的组件版本是Hive 1.2.1，Flume 1.6和Kafka 0.9。

2016-12-28 17:45:30

Hadoop大数据Kafka
Hadoop如何迎击大数据分析的挑战
大数据分析是现在十分火热的话题，从农业到工业、从金融到体育、从传统企业到初创公司，各行各业都在积极应用大数据分析，似乎你的企业不和大数据沾点边就会显得没有逼格一样。

2016-12-22 09:52:13

Hadoop大数据分析
Hadoop大数据面试--Hadoop篇
本篇大部分内容参考网上，其中性能部分参考：http://blog.cloudera.com/blog/20 ... reduce-performance/、http://www.idryman.org/blog/2014 ... ing-best-practices/

2016-12-20 18:21:29

Hadoop大数据面试
Hadoop2.6.0自动化部署脚本（一）
最近自己写了一个Hadoop自动化部署脚本，包括Hadoop集群自动化部署脚本和Hadoop增加单节点自动化部署脚本。需要快速部署Hadoop集群的童鞋可以使用该脚本。这些脚本我在用5台虚拟机进行了测试，如果在使用中还有bug，欢迎指出。本文主要介绍Hadoop集群自动化部署脚本，安装的Hadoop版本为2.6.0。

2016-12-20 16:47:25

Hadoop部署脚本
为什么说Storm比Hadoop快？
storm的网络直传、内存计算，其时延必然比hadoop的通过hdfs传输低得多;当计算模型比较适合流式时，storm的流式处理，省去了批处理的收集数据的时间;因为storm是服务型的作业，也省去了作业调度的时延。所以从时延上来看，storm要快于hadoop。

2016-12-14 12:02:01

StormHadoop大数据
Hadoop问题集
今天讲一讲关于Hadoop的问题、原因以及解决方法。

2016-12-13 16:36:15

Hadoopwindows
Apache Hadoop 3.0.0-alpha1主要改进
今天主要给大家介绍Apache Hadoop 3.0.0-alpha1主要改进。

2016-12-13 16:11:44

Java Hadoop
Hadoop平台中SQL优化的四个思路
要正确的优化SQL，必须能快速定位性能瓶颈点，或者说快速找到SQL主要的开销所在。最慢的设备通常是瓶颈点的成因，如文件下载时的瓶颈点可能是网络速度，本地文件复制时的瓶颈点可能在于硬盘性能。

2016-12-09 09:31:22

HadoopSQL大数据
大数据管道技术 推动Hadoop架构与开发模式的变革
快速数据分析和实时处理的兴起，可能会给大数据管道带来一定的变革，微服务架构正在融入Hadoop领域。

2016-12-07 17:12:57

大数据Hadoop
Docker生态会重蹈Hadoop的覆辙吗?
2015年说是Docker之年不为过，Docker热度高涨，IT从业人员要是说自己不知道Docker都不好意说自己是做IT的。2016年开始容器管理、集群调度成为热点，K8s开始成为热点。但这一幕和2013年的Hadoop大数据何其相似，当年你要说自己不知道大数据，或是知道大数据不知道Hadoop，那必然招来鄙视的眼光。

2016-12-02 19:56:11

DockerHadoop大数据
干货|大数据Hadoop快速入门教程
Hadoop是一个由Apache基金会所开发的分布式系统集成架构，用户可以在不了解分布式底层细节情况下，开发分布式程序，充分利用集群的威力来进行高速运算与存储，具有可靠、高效、可伸缩的特点。

2016-12-02 19:19:35

大数据Hadoop
Hadoop生态圈以及各组成部分的简介
Google Chubby的开源实现用于协调分布式系统上的各种服务。例如确认消息是否准确到达，防止单点失效，处理负载均衡等

2016-11-25 09:48:54

Hadoop生态圈MapReduce
Apache Kudu 1.1.0 发布，Hadoop 存储系统
我们为了实现这些目标，首先在现有的开源项目上实现原型，但是最终我们得出结论：需要从架构层作出重大改变。而这些改变足以让我们重新开发一个全新的数据存储系统。于是3年前开始开发，直到如今我们终于可以分享多年来的努力成果：Kudu，一个新的数据存储系统。

2016-11-23 09:57:45

Apache KuduHadoop存储
Hadoop工具引发的改变和提升：让数据仓库迁移更轻松
从高成本数据仓库将任务卸载有时被看做是Hadoop商用集群的首要目标。迁移提取、转换、加载(ETL)、查询以及报告工作并不能显著改变商业模式，但它可能会抑制数据仓库的增长和成本。

2016-11-16 13:34:41

Hadoop数据仓库
上一页 1 ··· 34567 ··· 17
点赞

51CTO技术栈公众号

业务
速览
在线客服