51CTO首页
内容精选
博客
学堂
精培
企业培训
CTO训练营
智能汽车
开源基础软件社区
WOT全球技术创新大会
公众号矩阵
移动端
免费课程课程排行直播课软考学堂
精品班厂商认证IT技术2023年软考PMP项目管理
在线学习企业服务
CTO训练营技术经理研习营LeaTech峰会
文章资源问答开源课堂专栏直播
51CTO
开源基础软件社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
开源基础软件社区订阅号
51CTO学堂APP
51CTO学堂企业版APP
开源基础软件社区视频号
账号设置 退出

Hadoop

829内容  
涵盖Hadoop相关研究热点、技术难点与应用场景，让用户更加深入地学习这一大数据基础技术。
文章 博文
共 829 条
使用Docker在本地搭建hadoop，spark集群
目前网上在docker上部署spark的介绍比较简单和没有相关启动使用的操作,本文重点在于docker相关的操作.

2016-01-07 09:36:20

Docker容器
Apache Eagle：eBay开源分布式实时Hadoop数据安全引擎
Apache Eagle提供一套高效分布式的流式策略引擎，具有高实时、可伸缩、易扩展、交互友好等特点，同时集成机器学习对历史模型训练建立用户画像以实现智能实时地保护Hadoop生态系统中大数据的安全。

2016-01-06 10:22:18

开源eBayHadoop
UCloud重磅推出UHadoop大数据处理服务
UHadoop基于Hadoop开源框架，底层节点独占高性能SAS磁盘的特性有效提升了数据处理效率，快速扩展、监控和告警等功能则让集群管理更加便捷，从而实现轻松快速并经济地处理大量数据的需求。

2015-12-07 15:05:39

UCloudUHadoop大数据
Think Big在业内率先为Hadoop数据湖推出全面管理服务
全球领先的大数据分析和营销应用服务供应商Teradata天睿公司（Teradata Corporation，纽交所：TDC）宣布其子公司Think Big率先为Hadoop推出一套完善的管理服务，确保Hadoop数据湖的高可用性、使用效率及安全性。Think Big咨询服务将帮助企业克服数据湖管理复杂的困难，充分发挥大数据优势。

2015-10-26 12:30:28

Teradata
YARN：下一代 Hadoop计算平台
Apache Hadoop 是最流行的大数据处理工具之一。它多年来被许多公司成功部署在生产中。尽管 Hadoop 被视为可靠的、可扩展的、富有成本效益的解决方案，但大型开发人员社区仍在不断改进它。

2015-09-28 16:24:34

YARNHadoop计算
大数据技术Hadoop面试题,看看你能答对多少？
大数据技术Hadoop面试题,看看你能答对多少？

2015-09-25 10:44:02

大数据Hadoop
O'Reilly继Velocity之后带入亚洲的Strata+Hadoop大数据会议

2015-09-18 14:07:34

O'Reilly Me
Strata + Hadoop World大会

2015-09-18 13:58:55

O'Reilly Me
Hadoop可能已经达到预期的成熟度
五年前，Hadoop用可以解决所有大数据难题的身份杀入主流市场。如今尘埃已经落定，现在是时候对Hadoop展开更切合实际的评估了。

2015-09-01 14:38:07

hadoop
Hadoop与大数据2015的趋势与挑战
大数据通常会引发商业智能的快速可用性，这主要归因于可靠的大容量数据存储和通过使用类似Hadoop的开源工具进行并行处理。通过大数据进行可预测分析和建模所带来的好处是非常多的。

2015-09-01 14:06:24

hadoop大数据趋势
Hadoop与大数据2015的趋势与挑战
大数据通常会引发商业智能的快速可用性，这主要归因于可靠的大容量数据存储和通过使用类似Hadoop的开源工具进行并行处理。通过大数据进行可预测分析和建模所带来的好处是非常多的。

2015-08-31 11:20:08

大数据
Hadoop HBase 单机环境简单配置教程
Hadoop是Apache的一个项目,它是一个实现了MapReduce计算模型的可以运用于大型集群并行计算的分布式并行计算编程框架,当然分布式计算离不开分布式存储,Hadoop框架包含了分布式存储系统HDFS(Hadoop Distributed File System),其存储和数据结构很类似Google的GFS。

2015-08-26 10:18:40

hbase
Hadoop Pig学习笔记(一) 各种SQL在PIG中实现
我这里以Mysql 5.1.x为例,Pig的版本是0.8

2015-08-19 14:43:19

pighadoop
15种最佳方式帮你顺利掌握Hadoop技术 译文
在探讨今天的主题——如何利用各类资源学习Hadoop知识——之前，让我们首先搞清楚另一个问题：大数据Hadoop到底是什么？简单来讲，Hadoop是一套用于实现大数据技术的框架方案。为了顺利掌握Hadoop，大家需要理解两项与文件存储以及数据处理紧密相关的基础知识。

2015-08-13 10:01:43

Hadoop最佳方式
荐六十款针对Hadoop和大数据顶级开源工具
说到处理大数据的工具，普通的开源解决方案（尤其是Apache Hadoop）堪称中流砥柱。弗雷斯特调研公司的分析师Mike Gualtieri最近预测，在接下来几年，“100%的大公司”会采用Hadoop。Market Research的一份报告预测，到2011年，Hadoop市场会以58%的年复合增长率（CAGR）高速增长；到2020年，市场产值会超过10亿美元。IBM更是非常看好开源大数据工具，派出了3500名研究人员开发Apache Spark，这个工具是Hadoop生态系统的一部分。

2015-08-10 10:37:42

Hadoop大数据顶级开源工具
Hadoop和大数据：60款顶级开源工具 译文
说到处理大数据的工具，普通的开源解决方案（尤其是Apache Hadoop）堪称中流砥柱。本文提到的这些Hadoop和大数据应用程序在帮助众多企业管理和分析大量数据。

2015-08-10 09:23:05

Hadoop大数据开源
hadoop是什么：分布式系统基础架构
hadoop是什么?hadoop能有哪些应用？hadoop和大数据是什么关系？下面我们将围绕这几个问题详细阐述。

2015-08-03 15:48:42

Hadoop大数据
大数据与Hadoop之间是什么关系？
大数据在近些年来越来越火热，人们在提到大数据遇到了很多相关概念上的问题，比如云计算、 Hadoop等等。那么，大数据是什么、Hadoop是什么，大数据和Hadoop有什么关系呢？

2015-08-03 10:20:39

大数据Hadoop
星环Hadoop on Docker首次实现一键规模部署

2015-07-30 16:18:14

企业网D1Net
知识分享：详解Hadoop核心架构
通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程，以及数据仓库工具Hive和分布式数据库Hbase的介绍，基本涵盖了Hadoop分布式平台的所有技术核心。

2015-07-29 10:36:05

hadoop数据挖掘
基于Hadoop的大规模网络流量分析
分布式数据系统HDFS保证了备份数据的数量均匀分布在集群内部的各个节点上，数据更不易因机器的故障而丢失。本文基于Hadoop设计实现了适用于大规模网络流量的分析系统，使用了四个节点构成的分析集群，用来和一个单点SILK的数据流分析工具进行对比，结果表明该方法在大量数据的情况下相比于传统的流分析工具具有更好的效率、可靠性及可扩展性。

2015-07-28 15:58:26

Hadoop大规模网络流量分析
Hadoop可能已经达到预期的成熟度
五年前，Hadoop用可以解决所有大数据难题的身份杀入主流市场。如今尘埃已经落定，现在是时候对Hadoop展开更切合实际的评估了。

2015-07-28 09:55:47

Hadoop
大数据：Spark和Hadoop是友非敌
Spark 在 6 月份取得了激动人心的成绩。在圣何塞举办的 Hadoop 峰会上，Spark 成了人们经常提及的话题和许多演讲的主题。IBM 还在 6 月 15 号宣布，将对 Spark 相关的技术进行巨额投资。

2015-07-23 14:29:28

大数据sparkhadoop
来自Twitter的Hadoop优化经验：集群越大越明显！
此文介绍了Twitter的核心数据类库团队，在使用Hadoop处理离线任务时，使用的性能分析方法，及由此发现的问题和优化手段，对如何使用 JVM/HotSpot profile(-Xprof)分析Hadoop Job的方法调用开销、Hadoop配置对象的高开销、MapReduce阶段的排序中对象序列化/反序列的高开销问题及优化等给出了实际可操作的方案。32个赞!

2015-07-16 10:11:38

TwitterHadoop集群优化
Spark 和 Hadoop 是朋友不是敌人
6月15日，IBM 宣布计划大规模投资 Spark 相关技术，此项声明会促使越来越多的工程师学习 Spark 技术，并且大量的企业也会采用 Spark 技术。

2015-07-15 10:11:31

SparkHadoop
将Hadoop作为云托管服务的优劣势分析 译文
Hadoop 之所以广受欢迎，就是因为它为使用大众化硬件处理大数据提供了一种几乎没有限制的环境。添加节点是个简单的过程，对这个框架没有任何负面影响。虽然Hadoop统一了分布式计算，但是配备和管理另外的数据中心、更不用说与远程员工打交道，增添了复杂性和成本。结果就是，Hadoop集群可能显得过于孤立。

2015-07-08 09:19:56

HaaSHadoop即服务云端Hadoop
基于Hadoop MapReduce模型的数据分析平台研究设计
并行程序设计方法中最重要的一种结构就是主从结构，而Hadoop则属于该架构。本分主要从以下两个方面来介绍基于Hadoop MapReduce模型的数据分析平台研究设计：分别是Hadoop MapReduce与Hive技术研究、数据分析平台框架设计与环境配置。

2015-07-01 13:51:12

HadoopMapReduce数据分析
破解迷雾：关于大数据与Hadoop的九大误区 译文
这些毫无根据的印象涉及所需技能储备、技术方案类型以及技术匹配方式等多个层面，盲目偏信只会将大家引入歧途。

2015-06-23 10:04:06

大数据Hadoop误区
解析Hadoop 的集群管理与安全机制
当前大一点的公司都采用了共享Hadoop集群的模式，这种模式可以减小维护成本，且避免数据过度冗余，增加硬件成本。共享集群类似于云计算或者云存储，面临的一个最大问题是安全。本文就对Hadoop 的集群管理与安全机制进行讲解。

2015-06-17 11:27:47

Hadoop集群管理安全机制
Hadoop的一个变长long编码剖析
Hadoop对于long、int （化成long进行编码）的编码设计了自己的一套编码方式，这是一个zero-compressed encoded的变长编码方式，有利于大大压缩冗余数据。

2015-06-15 12:30:10

Hadooplong编码剖析
Hadoop RPC远程过程调用源码解析及实例
RPC(Remote Procedure Call）远程过程调用，它允许一台计算机程序远程调用另外一台计算机的子程序，而不用去关心底层的网络通信细节，对我们来说是透明的。经常用于分布式网络通信中。

2015-06-09 13:31:29

Hadoop RPC远源码解析
你想知道的关于Hadoop数据资源池的一切
随着Hadoop数据资源池的概念进入主流IT，越来越多的企业开始试水Hadoop。但很多只是将一部分数据池化，还没有开发出成熟的Hadoop环境。

2015-05-29 11:43:57

Hadoop数据资源池
如何基于Docker快速搭建多节点Hadoop集群
Docker最核心的特性之一，就是能够将任何应用包括Hadoop打包到Docker镜像中。这篇教程介绍了利用Docker在单机上快速搭建多节点 Hadoop集群的详细步骤。作者在发现目前的Hadoop on Docker项目所存在的问题之后，开发了接近最小化的Hadoop镜像，并且支持快速搭建任意节点数的Hadoop集群。

2015-05-27 10:29:41

DockerHadoopHadoop集群
能否利用Hadoop搭建完整的云计算平台?
Hadoop并不完全代表云计算，所以，要用Hadoop搭建完整的云计算平台，答案是不够。我们常说云计算，实际上还是通过计算机的大规模或者说海量处理来为生活中各式各样的人和各行各业服务——所以，核心在“服务”。关于服务，展开来就是常用的那3种(也是事实上的标准)：SaaS,PaaS,IaaS。对云计算来说，公有和私有，虚拟和存储，这其实是相对讨论的核心。

2015-05-20 11:01:02

Hadoop云计算平台
2015也过去一半了，Hadoop大事件盘点
2015也快过去一半了，Hadoop在过去一年的发展究竟如何，下面小象带你盘点一下2014Hadoop大事件！

2015-05-19 14:03:07

Hadoop大事件盘点
Cloudera英特尔携手走过一年 加速企业采用Hadoop平台
通过推进跨越整个生态系统的，侧重产品改进和产业协作的合作，Cloudera和英特尔公司携手实现了安全领域的技术革新，Hadoop核心技术在 Cloudera 四个发行版本中的持续优化，更好的可管理性。此外，双方的合作还帮助减少了企业使用大数据分析技术的障碍，带来了全新的解决方案、一体机和云上的部署。

2015-05-18 18:01:04

ClouderaHadoop平台
Hadoop技术让大数据处理变得简单
你知道世界一天产生多少数据量吗? 你知道从谷歌的搜寻关键字，如何预测流感疫情的蔓延? 你知道为什么登入购物网站，发现陈列的商品都是最想买的东西?电脑知道要回答这些问题，关键就在于大数据 (Big Data)!

2015-05-05 11:18:18

大数据Hadoop技术处理
Hadoop将取代MPP，混合架构即将消失

2015-04-29 17:40:53

企业网D1Net
相比Hadoop,如何看待Spark技术?
之前看Spark的评价，几乎一致表示，Spark是小数据集上处理复杂迭代的交互系统，并不擅长大数据集，也没有稳定性。但是最近的风评已经变 化，尤其是14年10月他们完成了Peta sort的实验，这标志着Spark越来越接近替代Hadoop MapReduce了。

2015-04-28 14:55:01

HadoopSpark技术
后Hadoop时代的大数据架构
提到大数据分析平台，不得不说Hadoop系统，Hadoop到现在也超过10年的历史了，很多东西发生了变化，版本也从0.x 进化到目前的2.6版本。我把2012年后定义成后Hadoop平台时代，这不是说不用Hadoop，而是像NoSQL （Not Only SQL）那样，有其他的选型补充。我在知乎上也写过Hadoop的一些入门文章 如何学习Hadoop – 董飞的回答，为了给大家有个铺垫，简单讲一些相关开源组件。

2015-04-24 11:20:15

Hadoop大数据架构大数据
让SQL用户装上hadoop大数据的引擎

2015-04-22 13:20:21

企业网D1Net
从HDFS架构和设计看Hadoop和云计算的关系
Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。

2015-04-16 14:24:56

Hadoop云计算HDFS
Hadoop之后：大数据的未来
在实时数据世界里，为什么我们还这么执着于Hadoop?

2015-04-01 15:09:30

Hadoop大数据
不只是Hadoop：大数据技术的未来道路 译文
以Spark为代表的大数据技术当下可谓风靡一时，但其未来又将走向何方？这个问题的答案说起来有些复杂。

2015-03-31 09:28:28

Hadoop大数据技术大数据未来道路
大数据处理一定需要Hadoop吗？
Google强大的搜寻引擎每天处理庞大的搜寻数据，靠的是数十万的伺服器同时作工。然而一般企业并无法使用Google所用的内部搜寻引擎工具，所以，拥有处理大数据工具的分散式运算平台Hadoop应运而生。

2015-03-30 10:48:17

大数据大数据处理Hadoop
让SQL用户快速进入Hadoop大数据时代 —— Transwarp Inceptor是怎样炼成的
当前Hadoop技术蓬勃发展，用于解决大数据的分析难题的技术平台开始涌现。Spark凭借性能强劲、高度容错、调度灵活等技术优势已渐渐成为主流技术，业界大部分厂商都提供了基于Spark的技术方案和产品。根据Databricks的统计，目前有11个商业的Spark版本。

2015-03-27 10:25:34

Hadoop
hadoop中mapreduce的常用类
新旧API是同时存在于1.1.2的hadoop中的。以前还一直纳闷儿为什么有时候是jobClient提交任务，有时是Job...不管API是否更新，下面这些类也还是存在于API中的，经过自己跟踪源码，发现原理还是这些。只不过进行了重新组织，进行了一些封装，使得扩展性更好。

2015-03-24 15:08:21

mapreducehadoop
2015年Hadoop为代表的大数据趋势
在短短几年里，大数据技术从炒作的概念变为新数字时代的核心破坏者。2014年，公司里越来越多的大数据举措从测试步入生产。2015年，大数据将在企业里进一步推进，使用更多的用例（特别是实时用例）。

2015-03-18 10:04:46

Hadoop大数据趋势
能否利用Hadoop搭建完整的云计算平台？
Hadoop并不完全代表云计算，所以，要用Hadoop搭建完整的云计算平台，答案是不够。我们常说云计算，实际上还是通过计算机的大规模或者说海量处理来为生活中各式各样的人和各行各业服务——所以，核心在“服务”。关于服务，展开来就是常用的那3种(也是事实上的标准)：SaaS,PaaS,IaaS。对云计算来说，公有和私有，虚拟和存储，这其实是相对讨论的核心。

2015-03-18 09:57:58

云计算平台云计算平台搭建Hadoop
一文读懂大数据的黄色小象帮手——Hadoop
继云计算之后，大数据(Big Data)接棒成为最热门的科技潮字，和大数据有关的技术和科技接二连三成为科技圈注目的焦点。如果你也关注云端跟大数据的资讯，Hadoop 这个字出现频率一定挺高的，这个黄色小象 Logo 也应该经常亮相。

2015-03-17 11:28:03

大数据黄色小象Hadoop
上一页 1 ··· 56789 ··· 17
点赞

51CTO技术栈公众号

业务
速览
在线客服