51CTO首页
AI.x社区
博客
学堂
精品班
直播训练营
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

Hadoop

835内容  
涵盖Hadoop相关研究热点、技术难点与应用场景，让用户更加深入地学习这一大数据基础技术。
文章 博文
共 835 条
不只是Hadoop：大数据技术的未来道路 译文
以Spark为代表的大数据技术当下可谓风靡一时，但其未来又将走向何方？这个问题的答案说起来有些复杂。

2015-03-31 09:28:28

Hadoop大数据技术大数据未来道路
大数据处理一定需要Hadoop吗？
Google强大的搜寻引擎每天处理庞大的搜寻数据，靠的是数十万的伺服器同时作工。然而一般企业并无法使用Google所用的内部搜寻引擎工具，所以，拥有处理大数据工具的分散式运算平台Hadoop应运而生。

2015-03-30 10:48:17

大数据大数据处理Hadoop
让SQL用户快速进入Hadoop大数据时代 —— Transwarp Inceptor是怎样炼成的
当前Hadoop技术蓬勃发展，用于解决大数据的分析难题的技术平台开始涌现。Spark凭借性能强劲、高度容错、调度灵活等技术优势已渐渐成为主流技术，业界大部分厂商都提供了基于Spark的技术方案和产品。根据Databricks的统计，目前有11个商业的Spark版本。

2015-03-27 10:25:34

Hadoop
hadoop中mapreduce的常用类
新旧API是同时存在于1.1.2的hadoop中的。以前还一直纳闷儿为什么有时候是jobClient提交任务，有时是Job...不管API是否更新，下面这些类也还是存在于API中的，经过自己跟踪源码，发现原理还是这些。只不过进行了重新组织，进行了一些封装，使得扩展性更好。

2015-03-24 15:08:21

mapreducehadoop
2015年Hadoop为代表的大数据趋势
在短短几年里，大数据技术从炒作的概念变为新数字时代的核心破坏者。2014年，公司里越来越多的大数据举措从测试步入生产。2015年，大数据将在企业里进一步推进，使用更多的用例（特别是实时用例）。

2015-03-18 10:04:46

Hadoop大数据趋势
能否利用Hadoop搭建完整的云计算平台？
Hadoop并不完全代表云计算，所以，要用Hadoop搭建完整的云计算平台，答案是不够。我们常说云计算，实际上还是通过计算机的大规模或者说海量处理来为生活中各式各样的人和各行各业服务——所以，核心在“服务”。关于服务，展开来就是常用的那3种(也是事实上的标准)：SaaS,PaaS,IaaS。对云计算来说，公有和私有，虚拟和存储，这其实是相对讨论的核心。

2015-03-18 09:57:58

云计算平台云计算平台搭建Hadoop
一文读懂大数据的黄色小象帮手——Hadoop
继云计算之后，大数据(Big Data)接棒成为最热门的科技潮字，和大数据有关的技术和科技接二连三成为科技圈注目的焦点。如果你也关注云端跟大数据的资讯，Hadoop 这个字出现频率一定挺高的，这个黄色小象 Logo 也应该经常亮相。

2015-03-17 11:28:03

大数据黄色小象Hadoop
数据开源工具：Hadoop为企业带来什么？
熟悉大数据的人一定不会对大名鼎鼎的Hadoop工具陌生，Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。Hadoop的框架最核心的设计就是：HDFS和MapReduce。

2015-03-17 11:09:33

Hadoop大数据数据开源工具
Hadoop可能已经达到预期的成熟度
五年前，Hadoop用可以解决所有大数据难题的身份杀入主流市场。如今尘埃已经落定，现在是时候对Hadoop展开更切合实际的评估了。

2015-03-13 15:36:54

Hadoop预期成熟度
Hadoop不适合哪些场景 哪些场景适合？
Hadoop不是万能的，有些场景适用，有些不适用。

2015-03-12 13:39:48

Hadoop场景大数据
运营商的新方向-运用Hadoop技术将大数据资产变现
移动互联网时代的今天，手机不再仅仅是个通讯工具，它是钱包(手机支付)，是商店(手机淘宝)，是地图(手机导航)，是资讯来源(新闻订阅)，是社交工具(微信微博)……手机角色的变化丰富了人们的生活，却颠覆了运营商的世界。

2015-03-11 16:08:50

hadoop
思科“打包”Hadoop 与多家经销商建立合作伙伴关系
在未来的物联网趋势下，思科希望能够通过和气生财，而物联网将会是大量数据的来源，因此，思科与Cloudera、Hortonworks及MapR经销商签了协议。

2015-03-06 09:51:43

思科UCSHadoop
Hadoop在成熟程度方面可能已达到极限水平 译文
五年之前，Hadoop项目以面向一切大数据难题的解决方案的姿态咆哮着杀入主流市场。时至今日，一切喧嚣都已经尘埃落定，我们需要从更为现实的角度对其加以评估。

2015-03-05 09:08:16

Hadoop成熟程度极限水平
了解大数据技术生态圈：Hadoop/hive/spark
大数据本身是个很宽泛的概念，Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤，你可以用小刀或者刨子去皮。但是每个工具有自己的特性，虽然奇怪的组合也能工作，但是未必是最佳选择。

2015-03-04 11:19:59

大数据生态圈Hadoop
对象存储系统 vs Hadoop 云存储怎么选？
云存储选择适用于广泛的需求，但是要针对你的需求找到正确的存储类型，也意味着要找到延迟、易用性、数据完整性和成本之间的合适的平衡点。对象存储系统和Hadoop都是可行的云存储选择。但是在执行云端大数据分析的时候要考虑后者。

2015-03-04 09:39:31

对象存储系统Hadoop云存储系统
医疗机构中Hadoop大数据如何应用
在医疗行业的所有信息中非结构化数据大约占80％，并且增长速度比大多数人甚至可以理解的速度要快。通过数据排序，查找需要的病人信息，并做研究的诊断和治疗几乎是不可能没有的Hadoop的巨大技术能力的。

2015-02-28 13:14:28

Hadoop大数据医疗机构大数据
克服部署挑战，让Hadoop和云成为最佳拍档
Hadoop 和云似乎是最佳搭档。它们都包含灵活和分布式的处理与存储，而且都带有一个灵活的实例系统。它们还使您能够根据数据和处理需求来扩大和收缩 Hadoop 集群。但这会引发各种管理与调度问题。本文将了解所有这些问题，并描述基于云的 Hadoop 部署的挑战与优势。

2015-02-11 11:12:00

Hadoop云部署IaaS
2015中国Hadoop峰会专访报道 让大数据更接地气 原创
2015年1月24号，2015 China Hadoop Summit技术峰会在北京如期举行。本次大会作为国内大数据行业最具影响力的IT大会，吸引了众多从事Hadoop研究与推广的权威技术专家、Hadoop技术爱好者和IT厂商前往参加。

2015-02-06 10:36:25

Hadoop
为什么Cloudera要创建Hadoop安全组件Sentry？
大数据平台上细粒度的访问权限控制各家都在做，当然平台厂商方面主导的还是Cloudera和Hortonworks两家，Cloudera主推Sentry为核心的授权体系；Hortonwork一方面靠对开源社区走向得把控，另一方面靠收购的XA Secure。无论今后两家公司对大数据平台市场的影响力如何变化，大数据平台上的细粒度授权访问都值得我们去学习。

2015-02-05 10:01:11

ClouderaHadoop
八大行业Hadoop大数据应用回顾和展望
任何新技术的发展都会经历一个从被公众了解到最终普遍应用的过程。大数据技术作为一个新兴的数据处理技术，经过了近十年的发展，刚刚开始在各个行业得到应用。但从媒体和公众视野中，大数据技术总是带有神秘的色彩，似乎有着挖掘财富和预测未来的神奇力量。

2015-02-02 14:26:48

Hadoop大数据应用
时隔5个月，国内Hadoop厂商星环科技又获启明追投
记者近日获悉，2015年新年伊始，国内领先的Hadoop大数据平台软件厂商星环科技完成了新一轮数千万的融资。本次融资由著名风投启明创投(Qiming Venture Partners)领投。值得关注的是，星环科技这轮融资完成的时间仅距离上轮融资完成相隔仅5个月，公司的高成长性令人瞩目。

2015-01-20 21:55:58

星环科技
China Hadoop Summit 2015即将召开 大数据时代来临 Hadoop以专业引领
2015年1月24-25日，China Hadoop Summit2015中国技术峰会将于在北京龙城丽宫国际酒店举行，作为国内大数据行业最高规格、最有干货、最具影响力的IT大会得到了昌平区政府的通力支持。

2015-01-14 16:16:51

大数据
Spark 1.2：向MapReduce在Hadoop中的统治地位发起挑战
面向Hadoop的Spark内存内框架最新版本在集群性能改进之外，也加入了针对Python的更多支持能力。

2014-12-29 09:59:03

Spark 1.2MapReduce
星环发布hadoop平台 TDH4.0 全面通过TPC-DS测试
2014年12月12日，由中国计算机学会(CCF)主办，CCF大数据专家委员会承办，中科院计算所与CSDN共同协办的 2014中国大数据技术大会(Big Data Technology Conference 2014，BDTC 2014)在北京拉开帷幕。星环信息科技(上海)有限公司(以下简称星环科技)参会，CTO孙元浩发表了题为“2015年大数据基础技术的演进趋势“的主题演讲。 大会汇聚了近千位大数据行业的CIO、CTO、架构师、IT经理、工程师、Hadoop技术爱好者，以及从事Hadoop研究与推广的IT厂商和技术专家等，共同探讨时下最新技术热点，大数据生态圈技术的发展与演变。

2014-12-18 10:34:54

hadoop
Ubuntu编译Hadoop编码异常总结
本文汇总了Ubuntu编译Hadoop编码异常，从9个错误的例子当中分析了相关所需要的依赖程序、环境变量、版本问题等等。

2014-12-17 10:37:38

UbuntuHadoop
Hadoop RPC通信Client客户端的流程分析
Hadoop的RPC的通信与其他系统的RPC通信不太一样，作者针对Hadoop的使用特点，专门的设计了一套RPC框架，这套框架个人感觉还是有点小复杂的。

2014-12-08 14:54:56

hadoop框架线程网络
Apache Hadoop 2.6.0发布——异构存储，长时间运行的服务与滚动升级支持
在Apache的Hadoop社区已经发布了Apache Hadoop的2.6.0。在此版本中相关的三个主要片：异构存储在HDFS使用SSD和内存层，支持长时间运行在YARN服务和滚动升级。

2014-12-08 14:34:37

hbasehivestorm
大数据的下一个五年：Hadoop将推动数据平民化
几年前，还有评论人士称，Hadoop只能应用于企业10%的数据。但今日一份名为《2014年数据库技术现状调查》的数据显示，13%的受访者已经将Hadoop应用于产品生产和测试。未来，Hadoop有望在企业各个角落得到应用。而在性能和用途都有显著增长的同时，Hadoop的部署成本仍然会保持相对低廉。

2014-12-08 10:06:50

Hadoop大数据
星环Hadoop发行版助快递业迎战“双十一”
快递行业公司众多，彼此竞争极为激烈，在人工价格上升的趋势下还要维持服务的低价并且盈利，就必须严格控制成本。而每年的“双十一”会给公司的处理能力施加远高于平时的压力。

2014-11-28 20:05:13

星环Hadoop发行版
Cloudera公司首席架构师谈Hadoop之变迁_开发技术半月刊第125期

2014-11-25 11:36:18

开发技术周刊
大数据时代之hadoop：了解hadoop数据流（生命周期）
了解hadoop，首先就需要先了解hadoop的数据流，就像了解servlet的生命周期似的。hadoop是一个分布式存储（hdfs）和分布式计算框架（mapreduce），但是hadoop也有一个很重要的特性：hadoop会将mapreduce计算移动到存储有部分数据的各台机器上。

2014-11-11 10:47:19

hadoop数据流
《Hadoop权威指南》之关于MapReduce
本文节选于清华大学出版社推出的《Hadoop权威指南》一书，作者为Tom White，译者是华东师范大学数据科学与工程学院。本书从Hadoop的缘起开始，由浅入深，结合理论和实践，全方位地介绍Hadoop这一高性能处理海量数据集的理想工具。本文包含了该书的第二章——“关于MapReduce”的所有内容。

2014-11-10 15:02:21

大数据云计算Hadoop
Hadoop发行版厂商星环发布TPC-DS评测结果
Hadoop等大数据分析技术也是对海量数据进行大规模的数据分析和深度挖掘，也包含交互式联机查询和统计报表类应用，同时大数据的数据质量也较低，数据分布是真实而不均匀的。因此TPC-DS成为客观衡量多个不同Hadoop版本以及SQL on Hadoop技术的最佳测试集。

2014-11-05 10:41:50

Hadoop星环TPC-DS
优化的Hadoop发行版使混合架构成为过去
让Hadoop统一数据分析平台的混合架构。这样的想法仅在一年前还被认为是不切实际的。当时普遍认同的是，Hadoop在处理上百TB或是PB级别数据时具有优势，但是让MapReduce在Hadoop之上去处理GB或是几TB数据，则显得过于笨重。

2014-11-05 10:07:34

优化Hadoop发行版
打造Hadoop发行版精品 星环TDH3.4新版概述
在和开源的Hive执行效率相比中，Inceptor 3.4能够带来10x~100x的性能提升。下图是TPC-DS的部分query在Inceptor和CDH Hive的性能提升倍数，其中最大的提升倍数竟可达到123倍。需要说明的是，这里用的Query跟Impala运行的相同。

2014-10-29 15:04:55

Hadoop发行版
Cloudera公司首席架构师谈Hadoop之变迁 译文
在这一次的采访中，Cloudera公司首席架构师Doug Cutting向我们解释了开源开发机制为何更加强调技术常识而非开发信念，同时深度剖析了开源机制在企业环境下的应用方式。

2014-10-28 09:56:56

Hadoop
【博文推荐】Hadoop中MapReduce多种join实现实例分析
本文主要对MapReduce框架对表之间的join操作的几种实现方式进行详细分析，并且根据我在实际开发过程中遇到的实际例子来进行进一步的说明。

2014-10-15 16:32:43

MapReducehadoop
超越 Hadoop，Luigi 打通云端大数据管道
近日创业公司Mortar就将Spotify开发的开源大数据工具Luigi搬上云端，在亚马逊云上提供复杂的，涉及大量工具和数据库的大数据流水线处理服务，不论是否使用Hadoop，用户都可以用Luigi管理复杂的大数据工作流。

2014-10-15 11:07:43

HadoopLuigi
超越批量处理与MapReduce：如何让Hadoop走得更远 译文
数据可以说是现代世界当中的新型货币资源。能够充分发掘数据价值的企业将制定出更有利于自身运营及发展的正确决策，并进一步引导客户一同迈向胜利的彼岸。作为现实层面上不可替代的大数据平台，Apache Hadoop允许企业用户构建起具备高度可扩展性且极具成本效益的数据存储体系。

2014-10-13 09:32:06

HadoopMapReduce
AMD皓龙A系列平台实现首次基于ARM的Hadoop演示
作为一种最初应用于大数据分析的分布式运算技术，Hadoop正迅猛增长，预计将于2020年最高达到500亿美元的市场规模。通过利用基于ARM的服务器集群进行分布式计算，64位ARM服务器和Hadoop的结合被设计用来加速提高大规模运算的经济性。

2014-10-09 16:33:30

AMD皓龙A系列
MapR意欲将SQL on Hadoop推向新的高度 译文
为了彻底摆脱管理规划的束缚并告别在内容探索前需要对输入数据进行的长时间ETL（即提取、转换与加载）任务，MapR在其Hadoop发行版中引入了Apache Drill分布式ANSI SQL查询引擎。

2014-09-24 10:05:29

MapRHadoop
Teradata收购Think Big Analytics 加速提升Hadoop和大数据咨询业务能力
全球数据分析平台、应用和服务供应商Teradata天睿公司宣布收购Think Big Analytics公司。Think Big 是一家领先的咨询服务与解决方案公司，专注于开发Hadoop和大数据解决方案，其广受认可的Hadoop和大数据咨询服务方法和能力，可帮助企业成功部署大数据解决方案。

2014-09-10 15:49:05

Teradata
星环：如何构建企业级Hadoop/Spark分析平台
进入2014年以后，Spark开源生态系统得到了大幅增长，已成为大数据领域最活跃的开源项目之一。Spark之所以吸引如此多的关注，究其原因主要是因为Spark具有的高性能、高灵活性、与Hadoop生态系统完美融合等三方面的特征。

2014-09-09 14:10:01

企业级HadoopSpark
Hadoop伪分布配置与基于Eclipse开发环境搭建
最近一直在摸索Hadoop2的配置，因为Hadoop2对原有的一些框架API做了调整，但也还是兼容旧版本的（包括配置）。像我这种就喜欢用新的东西的人，当然要尝一下鲜了，现在网上比较少新版本的配置教程，那么下面我就来分享一下我自己的实战经验，如有不正确的地欢迎指正。

2014-09-04 09:35:17

Hadoop伪分布配置
Hadoop的梦想与现实
可以说，Hadoop的出现是计算技术发展进程中一个重要的里程碑，它使实用的大规模分布式计算和存储成为可能。因此，有专家评论，Hadoop是到目前为止最为成功的通用分布式处理框架，也是这些年来影响最为深远的系统性开源项目之一。

2014-08-27 09:51:13

Hadoop
大数据Hadoop技术在银行的七个应用实例
如今，Hadoop几乎存在于各个方面，其通过利用大数据来分析信息和增加竞争力。许多金融机构和公司已经开始使用Hadoop成功地解决问题，即便他们本没有计划这样做。因为如果他们不这样做，就会面临市场份额损失的巨大风险。以下是一些特别有趣和重要的大数据和Hadoop用例。

2014-08-25 10:24:02

Hadoop技术
hadoop Shell命令详解
调用文件系统(FS)Shell命令应使用bin/hadoop fs <args>的形式。所有的的FS shell命令使用URI路径作为参数……

2014-08-06 09:57:15

hadoop ShelShell命令
数据科学家大调查：职业受挫数据多样性，吐槽Hadoop
根据报告，有59%的数据科学家表示其所在企业已经开始采用更加复杂的分析技术，例如集群、机器学习、种量分析（Principal components analysis）、图论分析等高级分析技术分析数据，而不是局限于传统的BI报告……

2014-07-31 10:06:10

大数据Hadoop
浅谈大数据之Hadoop部署前的思考
在Hadoop出现后，对于数据的发掘更是体现的淋漓尽致，面对如此诱惑，很多传统的企业用户都想参考互联网企业的做法，非常快速的部署Hadoop，从而快速整合和发掘既有数据的价值。但现实情况却正应了”理想很丰满，现实太骨感“那句网络流行语，想快速部署Hadoop，却没那么容易。为什么会出现这样的问题呢？

2014-07-29 10:38:25

大数据Hadoop
Hive已为Hadoop带来实时查询机制 译文
Hive是一种“类SQL”查询语言，它对大规模数据集处理速度的显著提升使其成为企业级数据仓库的最佳合作伙伴。

2014-07-29 09:19:07

Hadoop
上一页 1 ··· 678910 ··· 17
点赞

51CTO技术栈公众号

业务
速览
在线客服