51CTO首页
AI.x社区
博客
学堂
精品班
直播训练营
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

Hadoop

835内容  
涵盖Hadoop相关研究热点、技术难点与应用场景，让用户更加深入地学习这一大数据基础技术。
文章 博文
共 835 条
为什么Apache Hadoop让人如此着迷？
Apache Hadoop是MapReduce计算模型的一个开源实施。MapReduce是由谷歌公司推广开的，用于构建公司的互联网索引。在其最初形式中，MapReduce被当做一种系统集群分布式工作的方法，开发出来。

2013-04-19 10:06:51

ApacheHadoopMapReduce计算
Project Savanna：让Hadoop运行在OpenStack之上
用户需要给Savanna提供一些信息来建立集群，比如Hadoop版本、集群拓扑、节点硬件详情以及一些其它的信息。在用户提供这些参数之后，Savanna将帮助用户在几分钟之内建立起集群，同样还可以帮助用户根据需求对集群进行扩展(增加或者删除工作节点)。

2013-04-19 09:51:21

HadoopOpenStackSavanna
加速大数据应用落地 英特尔IDF推Hadoop新发行版 原创
在本届IDF2013英特尔信息技术峰会上，英特尔正式发布了Apache Hadoop发行版的最新版本2.3版，针对大数据存储、管理、处理和查询等应用的开发和优化，通过改进和增添多种特性及功能，在性能、可管理性及易用性上实现了进一步的提升。

2013-04-13 14:10:27

大数据应用落地英特尔
大数据Hadoop重塑数据中心
大数据很火，从近日的年度盛会IDF上就能看出端倪。英特尔高级副总裁兼数据中心及互联系统事业部总经理柏安娜，在介绍英特尔数据中心战略时特别强调，英特尔将持续投资Hadoop，为开源社区提供代码，面向至强优化发行，提供硬件增强的压缩功能。

2013-04-12 10:56:31

大数据
保障Hadoop数据安全的十大措施
Dataguise为多家财富200强企业提供Hadoop安全服务，总结出了一套适合大规模多样化环境的大数据安全实践和流程。

2013-04-08 09:38:37

Hadoop大数据数据安全
VMware为Serengeti虚拟化方案加入Hadoop支持
在本周二公布的Serengeti 0.8.0中，这款专为Hadoop虚拟化打造的开源工具已经能够支持数个Hadoop发行版，外加多项能够简化Hadoop之上HBase数据仓储设置流程的功能。

2013-04-08 09:32:23

VMwareSerengetiHadoop
确保Hadoop数据安全的十大最佳方法
Dataguise日前公布了实施Hadoop的十大最佳做法。信息技术工具的日益更新和功能的不断优化成熟，使得大数据的使用变得更具有可行性。然而，这一新技术领域的优势往往还伴随着数据隐私的问题。在这些庞大的信息库中，个人身份信息(PII )，如姓名，地址和社会安全号码都存在泄露的可能。

2013-04-07 09:43:52

Hadoop数据安全大数据
北京大学EasyHadoop校园行引关注
Hadoop从互联网领域蓬勃发展，广大搜索、电商、视频、门户、游戏公司都纷纷开始实施Hadoop技术解决方案替代老旧的脚本分析和数据仓库平台。同时Hadoop大数据解决方案已经扩展到通信、安全、工业、电力、乃至生物医药等传统基础设施领域,成为公认的大数据分析处理领域规范标。

2013-04-02 11:23:17

Hadoop优酷
Hadoop中IPC的源码分析
最近开始看 Hadoop 的一些源码，展开 hadoop 的源码包，各个组件分得比较清楚，于是开始看一下 IPC 的一些源码。

2013-04-02 10:51:09

HadoopHadoop源码
微软在Windows Azure服务中推出首个Hadoop公共预览版
截至目前，微软已经完成了Azure HDInsight服务三个内部预览版的小范围测试工作。(我刚开始以为去年十月公布的已经是公共版本，但根据微软官方的说法，这周推出的才是首个公共预览版。)

2013-03-27 09:55:17

微软Windows AzuHadoop
EasyHadoop第八次免费技术讲座介绍
EasyHadoop社区从2012年举办了七次,汇集各行各业的案例和相关实践。以小规模技术聚会开始,希望能提供给大家真正企业一线的实战经验分享。构建一个开放,简单(小而美)的Hadoop技术沟通分享平台,让大家的大数据之梦得到落地。

2013-03-26 17:09:50

Hadoop开源
在Hadoop的战争中 MapR获新一轮3000万美元融资
MapR，是一个Hadoop优化公司，专注于可用性和数据安全的优化。该公司日前获得了一个3000万美元的C轮融资，本轮融资由Mayfield Fund领投。在此之前，光速创投、NEA(New Enterprise Associates)和红点投资(Redpoint Ventures)也对MapR进行了投资。这轮融资让MapR的总金额达到了5900万美元， MapR在2011年获得2000万美元的B轮融资。

2013-03-20 09:49:06

MapRHadoop融资
Hadoop和Couchbase结合使用的技巧
Hadoop非常适合处理大量数据并将该信息解析为您可查询的较小的信息集。但是，通过与 Couchbase Server 集成，您可以对信息执行实时查询和报告，同时继续使用 Hadoop 处理大型数据集和数据集的繁重处理工作。Couchbase Server 还使用了一个 MapReduce 查询系统，这使您能够轻松地迁移和集成索引和查询系统，从而有效地提取和操作信息。

2013-03-18 11:05:26

HadoopCouchbase
硬件提速 英特尔推Hadoop一体化方案
英特尔架构事业部和数据中心软件事业部副总裁和总经理Boyd Davis表示，英特尔将会充分挖掘Hadoop以给广大用户带来巨大利益。Hadoop可以成为多种不同应用的平台，而且英特尔也将以服务支持的角色来推动开源向前迈进。

2013-03-18 10:16:35

英特尔Hadoop一体化
英特尔重定义Hadoop核心：优化CPU 原创
继Cloudera与Hortonworks之后，英特尔近日宣布推出Hadoop新版本，包括Hadoop发行版(Intel Distribution)以及Hadoop管理工具Intel Manager与Intel Active Tuner，这是英特尔从2009年开始投入大数据研究以来，首度发布的大数据软件产品，英特尔将以开源分布式数据分析平台Hadoop进军大数据市场

2013-03-15 17:37:33

Hadoop英特尔CPU
提速25%！Hadoop助英特尔研发周期缩短
通过这种Hadoop新平台来收集生产过程中的历史数据，并结合没经过使用的其他来源信息，在英特尔的一个五人组成的部门工作下即可帮助减少300万美金，当然，这还仅仅是去年英特尔酷睿处理器检测过程中的成本节省。

2013-03-13 11:41:12

Hadoop英特尔研发周期
基于Hadoop云盘系统3：小文件存储优化
首先明确概念，这里的小文件是指小于HDFS系统Block大小的文件（默认64M），如果使用HDFS存储大量的小文件，将会是一场灾难。

2013-03-11 14:42:08

Hadoop
基于Hadoop云盘系统2：HDFS文件访问控制
Hadoop开源技术框架在实际业务应用中，其早期的安全机制饱受诟病，具体到HDFS应用方面的问题，包括：用户到服务器的认证问题、服务器到服务器的认证信息。

2013-03-08 10:09:30

Hadoop
应需而变融易致远 华为Hadoop大数据解决方案
人人都在谈论大数据,但是究竟什么是大数据呢?大数据主要来源于互联网领域和一些垂直行业，数据量达到PB级，甚至10PB以上;它需要更高性能、更大吞吐量、更大扩展能力.据统计，全球80%的数据在近两年生成，平均年增长率超过50%。

2013-03-07 18:28:11

华为Hadoop大数据
基于Hadoop云盘系统1：上传和下载效率优化
基于任何平台实现的云盘系统，面临的首要的技术问题就是客户端上传和下载效率优化问题。基于Hadoop实现的云盘系统，受到Hadoop文件读写机制的影响，采用Hadoop提供的API进行HDFS文件系统访问，文件读取时默认是顺序、逐block读取；写入时是顺序写入。

2013-03-07 14:47:14

Hadoop
英特尔：将Hadoop“固化”到Xeon中
对于大数据分析而言，最基础的需求就是对于大量的结构化和非结构化数据，可以支持可变的数据结构和高效的数据导入、查询、统计分析。Hadoop在这些方面“当仁不让”。作为被称为“或可媲美Linux”的项目，Hadoop吸引了诸多顶级玩家的加入。

2013-03-07 10:56:03

英特尔HadoopXeon
Hadoop生态系统地图：大象王国的八大族群
为了帮助企业和业界的大数据技术和应用的实践者快速理清Hadoop生态系统的头绪，GigaOM最近制作了一张Hadoop生态系统地图，按照不同的应用场景和交付模式，将Hadoop生态系统的厂商和产品划分为六大层面和八类玩家。

2013-03-07 10:05:53

Hadoop大数据
如何在Linux上安装与配置Hadoop？
Hadoop的安装非常简单，大家可以在官网上下载到最近的几个版本，在Unix上安装Hadoop的过程与在Linux上安装基本相同，因此本文主要讲解如何在Linux上安装与配置Hadoop。

2013-03-06 13:27:03

HadoopLinux
Twitter程序员推动Hadoop开发进程
由于Twitter的数百万用户能够彼此间实时分享最新新闻、想法、意见，Twitter成为了目前最受欢迎的通信平台。所有这些活动都为Twitter带来了海量的元数据，而这些元数据对于Twitter来说是一笔宝贵财富。

2013-03-01 09:39:53

HadoopTwitter大数据
[爆料]英特尔：将Hadoop“固化”到Xeon中
对于大数据分析而言，最基础的需求就是对于大量的结构化和非结构化数据，可以支持可变的数据结构和高效的数据导入、查询、统计分析。Hadoop在这些方面“当仁不让”。作为被称为“或可媲美Linux”的项目，Hadoop吸引了诸多顶级玩家的加入。

2013-02-28 10:32:07

hadoop英特尔apache
英特尔Hadoop应对大数据“芯” 应用
英特尔加强为数据中心提供了一个框架，可以连接和管理设备并实现一个可扩展的方式，Hadoop架构具有巨大的潜力，可以做为硬件基础层存在，并在此之上构建可以实现水平分布的各式各样的堆栈。

2013-02-28 10:04:27

英特尔Hadoop大数据
在Hadoop上运行SQL：程序员需知晓的13种数据工具
其实，对SQL支持并不是Hadoop的最终目标，但是这一特性将会帮助Hadoop找寻自己的生存方式，让Hadoop在那些已经明白下一代分析的重要性但又不想迈向MapReduce专家之路的公司中取得一席之地。

2013-02-27 10:36:36

rackspacegoogleGCE
英特尔：相同的大数据不同的Hadoop
全球的数据使用量到2020将将会增长44倍，达到35.2ZB(1ZB=10亿TB)。Facebook、Twitter、微博等各种社交平台的海量数据，以及视频通讯、医疗影像、地理信息和监控录像等视频内容也会极具增加，加之传感器、RFID阅读器、导航终端等非传统IT设备和移动设备，都将产生越来越多的数据。增加的这些数据当中，有80%的数据属于非结构化。

2013-02-27 10:19:35

英特尔大数据Hadoop
大数据平民化：Hortonworks推出Windows版Hadoop
本周一，在与微软合作一年后，Hortonworks终于发布了Windows版Hortonworks 大数据平台(Hortonworks Data Platform)，目前已经开放下载，通用版本预计将在今年第二季度完成。这标志着Hortonworks发布的Hadoop商业发行版本将能同时运行在Linux和Windows两大平台。

2013-02-26 09:40:00

HortonworksWindowsHadoop
Red Hat开源其Hadoop存储系统
Red Hat本周三宣布开源其Red Hat Storage Hadoop插件，作为HDFS的替代产品。RedHat Storage hadoop插件基于Gluster文件系统。

2013-02-22 11:07:36

Red Hat开源Hadoop
初创公司Citus Data将CitusDB扩展到Hadoop
大数据已经打开了企业数据分析以及选择性数据存储的视野。那么这两项的结合往往意味着需要学习新的语言，使用多工具处理，而且在分析平台上还可能需要牺牲一部分性能。

2013-02-21 09:41:49

CitusData数据库Postgres
“夫妻档”初创公司百万美元打造实时Hadoop系统
如果问及任何Hadoop的有关人士， Hadoop如何超越目前的批量处理平台，那么“实时”无疑是其中最主要的一个答案。事实上，这也是下个月“ Structure: Data”的一个讨论主题，企业希望Hadoop成为一个 可操作的数据库以及具有 各种类型的OLAP引擎。

2013-02-20 09:51:17

HStreamingJanaUhlig初创公司
英特尔大数据智慧：Apache Hadoop更优性能
英特尔与 Apache Hadoop 社区开展协作，支持系统管理员尽可能地实现其 Apache Hadoop 集群的最高性能——同时保证复杂度处于最低限度。英特尔开发了 HiTune 性能分析器和 HiBench 基准测试套件，用它们来降低 Apache Hadoop 性能调优的复杂性，用户可以在更短的时间内更有信心地设计和实现 Apache Hadoop 解决方案。

2013-02-18 15:15:32

英特尔大数据Apache
Apache Hadoop集群的安全性架构
虽然基于现有的基础设施或定制的内部监控程序不同，使用的工具也可能有所不同。但是对于依靠Hadoop业务运营的公司来说，部署必不可少的“警卫”和检查，进而来保护Hadoop节点的安全性都是至关重要的。以下的10个组件应该作为部署Apache Hadoop安全性架构的讨论指南。

2013-01-29 10:20:06

MapReduceHadoop架构
2015年65%高级分析产品将嵌入Hadoop
尽管在2012年部署Hadoop系统需要特殊技巧，但是，机构认识到Hadoop驱动的分析给大数据程序带来的实力。这对于分析糟糕的结构化数据、文本、行为分析和基于时间的查询更是如此。虽然IT机构在过去几年里进行了测试，特别是使用具有Hadoop功能的数据库管理系统产品和设备进行了测试，但是，应用提供商将更进一步，在打包的应用中嵌入专用的、基于Hadoop的分析功能。

2013-01-29 09:16:43

分析Hadoop大数据
Joyent和SkyTap分别推出云Hadoop服务
这是厂商通过推出最新技术使自己的产品差异化的最新举措，也是提高大数据分析云应用的最新举措。在这种应用中，实际上有无限的资源根据按使用付费的定价模式向用户提供。

2013-01-25 11:09:29

大数据Hadoop集群云Hadoop服务
Hadoop：为什么RAID-0不行？
RAID-0又称为Stripe或Striping，其原理是把连续的数据分散到多个磁盘上存取，这样，系统有数据请求就可以被多个磁盘并行的执行，每个磁盘执行属于它自己的那部分数据请求。这种数据上的并行操作可以充分利用总线的带宽，显著提高磁盘整体存取性能。多年应用下来，RAID-0优势很明显。

2013-01-22 09:35:27

Hadoop存储
Hadoop 新 MapReduce 框架 Yarn 详解
本文介绍了 Hadoop 自 0.23.0 版本后新的 map-reduce 框架（Yarn) 原理，优势，运作机制和配置方法等；着重介绍新的 yarn 框架相对于原框架的差异及改进；并通过 Demo 示例详细描述了在新的 yarn 框架下搭建和开发 hadoop 程序的方法。 读者通过本文中新旧 hadoop map-reduce 框架的对比，更能深刻理解新的 yarn 框架的技术原理和设计思想，文中的 Demo 代码经过微小修改即可用于用户基于 hadoop 新框架的实际生产环境。

2013-01-21 13:22:56

IBMdW
高负载低延迟：我们用的是Hadoop+AWS+NoSQL
使用信用卡进行支付的款项是巨大的，但是很明显，通过分析所有的交易，我们也可以从数据中得到内在的价值。比如客户忠诚度、人口统计数据、活动的受欢迎程度、商店的建议和许多其他的统计数据，这对商家和银行来说都是非常有用的，可以改进他们与市场的联系。

2013-01-18 09:36:51

VoldemortHadoopAWS
Apache Hadoop最佳实践和反模式解析
本文总结了一些Hadoop应用的最佳实践。实际上，类似于设计模式，我们引进一个网格模式的的概念，来提供一个通用且可复用的针对运行在网格上的应用的解决方案。

2013-01-16 14:45:47

HadoopApache Hado
Hadoop、OpenStack上榜2012年十大最成功开源项目
海量数据(Big Data)革命掀起的浪潮，带动了数据分析行业的增长，要在网路上处理这种规模的资料，目前比较经常被使用的平台就是Hadoop，而Facebook就 是使用Hadoop下的HBase资料库。

2013-01-16 09:43:55

开源HadoopOpenStack
Hadoop实例：二度人脉与好友推荐
在新浪微博、人人网等社交网站上，为了使用户在网络上认识更多的朋友，社交网站往往提供类似“你可能感兴趣的人”、“间接关注推荐”等好友推荐的功能。一直很好奇这个功能是怎么实现的。

2013-01-05 02:37:30

HadoopHadoop实例
Google Dremel vs. Apache Hadoop
Google Dremel是个可扩展的、交互式的即时查询系统，专注于只读嵌套(nested)数据的分析。通过集合不同层次的执行树和柱状的数据布局，他能够在几秒内完成在万亿张表上的聚合查询。系统可以扩展到成千上万的CPU上，满足Google上万用户操作PB及的数据。

2012-12-17 10:01:27

Google DremApache Hado云计算
急性子的开源​​大数据，第 1 部分: Hadoop 教程
本文的重点是解释大数据，然后在 Hadoop 中提供简单的工作示例，Hadoop 是在大数据领域的主要开源选手。您会很高兴地听到，Hadoop 并不是 Informix® 或 DB2® 的替代品，但事实上与现有的基础架构配合得很好。Hadoop 家族有多个组件，本文将深入探讨演示各功能的具体代码示例。如果您在自己的 PC 上尝试这些示例，是不会造成系统混乱的。

2012-12-13 11:06:31

IBMdW
Hadoop云服务之战：微软vs.亚马逊
Hadoop逐渐普及的背后主要的驱动力在于大数据和社交计算的炒作，广泛的企业级开源软件应用，拥有Hadoop熟练技能的开发人员资源池以及Hadoop可以用预期达成的性能以低廉的商业服务器集群成本交付高可用性。后面的这个性能让企业能够将Hadoop工作负载部署到IaaS和PaaS提供商的云上，代替数据中心资本投资中的几次付费费用。

2012-12-04 10:54:21

Hadoop云服务微软
Etu Appliance大数据一体机 2.0 诠释 Hadoop 简单之美
大数据起源于互联网，因而使用大数据的人才大多也扎根互联网。为了改善“人才瓶颈就是技术瓶颈”的现状，Etu 知意图为了更好的帮助中国用户实现 Hadoop 大数据处理与分析价值。

2012-12-03 23:19:12

Etu 知意图大数据一体机
Hadoop云服务之战：微软vs.亚马逊
毫无疑问，Apache Hadoop软件库拥有当今最多的大数据分析思想。Gartner在2012年三月的报告中指出Hadoop作为一个流行的搜索词，在网站上的搜索量增长很快。本文介绍了微软和亚马逊之间关于Hadoop的竞争。

2012-12-03 09:29:52

HadoopMapReduceHive
京东商城布局云计算 自主研发Hadoop解决方案
记者近日获悉，京东商城在Hadoop高可用方面的研究，取得了重大成果。在Hadoop集群运维方面，一直以来都有这样一个难题困扰着业界：线上集群，由于NameNode的异常，极有可能导致Hadoop集群服务中断;NameNode软硬件系统定期维护、升级也一直是让人头疼的问题——整个集群可用性会受到影响。

2012-11-27 11:11:41

Hadoop京东云计算
在Hadoop中保护大数据安全的9个技巧
应用大数据，不要忘记法规遵从和控制。下面是保证大数据安全的9个技巧。在启动大数据项目之前要考虑安全问题。不应该等到发生数据突破事件之后再采取保证数据安全的措施。

2012-11-20 10:36:23

Hadoop大数据大数据安全
Facebook打破Hadoop最大容量上限
你可能会认为，100拍（petabyte）字节对于任何公司来说都是非常大的数据量级了。但是对于社交网站明星Facebook而言，100拍字节的数据根本不算什么。

2012-11-14 09:20:00

大数据PrismHadoop
上一页 1 ··· 1011121314 ··· 17
点赞

51CTO技术栈公众号

业务
速览
在线客服