专家详谈Hadoop云计算

开发 架构 Hadoop
Hadoop是不被大家多熟知的东西,这里就简单概述一下Hadoop,顺便介绍一下云计算,希望通过本文的介绍大家对Hadoop云计算有所了解,对你的学习有所帮助,。

本节向大家介绍一下有关Hadoop云计算的问题,No Comments Google和Amazon已经走在了云计算商业化的前面,在他们后面则是一群开源的云计算项目。这让我们多了一些选择,可以考虑... ,我们一起来看一下Hadoop云计算的具体介绍简介,首先看一下Hadoop的概念。
Hadoop 简介

Hadoop 是一个开源的可运行于大规模集群上的分布式并行编程框架,由于分布式存储对于分布式编程来说是必不可少的,这个框架中还包含了一个分布式文件系统 HDFS( Hadoop Distributed File System )。也许到目前为止,Hadoop 还不是那么广为人知,其***的版本号也仅仅是 0.16,距离 1.0 似乎都还有很长的一段距离,但提及 Hadoop 一脉相承的另外两个开源项目 Nutch 和 Lucene ( 三者的创始人都是 Doug Cutting ),那绝对是大名鼎鼎。Lucene 是一个用 Java 开发的开源高性能全文检索工具包,它不是一个完整的应用程序,而是一套简单易用的 API 。在全世界范围内,已有无数的软件系统,Web 网站基于 Lucene 实现了全文检索功能,后来 Doug Cutting 又开创了***个开源的 Web 搜索引擎(http://www.nutch.org/) Nutch, 它在 Lucene 的基础上增加了网络爬虫和一些和 Web 相关的功能,一些解析各类文档格式的插件等,此外,Nutch 中还包含了一个分布式文件系统用于存储数据。从 Nutch 0.8.0 版本之后,Doug Cutting 把 Nutch 中的分布式文件系统以及实现 MapReduce 算法的代码独立出来形成了一个新的开源项 Hadoop。Nutch 也演化为基于 Lucene 全文检索以及 Hadoop 分布式计算平台的一个开源搜索引擎。

Hadoop云计算

基于Hadoop,你可以轻松地编写可处理海量数据的分布式并行程序,并将其运行于由成百上千个结点组成的大规模计算机集群上。从目前的情况来看,Hadoop 注定会有一个辉煌的未来:"云计算"是目前灸手可热的技术名词,全球各大 IT 公司都在投资和推广这种新一代的计算模式,而 Hadoop 又被其中几家主要的公司用作其"云计算"环境中的重要基础软件,如:雅虎正在借助 Hadoop 开源平台的力量对抗 Google, 除了资助 Hadoop 开发团队外,还在开发基于 Hadoop 的开源项目 Pig, 这是一个专注于海量数据集分析的分布式计算程序。Amazon 公司基于 Hadoop 推出了 Amazon S3 ( Amazon Simple Storage Service ),提供可靠,快速,可扩展的网络存储服务,以及一个商用的云计算平台 Amazon EC2 ( Amazon Elastic Compute Cloud )。在 IBM 公司的云计算项目--"蓝云计划"中,Hadoop 也是其中重要的基础软件。Google 正在跟IBM合作,共同推广基于 Hadoop云计算。
 

【编辑推荐】

  1. 学习笔记 Hadoop集群如何搭建
  2. Hadoop0.20.2集群配置入门指导手册
  3. Hadoop文件系统如何快速安装?
  4. Hadoop集群搭建过程中相关环境配置详解
  5. Hadoop完全分布模式安装实现详解

 

 

责任编辑:佚名 来源: cnblog.com
相关推荐

2010-04-02 10:43:02

云计算

2013-01-04 13:22:42

OpenFlowSDN

2010-03-24 13:56:41

云计算

2010-03-17 15:00:34

云计算

2010-03-23 11:55:32

云计算

2010-03-11 16:06:34

云计算服务

2009-04-10 09:06:16

DBA数据库云计算

2010-04-02 16:41:26

云计算

2011-12-01 11:57:32

云计算

2016-11-28 16:09:37

2011-08-09 09:42:17

苹果云云计算iCloud

2010-06-07 10:16:56

Hadoop

2011-02-23 10:07:08

VMware云计算

2010-06-03 10:22:17

Hadoop入门

2012-07-20 10:58:07

云计算IaaSPaaS

2023-07-10 16:01:17

云数据库存储

2015-01-19 12:59:44

IBM云计算

2010-03-29 16:31:09

云服务

2015-01-09 17:26:19

可信云国家云计算标准

2017-02-15 16:57:13

顶级 专家
点赞
收藏

51CTO技术栈公众号