51CTO首页
资讯
博客
学堂
精培
企业培训
CTO训练营
开源基础软件社区
WOT技术大会
元宇宙大会
收藏本站
公众号矩阵
移动端
博客 论坛
免费课程 课程排行 直播课 软考学堂
精品班 厂商认证 IT技术 2022年软考 PMP项目管理
在线学习 企业服务
CTO训练营 技术经理研习营 LeaTech峰会
文章 资源 问答 开源课堂 专栏 直播
51CTO
开源基础软件社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
开源基础软件社区订阅号
51CTO学堂APP
51CTO学堂企业版APP
开源基础软件社区视频号
社区编辑申请
注册/登录

Hadoop

345内容  
涵盖Hadoop相关研究热点、技术难点与应用场景，让用户更加深入地学习这一大数据基础技术。
文章 博文
共 345 条
手绘了11张图，帮你看明白 Zookeeper 如何实现服务注册发现
作为一个协调服务，常常用来配合其他中间件来用，比如：Dubbo + Zookeeper，Hadoop + Zookeeper等，Zookeeper可以实现：服务注册发现、分布式锁、配置中心等功能。今天我们重点来学习一下 Zookeeper 是如何实现服务注册发现的。

2022-03-14 17:17:19

Zookeeper中间件Dubbo
大数据与Hadoop的五大优势
虽然Google和Facebook等大型Web2.0公司使用Hadoop来存储和管理其庞大的数据集，但Hadoop基于其五大优势也被证明对许多其他更传统的企业很有价值。

2022-03-14 09:46:10

Hadoop大数据
一文搞懂Hadoop生态系统
Hadoop体系也是一个计算框架，在这个框架下，可以使用一种简单的编程模式，通过多台计算机构成的集群，分布式处理大数据集。

2022-01-06 18:21:00

Hadoop生态系统
比较Hadoop、Spark和Kafka大数据框架
大数据框架最初用于数据仓库或数据湖中的静态数据，但最近的趋势是实时处理来自多个源的数据。

2021-12-14 09:56:51

HadoopSparkKafka
为什么说MPP架构与Hadoop架构是一回事？
作为一个技术人员，还是应该搞清楚MPP架构与Hadoop架构两种技术的本质。本文旨在做一些概念上的澄清，并从技术角度论述两者同宗同源且会在未来殊途同归。

2021-11-26 10:48:06

MPPHadoop数据库
一篇文章彻底掌握 HDFS 跨集群跨版本数据同步工具 Hadoop Distcp
最近有小伙伴问到 hadoop distcp 的使用，对其中的一些细节和容易踩的坑不是很清楚，所以今天我们来看下 hadoop distcp 的原理，细节和容易踩的坑。

2021-11-12 07:43:34

版本HDFS工具
MPP架构与Hadoop架构是一回事吗？
非常多的人拿MPP架构与大规模并行处理领域最著名的开源框架Hadoop相关框架做对比，这实在是让人困惑——难道Hadoop不是“大规模并行处理”架构了？

2021-11-02 09:50:37

MPPHadoop架构
终于有人把 Hadoop 生态的核心讲明白了！
Hadoop是一个由Apache基金会开发的分布式系统基础架构。开发人员可以在不了解分布式底层细节的情况下开发分布式程序，充分利用集群的威力进行高速并行运算以及海量数据的分布式存储。

2021-09-10 18:23:14

Hadoop
Hadoop、Spark、Hive到底是什么，做算法要不要学？
最近我发现，很多萌新说着想要做算法工程师，但是却对这个岗位的要求以及工作内容一无所知。以为学一个Python，再学一些机器学习、深度学习的模型就可以胜任了。工作就是用Python不停地写模型。

2021-09-09 15:09:56

HadoopSparkHive
一篇学会Hadoop3数据容错技术
随着大数据技术的发展，HDFS作为Hadoop的核心模块之一得到了广泛的应用。为了数据的可靠性，HDFS通过多副本机制来保证。在HDFS中的每一份数据都有两个副本，1TB的原始数据需要占用3TB的磁盘空间，存储利用率只有1/3。而且系统中大部分是使用频率非常低的冷数据，却和热数据一样存储3个副本，给存储空间和网络带宽带来了很大的压力。

2021-09-07 09:20:44

Hadoop数据容错
Linux下如何快速安装Hadoop
Hadoop主要是分布式计算和存储的框架，所以Hadoop工作过程主要依赖于HDFS(Hadoop Distributed File System)分布式存储系统和Mapreduce分布式计算框架。

2021-09-01 07:21:41

LinuxHadoop存储
Snowflake 如日中天是否代表 Hadoop 已死？大数据体系到底是什么？
大数据平台的数仓体系最初由数据库发展而来，Shared-Nothing（也称MPP）架构在很长一段时间成为主流。随云原生能力增强，Snowflake为代表的Shared-Data逐渐发展起来。而基于DFS和MapReduce原理的大数据体系，设计之初就是Shared-Everything架构。

2021-08-05 15:32:18

Snowflake Hadoop 大数据
大数据开发技术之Hadoop组成三大架构
Hadoop在我们大数据培训课程中占据着举足轻重的地位，被公认为是一套行业大数据标准开源软件，在分布式环境下提供了海量数据的处理能力。在所有的大数据培训机构都把它作为必备课，它不仅是在大数据培训行业而且几乎所有主流厂商都围绕Hadoop开发工具、开源软件、商业化工具和技术服务。

2021-06-21 17:04:55

大数据Hadoop
Hadoop 数据迁移用法详解
需要将数据源集群的/etc/hosts中的hadoop节点拷贝到目标集群所有节点的/etc/hosts中，保证新集群所有节点可以ping同老集群所有节点;

2021-06-09 17:51:12

Hadoop数据迁移
Cloudera将被私有化，Hadoop时代或将落幕
北京时间 6 月 1 日晚，据 TechCrunch 报道 [1]，KKR 和 CD&R 将以 53 亿美元收购 Cloudera，Cloudera 将被私有化。截止到本文发稿时(11 点 49 分)，Cloudera 股票报价 15.94 美元，涨幅 23.95%。

2021-06-02 00:22:04

ClouderaHadoop私有化
Hadoop，大数据离不开它
搭建数仓，hadoop虽然有点落伍，但还是不可或缺的。本文描述下单机版的hadoop运作机制。

2021-05-16 07:44:01

Hadoop大数据HDFS
随着云计算等颠覆性技术的出现Hadoop将会过时
Hadoop是一个开源软件框架，它在近十年前开始流行。ApacheHadoop在当时是一项突破性的创新，企业在处理大量数据时遇到了存储问题。

2021-04-29 10:12:18

Hadoop存储数据分析
Hadoop集群搭建及Python操作
HDFS 文件存储集群的优点是：配置要求低、易于扩展、效率比较高、非常适合大批量文件存储，而且可以提供 web 管理页面，提供非常好的第三方库。在进行 web 开发时，作为文件和图片存储库也是非常好的选择。

2021-04-19 08:52:58

Hadoop集群搭建Python
Hadoop和大数据正式走到头了：13个相关的Apache开源项目宣布报废
Apache软件基金会已在短短11天内宣布报废13个与大数据有关的Apache项目，其中包括Sentry、Tajo和Falcon。

2021-04-15 11:38:52

大数据IT互联网
使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群
Hadoop是Apache旗下的一个用Java语言实现开源软件框架，是一个存储和计算大规模数据的软件平台。Hadoop是Apache Lucene创始人 Doug Cutting 创建的，最早起源一个Nutch项目。

2021-04-12 07:41:57

Centos7系统分布式集群
如何阅读百万行 Hadoop 的源码？
首先 hadoop 是用 java 写的，所以一些 java 基础知识必不可少，比如锁，线程，设计模式，java 虚拟机，java io，不求很深入，基础得知道。

2021-03-13 14:08:00

Hadoop 源码HDFS
Hadoop 超燃之路
以前的存储手段跟分析方法现在行不通了!Hadoop 就是用来解决海量数据的 存储 跟海量数据的 分析计算 问题的，创始人 Doug Cutting 在创建 Hadoop 时主要思想源头是 Google 三辆马车.

2021-01-26 05:15:45

Hadoop数据量HDFS
三图讲清大数据基础设施Hadoop、Lambda、kappa
数据已经从最初的信息一步步的演变成了数据产品、数据资产。关于数据的处理技术，包含数据库、数据集市、数据仓库、数据湖、数据中台，每次数据处理的演进都代表着业务需求变化的趋势、技术的演进。

2020-12-18 11:12:01

大数据Hadoop数据处理
除了Hadoop，其他6个你必须知道的热门大数据技术！
大数据技术的体系庞大且复杂，因为数据的来源广泛且多样化，传统技术难以解决一些问题，因此，随着科技的进步，大数据技术的应用也实现全球化。在大数据技术中，你可能了解Hadoop，它作为一个开源的框架，专为离线和大规模数据分析而设计，HDFS作为其核心的存储引擎，已被广泛用于数据存储；其他的技术你还了解多少呢？本文介绍了6个你必须知道的热门大数据技术。

2020-12-15 15:15:45

大数据Hadoop大数据技术
聊聊Linux 安装Hadoop和Hbase
本文给大家介绍Linux 安装Hadoop和Hbase的实践和运用，希望对你有所帮助。

2020-11-19 10:30:28

Linux
Windows10系统下Hadoop和Hive开发环境搭建填坑指南
笔者目前需要搭建数据平台，发现了Windows系统下，Hadoop和Hive等组件的安装和运行存在大量的坑，而本着有坑必填的目标，笔者还是花了几个晚上的下班时候在多个互联网参考资料的帮助下完成了Windows10系统下Hadoop和Hive开发环境的搭建。这篇文章记录了整个搭建过程中的具体步骤、遇到的问题和对应的解决方案。

2020-11-03 08:36:08

Hadoop
Hadoop如何进行大数据处理？工具，优劣势，用例和应用场景
Apache Hadoop可以轻松处理大型数据集。那么到底什么是Hadoop?其主要组件是什么?以及Apache Hadoop是如何帮助处理大数据的?

2020-08-24 15:36:26

Hadoop大数据数据
再受认可！Hadoop开源社区正式支持腾讯云对象存储COS
8月4日消息，知名大数据开源社区Hadoop近日宣布对腾讯云对象存储COS的正式支持。

2020-08-05 16:35:41

腾讯云Hadoop开源
监控大规模Hadoop集群，Prometheus完胜Zabbix？
随着公司业务发展，大数据集群规模正在不断扩大，一些大型集群物理机节点甚至已近上千。面对如此规模庞大的集群，一套优秀的监控系统是运维人员发现及处理故障的关键利器。经过多次选型和迭代，笔者选择了Prometheus，这款时下火热而强大的开源监控组件为核心来构建大数据集群监控平台。

2020-07-27 08:23:15

HadoopPrometheusZabbix
不开玩笑，Hadoop集群容量还可以这样扩展
由戴尔科技集团中国研究院及VMware创新网络主办的《前沿“机器学习加速”网络研讨会》第四期来啦。

2020-06-03 10:54:28

戴尔
Hadoop VS Spark 性能原理分析
面对Hadoop与Spark孰优孰劣这个问题，最准确的观点就是，设计人员旨在让Hadoop和Spark在同一个团队里面协同运行。

2020-05-27 11:20:37

HadoopSpark大数据
大数据分析：学习工具Hadoop，基本安装指导
Hadoop版本主要分为原生Apache Hadoop版和Hadoop商业发行版两种，而其中商业发行版Hadoop多为原生Apache Hadoop的集群模式下的优化版，除少数社区版外，商业发行版大多需要付费使用，且对于初学者而言使用难度较大，因此本教程主要采用Apache Hadoop进行安装与使用方面教学。

2020-05-26 16:25:33

Hadoop下载安装
HBase工作原理：Hadoop体系结构的一部分
HBase是一种高可靠性，高性能，面向列的可扩展分布式存储系统，它使用HBase技术在廉价的PC服务器上构建大规模结构化存储集群。 HBase的目标是存储和处理大量数据，特别是仅使用标准硬件配置即可处理包含数千行和列的大量数据。

2020-05-07 15:10:23

HBaseHadoop数据平台
大数据新人应该了解的Hadoop中的各种文件格式
几周前，我写了一篇有关Hadoop的文章，并谈到了它的不同部分。 以及它如何在数据工程中扮演重要角色。 在本文中，我将总结Hadoop中不同的文件格式。 本主题将是一个简短而快速的主题。

2020-04-26 10:49:37

大数据Hadoop文件格式
大数据系列之Hadoop的资源管理模块YARN
在之前文章中介绍过hadoop1与hadoop2架构的区别是hadoop2将资源管理功能从MapReduce框架中独立出来，也就是现在的YARN模块。

2020-04-22 14:34:42

大数据Hadoop技术
读了十本书丨Hadoop大数据分析及数据挖掘读书笔记，一文总结
个人看完这一章，对于数据挖掘的落地有了一个大概得了解，我们选择、使用、学习这些大数据的技术应该是结果导向的，这里会让人更清晰去选择技术，使用技术。

2020-04-17 15:23:21

Hadoop数据挖掘数据分析
大数据分析系统Hadoop的13个开源工具，你知道几个？
本次为大家分享Hadoop生态系统中最常用的13个开源工具，其中包括资源调度、流计算及各种业务针对应用场景。首先，我们看资源管理相关。

2020-04-08 16:41:18

大数据Hadoop工具
如何在Hadoop上建立数据仓库
大数据平台上的数据仓库是许多组织正在探索的标准用例。采用这种方法的原因可能是大数据平台提供的许多灵活性之一。

2020-04-06 13:52:45

数据仓库大数据平台Hadoop
三分钟读懂Hadoop、HBase、Hive、Spark分布式系统架构
我们来分别部署一套hadoop、hbase、hive、spark，在讲解部署方法过程中会特殊说明一些重要配置，以及一些架构图以帮我们理解，目的是为后面讲解系统架构和关系打基础。

2020-04-03 15:35:53

HadoopHBaseSpark
探索Hadoop与数据仓库之间的关系
在大数据世界中用于BI和分析的新平台的需求，并描述了三种常用的基本数据架构：数据仓库，大规模并行处理系统(MPP)和Hadoop。

2020-04-03 15:22:49

Hadoop数据仓库数据库
带你快速搭建Hadoop运行环境
Hadoop 是一个分布式系统基础架构，在大数据领域被广泛的使用，它将大数据处理引擎尽可能的靠近存储，Hadoop 最核心的设计就是 HDFS 和 MapReduce，HDFS 为海量的数据提供了存储，MapReduce 为海量的数据提供了计算。这篇文章主要就是介绍一下如何搭建一个 Hadoop 运行环境。

2020-04-01 11:11:35

Hadoop运行环境分布式
你还在用这种方法搭建Hadoop吗？
戴尔易安信Isilon是一个成熟的数据湖解决方案，它的OneFs操作系统支持丰富数据访问协议，当一种协议写入数据湖的文件，可以马上通过其他协议被访问。

2020-03-04 14:05:35

戴尔
Apache Hadoop代码质量：生产VS测试
让我们看一下PVS-Studio静态分析器警告，以查看测试错误并不比生产错误更严重这一事实的重要性。当今的焦点：Apache Hadoop。

2020-01-13 15:38:33

Hadoop代码项目
Hadoop 3的主要优缺点
本文的目的是讨论Hadoop 3.0的优缺点。随着Hadoop 3.0中引入了许多更改，它已成为更好的产品。

2020-01-09 10:44:47

Hadoop 3缺点优点
从Hadoop到Spark和Flink，大数据处理框架十年激荡发展史
本文将从大数据的基础特性开始，进而解释分而治之的处理思想，最后介绍一些流行的大数据技术和组件，读者能够通过本文了解大数据的概念、处理方法和流行技术。

2019-11-29 15:47:42

HadoopSparkFlink
合理建立Hadoop数据库的7个步骤
数据湖的概念起源于大数据的出现——且数据已成为企业的核心资产，Hadoop则是作为存储和管理数据的平台而出现。但是，盲目地投入Hadoop数据湖建设并不一定会使您的企业进入大数据时代——至少不是以一种成功的方式。

2019-11-18 21:11:37

Hadoop数据湖数据科学
HDFS架构详解！会了这个，Hadoop还难理解吗？
Hadoop是目前大数据领域最主流的一套技术体系，包含了多种技术。包括HDFS(分布式文件系统)，YARN(分布式资源调度系统)，MapReduce(分布式计算系统)，等等。

2019-11-06 08:54:21

HDFSHadoopMapReduce
兄弟，这种思路讲解HDFS你肯定没见过，快速入门Hadoop必备
大数据技术主要要解决的问题的是大规模数据的计算处理问题，那么首先要解决的就是大规模数据的存储问题。

2019-11-05 09:35:26

HDFSHadoopRAID
Hadoop 生态之 MapReduce 及 Hive 简介
Hadoop 是一个计算框架，目前大型数据计算框架常用的大致有五种：仅批处理框架：Apache hadoop；仅流处理框架：Apache Storm、Apache Samza；混合框架：Apache Spark、Apache Flink.

2019-10-31 09:52:02

HadoopJava大数据
大数据干货：Hadoop 面试中 7 个必问问题及答案
Hadoop是一个开源软件框架，用于存储大量数据，并发处理/查询在具有多个商用硬件(即低成本硬件)节点的集群上的那些数据。

2019-10-30 15:08:09

大数据Hadoop数据中心
1 23456 7

全部话题

大数据
数据分析
数据可视化
商业智能
Hadoop
Spark
数据湖
数据仓库
人工智能 云计算 开源 网络 安全 系统
查看全部话题

相关专题 更多

H3C Workspace：全栈式融合桌面云解决方案
H3C Workspace：全栈式融合桌面云解决方案
新华三超融合：云智原生时代的超融合架构
新华三超融合：云智原生时代的超融合架构
2022-05-26 16:44:00
直播：北森2022春季新品发布会
直播：北森2022春季新品发布会
2022-05-26 16:44:00
点赞

51CTO技术栈公众号

业务
速览
在线客服