51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
信创认证
公众号矩阵
移动端
视频课免费课排行榜短视频直播课软考学堂
全部课程软考信创认证华为认证厂商认证IT技术PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

Hadoop

840内容  
涵盖Hadoop相关研究热点、技术难点与应用场景，让用户更加深入地学习这一大数据基础技术。
文章 博文
共 840 条
Hadoop是什么，架构是怎么样的?
从技术的角度看，这是一个将海量数据先存起来，再将数据拿出来进行计算，并得到结果的过程。 如果使用 mysql 数据库将这海量数据存起来，再执行 sql 进行统计，大概率直接卡死。

2025-06-20 08:03:36

Hadoopmysql数据库
Apache Hive：基于Hadoop的分布式数据仓库
Apache Hive 是一个基于 Apache Hadoop 构建的开源分布式数据仓库系统，支持使用 SQL 执行 PB 级大规模数据分析与查询。

2025-03-25 10:49:24

分布式数据仓库HadoopSQL
基于PHP扩展Phpy实现Apache ORC高效读写，搞定大数据处理
Apache ORC 是一种专为 Hadoop 生态系统设计的列式存储文件格式，它具备高效的数据压缩和快速的查询性能。由于采用列式存储，ORC 格式在处理大规模数据时能够显著减少 I/O 开销，提高数据处理效率，广泛应用于大数据处理框架如 Apache Hive、Apache Spark 等。

2025-02-28 09:05:38

ApacheORCHadoop
零基础入门Hadoop：IntelliJ IDEA远程连接服务器中Hadoop运行WordCount
我们简单地了解了大数据处理中一个经典的应用——WordCounter，并通过Hadoop框架的实践，展示了如何使用MapReduce进行分布式计算。虽然表面上看，WordCounter是一个相对简单的程序，但它却揭示了大数据处理中的核心思想。

2024-12-06 10:51:10

Hadoop大数据框架
一篇讲明白 Hadoop 生态的三大部件
Spark 由 Twitter 公司开发并开源，解决了海量数据流式分析的问题。Spark 首先将数据 导入 Spark 集群，然后通过基于内存的管理方式对数据进行快速扫描，通过迭代算法实现 全局 I/O 操作的最小化，达到提升整体处理性能的目的。

2024-03-27 18:22:58

Hadoop部件生态
Hadoop高可用集群部署
在master节点中使用yarn rmadmin -getAllServiceState命令查看各个节点ResourceManager状态，接下来停止active状态节点的ResourceManage进程，ResourceManage active自动跳转到其他节点，集群仍可用，随后再启动该节点ResourceManager进程，最后再次查看状态，Failed状态恢复为standby。

2023-11-07 07:30:18

Hadoop高可用
数仓 Hive HA 介绍与实战操作
Hive是建立在Hadoop生态系统之上的一种数据仓库解决方案，用于处理大规模数据的查询和分析。为了确保Hive服务的连续性和可用性，特别是在出现硬件故障、软件问题或其他中断情况时，实施Hive的高可用性解决方案非常重要。

2023-08-07 01:25:39

数仓HadoopHive
Hadoop on K8s 编排部署进阶篇
Kubernetes（通常简称为K8s）是一个开源的容器编排平台，用于自动化部署、扩展和管理容器化应用程序。它提供了一种强大的方式来管理容器化应用程序的资源和生命周期。

2023-07-10 07:22:16

Hadoop开源平台
HDFS小文件治理总结，你学会了吗？
对于大量的小文件，可以使用压缩工具将多个小文件压缩为一个压缩包，以减少存储空间。例如，使用gzip或bzip2压缩工具压缩文件，在HDFS上存储压缩文件，以减少存储空间和文件数量.

2023-06-08 07:34:19

HDFS小文件压缩包
通过 Docker-Compose 快速部署 Hive 详细教程
通过 docker-compose 部署的服务主要是用最少的资源和时间成本快速部署服务，方便小伙伴学习、测试、验证功能等等~

2023-04-06 07:18:14

HiveHadoop测试
你不知道的！Hadoop 十大事实揭秘
HDFS 不仅可以处理非常大的分布式文件，而且还可以处理不同类型的文件。这个过程相当简单，任何类型和大小的数据都可以使用在 HDFS 中构建的非常简单和直接的过程进行存储（集中或分布式）和管理。

2023-03-31 18:37:29

Hadoop分布式文件
大数据Hadoop之EFAK和Confluent KSQL简单使用
kafka 0.9.x以后的版本新增了advertised.listeners​配置，kafka 0.9.x以后的版本不要使用 advertised.host.name 和 advertised.host.port 已经deprecatedhost.name 和 port 为 deprecated，使用​listeners代替。

2023-03-08 07:25:08

HadoopEFAKKSQL
大数据Hadoop之——Apache Hudi 数据湖实战操作（Spark，Flink与Hudi整合）
Hudi（Hadoop Upserts Deletes and Incrementals）​，简称​Hudi​，是一个流式数据湖平台，支持对海量数据快速更新，内置表格式，支持事务的存储层、 一系列表服务、数据服务(开箱即用的摄取工具)以及完善的运维监控工具，它可以以极低的延迟将数据快速存储到HDFS或云存储（S3）的工具，最主要的特点支持记录级别的插入更新（Upsert）和删除，同时还支持增量查询

2023-02-26 00:12:10

Hadoop数据湖存储
为啥集群小文件治理那么重要，你真的懂吗？
小文件对于计算的影响就是需要大量节点之间频繁建立联系，数据传输等，浪费资源，消耗时间长。其次小文件相关大量的任务初始化时间甚至比计算时间还长，造成计算资源的使用浪费，降低集群的吞吐量。​

2023-01-11 09:01:00

集群小文件存储
还在用 Zookeeper 作为注册中心？小心坑死你！
在 Zookeeper 中，进行服务注册，实际上就是在 Zookeeper 中创建了一个 znode 节点，该节点存储了该服务的 IP、端口、调用方式(协议、序列化方式)等。

2023-01-05 07:55:59

Zookeeper服务注册
ClickHouse与Hive的区别，终于有人讲明白了
ClickHouse目的在于压榨单机性能，并没有真正的分布式表，数据都在本地，这也使得ClickHouse不需要复杂的调度，直接在本机执行SQL即可。而Hive的数据都在HDFS上，在真正任务前需要依据数据分布确定更复杂的物理计划，然后将Spark程序调度到对应的Data Node上，调度的过程非常消耗时间。

2022-12-28 18:31:43

Hive性能分布式表
当我们说大数据Hadoop，究竟在说什么？
本文讲解了大数据开发中最流行的软件Hadoop, 它主要分为3部分，管理文件存储的hdfs, 统一管理资源和任务的调度平台Yarn，以及提供了一种计算引擎MapReduce, 基于这三个"磐石"，可以构建出整个大数据生态。

2022-12-08 08:40:25

大数据Hadoop存储
大数据Hadoop之—Apache Hudi 数据湖实战操作
构建hudi后，可以通过cd hudi cli&&./hudi-cli.sh启动shell。一个hudi表驻留在DFS上的一个称为basePath的位置，我们需要这个位置才能连接到hudi表。Hudi库有效地在内部管理此表，使用.hoodie子文件夹跟踪所有元数据。

2022-10-24 00:26:51

大数据Hadoop存储层
MPP与Hadoop，两种主流大数据系统架构有啥区别？
总体来说，Hadoop架构在数据量较低的情况下，运行速度远不及MPP架构，但数据量一旦超过某个量级，Hadoop架构在吞吐量方面将非常有优势。

2022-07-01 18:13:51

MPPHadoop大数据
终于有人把Hadoop大数据系统架构讲明白了
从资源管理角度来看，当前的大数据系统架构主要有两种：一种是MPP数据库架构 ，另一种是Hadoop体系的分层架构。这两种架构各有优势和相应的适用场景。

2022-06-26 18:52:02

Hadoop大数据系统
手绘了11张图，帮你看明白 Zookeeper 如何实现服务注册发现
作为一个协调服务，常常用来配合其他中间件来用，比如：Dubbo + Zookeeper，Hadoop + Zookeeper等，Zookeeper可以实现：服务注册发现、分布式锁、配置中心等功能。今天我们重点来学习一下 Zookeeper 是如何实现服务注册发现的。

2022-03-14 17:17:19

Zookeeper中间件Dubbo
大数据与Hadoop的五大优势
虽然Google和Facebook等大型Web2.0公司使用Hadoop来存储和管理其庞大的数据集，但Hadoop基于其五大优势也被证明对许多其他更传统的企业很有价值。

2022-03-14 09:46:10

Hadoop大数据
一文搞懂Hadoop生态系统
Hadoop体系也是一个计算框架，在这个框架下，可以使用一种简单的编程模式，通过多台计算机构成的集群，分布式处理大数据集。

2022-01-06 18:21:00

Hadoop生态系统
比较Hadoop、Spark和Kafka大数据框架
大数据框架最初用于数据仓库或数据湖中的静态数据，但最近的趋势是实时处理来自多个源的数据。

2021-12-14 09:56:51

HadoopSparkKafka
为什么说MPP架构与Hadoop架构是一回事？
作为一个技术人员，还是应该搞清楚MPP架构与Hadoop架构两种技术的本质。本文旨在做一些概念上的澄清，并从技术角度论述两者同宗同源且会在未来殊途同归。

2021-11-26 10:48:06

MPPHadoop数据库
一篇文章彻底掌握 HDFS 跨集群跨版本数据同步工具 Hadoop Distcp
最近有小伙伴问到 hadoop distcp 的使用，对其中的一些细节和容易踩的坑不是很清楚，所以今天我们来看下 hadoop distcp 的原理，细节和容易踩的坑。

2021-11-12 07:43:34

版本HDFS工具
MPP架构与Hadoop架构是一回事吗？
非常多的人拿MPP架构与大规模并行处理领域最著名的开源框架Hadoop相关框架做对比，这实在是让人困惑——难道Hadoop不是“大规模并行处理”架构了？

2021-11-02 09:50:37

MPPHadoop架构
终于有人把 Hadoop 生态的核心讲明白了！
Hadoop是一个由Apache基金会开发的分布式系统基础架构。开发人员可以在不了解分布式底层细节的情况下开发分布式程序，充分利用集群的威力进行高速并行运算以及海量数据的分布式存储。

2021-09-10 18:23:14

Hadoop
Hadoop、Spark、Hive到底是什么，做算法要不要学？
最近我发现，很多萌新说着想要做算法工程师，但是却对这个岗位的要求以及工作内容一无所知。以为学一个Python，再学一些机器学习、深度学习的模型就可以胜任了。工作就是用Python不停地写模型。

2021-09-09 15:09:56

HadoopSparkHive
一篇学会Hadoop3数据容错技术
随着大数据技术的发展，HDFS作为Hadoop的核心模块之一得到了广泛的应用。为了数据的可靠性，HDFS通过多副本机制来保证。在HDFS中的每一份数据都有两个副本，1TB的原始数据需要占用3TB的磁盘空间，存储利用率只有1/3。而且系统中大部分是使用频率非常低的冷数据，却和热数据一样存储3个副本，给存储空间和网络带宽带来了很大的压力。

2021-09-07 09:20:44

Hadoop数据容错
Linux下如何快速安装Hadoop
Hadoop主要是分布式计算和存储的框架，所以Hadoop工作过程主要依赖于HDFS(Hadoop Distributed File System)分布式存储系统和Mapreduce分布式计算框架。

2021-09-01 07:21:41

LinuxHadoop存储
Snowflake 如日中天是否代表 Hadoop 已死？大数据体系到底是什么？
大数据平台的数仓体系最初由数据库发展而来，Shared-Nothing（也称MPP）架构在很长一段时间成为主流。随云原生能力增强，Snowflake为代表的Shared-Data逐渐发展起来。而基于DFS和MapReduce原理的大数据体系，设计之初就是Shared-Everything架构。

2021-08-05 15:32:18

Snowflake Hadoop 大数据
大数据开发技术之Hadoop组成三大架构
Hadoop在我们大数据培训课程中占据着举足轻重的地位，被公认为是一套行业大数据标准开源软件，在分布式环境下提供了海量数据的处理能力。在所有的大数据培训机构都把它作为必备课，它不仅是在大数据培训行业而且几乎所有主流厂商都围绕Hadoop开发工具、开源软件、商业化工具和技术服务。

2021-06-21 17:04:55

大数据Hadoop
Hadoop 数据迁移用法详解
需要将数据源集群的/etc/hosts中的hadoop节点拷贝到目标集群所有节点的/etc/hosts中，保证新集群所有节点可以ping同老集群所有节点;

2021-06-09 17:51:12

Hadoop数据迁移
Cloudera将被私有化，Hadoop时代或将落幕
北京时间 6 月 1 日晚，据 TechCrunch 报道 [1]，KKR 和 CD&R 将以 53 亿美元收购 Cloudera，Cloudera 将被私有化。截止到本文发稿时(11 点 49 分)，Cloudera 股票报价 15.94 美元，涨幅 23.95%。

2021-06-02 00:22:04

ClouderaHadoop私有化
Hadoop，大数据离不开它
搭建数仓，hadoop虽然有点落伍，但还是不可或缺的。本文描述下单机版的hadoop运作机制。

2021-05-16 07:44:01

Hadoop大数据HDFS
随着云计算等颠覆性技术的出现Hadoop将会过时
Hadoop是一个开源软件框架，它在近十年前开始流行。ApacheHadoop在当时是一项突破性的创新，企业在处理大量数据时遇到了存储问题。

2021-04-29 10:12:18

Hadoop存储数据分析
Hadoop集群搭建及Python操作
HDFS 文件存储集群的优点是：配置要求低、易于扩展、效率比较高、非常适合大批量文件存储，而且可以提供 web 管理页面，提供非常好的第三方库。在进行 web 开发时，作为文件和图片存储库也是非常好的选择。

2021-04-19 08:52:58

Hadoop集群搭建Python
Hadoop和大数据正式走到头了：13个相关的Apache开源项目宣布报废
Apache软件基金会已在短短11天内宣布报废13个与大数据有关的Apache项目，其中包括Sentry、Tajo和Falcon。

2021-04-15 11:38:52

大数据IT互联网
使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群
Hadoop是Apache旗下的一个用Java语言实现开源软件框架，是一个存储和计算大规模数据的软件平台。Hadoop是Apache Lucene创始人 Doug Cutting 创建的，最早起源一个Nutch项目。

2021-04-12 07:41:57

Centos7系统分布式集群
如何阅读百万行 Hadoop 的源码？
首先 hadoop 是用 java 写的，所以一些 java 基础知识必不可少，比如锁，线程，设计模式，java 虚拟机，java io，不求很深入，基础得知道。

2021-03-13 14:08:00

Hadoop 源码HDFS
Hadoop 超燃之路
以前的存储手段跟分析方法现在行不通了!Hadoop 就是用来解决海量数据的 存储 跟海量数据的 分析计算 问题的，创始人 Doug Cutting 在创建 Hadoop 时主要思想源头是 Google 三辆马车.

2021-01-26 05:15:45

Hadoop数据量HDFS
三图讲清大数据基础设施Hadoop、Lambda、kappa
数据已经从最初的信息一步步的演变成了数据产品、数据资产。关于数据的处理技术，包含数据库、数据集市、数据仓库、数据湖、数据中台，每次数据处理的演进都代表着业务需求变化的趋势、技术的演进。

2020-12-18 11:12:01

大数据Hadoop数据处理
除了Hadoop，其他6个你必须知道的热门大数据技术！
大数据技术的体系庞大且复杂，因为数据的来源广泛且多样化，传统技术难以解决一些问题，因此，随着科技的进步，大数据技术的应用也实现全球化。在大数据技术中，你可能了解Hadoop，它作为一个开源的框架，专为离线和大规模数据分析而设计，HDFS作为其核心的存储引擎，已被广泛用于数据存储；其他的技术你还了解多少呢？本文介绍了6个你必须知道的热门大数据技术。

2020-12-15 15:15:45

大数据Hadoop大数据技术
聊聊Linux 安装Hadoop和Hbase
本文给大家介绍Linux 安装Hadoop和Hbase的实践和运用，希望对你有所帮助。

2020-11-19 10:30:28

Linux
Windows10系统下Hadoop和Hive开发环境搭建填坑指南
笔者目前需要搭建数据平台，发现了Windows系统下，Hadoop和Hive等组件的安装和运行存在大量的坑，而本着有坑必填的目标，笔者还是花了几个晚上的下班时候在多个互联网参考资料的帮助下完成了Windows10系统下Hadoop和Hive开发环境的搭建。这篇文章记录了整个搭建过程中的具体步骤、遇到的问题和对应的解决方案。

2020-11-03 08:36:08

Hadoop
Hadoop如何进行大数据处理？工具，优劣势，用例和应用场景
Apache Hadoop可以轻松处理大型数据集。那么到底什么是Hadoop?其主要组件是什么?以及Apache Hadoop是如何帮助处理大数据的?

2020-08-24 15:36:26

Hadoop大数据数据
再受认可！Hadoop开源社区正式支持腾讯云对象存储COS
8月4日消息，知名大数据开源社区Hadoop近日宣布对腾讯云对象存储COS的正式支持。

2020-08-05 16:35:41

腾讯云Hadoop开源
监控大规模Hadoop集群，Prometheus完胜Zabbix？
随着公司业务发展，大数据集群规模正在不断扩大，一些大型集群物理机节点甚至已近上千。面对如此规模庞大的集群，一套优秀的监控系统是运维人员发现及处理故障的关键利器。经过多次选型和迭代，笔者选择了Prometheus，这款时下火热而强大的开源监控组件为核心来构建大数据集群监控平台。

2020-07-27 08:23:15

HadoopPrometheusZabbix
不开玩笑，Hadoop集群容量还可以这样扩展
由戴尔科技集团中国研究院及VMware创新网络主办的《前沿“机器学习加速”网络研讨会》第四期来啦。

2020-06-03 10:54:28

戴尔
1 23456 ··· 17
点赞

51CTO技术栈公众号

业务
速览
在线客服