直播训练营

鸿蒙开发者社区

WOT技术大会

AIGC创新中国行

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 2024年软考 PMP项目管理软考资讯

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO题库小程序

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

账号设置退出

Hadoop

835内容

关注

涵盖Hadoop相关研究热点、技术难点与应用场景，让用户更加深入地学习这一大数据基础技术。

共 161 条

详解 Flink Catalog 在 ChunJun 中的实践之路

我们知道 Flink 有Table（表）、View（视图）、Function（函数/算子）、Database（数据库）的概念，相对于这些耳熟能详的概念，Flink 里还有一个 Catalog（目录）的概念。本文将为大家带来 Flink Catalog 的介绍以及 Flink Catalog 在 ChunJun 中的实践之路。Flink Catalog 简介Catalog 提供元数据，如数据库、表

2023-04-07 14:25:37

MapReduce报错：「MKDirs failed to create file」

MapReduce报错：「MKDirs failed to create file」0. 写在前面1. 程序代码及报错信息输入、输出路径程序代码报错信息2. 查找资料3. 原因分析4. 参考0. 写在前面Linux：Ubuntu Kylin16.04Hadoop：Hadoop2.7.21. 程序代码及报错信息输入、输出路径zhangsan@had

2023-03-15 09:44:59

java hadoop Mapreduce

使用Maven构建Hadoop工程并实现词频统计案例(详细篇)

使用Maven构建Hadoop工程并实现词频统计案例(详细篇)一、实验环境：Hadoop3.1.3IDEACentOS7.5Maven3.6.3伪分布式二、使用Maven构建Hadoop工程1.解压Maven到自己的安装目录tar -zxvf ./apache-maven-3.6.3-bin.tar.gz -C /opt/module/2.配置Maven环境变量vim /etc/profile.d

2023-02-14 08:39:07

hadoop maven 大数据

springboot：java实现邮件及附件发送、HTML正文的三种方式（三）【附带源码】

从代码可以看出spring-boot-starter-mail与javax.mail的实现类似，都是通过类实现，但一定不要盲目的复制粘贴，理解，自己一行一行的复写一遍代码，这是千万不能省的！

2023-02-05 09:27:58

java spring boot html

大数据Hadoop-04.高可用集群安装

Hadoop 3.3.4 高可用集群安装

2023-01-23 19:45:52

Hadoop 大数据数据分析

HDFS机架感知

HDFS机架感知

2023-01-16 16:22:15

机架感知 Hadoop

大数据平台datasophon 测试部署

标签（空格分隔）：大数据运维专栏一：datasophon的介绍1.1datasophon的介绍DataSophon是近日开源的一款国产自研大数据管理平台，致力于快速实现部署、管理、监控以及自动化运维大数据服务组件和节点的能力，帮助你快速构建起稳定、高效的大数据集群服务。主要有以下特性:极易部署，1小时可完成300节点的大数据集群部署国产化兼容，兼容ARM服务器和常用国产化操作系统监控指标全面丰富，

2023-01-11 15:36:41

大数据平台dataso datasophon hadoop

HDFS，MapReduce，Yarn的架构思想和设计原理

Hadoop 三大组件：HDFS，MapReduce，Yarn 的架构分析和原理1引子大数据就是将各种数据统一收集起来进行计算，发掘其中的价值。这些数据，既包括数据库的数据，也包括日志数据，还包括专门采集的用户行为数据；既包括企业内部自己产生的数据，也包括从第三方采购的数据，还包括使用网络爬虫获取的各种

2023-01-07 00:14:02

数据服务器 HDFS

Flink SQL管理平台flink-streaming-platform-web安装搭建

我的gitee地址：https://gitee.com/ddxygq/bigdatatechnicalpai最近看到有人在用flinksql的页面管理平台，大致看了下，尝试安装使用，比原生的flinksql界面确实好用多了，我们看下原生的，通过bin/sqlclient.sh命令进入那个黑框，一只松鼠，对，就是那个界面。。。。这个工具不是Flink官方出的，是一个国内的小伙伴写的，Github地址

2022-12-06 14:55:07

flink sql kafka

三大实例带你搞定 Prometheus API 使用

作为一位优秀的技术人员，往往能通过对数据的最大化利用来产生更多价值。而 Prometheus 的监控数据则是可以为我们所用的重要数据，它并不只能用于日常的监控和告警使用，也可以用于数据分析、成本管理等企业需求。在这种场景下，需要我们从 Prometheus 去获取相关的数据，并对其进行处理加工。关于数据的获取方法，通常会使用 Prometheus 提供的 API 来操作，本文将会对此进行讲解介绍。

2022-11-30 10:19:45

数据时间戳获取数据

CDH5部署三部曲之二：部署和设置

本文是《CDH5部署三部曲》的第二篇，前文将集群所有机器做了必要的设置，今天一起来完成CDH的部署、启动、设置等操作

2022-11-28 00:06:12

cloudera CDH 大数据

CDH5部署三部曲之一：准备工作

CDH5部署前的准备工作，包括系统设置、安装文件下载等

2022-11-27 14:15:11

cloudera java cdh

Hadoop总结——Hadoop基础

2022-11-06 15:26:12

hadoop 数据 mapreduce

字节跳动开源数据集成引擎 BitSail 的演进历程与能力解析

导读BitSail 是字节跳动开源数据集成引擎，支持多种异构数据源间的数据同步，并提供离线、实时、全量、增量场景下全域数据集成解决方案，目前支撑了字节内部和火山引擎多个客户的数据集成需求。经过字节跳动各大业务线海量数据的考验，在性能、稳定性上得到较好验证。10 月 26 日，字节跳动宣布 BitSail 项目正式在 GitHub 开源，为更多的企业和开发者带来便利，降低数据建设的成本，让数据高效地

2022-11-03 11:51:33

数据 flink 数据集成

使用Hadoop patch包修复的一次经历

原因：因为公司的平台的数据量在30P左右，使用了Hadoop3.1.2的版本，而且使用的纠删码功能，报错信息如下：java.io.IOException: Unexpected EOS from the readerat org.apache.hadoop.hdfs.StripeReader.readToBuffer(StripeReader.java:241)at org.apache.hado

2022-10-11 18:02:20

hadoop hdfs java

字节跳动基于Doris的湖仓分析探索实践

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群Doris简介Doris是一种MPP架构的分析型数据库，主要面向多维分析，数据报表，用户画像分析等场景。自带分析引擎和存储引擎，支持向量化执行引擎，不依赖其他组件，兼容MySQL协议。Apache Doris具备以下几个特点：良好的架构设计，支持高并发低延时的查询服务，支持高吞吐量的交互式分析。多FE均可对外提供服

2022-09-29 15:01:03

Presto安装集成kerberos

解压presto-server包tar -zxvf presto-server-0.276.tar.gz件目录结构如下drwxr-xr-x 3 rong rong 4096 Mar 29 10:29 bindrwxrwxr-x 2 rong rong 12288 Mar 29 09:54 lib-rw-r--r-- 1 rong rong 191539 Mar 5...

2022-09-27 06:12:38

hive hadoop hdfs

开源交流丨一站式大数据平台运维管家ChengYing安装原理剖析

本期我们带大家回顾一下漫路同学的直播分享《ChengYing 安装原理剖析》。本期内容多为实战演示，欢迎有兴趣的同学去 B 站配合视频观看，便于理解。一、ChengYing 安装原理ChengYing 安装主要分为下面八个模块的内容，下面为大家介绍一下每个模块主要能做的事情：1、主机编排一个组件包里面有很多服务，指定服务安装到哪些主机。2、冲突校验根据组件包之间的依赖关系，校验编排结果是否符合部署

2022-09-09 14:17:36

自定义配置信息配置文件

终于有人把不同标签的加工内容与落库讲明白了丨DTVision分析洞察篇

上一篇文章详细给大家介绍了标签的设计与加工，在标签生命周期流程中，标签体系设计完成后，便进入标签加工与上线运行阶段，一般来说数据开发团队会主导此过程，但我们需要关心以下几个问题：・标签如何快速创建和实现标签逻辑的在线化管理・业务人员怎么参与到标签建设流程中・百万级别的标签如何落表一、加工方式：传统 VS 在线当企业无标签系统时，一般由数据开发在离线数仓中完成标签的加工和运行，运营或市场同学需要某个

2022-09-08 16:39:42

数据 sql hive

一、Hadoop是什么？Hadoop是一个Apache基金会所开发的分布式系统基础架构。在工业界，Hadoop已经是公认的大数据通用存储和分析平台，它实现了分布式文件系统HDFS（ Hadoop Distributed File System）、分布式运行程序编程框架MapReduce以及资源管理系统YARN（ Yet Another Resource Negotiator），其中HDF

2022-09-02 20:13:59

mapreduce hadoop 大数据

（1）sparkstreaming结合sparksql读取socket实时数据流

Spark Streaming是构建在Spark Core的RDD基础之上的，与此同时Spark Streaming引入了一个新的概念：DStream（Discretized Stream，离散化数据流)，表示连续不断的数据流。DStream抽象是Spark Streaming的流处理模型，在内部实现上，Spark Streaming会对输入数据按照时间间隔（如1秒）分段，每一段数据转换为Spar

2022-08-31 11:56:08

spark java spark sql

list学习 & 模拟

写在前面到这里我们就知道知道STL的具体的框架了，里面的一些函数你会发现用法都一样。这个博客主要谈一下迭代器的分封装，前面我们蹙额的string和vector的迭代器都是原生指针，但是今天的却不一样。在这里你会发现既然我们的string和vector都可以支持下标访问，为何还要存在迭代器？今天的list你就会发现它不支持下标，我们的STL为了统一性，都支持了迭代器。list认识我们先来看一下lis

2022-08-20 15:01:32

环境变量与进程地址空间理解

写在前面这个博客主要谈一下环境变量和程序地址空间,其中程序地址空间可能有点不好理解,但是这个可以帮助我们解决前面我们遗留的一些问题,以后我们几乎都要和程序地址空间打交道,很重要.当然,前面的环境变量也解决了我们的指令问题.环境变量在谈这个之前,我们先来看一个例子,引出这个话题.#include <stdio.h> int main() { printf("

2022-08-15 11:37:16

环境变量地址空间进程创建

MMA安装及使用优化

公司自建的hdfs集群，后期使用阿里的Maxcompute，就需要迁移数据到新环境中，阿里提供众多的迁移方案，在经过我们的实践后，最终选择了MMA，迁移数据Hive到Maxcompute。

2022-08-03 13:41:40

hive hdfs 数据迁移

一文看懂大数据生态圈完整知识体系【大数据技术及架构图解实战派】

一文看懂大数据生态圈完整知识体系徐葳随着大数据行业的发展，大数据生态圈中相关的技术也在一直迭代进步，作者有幸亲身经历了国内大数据行业从零到一的发展历程，通过本文希望能够帮助大家快速构建大数据生态圈完整知识体系。目前大数据生态圈中的核心技术总结下来如图1所示，分为以下9类，下面分别介绍。图1 一、数据采集技术框架数据采集也被称为数据同步。随着互联网、移动互联网、物联网等技术的兴起，产生了海

2022-08-03 11:28:08

数据大数据技术框架

大数据Hadoop之——任务调度器Oozie（Oozie环境部署）

Oozie是一个基于工作流引擎的开源框架，依赖于MapReduce来实现，是一个管理 Apache Hadoop 作业的工作流调度系统。是由Cloudera公司贡献给Apache的，它能够提供对Hadoop MapReduce和Pig Jobs的任务调度与协调。Oozie需要部署到Java Servlet容器中运行。

2022-07-16 19:01:00

大数据 Oozie

大数据Hadoop之——Cloudera Hadoop（CM 6.3.1+CDH 6.3.2环境部署）

在众多 Hadoop 版本中， CDH（Cloudera Hadoop）是 Hadoop 众多分支中比较出色的版本，它由Cloudera 发行和维护。CDH 基于 Apache 的 Hadoop 进行重新构建，提供了基于 Web 页面的群集部署和管理操作。Hadoop发行版除了社区的Apache hadoop外，Cloudera Hadoop（CDH）、Hortonworks、MapR、EMC、IBM、INTEL、华为等都提供自己的商业版本。

2022-07-08 23:38:26

hadoop CDH 大数据

#Word文档导入#大数据presto+Alluxio

大数据presto+Alluxio 1.Presto安装角色分配IP地址HOSTNAMENodeID角色172.16.16.241incubator-test-dc-001presto-cdh01coordinator172.16.16.246incubator-test-dc-002presto-cdh02worker172.16.16.25

2022-05-16 16:55:10

cloudera hive apache

MacOS下安装Apache Flink及测试WordCount

1.安装java1.8版本steven@wangyuxiangdeMacBook-Pro  ~  java -versionjava version "1.8.0_211"Java(TM) SE Runtime Environment (build 1.8.0_211-b12)Java HotSpot(TM) 64-Bit Server VM (build 25.211-b12, mixed

2022-05-16 15:43:40

flink apache java

linux硬核知识点

man 是 manual 的缩写，将指令的具体信息显示出来。当执行`man date`时，有 DATE(1) 出现，其中的数字代表指令的类型，常用的数字及其类型如下

2022-04-23 17:02:38

bash 文件系统子进程

Shell脚本进阶

if 判断条件 1 ; then 条件为真的分支代码 elif 判断条件 2 ; then 条件为真的分支代码 elif 判断条件 3 ; then 条件为真的分支代码 else 以上条件都为假的分支代码 fi

2022-04-22 20:49:44

bash 赋值 ip地址

用户行为指标浅析

前言用户行为分析是对用户在产品或触点上产生的行为及行为背后的数据进行分析，通过构建用户行为数据分析体系或者用户画像，来改变产品、营销、运营决策，实现精细化运营，指导业务增长。总之，很重要。先来看下用户类行为指标说明，然后下面详解常写的指标。仅供参考，实际开发逻辑还是按业务需求为标准。指标名称解释说明:新增用户首次联网使用应用的用户，如果一个用户首次打开某APP，那这个用户定义为新增用户：卸载再安装

2022-04-19 16:28:49

sql 唯一标识业务需求

一文玩转Linux(NAT)网络配置(保姆级别教程)

VMWare提供了三种工作模式，它们是bridged(桥接模式)、NAT(网络地址转换模式)和host-only(主机模式)，bridged(桥接模式) 是 VMWare 虚拟出来的操作系统就像是局域网中的一台独立的主机，它可以访问网内任何一台机器。在桥接模式下，需要手工为虚拟系统配置IP地址、子网掩码，而且还要和宿主机器处于同一网段，这样虚拟系统才能和宿主机器进行通信。同时，由于这个虚拟系统是局域网中的一个独立的主机系统，那么就可以手工配置它的TCP/IP配置信息，以实现通过局域网的网关或路由器访问互联网。使用桥接模式的虚拟系统和宿主机器的关系，就像连接在同一个Hub上的两台电脑。想让它们相互通讯，需要为虚拟系统配置IP地址和子网掩码，否则就无法通信。

2022-04-15 00:12:57

centos Linux NAT网络配置

详解Apache Hudi如何配置各种类型分区

1. 引入ApacheHudi支持多种分区方式数据集，如多级分区、单分区、时间日期分区、无分区数据集等，用户可根据实际需求选择合适的分区方式，下面来详细了解Hudi如何配置何种类型分区。2. 分区处理为说明Hudi对不同分区类型的处理，假定写入Hudi的Schema如下{ "type" : "record", "name" : "HudiSchemaDemo",

2022-04-11 16:12:41

hive apache 字段

用 GraphScope 像 NetworkX 一样做图分析

NetworkX 是 Python 上最常用的图分析包，GraphScoep 兼容 NetworkX 接口。本文中我们将分享如何用 GraphScope 像 NetworkX 一样在（大）图上进行分析。快速访问graphscope：https://github.com/alibaba/GraphScopeNetworkX 是什么NetworkX 是一个用 Python 语言开发的图论与复杂

2022-04-11 15:02:53

twitter 数据聚类

都2022年了，HDFS为何还如此能战！

HDFS也许不是最好的大数据存储技术，但依然是最重要的大数据存储技术。

2022-04-11 14:12:13

hdfs 数据 HDFS

MapReduce编程模型和计算框架

1 概述源于Google的MapReduce论文，发表于2004年12月。Hadoop MapReduce是Google MapReduce的克隆版。Hadoop问世前，已有分布式计算，但都是专用系统，仅处理某一类计算，比如进行大规模数据排序。这样的系统无法复用到其他大数据计算场景，每种应用都需要开发与维护专门系统。而Hadoop MapReduce造就了大数据计算通用编程。只要遵循MapRedu

2022-04-05 20:52:00

mapreduce 数据服务器

数仓建模—OneID

今天是我在上海租房的小区被封的第三天，由于我的大意，没有屯吃的，外卖今天完全点不到了，中午的时候我找到了一包快过期的肉松饼，才补充了1000焦耳的能量。但是中午去做核酸的时候，我感觉走路有点不稳，我看到大白的棉签深入我的嘴里，我竟然以为是吃的，差点咬住了，还好我有仅存的一点意识。下午我收到女朋友给我点的外卖——面包（我不知道她是怎么点到的外卖，我很感动），很精致的面包，搁平时我基本不喜欢吃面包，但

2022-03-31 17:39:18

数据建模 spark

GC：垃圾回收机制，不用手动回收释放#yyds干货盘点#

GC：垃圾回收机制，不用手动回收释放什么是垃圾？对象被判定为垃圾的标准没有被其他对象引用怎么判断垃圾？判定对象是否为垃圾的算法引用计数算法通过判断对象的引用数量来决定对象是否可以被回收每个对象实例都有一个引用计数器，被引用则+1，完成引用则1任何引用计数为0的对象实例可以被当作垃圾收集优点:执行效率高，程序执行受影响较小缺点︰无法检测出循环引用的情况，导致内存泄露javapackagecom.in

2022-03-02 08:23:48

引用计数 java 方法区

Hadoop Kerberos 集成

官网参考：https://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/SecureMode.html2、创建Hadoop系统用户为Hadoop开启Kerberos，需为不同服务准备不同的用户，启动服务时需要使用相应的用户。须在所有节点创建以下用户和

2022-02-19 13:55:44

hadoop hdfs xml

2022年最强大数据面试宝典（全文50000字，建议收藏）

此套面试题来自于各大厂的真实面试题及常问的知识点，如果能理解吃透这些问题，你的大数据能力将会大大提升，进入大厂指日可待复习大数据面试题，看这一套就够了！本文目录：一、Hadoop二、Hive三、Spark四、Kafka五、HBase六、Flink七、数仓业务方面八、算法\本文因内容较多，带目录的PDF版查看是比较方便的：2022年最强大数据面试宝典PDF版(https://mp.weixin.qq

2022-02-16 14:48:08

大数据面试大数据面试题大数据面试宝典

第12讲：Flink 常用的 Source 和 Connector

Flink系列文章1.第01讲：Flink的应用场景和架构模型(https://www.ikeguang.com/?p=1976)2.第02讲：Flink入门程序WordCount和SQL实现(https://www.ikeguang.com/?p=1977)3.第03讲：Flink的编程模型与其他框架比较(https://www.ikeguang.com/?p=1978)4.第04讲：Flink

2022-01-29 10:24:47

flink redis apache

数仓建模—指标体系#yyds干货盘点#

指标体系提起指标这个词，每个人似乎都可以说出几个指标，像经常在工作中会听到的日活、月活、注册率、转化率、交易量等事实上指标就是用来量化事物的一个工具，帮助我们去将一些抽象的事件得出一个轮廓上的描述。例如我们可以从指标上判断一个产品的好坏，用户粘性等等，例如我们通过日活能去判断出我们整个产品的用户量，从而能反应出我们这个产品的一个健康程度，也就是否处于增长过程中。一个好的数据指标体系可以助力业务快速

2021-12-22 17:10:10

数据搜索二级

整合Apache Hudi+Mysql+FlinkCDC2.1+CDH6.3.0

一、环境准备1.环境准备：flink 1.13.1+hudi0.10+hive2.1.1+cdh6.3.0+mysql5.7+flinkcdc2.1+flink web平台二.编译hudi（这个编译是以前的一个测试版本，编译大同小异）1.使用git命令下载hudi0.10的代码steven@wangyuxiangdeMacBook-Pro  ~  git clone https://gith

2021-12-15 17:13:27

flink hive 数据

sqoop用法之mysql与hive数据导入导出#yyds干货盘点#

一.Sqoop介绍Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如：MySQL、Oracle、Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。对于某些NoSQL数据库它也提供了连接器。Sqoop，类似于其他ETL工具，使用元数据模型来判断数据类型并在数据从数据源转移到Hadoop时确保类型安

2021-12-06 22:38:37

hive mysql 数据

0012 - YARN三种资源调度器解析

大数据梦工厂（0012YARN三种资源调度器解析）(https://mp.weixin.qq.com/s/wkwIrLIwbfTzyEk9PkMdQ)1YARN资源调度器简介资源调度器（ResourceScheduler）是HadoopYARN中最核心的组件之一，且是ResourceManager中的一个服务组件，负责整个Hadoop集群资源的分配和管理，用于解决各应用程序之间集群资源抢占的问题。

2021-11-30 23:19:04

Hadoop YARN 大数据

#yyds干货盘点#Hadoop企业级生产调优手册(二)

上节：Hadoop企业级生产调优手册(一)(https://blog.51cto.com/u_14932245/4693074)五、HDFS存储优化注：演示纠删码和异构存储需要一共5台虚拟机。尽量拿另外一套集群。提前准备5台服务器的集群。5.1纠删码5.1.1纠删码原理HDFS默认情况下，一个文件有3个副本，这样提高了数据的可靠性，但也带来了2倍的冗余开销。Hadoop3.x引入了纠删码，采用计算

2021-11-27 11:28:03

hadoop hdfs mapreduce

#yyds干货盘点#Hadoop企业级生产调优手册(一)

一、HDFS核心参数1.1NameNode内存生产配置1.NameNode内存计算每个文件块大概占用150byte，一台服务器128G内存为例，能存储多少文件块呢？12812810241024/150Byte≈9.1亿2.Hadoop2.x系列，配置NameNode内存NameNode内存默认2000m，如果服务器内存4G，NameNode内存可以配置3G。在hadoopenv.sh文件中配置如下

2021-11-26 10:48:36

hadoop hdfs 数据

HBase面试题整理

1、HBase的特点是什么？1）大：一个表可以有数十亿行，上百万列；2）无模式：每行都有一个可排序的主键和任意多的列，列可以根据需要动态的增加，同一张表中不同的行可以有截然不同的列；3）面向列：面向列（族）的存储和权限控制，列（族）独立检索；4）稀疏：空（null）列并不占用存储空间，表可以设计的非常稀疏；5）数据多版本：每个单元中的数据可以有多个版本，默认情况下版本号自动分配，是单元格插入时的时

2021-11-14 14:27:35

数据缓存 hive

CDH6.3.2 集成 openldap 配置

CDH6.3.2集成openldap配置标签（空格分隔）：大数据运维专栏toc一：hive集成openldap1.1CDH6.3.2的主机节点安装openldap的客户端openldap服务端已经配置完成，不会看flyfish博文https://blog.51cto.com/flyfish225/4562546在此不做部署：安装openldapclient装包：yumyinstallopenlda

2021-11-11 17:44:50

openladp cdh hive

1 2 3 4 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区

教育

51CTO学堂精培企业培训 CTO训练营