鸿蒙开发者社区

公众号矩阵

移动端

视频课免费课排行榜短视频直播课软考学堂

全部课程软考信创认证华为认证厂商认证 IT技术 PMP项目管理免费题库

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

账号设置退出

大数据

9258内容

关注

大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。

文章博文帖子课程

共 225 条

【Pyspark】常用数据分析基础操作

文章目录零、准备工作0.1 安装pyspark一、pyspark.sql部分1.窗口函数2.更换列名：3.sql将一个字段根据某个字符拆分成多个字段显示4.pd和spark的dataframe进行转换

2023-04-14 16:42:26

数据分析 pyspark 特征工程

详解 Flink Catalog 在 ChunJun 中的实践之路

我们知道 Flink 有Table（表）、View（视图）、Function（函数/算子）、Database（数据库）的概念，相对于这些耳熟能详的概念，Flink 里还有一个 Catalog（目录）的概念。本文将为大家带来 Flink Catalog 的介绍以及 Flink Catalog 在 ChunJun 中的实践之路。Flink Catalog 简介Catalog 提供元数据，如数据库、表

2023-04-07 14:25:37

MapReduce报错：「MKDirs failed to create file」

MapReduce报错：「MKDirs failed to create file」0. 写在前面1. 程序代码及报错信息输入、输出路径程序代码报错信息2. 查找资料3. 原因分析4. 参考0. 写在前面Linux：Ubuntu Kylin16.04Hadoop：Hadoop2.7.21. 程序代码及报错信息输入、输出路径zhangsan@had

2023-03-15 09:44:59

java hadoop Mapreduce

数据测试实践：从一个bug开始的大数据引擎兼容性探索

在大数据时代，精准而有效的数据对于每个致力于长期发展的组织来说都是重要资产之一，而数据测试更是不可或缺的一部分。数据测试不仅关注数据加工的代码逻辑，还要考虑大数据执行引擎带来的影响，因为各种引擎框架将对同一份数据产生不同的计算或检索结果。本文将从一个年度账单bug引入，讲解在数据测试实践中对大数据执行引擎兼容性差异的探索。

2023-03-07 11:32:05

Hive 大数据数据测试

Spark数据清洗【时间数据处理】

spark处理日期数据全解

2023-03-06 12:14:17

spark 日期时间毫秒级时间戳

使用Maven构建Hadoop工程并实现词频统计案例(详细篇)

使用Maven构建Hadoop工程并实现词频统计案例(详细篇)一、实验环境：Hadoop3.1.3IDEACentOS7.5Maven3.6.3伪分布式二、使用Maven构建Hadoop工程1.解压Maven到自己的安装目录tar -zxvf ./apache-maven-3.6.3-bin.tar.gz -C /opt/module/2.配置Maven环境变量vim /etc/profile.d

2023-02-14 08:39:07

hadoop maven 大数据

springboot：java实现邮件及附件发送、HTML正文的三种方式（三）【附带源码】

从代码可以看出spring-boot-starter-mail与javax.mail的实现类似，都是通过类实现，但一定不要盲目的复制粘贴，理解，自己一行一行的复写一遍代码，这是千万不能省的！

2023-02-05 09:27:58

java spring boot html

Spark Shuffle解析

1 Shuffle的核心要点1.1 ShuffleMapStage与ResultStage图ShuffleMapStage与ResultStage在划分stage时，最后一个stage称为finalStage，它本质上是一个ResultStage对象，前面的所有stage被称为ShuffleMapStage。ShuffleMapStage的结束伴随着shuffle文件的写磁盘。ResultStag

2023-01-31 09:09:34

数据运行机制数据结构

Spark 通讯架构和调度

1、Spark 通讯架构1.1 Spark通信架构概述Spark2.x版本使用Netty通讯框架作为内部通讯组件。spark 基于netty新的rpc框架借鉴了Akka的中的设计，它是基于Actor模型，如下图所示：图 Actor模型Spark通讯框架中各个组件（Client/Master/Worker）可以认为是一个个独立的实体，各个实体之间通过消息来进行通信。具体各个组件之间的关系图如下：图

2023-01-30 14:18:38

调度策略数据任务调度

大数据Hadoop-04.高可用集群安装

Hadoop 3.3.4 高可用集群安装

2023-01-23 19:45:52

Hadoop 大数据数据分析

大数据Zookeeper-01.单机环境安装

Zookeeper单机环境安装

2023-01-17 17:04:06

Zookeeper 大数据数据分析

HDFS机架感知

HDFS机架感知

2023-01-16 16:22:15

机架感知 Hadoop

大数据平台datasophon 测试部署

标签（空格分隔）：大数据运维专栏一：datasophon的介绍1.1datasophon的介绍DataSophon是近日开源的一款国产自研大数据管理平台，致力于快速实现部署、管理、监控以及自动化运维大数据服务组件和节点的能力，帮助你快速构建起稳定、高效的大数据集群服务。主要有以下特性:极易部署，1小时可完成300节点的大数据集群部署国产化兼容，兼容ARM服务器和常用国产化操作系统监控指标全面丰富，

2023-01-11 15:36:41

大数据平台dataso datasophon hadoop

HDFS，MapReduce，Yarn的架构思想和设计原理

Hadoop 三大组件：HDFS，MapReduce，Yarn 的架构分析和原理1引子大数据就是将各种数据统一收集起来进行计算，发掘其中的价值。这些数据，既包括数据库的数据，也包括日志数据，还包括专门采集的用户行为数据；既包括企业内部自己产生的数据，也包括从第三方采购的数据，还包括使用网络爬虫获取的各种

2023-01-07 00:14:02

数据服务器 HDFS

Flink SQL管理平台flink-streaming-platform-web安装搭建

我的gitee地址：https://gitee.com/ddxygq/bigdatatechnicalpai最近看到有人在用flinksql的页面管理平台，大致看了下，尝试安装使用，比原生的flinksql界面确实好用多了，我们看下原生的，通过bin/sqlclient.sh命令进入那个黑框，一只松鼠，对，就是那个界面。。。。这个工具不是Flink官方出的，是一个国内的小伙伴写的，Github地址

2022-12-06 14:55:07

flink sql kafka

三大实例带你搞定 Prometheus API 使用

作为一位优秀的技术人员，往往能通过对数据的最大化利用来产生更多价值。而 Prometheus 的监控数据则是可以为我们所用的重要数据，它并不只能用于日常的监控和告警使用，也可以用于数据分析、成本管理等企业需求。在这种场景下，需要我们从 Prometheus 去获取相关的数据，并对其进行处理加工。关于数据的获取方法，通常会使用 Prometheus 提供的 API 来操作，本文将会对此进行讲解介绍。

2022-11-30 10:19:45

数据时间戳获取数据

CDH5部署三部曲之二：部署和设置

本文是《CDH5部署三部曲》的第二篇，前文将集群所有机器做了必要的设置，今天一起来完成CDH的部署、启动、设置等操作

2022-11-28 00:06:12

cloudera CDH 大数据

CDH5部署三部曲之一：准备工作

CDH5部署前的准备工作，包括系统设置、安装文件下载等

2022-11-27 14:15:11

cloudera java cdh

Hudi Upsert原理

2022-11-24 10:07:15

数据加载 spark

Hadoop总结——Hadoop基础

2022-11-06 15:26:12

hadoop 数据 mapreduce

【Web开发】Python实现Web仪表盘功能（Grafana）

Grafana是一个开源的，拥有丰富dashboard和图表编辑的指标分析平台，

2022-11-05 22:38:55

python web server grafana

字节跳动开源数据集成引擎 BitSail 的演进历程与能力解析

导读BitSail 是字节跳动开源数据集成引擎，支持多种异构数据源间的数据同步，并提供离线、实时、全量、增量场景下全域数据集成解决方案，目前支撑了字节内部和火山引擎多个客户的数据集成需求。经过字节跳动各大业务线海量数据的考验，在性能、稳定性上得到较好验证。10 月 26 日，字节跳动宣布 BitSail 项目正式在 GitHub 开源，为更多的企业和开发者带来便利，降低数据建设的成本，让数据高效地

2022-11-03 11:51:33

数据 flink 数据集成

SQL进阶篇之函数

SQL 拥有很多可用于计数和计算的内建函数，他们可以让数据统计工作更加便利

2022-10-21 00:40:10

sql 结果集函数返回

SQL进阶篇之高级应用

在实际的数据库使用中，除了CRUD，还有很多高级应用值得学习和掌握，能够在平时的工作中得到很多便利

2022-10-19 04:15:11

sql 数据类型结果集

阿里云大数据开发一面面经，已过，面试题已配答案

阿里云大数据开发一面面经，已过，面试题已配答案

2022-10-18 12:25:24

spark hadoop 大数据开发面试题

Spark常规性能调优（一）

1、常规性能调优一：最优资源配置Spark性能调优的第一步，就是为任务分配更多的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略。资源的分配在使用脚本提交Spark任务时进行指定，标准的Spark任务提交脚本如代码清单所示/usr/opt/modules/spark/bin/spark-submit \ --c

2022-10-15 22:13:15

spark 数据持久化

SQL进阶篇之多表联查

在实际开发过程中，随着产品迭代，多表联查无法避免

2022-10-14 17:31:43

sql 结果集主键

SQL进阶篇之约束(Constraints)

约束用于限制加入表的数据的类型，可以在创建表时规定约束(通过 CREATE TABLE 语句)，或者在表创建之后也可以(通过 ALTER TABLE 语句)

2022-10-14 15:17:40

sql oracle mysql

Spark常见数据倾斜情况及调优方案

1、数据倾斜Spark中的数据倾斜问题主要指shuffle过程中出现的数据倾斜问题，是由于不同的key对应的数据量不同导致的不同task所处理的数据量不同的问题例如，reduce点一共要处理100万条数据，第一个和第二个task分别被分配到了1万条数据，计算5分钟内完成，第三个task分配到了98万数据，此时第三个task可能需要10个小时完成，这使得整个Spark作业需要10个小时才能运行完成，

2022-10-14 12:01:57

数据倾斜数据 spark

Spark Troubleshooting

1、故障排除一：控制reduce端缓冲大小以避免OOM在Shuffle过程，reduce端task并不是等到map端task将其数据全部写入磁盘后再去拉取，而是map端写一点数据，reduce端task就会拉取一小部分数据，然后立即进行后面的聚合、算子函数的使用等操作reduce端task能够拉取多少数据，由reduce拉取数据的缓冲区buffer来决定，因为拉取过来的数据都是先放在buffer中

2022-10-13 00:28:55

数据 spark 故障排除

使用Hadoop patch包修复的一次经历

原因：因为公司的平台的数据量在30P左右，使用了Hadoop3.1.2的版本，而且使用的纠删码功能，报错信息如下：java.io.IOException: Unexpected EOS from the readerat org.apache.hadoop.hdfs.StripeReader.readToBuffer(StripeReader.java:241)at org.apache.hado

2022-10-11 18:02:20

hadoop hdfs java

【设计模式】【第五章】【开具增值税发票】【建造者模式 + 原型模式】

【设计模式】【开具增值税发票】【建造者模式 + 原型模式】

2022-10-03 10:51:09

设计模式建造者模式原型模式

字节跳动基于Doris的湖仓分析探索实践

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群Doris简介Doris是一种MPP架构的分析型数据库，主要面向多维分析，数据报表，用户画像分析等场景。自带分析引擎和存储引擎，支持向量化执行引擎，不依赖其他组件，兼容MySQL协议。Apache Doris具备以下几个特点：良好的架构设计，支持高并发低延时的查询服务，支持高吞吐量的交互式分析。多FE均可对外提供服

2022-09-29 15:01:03

Presto安装集成kerberos

解压presto-server包tar -zxvf presto-server-0.276.tar.gz件目录结构如下drwxr-xr-x 3 rong rong 4096 Mar 29 10:29 bindrwxrwxr-x 2 rong rong 12288 Mar 29 09:54 lib-rw-r--r-- 1 rong rong 191539 Mar 5...

2022-09-27 06:12:38

hive hadoop hdfs

开源交流丨一站式大数据平台运维管家ChengYing安装原理剖析

本期我们带大家回顾一下漫路同学的直播分享《ChengYing 安装原理剖析》。本期内容多为实战演示，欢迎有兴趣的同学去 B 站配合视频观看，便于理解。一、ChengYing 安装原理ChengYing 安装主要分为下面八个模块的内容，下面为大家介绍一下每个模块主要能做的事情：1、主机编排一个组件包里面有很多服务，指定服务安装到哪些主机。2、冲突校验根据组件包之间的依赖关系，校验编排结果是否符合部署

2022-09-09 14:17:36

自定义配置信息配置文件

终于有人把不同标签的加工内容与落库讲明白了丨DTVision分析洞察篇

上一篇文章详细给大家介绍了标签的设计与加工，在标签生命周期流程中，标签体系设计完成后，便进入标签加工与上线运行阶段，一般来说数据开发团队会主导此过程，但我们需要关心以下几个问题：・标签如何快速创建和实现标签逻辑的在线化管理・业务人员怎么参与到标签建设流程中・百万级别的标签如何落表一、加工方式：传统 VS 在线当企业无标签系统时，一般由数据开发在离线数仓中完成标签的加工和运行，运营或市场同学需要某个

2022-09-08 16:39:42

数据 sql hive

Spark面试题——Spark容错机制

问过的一些公司：头条，字节，阿里 x 3，腾讯，竞技世界参考答案：1、容错方式容错指的是一个系统在部分模块出现故障时还能否持续的对外提供服务，一个高可用的系统应该具有很高的容错性；对于一个大的集群系统来说，机器故障、网络异常等都是很常见的，Spark这样的大型分布式计算集群提供了很多的容错机制来提高整个系统的可用性。一般来说，分布式数据集的容错性有两种方式：数据检查点和记录数据的更新。面向大规模

2022-09-04 09:33:19

大数据大数据开发面试题

一、Hadoop是什么？Hadoop是一个Apache基金会所开发的分布式系统基础架构。在工业界，Hadoop已经是公认的大数据通用存储和分析平台，它实现了分布式文件系统HDFS（ Hadoop Distributed File System）、分布式运行程序编程框架MapReduce以及资源管理系统YARN（ Yet Another Resource Negotiator），其中HDF

2022-09-02 20:13:59

mapreduce hadoop 大数据

（1）sparkstreaming结合sparksql读取socket实时数据流

Spark Streaming是构建在Spark Core的RDD基础之上的，与此同时Spark Streaming引入了一个新的概念：DStream（Discretized Stream，离散化数据流)，表示连续不断的数据流。DStream抽象是Spark Streaming的流处理模型，在内部实现上，Spark Streaming会对输入数据按照时间间隔（如1秒）分段，每一段数据转换为Spar

2022-08-31 11:56:08

spark java spark sql

docker下的spark集群，调整参数榨干硬件

调整docker-compose编排的参数，充分发挥硬件信息能运行spark集群

2022-08-20 00:04:03

hadoop spark docker

spark实战之：分析维基百科网站统计数据(java版)

在《寻找海量数据集用于大数据开发实战(维基百科网站统计数据)》一文中，我们了解了如何获取维基百科网站的网页点击量统计数据，并且介绍了数据格式的基本内容，本文以这些数据进行实战，练习基本的spark开发

2022-08-19 00:08:03

spark hadoop java

docker下，极速搭建spark集群(含hdfs集群)

搭建spark和hdfs的集群环境会消耗一些时间和精力，今天咱们就借助docker，极速搭建和体验spark和hdfs的集群环境

2022-08-17 00:04:38

spark docker hdfs

第一个spark应用开发详解(java版)

java版的spark应用开发

2022-08-12 07:13:26

spark java hdfs

领域驱动设计系列贫血模型和充血模型

使用领域驱动设计至少会带来下述优点：业务逻辑被合理的分散到不同的领域对象中，代码结构更加清晰，可读性，可维护性更高；对象职责更加单一，内聚度更高；复杂的业务模型可以通过领域建模（UML是一种主要方式）清晰的表达，开发人员甚至可以在不读源码的情况下就能了解业务和系统结构，这有利于对现存的系统进行维护和迭代开发；系统高度模块化，代码重用度高，不会出现太多的重复逻辑。

2022-08-08 13:49:11

事件流 java 迭代

MMA安装及使用优化

公司自建的hdfs集群，后期使用阿里的Maxcompute，就需要迁移数据到新环境中，阿里提供众多的迁移方案，在经过我们的实践后，最终选择了MMA，迁移数据Hive到Maxcompute。

2022-08-03 13:41:40

hive hdfs 数据迁移

一文看懂大数据生态圈完整知识体系【大数据技术及架构图解实战派】

一文看懂大数据生态圈完整知识体系徐葳随着大数据行业的发展，大数据生态圈中相关的技术也在一直迭代进步，作者有幸亲身经历了国内大数据行业从零到一的发展历程，通过本文希望能够帮助大家快速构建大数据生态圈完整知识体系。目前大数据生态圈中的核心技术总结下来如图1所示，分为以下9类，下面分别介绍。图1 一、数据采集技术框架数据采集也被称为数据同步。随着互联网、移动互联网、物联网等技术的兴起，产生了海

2022-08-03 11:28:08

数据大数据技术框架

推荐系统-协同过滤在Spark中的实现

本文以经典的协同过滤为切入点，重点介绍了被工业界广泛使用的矩阵分解算法，从理论与实践两个维度介绍了该算法的原理，通俗易懂，希望能够给大家带来一些启发。

2022-07-25 09:33:44

spark 协同过滤推荐系统

大数据Hadoop之——任务调度器Oozie（Oozie环境部署）

Oozie是一个基于工作流引擎的开源框架，依赖于MapReduce来实现，是一个管理 Apache Hadoop 作业的工作流调度系统。是由Cloudera公司贡献给Apache的，它能够提供对Hadoop MapReduce和Pig Jobs的任务调度与协调。Oozie需要部署到Java Servlet容器中运行。

2022-07-16 19:01:00

大数据 Oozie

大数据Hadoop之——Cloudera Hadoop（CM 6.3.1+CDH 6.3.2环境部署）

在众多 Hadoop 版本中， CDH（Cloudera Hadoop）是 Hadoop 众多分支中比较出色的版本，它由Cloudera 发行和维护。CDH 基于 Apache 的 Hadoop 进行重新构建，提供了基于 Web 页面的群集部署和管理操作。Hadoop发行版除了社区的Apache hadoop外，Cloudera Hadoop（CDH）、Hortonworks、MapR、EMC、IBM、INTEL、华为等都提供自己的商业版本。

2022-07-08 23:38:26

hadoop CDH 大数据

基于Spark+Grafana可视化电商项目实战，好文收藏~

原创肝文！基于Spark+Grafana可视化电商项目实战

2022-05-25 14:30:24

spark sql 数据分析

1 2 3 4 5 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区 AI.x社区

教育

51CTO学堂精培企业培训 CTO训练营