51CTO首页
内容精选
博客
学堂
精培
企业培训
CTO训练营
开源基础软件社区
元宇宙大会
AISummit人工智能大会
公众号矩阵
移动端
博客 论坛
免费课程 课程排行 直播课 软考学堂
精品班 厂商认证 IT技术 2022年软考 PMP项目管理
在线学习 企业服务
CTO训练营 技术经理研习营 LeaTech峰会
文章 资源 问答 开源课堂 专栏 直播
51CTO
开源基础软件社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
开源基础软件社区订阅号
51CTO学堂APP
51CTO学堂企业版APP
开源基础软件社区视频号
社区编辑申请
注册/登录

大数据

6067内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 195 条
环境变量与进程地址空间理解
写在前面这个博客主要谈一下环境变量和程序地址空间,其中程序地址空间可能有点不好理解,但是这个可以帮助我们解决前面我们遗留的一些问题,以后我们几乎都要和程序地址空间打交道,很重要.当然,前面的环境变量也解决了我们的指令问题.环境变量在谈这个之前,我们先来看一个例子,引出这个话题.#include <stdio.h> int main() { printf("

2022-08-15 11:37:16

环境变量地址空间进程创建
第一个spark应用开发详解(java版)
java版的spark应用开发

2022-08-12 07:13:26

sparkjavahdfs
领域驱动设计系列贫血模型和充血模型
使用领域驱动设计至少会带来下述优点：业务逻辑被合理的分散到不同的领域对象中，代码结构更加清晰，可读性，可维护性更高；对象职责更加单一，内聚度更高；复杂的业务模型可以通过领域建模（UML是一种主要方式）清晰的表达，开发人员甚至可以在不读源码的情况下就能了解业务和系统结构，这有利于对现存的系统进行维护和迭代开发；系统高度模块化，代码重用度高，不会出现太多的重复逻辑。

2022-08-08 13:49:11

事件流java迭代
MMA安装及使用优化
公司自建的hdfs集群，后期使用阿里的Maxcompute，就需要迁移数据到新环境中，阿里提供众多的迁移方案，在经过我们的实践后，最终选择了MMA，迁移数据Hive到Maxcompute。

2022-08-03 13:41:40

hivehdfs数据迁移
一文看懂大数据生态圈完整知识体系【大数据技术及架构图解实战派】
一文看懂大数据生态圈完整知识体系 徐葳 随着大数据行业的发展，大数据生态圈中相关的技术也在一直迭代进步，作者有幸亲身经历了国内大数据行业从零到一的发展历程，通过本文希望能够帮助大家快速构建大数据生态圈完整知识体系。 目前大数据生态圈中的核心技术总结下来如图1所示，分为以下9类，下面分别介绍。 图1 一、数据采集技术框架 数据采集也被称为数据同步。随着互联网、移动互联网、物联网等技术的兴起，产生了海

2022-08-03 11:28:08

数据大数据技术框架
推荐系统-协同过滤在Spark中的实现
本文以经典的协同过滤为切入点，重点介绍了被工业界广泛使用的矩阵分解算法，从理论与实践两个维度介绍了该算法的原理，通俗易懂，希望能够给大家带来一些启发。

2022-07-25 09:33:44

spark协同过滤推荐系统
大数据Hadoop之——任务调度器Oozie（Oozie环境部署）
Oozie是一个基于工作流引擎的开源框架，依赖于MapReduce来实现，是一个管理 Apache Hadoop 作业的工作流调度系统。是由Cloudera公司贡献给Apache的，它能够提供对Hadoop MapReduce和Pig Jobs的任务调度与协调。Oozie需要部署到Java Servlet容器中运行。

2022-07-16 19:01:00

大数据Oozie
大数据Hadoop之——Cloudera Hadoop（CM 6.3.1+CDH 6.3.2环境部署）
在众多 Hadoop 版本中， CDH（Cloudera Hadoop） 是 Hadoop 众多分支中比较出色的版本， 它由Cloudera 发行和维护。CDH 基于 Apache 的 Hadoop 进行重新构建，提供了基于 Web 页面的群集部署和管理操作。Hadoop发行版除了社区的Apache hadoop外，Cloudera Hadoop（CDH）、Hortonworks、MapR、EMC、IBM、INTEL、华为等都提供自己的商业版本。

2022-07-08 23:38:26

hadoopCDH大数据
基于Spark+Grafana可视化电商项目实战，好文收藏~
原创肝文！基于Spark+Grafana可视化电商项目实战

2022-05-25 14:30:24

sparksql数据分析
#Word文档导入#大数据presto+Alluxio​
大数据presto+Alluxio​ 1.Presto安装​ 角色分配​IP地址​HOSTNAME​NodeID​角色​172.16.16.241​incubator-test-dc-001​presto-cdh01​coordinator​172.16.16.246​incubator-test-dc-002​presto-cdh02​worker​172.16.16.25

2022-05-16 16:55:10

clouderahiveapache
MacOS下安装Apache Flink及测试WordCount
1.安装java1.8版本steven@wangyuxiangdeMacBook-Pro  ~  java -versionjava version "1.8.0_211"Java(TM) SE Runtime Environment (build 1.8.0_211-b12)Java HotSpot(TM) 64-Bit Server VM (build 25.211-b12, mixed

2022-05-16 15:43:40

flinkapachejava
干货！！基于Spark Graph的社交关系图谱项目实战
原创干货，基于spark graphframes图计算的社交关系图谱

2022-05-05 08:46:14

spark图计算社交关系图谱
深入理解Spark原理，从性能优化入手
1 Spark任务文件初始化调优首先进行性能测试，发现这个视频图谱N度级联关系应用分为5个job，最后一个job为保存结果到HDFS，其余job为同样计算过程的反复迭代。但是发现第一个job比其他job又多了个计算阶段stage，如图中红圈所示。通过阅读程序代码，发现第一个job需要初始化一个空数组，从而产生了一个stage，但是这个stage在性能测试结果上显示，花费了14秒的时间，远远超出合理

2022-04-29 22:40:14

服务器spark网络通信
Spark SQL 字段血缘在 vivo 互联网的实践
字段血缘可以很好的帮助我们了解数据生成的处理过程，在探索中我们发现了可以通过Spark的扩展来优雅的实现这一功能

2022-04-25 10:15:07

sqlsparksparksql
linux硬核知识点
man 是 manual 的缩写，将指令的具体信息显示出来。 当执行`man date`时，有 DATE(1) 出现，其中的数字代表指令的类型，常用的数字及其类型如下

2022-04-23 17:02:38

bash文件系统子进程
Shell脚本进阶
if 判断条件 1 ; then 条件为真的分支代码 elif 判断条件 2 ; then 条件为真的分支代码 elif 判断条件 3 ; then 条件为真的分支代码 else 以上条件都为假的分支代码 fi

2022-04-22 20:49:44

bash赋值ip地址
用户行为指标浅析
前言用户行为分析是对用户在产品或触点上产生的行为及行为背后的数据进行分析，通过构建用户行为数据分析体系或者用户画像，来改变产品、营销、运营决策，实现精细化运营，指导业务增长。总之，很重要。先来看下用户类行为指标说明，然后下面详解常写的指标。仅供参考，实际开发逻辑还是按业务需求为标准。指标名称解释说明:新增用户首次联网使用应用的用户，如果一个用户首次打开某APP，那这个用户定义为新增用户：卸载再安装

2022-04-19 16:28:49

sql唯一标识业务需求
一文玩转Linux(NAT)网络配置(保姆级别教程)
VMWare提供了三种工作模式，它们是bridged(桥接模式)、NAT(网络地址转换模式)和host-only(主机模式)，bridged(桥接模式) 是 VMWare 虚拟出来的操作系统就像是局域网中的一台独立的主机，它可以访问网内任何一台机器。在桥接模式下，需要手工为虚拟系统配置IP地址、子网掩码，而且还要和宿主机器处于同一网段，这样虚拟系统才能和宿主机器进行通信。同时，由于这个虚拟系统是局域网中的一个独立的主机系统，那么就可以手工配置它的TCP/IP配置信息，以实现通过局域网的网关或路由器访问互联网。 使用桥接模式的虚拟系统和宿主机器的关系，就像连接在同一个Hub上的两台电脑。想让它们相互通讯，需要为虚拟系统配置IP地址和子网掩码，否则就无法通信。

2022-04-15 00:12:57

centosLinuxNAT网络配置
一文详解VM&CentOS7(保姆级教程)
一文详解VM&CentOS7精简版，学不会你私信我，手把手帮你解决！VMware WorkStation 虚拟机软件是一款桌面计算机虚拟软件，让用户能够在单一主机 上同时运行多个不同的操作系统。每个虚拟操作系统的硬盘分区、数据配置都是独立的， 而且多台虚拟机可以构建为一个局域网。Linux 系统对硬件设备的要求很低，我们没有必 要再买一台电脑，课程实验用虚拟机完全可以搞定，而且 VM 还支持实时快照、虚拟网络、 拖曳文件以及 PXE（Preboot Execute Environment，预启动执行环境）网络安装等方便实 用的功能。

2022-04-13 23:34:29

centoslinuxVM
详解Apache Hudi如何配置各种类型分区
1. 引入​​Apache​​Hudi支持多种分区方式数据集，如多级分区、单分区、时间日期分区、无分区数据集等，用户可根据实际需求选择合适的分区方式，下面来详细了解Hudi如何配置何种类型分区。2. 分区处理为说明Hudi对不同分区类型的处理，假定写入Hudi的​​Schema​​如下{ "type" : "record", "name" : "HudiSchemaDemo",

2022-04-11 16:12:41

hiveapache字段
用 GraphScope 像 NetworkX 一样做图分析
NetworkX 是 Python 上最常用的图分析包，GraphScoep 兼容 NetworkX 接口。本文中我们将分享如何用 GraphScope 像 NetworkX 一样在（大）图上进行分析。快速访问graphscope：​​https://github.com/alibaba/GraphScope​​NetworkX 是什么NetworkX 是一个用 Python 语言开发的图论与复杂

2022-04-11 15:02:53

twitter数据聚类
都2022年了，HDFS为何还如此能战！
HDFS也许不是最好的大数据存储技术，但依然是最重要的大数据存储技术。

2022-04-11 14:12:13

hdfs数据HDFS
MapReduce编程模型和计算框架
1 概述源于Google的MapReduce论文，发表于2004年12月。Hadoop MapReduce是Google MapReduce的克隆版。Hadoop问世前，已有分布式计算，但都是专用系统，仅处理某一类计算，比如进行大规模数据排序。这样的系统无法复用到其他大数据计算场景，每种应用都需要开发与维护专门系统。而Hadoop MapReduce造就了大数据计算通用编程。只要遵循MapRedu

2022-04-05 20:52:00

mapreduce数据服务器
数仓建模—OneID
今天是我在上海租房的小区被封的第三天，由于我的大意，没有屯吃的，外卖今天完全点不到了，中午的时候我找到了一包快过期的肉松饼，才补充了1000焦耳的能量。但是中午去做核酸的时候，我感觉走路有点不稳，我看到大白的棉签深入我的嘴里，我竟然以为是吃的，差点咬住了，还好我有仅存的一点意识。下午我收到女朋友给我点的外卖——面包（我不知道她是怎么点到的外卖，我很感动），很精致的面包，搁平时我基本不喜欢吃面包，但

2022-03-31 17:39:18

数据建模spark
GC：垃圾回收机制，不用手动回收释放#yyds干货盘点#
GC：垃圾回收机制，不用手动回收释放什么是垃圾？对象被判定为垃圾的标准没有被其他对象引用怎么判断垃圾？判定对象是否为垃圾的算法引用计数算法通过判断对象的引用数量来决定对象是否可以被回收每个对象实例都有一个引用计数器，被引用则+1，完成引用则1任何引用计数为0的对象实例可以被当作垃圾收集优点:执行效率高，程序执行受影响较小缺点︰无法检测出循环引用的情况，导致内存泄露javapackagecom.in

2022-03-02 08:23:48

引用计数java方法区
最强Flink算子大全手册，面试拿捏了~
Flink基于流编程模型，内置了很多强大功能的算子，可以帮助我们快速开发应用程序。 特此整理Flink算子手册，赶快拿去！

2022-03-01 21:43:20

flinkscala面试
Hadoop Kerberos 集成
官网参考：https://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/SecureMode.html2、创建Hadoop系统用户为Hadoop开启Kerberos，需为不同服务准备不同的用户，启动服务时需要使用相应的用户。须在所有节点创建以下用户和

2022-02-19 13:55:44

hadoophdfsxml
2022年最强大数据面试宝典（全文50000字，建议收藏）
此套面试题来自于各大厂的真实面试题及常问的知识点，如果能理解吃透这些问题，你的大数据能力将会大大提升，进入大厂指日可待复习大数据面试题，看这一套就够了！本文目录：一、Hadoop二、Hive三、Spark四、Kafka五、HBase六、Flink七、数仓业务方面八、算法\本文因内容较多，带目录的PDF版查看是比较方便的：2022年最强大数据面试宝典PDF版(https://mp.weixin.qq

2022-02-16 14:48:08

大数据面试大数据面试题大数据面试宝典
第02讲：Flink 入门程序 WordCount 和 SQL 实现
Flink系列文章

2022-02-10 21:59:52

flinkjavasql
第12讲：Flink 常用的 Source 和 Connector
Flink系列文章1.第01讲：Flink的应用场景和架构模型(https://www.ikeguang.com/?p=1976)2.第02讲：Flink入门程序WordCount和SQL实现(https://www.ikeguang.com/?p=1977)3.第03讲：Flink的编程模型与其他框架比较(https://www.ikeguang.com/?p=1978)4.第04讲：Flink

2022-01-29 10:24:47

flinkredisapache
漫画趣解Flink实时数仓
Flink实时数仓架构一文打尽

2022-01-28 23:36:57

flink实时数仓
第01讲：Flink 的应用场景和架构模型
Flink系列文章1.第01讲：Flink的应用场景和架构模型(https://www.ikeguang.com/?p=1976)2.第02讲：Flink入门程序WordCount和SQL实现(https://www.ikeguang.com/?p=1977)3.第03讲：Flink的编程模型与其他框架比较(https://www.ikeguang.com/?p=1978)4.第04讲：Flink

2022-01-27 09:53:38

flink数据实时计算
我是Flink，现在"背"感压力~
我是Flink，现在“背”感压力，我太难了~

2022-01-19 21:18:44

flinkkafka实时计算
万字长文玩转Spark面试: 进大厂必看！#yyds干货盘点#
大数据Spark大厂面试一条龙，硬核干货~

2022-01-12 00:06:23

spark实时计算大数据
万字详解实时计算一致性机制：对比Flink和Spark#yyds干货盘点#
海量数据实时计算：Spark和Flink引擎是如何保证Exactly-Once一致性？

2022-01-11 07:48:20

spark数据kafka
YYDS|不得不看的Spark内存管理机制
万字最全Spark内存管理深度剖析

2022-01-09 11:00:37

spark内存管理实时计算
十分钟手撕Flink双流JOIN面试
某年某日某君，于某都面试，为Flink双流JOIN所惑~ 有感而发，遂下笔，为君解惑~

2022-01-04 22:53:30

Flink大数据程序员
数仓建模—指标体系#yyds干货盘点#
指标体系提起指标这个词，每个人似乎都可以说出几个指标，像经常在工作中会听到的日活、月活、注册率、转化率、交易量等事实上指标就是用来量化事物的一个工具，帮助我们去将一些抽象的事件得出一个轮廓上的描述。例如我们可以从指标上判断一个产品的好坏，用户粘性等等，例如我们通过日活能去判断出我们整个产品的用户量，从而能反应出我们这个产品的一个健康程度，也就是否处于增长过程中。一个好的数据指标体系可以助力业务快速

2021-12-22 17:10:10

数据搜索二级
OPPO大数据离线计算平台架构演进
OPPO大数据离线计算平台演进道路上，遇到了很多经典的大数据问题，比如说：shuffle失败、小文件问题、元数据切分、多集群资源协调、spark 任务提交门户建设。OPPO大数据离线计算平台团队依托自身的资源和技术，不断探索，务实的解决平台发展中遇到的各种问题。本文围绕前面提到的五个问题，逐步介绍我们的大数据平台演进之路。

2021-12-22 15:32:33

大数据sparkyarn
整合Apache Hudi+Mysql+FlinkCDC2.1+CDH6.3.0
一、环境准备1.环境准备：flink 1.13.1+hudi0.10+hive2.1.1+cdh6.3.0+mysql5.7+flinkcdc2.1+flink web平台二.编译hudi（这个编译是以前的一个测试版本，编译大同小异）1.使用git命令下载hudi0.10的代码steven@wangyuxiangdeMacBook-Pro  ~  git clone https://gith

2021-12-15 17:13:27

flinkhive数据
「Spark 从精通到重新入门(二)」Spark 中不可不知的动态资源分配
资源是影响 Spark 应用执行效率的一个重要因素。Spark 应用中真正执行 task 的组件是 Executor，可以通过spark.executor.instances 指定 Spark 应用的 Executor 的数量。在运行过程中，无论 Executor上是否有 task 在执行，都会被一直占有直到此 Spark 应用结束。

2021-12-15 13:44:25

sparksql动态分配
sqoop用法之mysql与hive数据导入导出#yyds干货盘点#
一.Sqoop介绍Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如：MySQL、Oracle、Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。对于某些NoSQL数据库它也提供了连接器。Sqoop，类似于其他ETL工具，使用元数据模型来判断数据类型并在数据从数据源转移到Hadoop时确保类型安

2021-12-06 22:38:37

hivemysql数据
万字详解 Spark 数据倾斜及解决方案
本文目录：一、调优概述\二、数据倾斜发生时的现象\三、数据倾斜发生的原理\四、如何定位导致数据倾斜的代码\五、某个task执行特别慢的情况\六、某个task莫名其妙内存溢出的情况\七、查看导致数据倾斜的key的数据分布情况\八、数据倾斜的解决方案：解决方案一：使用HiveETL预处理数据解决方案二：过滤少数导致倾斜的key解决方案三：提高shuffle操作的并行度解决方案四：两阶段聚合（局部聚合+

2021-12-06 10:56:01

数据数据倾斜spark
大数据面试吹牛草稿V2.0
面试吹牛之前先打个草稿！各位面试官好!本文首发于微信公众号【五分钟学大数据】，公众号上有很多大数据学习方法，学习文档，最全的大数据面试八股文等1.我叫xxx，毕业于xxx，之前在xxx公司待了1年多，期间⼀直从事的是IT行业，刚开始的时候做的是Java开发后来转岗到大数据方向做大数据开发;刚转行到大数据开发的时候开始比较困难的，大数据并不像Java那样⼀套框架基本可以搞定所有的问题，而是不同的业务

2021-12-01 16:55:31

kafka大数据离线
0012 - YARN三种资源调度器解析
大数据梦工厂（0012YARN三种资源调度器解析）(https://mp.weixin.qq.com/s/wkwIrLIwbfTzyEk9PkMdQ)1YARN资源调度器简介资源调度器（ResourceScheduler）是HadoopYARN中最核心的组件之一，且是ResourceManager中的一个服务组件，负责整个Hadoop集群资源的分配和管理，用于解决各应用程序之间集群资源抢占的问题。

2021-11-30 23:19:04

HadoopYARN大数据
#yyds干货盘点#Hadoop企业级生产调优手册(二)
上节：Hadoop企业级生产调优手册(一)(https://blog.51cto.com/u_14932245/4693074)五、HDFS存储优化注：演示纠删码和异构存储需要一共5台虚拟机。尽量拿另外一套集群。提前准备5台服务器的集群。5.1纠删码5.1.1纠删码原理HDFS默认情况下，一个文件有3个副本，这样提高了数据的可靠性，但也带来了2倍的冗余开销。Hadoop3.x引入了纠删码，采用计算

2021-11-27 11:28:03

hadoophdfsmapreduce
#yyds干货盘点#Hadoop企业级生产调优手册(一)
一、HDFS核心参数1.1NameNode内存生产配置1.NameNode内存计算每个文件块大概占用150byte，一台服务器128G内存为例，能存储多少文件块呢？12812810241024/150Byte≈9.1亿2.Hadoop2.x系列，配置NameNode内存NameNode内存默认2000m，如果服务器内存4G，NameNode内存可以配置3G。在hadoopenv.sh文件中配置如下

2021-11-26 10:48:36

hadoophdfs数据
Spark SQL知识点大全与实战
SparkSQL概述1、什么是SparkSQLSparkSQL是Spark用于结构化数据(structureddata)处理的Spark模块。与基本的SparkRDDAPI不同，SparkSQL的抽象数据类型为Spark提供了关于数据结构和正在执行的计算的更多信息。在内部，SparkSQL使用这些额外的信息去做一些额外的优化，有多种方式与SparkSQL进行交互，比如:SQL和DatasetAPI

2021-11-22 11:07:13

sparkscalasql
Spark调优 | Spark OOM问题常见解决方式
Spark OOM 问题分析Spark常见的问题不外乎OOM。我们首先看一下Spark 的内存模型：Spark在一个Executor中的内存分为三块，一块是execution内存，一块是storage内存，一块是other内存。Execution内存是执行内存，文档中说join，aggregate都在这部分内存中执行，shuffle的数据也会先缓存在这个内存中，满了再写入磁盘，能够减少IO。其实m

2021-11-19 08:48:22

spark数据调优
HBase面试题整理
1、HBase的特点是什么？1）大：一个表可以有数十亿行，上百万列；2）无模式：每行都有一个可排序的主键和任意多的列，列可以根据需要动态的增加，同一张表中不同的行可以有截然不同的列；3）面向列：面向列（族）的存储和权限控制，列（族）独立检索；4）稀疏：空（null）列并不占用存储空间，表可以设计的非常稀疏；5）数据多版本：每个单元中的数据可以有多个版本，默认情况下版本号自动分配，是单元格插入时的时

2021-11-14 14:27:35

数据缓存hive
1 23 4

全部话题

大数据
数据分析
数据可视化
商业智能
Hadoop
Spark
数据湖
数据仓库
人工智能 云计算 开源 网络 安全 系统
全部话题

相关专题 更多

直播：昇腾AI开发者创享日·南京站
直播：昇腾AI开发者创享日·南京站
SUSE，相信开源的力量
SUSE，相信开源的力量
2022-08-16 16:41:35
论剑“网络风云” 共享“体验至上”
论剑“网络风云” 共享“体验至上”
2022-08-16 16:41:35
点赞

51CTO技术栈公众号

业务
速览
在线客服