51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
信创认证
公众号矩阵
移动端
视频课免费课排行榜短视频直播课软考学堂
全部课程软考信创认证华为认证厂商认证IT技术PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9330内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9330 条
FlinkSQL 电商订单状态追踪与实时处理代码
本系统基于FlinkSQL构建，实现从订单创建到完成的全生命周期状态管理，并实时触发库存更新、物流调度等关键业务操作。

2025-07-29 09:36:13

FlinkSQL大数据Flink
如何在体育数据分析中使用机器学习？ 译文 精选
机器学习在这方面发挥着关键作用，因为它可以分析有关球员和比赛的数据，以识别隐藏的模式。通过观察这些模式，教练可以为球员制定个性化的比赛计划。在现代体育时代，数据分析被用来帮助球队确定更科学的训练方法，确定招募球员，并规划比赛策略。本文将介绍机器学习在体育领域的应用，并演示如何实现。

2025-07-29 07:51:41

机器学习数据分析人工智能
数据的五宗罪，道出了数据治理的真正内涵
成功的数据治理，需要IT部门和业务部门真正坐在一起，用同一种语言思考问题。不是IT说服业务，也不是业务指挥IT，而是双方共同定义什么是"好数据"。数据治理的本质，是让数据从"​​问题制造者​​"变成"​​价值创造者​​"。

2025-07-28 06:00:00

数据治理数字化大数据
知识图谱的直观介绍：以最简单的方式了解知识图谱的基础知识
在本文中，我们将采用可视化和代码友好的方法来探索知识图谱的工作原理，从最基础的部分开始。

2025-07-28 05:00:00

知识图谱AI人工智能
数据的三体问题：为何分析、决策和运营无法协调一致
每家现代公司都生活在三个平行的现实中：三个世界以截然不同的方式收集、计算和处理数据。它们本身并没有错，只是协调性不足。如果没有共同的节奏，整个系统就会停滞不前。

2025-07-28 04:00:00

数据治理大数据AI
聊聊爬取数据的四种技巧
笔者曾经服务于北京一家彩票公司，使用 JSOUP 抓取竞彩的彩票结果数据，Jsoup 非常适合处理静态网页的数据提取。

2025-07-28 02:11:00

爬取数据JSOUP
快速掌握 Pandas：从零基础到高效数据处理的详尽指南
本文将为你提供一条快速通道，从核心概念、实战代码到高效学习策略，助你在1-2周内从pandas新手蜕变为高效数据处理专家。

2025-07-23 07:28:24

pandasPython开发
两年沉淀，大模型在哪些行业迎来了落地的高光时刻？ 原创
未来，大模型比拼的不是技术而是落地能力。

2025-07-22 17:20:36

大模型商业化
阿里面试：Paimon Changelog 和 合并引擎有哪些组合，分别适用于哪些场景？
Paimon 把「怎么产生 changelog」和「怎么合并多条变更」拆成了两个正交维度，只要理解两张“坐标轴”，就能拼出所有计算场景。

2025-07-22 07:59:32

Paimon大数据合并引擎
数据治理对人工智能的成功至关重要
大语言模型 (LLM) 已进入主流，促使各行各业和公司纷纷探索其在业务转型中的潜力。此后，许多技术应运而生，帮助团队构建更强大的 AI 系统。这些工具和技术显然很有用，然而，提升 AI 系统业务影响力的最有效方法依然是数据。

2025-07-21 08:19:13

数据治理大数据人工智能
Python 数据分析五大核心库：数据科学家必备利器
本文将深入解析Python数据分析领域最具影响力的五大核心库，助你从数据清洗到机器学习实现全流程掌控。

2025-07-21 05:55:00

Python数据分析Pandas
Python 数据分析：Pandas 数据操作（二）
本节学习了Pandas数据的一般操作方法，需要掌握.loc[]、.iloc[]方法的使用，以及知道df[]是一种按列提取数据的方法。

2025-07-18 07:59:56

Pandas数据数据分析
数据中台静默革命：从BI展示架到大模型“炼油厂”
没有高质量的数据“原油”，大模型只能生成“工业废水”，而重生的数据中台正悄然成为AI时代最关键的输油管道。

2025-07-18 03:00:00

数据中台BI大模型
BI 数据可视化平台建设（3）—首页性能提升实践
随着越来越多代码的堆积，平台的运行加载性能也在逐步下降，在不同程度上极大地影响了用户体验，从而导致用户流失。本文就是从这样的一个背景出发，通过对BI数据可视化平台的一系列的性能优化实践，给大家系统性阐述首页性能优化的核心策略，并探讨在日常开发中如何实现长效性能保障。

2025-07-17 09:00:57

大数据BI数据可视化
腾讯面试：Paimon 自动分区清理与快照清理机制是怎么样的？哪个先清理？
本文将深入解析自动分区清理与自动快照清理这两种机制的原理、关联关系、配置方法及最佳实践，为数据湖运维提供全面指导。

2025-07-16 09:16:36

数据湖Paimon自动分区清理
Pandas 进阶秘籍：掌握这五个实用技巧，告别复杂数据处理的烦恼
本文将为您揭示 Pandas 进阶的五个实用技巧，这些技巧能帮助您在面对复杂数据处理任务时更加游刃有余，提升工作效率，解锁数据的深层价值。

2025-07-16 07:05:00

Pandas数据分析数据处理
数据要素化背景下的治理范式创新：粒数据理论构建与应用研究
本文针对传统数据治理模式中记录完整性导向的局限性，创新性提出“粒数据”（Granular Data）概念。

2025-07-15 14:32:37

粒数据数据治理数据质量
从模型到管道：数据建模、架构和工程工具实用指南
我们将深入剖析最近学习到的一些最重要的数据建模方法——所有这些都是在努力平衡过多的标签、大量的咖啡和一个令人困惑的橡皮鸭调试会话的过程中完成的。我们将从数据建模层和范式到星型模式、数据仓库、ETL/ELT，甚至Spark 管道，分解关键概念，并提供真实案例，避免过多的专业术语。

2025-07-15 10:53:53

数据建模数据仓库大数据
AI Agents时代，数据分析将彻底被颠覆
AI Agents+大模型+RAG的架构，不只是技术的进步，也是思维方式的革命**。它让数据真正成为每个人的武器，而不是少数人的特权。

2025-07-15 03:00:00

AI Agents数据分析大模型
Fluss 都进 Apache了，你竟然还没听说过 Fluss, 这篇文章告诉你它和 Kafka、Paimon 有什么区别
本文将深入解析 Fluss 的核心特性，并对比其与 Kafka、Paimon 的技术差异，揭示三者在实时数据架构中的定位与协同关系。

2025-07-14 07:35:00

Fluss数据架构大数据
Python 数据分析：Pandas 数据操作（一）
在掌握了Pandas的数据结构后，接下来应该学会如何操作数据。现在让我们来看看在Pandas中如何定位和操作数据。

2025-07-14 07:21:00

Pandas数据分析Python
“数据产品”究竟是什么以及它为何对AI代理至关重要
数据产品提供结构良好、可靠且受管控的“内容”（数据资产本身），而像 MCP 这样的协议则提供标准化的“方法”（AI 代理访问和使用该资产的机制）。两者强强联手，可以显著加速复杂 Agentic AI 系统的开发和可信应用，使其能够更有效、更安全地利用组织数据，从而实现商业价值。

2025-07-11 10:00:03

数据产品大数据AI代理
AI+数据血缘的三重境界
AI时代，数据血缘的价值会更加凸显。数据血缘正在从"数据治理的辅助工具"升级为"AI时代的核心基础设施"。

2025-07-11 09:38:47

AI数据血缘数据治理
一文看懂“AB实验”：统计学原理，分析思路，业务应用
AB实验，对应的统计学知识是“双样本T检验”，而且常用的AB实验平台会直接通报结果，所以直接看P值是不是小于0.05就好了。P值大于0.05说明没有组间差异，业务动作做了白做，回去重做！

2025-07-11 01:22:00

统计学AB实验双样本
腾讯面试：什么是 Spark 宽依赖、窄依赖，如何进行性能调优？
本文将从RDD依赖关系的本质出发，深入剖析窄依赖与宽依赖的区别，详解Spark如何基于依赖关系进行DAG划分和Stage优化，并结合Spark 3.x的最新特性，提供一套完整的依赖关系调整与性能调优实践方案。

2025-07-11 00:48:00

大数据SparkRDD
什么是维度建模？为什么数据仓库离不开它？
维度建模是大师Kimball的观点，和关系型建模相反，维度建模通过增加冗余来增加查询速度，以分析决策的需求出发构建模型，将业务主题对应的多个实体冗余记录，将共有维度，变化缓慢维的属性抽出形成维度表。

2025-07-09 09:18:29

维度建模数据仓库可追溯性
Python 数据分析：初识 Pandas
本文我们了解了Pandas扩展包的安装、导入，以及创建Series、DataFrame格式数据（后面会详细讲这两种格式）。

2025-07-09 07:50:00

PandasPython数据分析
腾讯面试：Flink Checkpoint 和 Spark Checkpoint 有什么区别？
本文将从原理、实现、性能等多个维度，深入剖析Flink和Spark Checkpoint的异同，并通过实例代码展示其配置与应用。

2025-07-08 08:57:29

Flink大数据流Checkpoint
经营分析，如何识别指标异动+准确归因
做经营分析，经常会陷入“上月涨了1%，本月跌了2%”的苦恼中。报告上虽然密密麻麻列了很多指标的同比，环比涨跌。但不知道怎么归因，只能写肤浅的“收入低了，因为客单价低了……”

2025-07-08 01:55:00

经营分析准确归因识别指标
2025年你应该知道，数据质量才是AI真正的生命线
以ChatGPT为例，其数据治理经历了三个阶段的演进：从较低质量、较小规模的数据集，到更高质量、更大规模的数据集，再到引入人类反馈的标注数据集。未来，数据治理将越来越成为AI发展的核心驱动力。

2025-07-08 01:00:00

数据治理数字化大数据
腾讯面试：请详细描述 Paimon 如何基于 LSM 树实现高吞吐写入和高效查询？
本文将深入剖析Paimon如何基于LSM树结构，通过内存优化、分层存储、智能合并等技术，在保证写入性能的同时提升查询效率，并结合最新版本特性与生产实践案例，全面展示其技术优势。

2025-07-04 07:08:57

Paimon大数据LSM树
如何确保全球数据管道中的跨时区数据完整性和一致性 译文 精选
在现代互联世界中，越来越多企业开始在全球范围内开展业务，这要求跨越不同时区对数据进行管理。这种需求带来了数据完整性的维护挑战，尤其是在处理时间敏感信息时。强大的跨时区数据管理能力愈发重要，本文将带大家了解维护全球数据管道一致性的主要考虑因素与最佳实践。

2025-07-03 07:55:50

数据管理数据完整性数据一致性
腾讯面试：Flink100G 大状态如何优化？有哪些参数可以调整？
本文将系统阐述100G级状态作业的完整调优方案，从状态后端选型、RocksDB深度配置、Checkpoint策略优化到内存管理，构建一套可落地的性能优化体系。

2025-07-03 07:54:03

Flink100G大数据数据处理
一文读懂企业架构：TOGAF、Zachman、FEAF等相关方法及应用策略
在本文中，我们对企业架构的理论基础和实际应用进行了均衡的阐述。首先，我们回顾主要的企业架构 (EA) 框架及其核心概念。然后，我们探讨如何在实践中应用 EA 来应对现代挑战：数字化转型、遗留系统现代化、云迁移以及人工智能驱动的转型。

2025-07-03 07:49:42

数据治理企业架构大数据
数据治理大战：推式猛攻还是拉式精准？大部分企业都选错了
数据治理不是技术问题，是管理问题。选择拉式策略，从小处着手，从痛点出发，快速见效，逐步完善。这才是大多数企业数据治理的正确姿势。

2025-07-02 09:49:47

数据治理数字化大数据
这才是有用的销售分析，而不是罗列完成率
如果市场部和销售部杠起来，坚持认为“产品力没问题，是销售不会卖！”那么强烈建议拆分一个报告，单独研究。否则两部门怼上，你这份销售报告交出去总要被一头骂。

2025-07-02 09:38:48

销售分析渠道分类主营产品
大数据的可信度有多高？现实世界挑战和解决方案指南 译文 精选
本文将介绍在大规模医疗保健和行为分析管道中使用的实际策略，以检测、衡量和修复数据真实性问题，还将探讨实用的工具和示例，以及在错误数据造成更大损害之前从中吸取的一些教训。

2025-07-02 08:29:38

大数据人工智能模型数据分析
阿里面试：Hudi，Iceberg，Paimon之间的差异有哪些？该如何选择？
本文将详细介绍Hudi、Iceberg和Paimon这三种湖格式的发展历程、架构、特性，并对它们共有的特点进行对比分析。

2025-06-30 07:45:00

大数据数据湖数据仓库
Python 五大主流可视化库深度解析与实践指南
对于数据分析师、科学家和工程师而言，掌握核心可视化工具能极大提升探索性分析和结果展示效率。下面深度解析Python五大主流可视化库的技术特性与应用场景。

2025-06-30 07:25:00

数据可视化Python数据分析
阿里面试：如果让你负责大数据平台的架构，需要考虑哪些点？如何设计？
大数据架构设计是一个复杂而系统的工程，需要综合考虑业务需求、技术选型、安全合规等多个方面。本文将深入探讨大数据架构设计时需要关注的各个要点。

2025-06-27 09:18:00

大数据架构设计大数据平台
别做无效标签，三招让“用户画像”精准赋能增长
本篇里审时度势四个字出现了3次，这是把数据理论应用到企业里很重要的一环。在企业里推动项目需要找准切入点，配合业务节奏，实现业务上效果，才能吸引大家的注意，提升数据分析的地位。

2025-06-26 04:22:00

标签用户画像VIP用户
阿里面试：请详细解释一下 Flink 内存管理，具体有哪些参数可以调整？
Flink 内存管理机制，作为保障作业高效稳定运行的关键支柱，深刻影响着任务执行性能、资源利用率以及系统容错能力。理解并掌握 Flink 内存管理原理与优化策略，是开发者构建高性能大数据处理系统的必修课。

2025-06-25 10:17:48

Flink大数据内存管理
腾讯面试：介绍一下 Doris 问题排查思路，有没有总结过相关文档？
本方案旨在详细介绍 Doris 常见问题的排查方法和解决方案，帮助用户快速定位和解决问题，确保 Doris 系统的稳定运行。

2025-06-25 08:05:00

数据库Doris大数据
终于有人把数据架构讲明白了！五种模式优缺点全面对比
数据架构就像城市规划,看不见摸不着,却决定着一个城市的宜居程度和发展潜力。同样,好的数据架构虽不直接创造价值,却能最大限度释放数据价值,支撑企业决策和创新。

2025-06-24 09:13:35

数据架构数字化大数据
腾讯面试：什么是 Trino？它和 Hive，Spark 有何区别？
Trino作为一个开源的分布式SQL查询引擎，具有查询速度快、数据源支持广泛、架构扩展性强、使用成本低等优点，在大数据分析和处理领域具有广阔的应用前景。​

2025-06-23 10:25:00

Trino开源大数据
这篇文章把 Paimon 和 Fluss 的关系给彻底说清楚了
本文将详细探讨Paimon和Fluss的集成，介绍它们的基本概念、集成的意义、具体的集成方法以及相关代码示例，尤其会深入解释它们之间的联系。

2025-06-23 08:20:00

PaimonFluss大数据
2025 年开发者值得了解的 15 个可视化库推荐
以下是 2025 年在前端与数据科学领域最值得关注的 15 个开源可视化库，涵盖 JS、Python、数据探索、地理图形等不同场景，按 GitHub 热度与应用广度综合推荐。

2025-06-23 02:00:00

可视化工具开源
Hadoop是什么，架构是怎么样的?
从技术的角度看，这是一个将海量数据先存起来，再将数据拿出来进行计算，并得到结果的过程。 如果使用 mysql 数据库将这海量数据存起来，再执行 sql 进行统计，大概率直接卡死。

2025-06-20 08:03:36

Hadoopmysql数据库
腾讯面试：Flink 五种 Join 方式，各自有什么特点，应用场景分别是怎么样的？
Flink提供了多种Join类型，以满足不同的业务需求。下面将详细介绍各种Join类型的定义、原理、适用场景和Flink SQL样例代码。

2025-06-19 09:07:06

Flink大数据Join
数据在裸奔：抛开业务的数据，是一场无声的溃败
在层层追踪后终于发现，数据团队沉迷于用户浏览时间的精确统计，却忽略了核心问题：哪些浏览行为在价格敏感人群中最可能导向付款？数据细节华丽，却与决策核心毫无干系——这分明是数据在业务战场上的“裸奔”。

2025-06-19 01:00:00

数据治理大数据
上一页 1 23456 ··· 187
点赞

51CTO技术栈公众号

业务
速览
在线客服