51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
信创认证
公众号矩阵
移动端
视频课免费课排行榜短视频直播课软考学堂
全部课程软考信创认证华为认证厂商认证IT技术PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9362内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9362 条
Flink Checkpoint 完整过程技术解析（附源码）
本文的目标读者是希望深入理解 Flink 内部机制的数据平台工程师、流计算架构师及技术负责人。

2025-10-31 07:25:00

Flink数据大数据
腾讯面试：Flink 与 Spark 容错机制有什么区别？
本文将从分布式容错的基础理论出发，深入剖析Flink基于Chandy-Lamport分布式快照的流处理容错机制，以及Spark基于RDD Lineage的批处理容错机制，并扩展至Spark Streaming的微批容错和Structured Streaming的流处理容错演进

2025-10-29 07:00:00

FlinkSpark大数据
现代数据建模：推动人工智能驱动型企业的革命
现代数据建模并非要取代以往的数据模型，而是要提升它。它尊重结构和逻辑的原则，并赋予其协作、智能和意义。它是架构与同理心的交汇，也是数据的未来将更加人性化的地方。

2025-10-23 10:09:57

数据建模人工智能数据架构
利用AI全方位优化数据分析工作流的实战技巧
在数据量爆炸式增长的时代，企业掌握的海量信息中有高达73%未被利用。传统分析模式在数据孤岛与复杂性面前节节败退，而AI正在改写这一局面。

2025-10-23 07:23:00

数据分析AI数据孤岛
数据架构中最昂贵的错误：混淆运行成本与总拥有成本（TCO）
在签署新的数据平台合同或续签合同之前，不要只追求最低的运行成本——要考虑总拥有成本。问问它如何影响互操作性、人力投入、灵活性和长期变化。因为在数据世界中，启动成本低往往意味着维持成本高昂。

2025-10-21 10:19:28

数据架构大数据
数据战略终极指南：框架、最佳实践和示例极指南
数据战略是指导组织如何收集、管理和使用数据，从而做出明智决策、提高效率并保持合规性的计划。本指南将解释什么是数据战略、它为何重要以及它带来的主要优势。

2025-10-20 08:28:48

数据战略数据治理大数据
Apache Paimon 核心配置参数详解（二）
本文将围绕 Bucket 相关参数、缓存相关参数、Changelog 文件相关参数、Changelog Producer 相关参数 和 Changelog 保留策略参数 五大类，详细解析每个参数的作用、配置方法及适用场景，帮助用户深入理解并优化 Paimon 表的运行行为。

2025-10-17 11:30:00

Paimon大数据数据湖
Vue3 新趋势：弃用 ECharts！最强图表库诞生！
随着 Vue3 的不断发展，一款全新的全能图标库 Vue Data UI 逐渐崭露头角，它凭借着诸多优势，有望成为新的数据可视化利器，甚至有取代传统图表库的趋势。

2025-10-17 09:28:21

开发前端图表库
Apache Paimon 核心配置参数详解（一）
本文将详细解读 Paimon 中五个核心配置参数的作用机制、适用场景及最佳实践，帮助开发者充分发挥 Paimon 的潜力。

2025-10-17 08:46:54

数据湖Paimon
从入门到精通：Python 可视化实战，这一篇就够了（含完整代码）
本文将介绍如何使用 Python 创建精美的数据可视化图案，并通过一个完整案例展示其强大功能。

2025-10-17 07:05:00

Python数据可视化数据科学
vivo HDFS EC 大规模落地实践
vivo目前HDFS集群节点达万台级别，数据规模接近EB级别，并且业务数据规模还在以较高速度持续增长中。在推进压缩算法缓解存储压力的同时，EC编码的推进也是存储降本的一大有力手段。

2025-10-16 09:14:48

vivo纠删码EC编码
一条 SparkSQL 可歌可泣的一生
本文将带领读者踏上一段深入 Spark 内核的旅程，详细剖析一条 Spark SQL 语句从被提交到最终执行结束所经历的每一个关键阶段。

2025-10-16 07:05:00

SparkSQLSpark 内核
数据湖领域 Avro、Parquet 和 ORC 三种文件格式到底有什么区别？他们的应用场景是怎么样的？
本文将从设计理念、存储结构、压缩编码、性能表现、生态支持等维度，对这三大格式进行深度剖析，为技术选型提供全面参考。

2025-10-15 10:06:13

大数据数据湖
数据分析报告，如何提出能落地的“建议”？
如果连数据证据都没有，说明假设是随口编的，就能直接推翻了，如果发现真的情况都符合，比如人家真的加了很多班，缺数“情有可原”，那么就能输出：“确实加班太多，建议提醒即可”的结论，还人家清白。

2025-10-13 03:00:01

数据分析落地逻辑树
制造业AI问数的生存法则：从数字化治理到智能化应用
真正的制造业AI问数，拼的不是算法多先进，界面多炫酷，而是——你敢不敢先花半年时间，把最基础的指标体系梳理清楚？

2025-10-11 09:30:52

制造业大数据数字化
做数据十年，终于见到靠谱的绩效分析模型！
绩效分析是数据分析中最重要，也是最容易见成效的部分。绩效是业务部门行动的指挥棒，是企业里领导们最关心的事。数据分析想引起领导重视、驱动业务发展，通过绩效分析来辅助领导决策是最快捷的方法了。

2025-10-11 02:15:00

绩效分析模型监控
ManageEngine卓豪在Endpoint Central中引入数字员工体验（DEX）功能，迈向自主终端管理
新功能助力IT团队主动解决问题、减少工单数量并确保无缝的员工体验

2025-10-10 14:27:43

卓豪
Python 可视化实战：三个案例带你入门数据可视化
Python作为数据科学的主流语言，提供了丰富的可视化工具库。本文将介绍Python可视化的核心库，并通过三个经典案例展示其强大功能。

2025-10-10 07:00:00

Python数据可视化数据分析
谈谈人工智能成功的数据策略
在人工智能领域，数据不仅仅是一种资源，更是所有人工智能能力赖以构建的基础。数据的质量、数量和可访问性直接决定了哪些人工智能应用可行，以及这些应用的有效性。

2025-10-10 02:00:00

人工智能大数据数据架构
一条 FlinkSQL 从提交到运行结束到底经历了哪些奇妙的故事？
本文我们将逐一揭开Flink SQL神秘的面纱，深入解析其经历的每一个关键阶段：SQL提交与解析、语法验证、逻辑计划生成、逻辑计划优化、物理计划转换、JobGraph构建、作业提交与调度、分布式执行与状态管理，以及最终的作业终结。

2025-10-09 07:25:00

FlinkSQL大数据
SQL还没死，它只是学会了调用AI
SQL没有死，它只是在AI的加持下，进化成了更强大的物种。它正在从一门单纯的"数据查询语言"，变成一门"​​智能调度语言​​"。

2025-09-30 10:04:40

SQL大数据数字化
这才是大厂的经营分析，而不是念同环比
大环境越不好，经营分析越重要，这几年，“业财打通”“降本增效”“新机会点”成为很多大厂的口号，对经营分析输出“有价值的洞察”的要求也日渐增多。可到底该怎么做，今天详细给大家讲解下。

2025-09-29 02:11:00

经营分析业务分析财务分析
大数据已死，但数据人还活着
早期行业预测企业数据量将随业务规模呈指数级增长，但实际情况显示，除视频、图像等特定领域外，大多数企业的纯文本数据增长远未达到预期规模。

2025-09-28 08:00:00

大数据数字化AI
Elasticsearch 大数据量扫描三招改动，性能提升 2 倍！
大数据量处理的性能优化需要从多个维度入手。单纯依靠硬件扩容往往收效甚微，而通过合理的架构设计和查询优化，往往能够取得更好的效果。

2025-09-28 01:10:00

大数据数据项目
这才是真正的“销售分析”，而不是罗列地区产品收入
从本质上看，销售们在乎的是能挣到钱。因此：总收入最大化才是激励目标。如果采用一种新策略/学习一种新做法能提升收入，那和额外给奖金的效果是一样的，还能节省销售费用。

2025-09-28 01:00:00

销售策略监控toB业务
别再同环比，这五步让数据分析更深入
如果在某个业务场景下，我们已经做了很多次验证，论证了业务问题的关键指标+判断标准+因果关系，这时候就可以直接套用，这就是我们说的：业务分析模型。不过在沉淀出来之前，还是得多做论证的，特别是因果关系论证，做的不够细致，分分钟被打脸。

2025-09-26 01:00:50

数据分析业务场景模型
2025了，再谈数据中台的真相
数据中台不是万能药，也不是必需品。对于很多企业来说，可能一个简单的数据仓库加上几个BI报表就能解决大部分问题。关键是要诚实地面对自己的需求和能力，不要被概念和技术绑架。数据中台的价值不在于它有多先进，而在于它能为业务创造多少价值。

2025-09-24 09:22:49

数据中台数字化大数据
三大简易AI技术：快速释放数据治理价值的关键
在迈向数据驱动的过程中，传统数据治理因流程繁琐与官僚化而难以发挥最大价值。借助AI与DataGovOps的结合，企业可实现数据治理的高效自动化与持续优化。

2025-09-24 07:12:00

数据驱动AIDataGovOps
CIO如何实时应对数据主权挑战
在地缘政治紧张、隐私法规多变与AI快速渗透的背景下，数据主权成为CIO面临的核心挑战。

2025-09-22 07:00:00

CIOAI数据主权
一文读懂如何选择数据架构
成功的数据架构的基础必须从设计过程的一开始就奠定。这不仅关乎技术架构的构建，还在于使其与组织目标和数据管理策略保持一致。本文将探讨这些流程的理论细节，并提供一个示例项目来演示如何构建这样的系统。

2025-09-19 09:52:19

数据架构大数据
一个核心+三条主线，讲透数据资产化的内涵
我们讨论数据要素治理制度。数据要素治理涉及的主体非常广泛， 包括政府、企业和社会多方，更关注在数据要素市场建设中各方主体的责任和 义务如何协同。

2025-09-17 04:00:00

数据资产化数据治理
自主式AI将如何重塑2026年及未来的企业数据管理?
到2026年，企业数据管理将迎来颠覆式转变：自主式智能体将从匹配与合并入手，实时清理并整合多源数据，极大减少人工介入。

2025-09-16 01:00:00

自主式AI数据管理大数据
数据倾斜背后的认知陷阱
经过这些年的实践，我发现解决数据倾斜问题的关键，不在于掌握多少技术技巧，而在于建立正确的思维模式。真正的高手，会把数据倾斜看作一个系统性问题。他们不会孤立地看待技术指标，而是会从业务、技术、运营三个维度综合考虑。

2025-09-15 09:33:52

数据倾斜
Spark Shuffle 核心技术深度解析
本文将深入剖析 Sort-Based Shuffle 的核心原理、Shuffle Manager 的可插拔设计，以及 Map-side 聚合、Partition Reuse、堆外 Shuffle 等关键优化技术，并结合源码揭示其实现细节。

2025-09-15 06:25:00

Spark大数据数据
准实时数仓落地实战：携程商旅基于Paimon的湖仓一体架构设计与批流融合实践
本文介绍了携程商旅在准实时数仓与湖仓一体化建设中的实践。团队基于Paimon构建稳定高效的数据链路，覆盖订单宽表加工、退票提醒、广告归因等场景，并探索批流一体与 Tag 增量计算，总结了不同场景下Partial Update、Aggregation 等特性的应用经验，对准实时数仓建设具有一定参考价值。

2025-09-12 16:40:08

实时数仓湖仓一体化大数据
可持续数据管理五步法
在网络攻击愈发复杂、AI系统对数据需求激增的背景下，企业亟需新的数据管理方式。可持续数据管理强调在数据全生命周期中以负责任、合乎伦理的方式进行治理，不仅能优化存储与处理，提升安全性与合规性，还能降低能耗和碳足迹，助力企业实现ESG目标。

2025-09-12 07:00:00

网络攻击数据管理AI系统
数据建模的真相！为什么90%的团队都在做无用功
数据建模这件事，说到底还是要回归本质：为业务创造价值。技术很重要，但技术只是手段，不是目的。一个能让业务方快速获得洞察、做出决策的简单模型，远比一个技术上完美但没人使用的复杂模型更有价值。

2025-09-11 09:09:42

数据建模数据仓库大数据
数据资产入表全攻略：从概念到实践的系统解析 原创
数据资产入表是企业数字化转型过程中的重要一环，它不仅关系到企业财务报表的真实性和完整性，更关系到企业数据资产的有效管理和价值实现。

2025-09-11 03:00:00

数据资产数据合作数据交易
数据集质量正成为AI大模型的终极壁垒
数据集不仅仅是一堆数字和文本的堆砌，它更像是AI模型的"营养餐"。你给模型喂什么样的数据，它就会学成什么样。垃圾进，垃圾出，这个道理在AI领域体现得淋漓尽致。

2025-09-11 02:00:00

AI大模型AI数据集
如何避开数据湖中的"鳄鱼"陷阱
数据湖正在成为企业数据战略和AI驱动业务的核心引擎，它们不仅能集中存储并释放非结构化、半结构化和结构化数据的潜力，还能推动业务创新和客户体验个性化。

2025-09-10 07:15:00

数据湖数据战略AI驱动
当 AI Agent 开始抢饭碗！数据分析师的生存法则正在被重写?
AI Agent的崛起确实在改变数据分析行业的格局，但这种改变更多是升级而非替代。就跟工业革命没有消灭工人，而是改变了工人的工作内容一样，AI也在重新定义数据分析师的价值和使命。

2025-09-09 10:15:19

AI Agent数据分析师AI
AI+数仓，会取代传统数仓还是增强？
AI与数据仓库的融合，正在重新定义企业与数据的关系。数据不再是冷冰冰的数字，而是可以对话的智能伙伴。业务人员不再需要依赖技术人员的"翻译"，而是可以直接表达需求、获得洞察。

2025-09-08 09:39:25

AI数据仓库大数据
基于 Kubernetes 的湖仓一体高可用架构部署指南
通过本指南的部署方案，可以构建一个稳定、高效、可扩展的湖仓一体高可用架构，满足现代数据平台的各种需求。

2025-09-08 06:05:00

Kubernetes数据湖大数据
大数据与数字化转型如何重塑石油天然气行业
随着大数据、AI和自动化深入渗透，石油的勘探、运输、炼制和销售正被全面重塑。数字化转型不仅帮助企业降低成本、减少停机、提升安全，还让它们在应对价格波动和减排压力时更具韧性。

2025-09-05 07:10:00

大数据AI数字化转型
数据指标异动，学会这套分析框架就够了
想正确解题，关键在于：不能就数论数，得读懂数据波动背后的业务含义。这样才能知道：哪些是真正的异动，哪些是正常波动。

2025-09-04 02:11:00

数据指标框架
如何将暗数据转化为AI驱动的商业价值
在90%的企业数据仍处于沉睡状态的今天，真正的竞争优势不再取决于数据的多少，而在于能否通过AI将其转化为即时、可信的业务洞察。

2025-09-03 07:00:00

AI驱动大数据ML驱动
深度拆解“用户行为分析”：分析流程、建模思路、业务应用
想做好用户行为分析，密切结合业务，清晰目标，找到关键行为路径，树立判断偏好的标准，一样都少不了。很多公司，业务没有清晰思路，数据缺少主动梳理能力，只能盯着一堆指标大眼瞪小眼了。​

2025-09-03 02:23:00

行为分析分析流程建模思路
传统数据治理为何正在阻碍AI时代发展
在AI高速演进的今天，企业面临的最大挑战不是模型，而是数据治理。过去为合规而生的“恐龙式”工具，已无法支撑实时决策和智能体驱动的业务节奏。

2025-09-02 07:00:00

AI数据治理智能体驱动
数据驱动决策：从“经验判断”到“科学归因”与“精准预测”
兄弟，最怕的是啥？是公司明明有数据，但你想看的时候，要么没权限，要么得填一堆审批单，等批下来黄花菜都凉了；要么就是数据藏在某个表的犄角旮旯里，你得写九曲十八弯的SQL才能把它挖出来。

2025-09-02 04:00:00

数据驱动产品经理
智能体革命：AI如何重塑数据管理的四大核心支柱
在数据复杂性与监管压力双重加剧的背景下，企业的数据管理正迎来范式转变。由智能体驱动的新一代“数据管理员”，正在重塑数据质量、元数据、主数据和数据保留等核心环节：它们不仅能自动化执行剖析、修复、分类、归档等任务，还能跨系统协同，主动发现问题并优化策略。

2025-09-01 07:13:00

数据管理智能体AI
1 23456 ··· 188
点赞

51CTO技术栈公众号

业务
速览
在线客服