51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
信创认证
公众号矩阵
移动端
视频课免费课排行榜短视频直播课软考学堂
全部课程软考信创认证华为认证厂商认证IT技术PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9328内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9328 条
准实时数仓落地实战：携程商旅基于Paimon的湖仓一体架构设计与批流融合实践
本文介绍了携程商旅在准实时数仓与湖仓一体化建设中的实践。团队基于Paimon构建稳定高效的数据链路，覆盖订单宽表加工、退票提醒、广告归因等场景，并探索批流一体与 Tag 增量计算，总结了不同场景下Partial Update、Aggregation 等特性的应用经验，对准实时数仓建设具有一定参考价值。

2025-09-12 16:40:08

实时数仓湖仓一体化大数据
可持续数据管理五步法
在网络攻击愈发复杂、AI系统对数据需求激增的背景下，企业亟需新的数据管理方式。可持续数据管理强调在数据全生命周期中以负责任、合乎伦理的方式进行治理，不仅能优化存储与处理，提升安全性与合规性，还能降低能耗和碳足迹，助力企业实现ESG目标。

2025-09-12 07:00:00

网络攻击数据管理AI系统
数据建模的真相！为什么90%的团队都在做无用功
数据建模这件事，说到底还是要回归本质：为业务创造价值。技术很重要，但技术只是手段，不是目的。一个能让业务方快速获得洞察、做出决策的简单模型，远比一个技术上完美但没人使用的复杂模型更有价值。

2025-09-11 09:09:42

数据建模数据仓库大数据
数据资产入表全攻略：从概念到实践的系统解析 原创
数据资产入表是企业数字化转型过程中的重要一环，它不仅关系到企业财务报表的真实性和完整性，更关系到企业数据资产的有效管理和价值实现。

2025-09-11 03:00:00

数据资产数据合作数据交易
数据集质量正成为AI大模型的终极壁垒
数据集不仅仅是一堆数字和文本的堆砌，它更像是AI模型的"营养餐"。你给模型喂什么样的数据，它就会学成什么样。垃圾进，垃圾出，这个道理在AI领域体现得淋漓尽致。

2025-09-11 02:00:00

AI大模型AI数据集
如何避开数据湖中的"鳄鱼"陷阱
数据湖正在成为企业数据战略和AI驱动业务的核心引擎，它们不仅能集中存储并释放非结构化、半结构化和结构化数据的潜力，还能推动业务创新和客户体验个性化。

2025-09-10 07:15:00

数据湖数据战略AI驱动
当 AI Agent 开始抢饭碗！数据分析师的生存法则正在被重写?
AI Agent的崛起确实在改变数据分析行业的格局，但这种改变更多是升级而非替代。就跟工业革命没有消灭工人，而是改变了工人的工作内容一样，AI也在重新定义数据分析师的价值和使命。

2025-09-09 10:15:19

AI Agent数据分析师AI
AI+数仓，会取代传统数仓还是增强？
AI与数据仓库的融合，正在重新定义企业与数据的关系。数据不再是冷冰冰的数字，而是可以对话的智能伙伴。业务人员不再需要依赖技术人员的"翻译"，而是可以直接表达需求、获得洞察。

2025-09-08 09:39:25

AI数据仓库大数据
基于 Kubernetes 的湖仓一体高可用架构部署指南
通过本指南的部署方案，可以构建一个稳定、高效、可扩展的湖仓一体高可用架构，满足现代数据平台的各种需求。

2025-09-08 06:05:00

Kubernetes数据湖大数据
大数据与数字化转型如何重塑石油天然气行业
随着大数据、AI和自动化深入渗透，石油的勘探、运输、炼制和销售正被全面重塑。数字化转型不仅帮助企业降低成本、减少停机、提升安全，还让它们在应对价格波动和减排压力时更具韧性。

2025-09-05 07:10:00

大数据AI数字化转型
数据指标异动，学会这套分析框架就够了
想正确解题，关键在于：不能就数论数，得读懂数据波动背后的业务含义。这样才能知道：哪些是真正的异动，哪些是正常波动。

2025-09-04 02:11:00

数据指标框架
如何将暗数据转化为AI驱动的商业价值
在90%的企业数据仍处于沉睡状态的今天，真正的竞争优势不再取决于数据的多少，而在于能否通过AI将其转化为即时、可信的业务洞察。

2025-09-03 07:00:00

AI驱动大数据ML驱动
深度拆解“用户行为分析”：分析流程、建模思路、业务应用
想做好用户行为分析，密切结合业务，清晰目标，找到关键行为路径，树立判断偏好的标准，一样都少不了。很多公司，业务没有清晰思路，数据缺少主动梳理能力，只能盯着一堆指标大眼瞪小眼了。​

2025-09-03 02:23:00

行为分析分析流程建模思路
传统数据治理为何正在阻碍AI时代发展
在AI高速演进的今天，企业面临的最大挑战不是模型，而是数据治理。过去为合规而生的“恐龙式”工具，已无法支撑实时决策和智能体驱动的业务节奏。

2025-09-02 07:00:00

AI数据治理智能体驱动
数据驱动决策：从“经验判断”到“科学归因”与“精准预测”
兄弟，最怕的是啥？是公司明明有数据，但你想看的时候，要么没权限，要么得填一堆审批单，等批下来黄花菜都凉了；要么就是数据藏在某个表的犄角旮旯里，你得写九曲十八弯的SQL才能把它挖出来。

2025-09-02 04:00:00

数据驱动产品经理
智能体革命：AI如何重塑数据管理的四大核心支柱
在数据复杂性与监管压力双重加剧的背景下，企业的数据管理正迎来范式转变。由智能体驱动的新一代“数据管理员”，正在重塑数据质量、元数据、主数据和数据保留等核心环节：它们不仅能自动化执行剖析、修复、分类、归档等任务，还能跨系统协同，主动发现问题并优化策略。

2025-09-01 07:13:00

数据管理智能体AI
不知道这15个数据概念之前，你会觉得数据工程很难
数据工程不仅仅是管道，更是以数据为核心单元的系统设计。在本文中，我将向您介绍15 个基本的数据工程概念。

2025-08-29 10:30:16

数据治理数据工程大数据
真正有效的数据指标体系应该长什么样？
指标体系不是万能的，它只是工具。真正重要的是，要有用数据思维解决问题的能力，要有持续优化改进的意识，要有拥抱变化的勇气。

2025-08-29 09:14:20

大数据数字化AI
G行大数据应用平台批量调度优化实践
本文详细介绍了G行大数据批量调度系统的落地实践，为金融行业大数据调度系统的优化升级提供可借鉴的实践经验。

2025-08-29 01:45:00

大数据应用平台优化
“人货场模型”深度拆解：分析框架、建模思路、业务建议
​“我看到收入下降/新增用户减少/转化率不行，该怎么进一步分析呢？”很多人有类似困惑，尤其怕写了一堆“同步收入下降5%，环比下降”得不出对业务有价值的结论。

2025-08-28 03:20:00

深度拆解分析框架建模思路
Flink 异步 Checkpoint 机制详解
在流处理场景中，数据源源不断流入，系统可能因节点故障、网络问题等导致任务中断，若无有效的容错机制，数据可能丢失或重复处理。

2025-08-27 10:00:00

FlinkCheckpoint大数据
数据治理新范式：让高质量数据真正驱动业务
在数据驱动的时代，高质量的数据是企业成功的根基，但若缺乏科学治理，数据价值便无从释放。企业需要构建与业务目标紧密结合的数据治理框架，明确角色职责，监控质量，强化安全与合规，并通过“速赢”项目和可见成果来证明其价值。

2025-08-27 07:17:00

数据驱动数据治理大数据
Flink 精确一次语义原理深度解析
本文将从原理到源码，深入剖析Flink精确一次提交的实现机制，涵盖Checkpoint流程、状态管理、两阶段提交及与外部系统的集成等关键环节。

2025-08-27 06:00:00

Flink大数据Checkpoint
企业将在2025年犯下的五大客户数据管理错误
在与不同规模的企业合作，利用技术和数据创造实际价值的过程中，我每天都目睹着这些错误的发生，因此，我想分享一些今年许多企业可能会犯的错误，或者已经在犯的错误，当然，也会提供一些避免这些错误的建议。

2025-08-26 07:00:00

数据管理大数据多模态AI
活动效果评估体系，就该这样搭建！
如果要开展ABtest，还需提前做埋点，接入测试平台，因此要在活动前期定好标准，之后再上线测试。需注意的是：如果只是对比有活动/无活动，未免儿戏，送东西肯定有人领，可以建议运营选多几种方式（比如会员优惠券）进行对比，得到结论更有价值。          

2025-08-26 02:45:00

活动效果评估体系
数据治理为何失败——原因解析
许多企业错误地认为，仅靠技术解决方案就能克服数据治理挑战，这种过度依赖往往掩盖了人为因素（如管理和问责制）的重要性，有效的数据治理需要工具、流程和人员之间的平衡，以实现对数据的真正控制。

2025-08-26 00:10:00

数据治理大数据
一文读懂数据建模的类型
在本文中，您将了解经验丰富的数据工程师用来理顺混乱流程的强大数据建模策略。这些模式对于构建强大的数据系统至关重要——无论是从零开始还是改进旧有工作流程。

2025-08-25 09:12:48

数据建模数据架构大数据
海豹突击队的训练如何教会我们数据治理的勇气
麦克雷文上将分享了他从海豹突击队训练中学到的十条原则。这些关于纪律、韧性和领导力的简单而有力的课程。下面，您将看到我尝试将这十条原则映射到数据治理领域。

2025-08-25 07:31:48

数据治理大数据
数据仓库、数据湖、湖仓一体背后的商业逻辑
数据架构的演进，反映的是企业数字化成熟度的提升。从数据库到数据仓库，从数据湖到湖仓一体，每一次技术升级的背后，都是商业需求的驱动。理解了这个逻辑，你就能更好地为自己的企业选择合适的数据架构方案。

2025-08-21 09:29:11

数据仓库数据湖大数据
数据管理中的四种数据所有者类型
本文将分析数据和治理领域中最相关的四种所有者类型，解释他们各自的角色，并展示他们在实践中如何互动。虽然每个组织都应该以适合自身情况的方式定义所有权，但本文概述的模式反映了我所观察到的在各个行业和数千个组织中最有效的模式，因此可以作为一个建议的起点。

2025-08-21 08:53:09

数据管理数据治理大数据
谈谈技术驱动的数据治理会产生什么问题
不要再把数据治理视为即插即用的功能，它是企业数据驱动的核心，这个体系定义了机器与人之间的互联互通，需要指导、协商和问责。当你把它交给供应商时，你不仅仅是购买了一个工具，而是将你的价值观、方向和监督外包出去了。

2025-08-18 08:33:55

数据治理大数据人工智能
数据空间入门必看：用 “三元论” 拆解核心要素，看完秒懂底层逻辑
数据空间三元论通过物理模型、能力框架、技术构件逐层解析， 由粗及细、由表及里，采用解构和建构理论方法，对数据空间的理论原理、组成部分、技术路线进行全面透析，尝试探究数据空间全新科学理论，构建一个跨越技术和范式的数据空间完整图景，以进一步探索数据空间的最佳实践框架。

2025-08-18 01:00:00

数据空间底层逻辑技术
构建AI与数据治理统一框架的迫切性
将AI与数据治理相结合，能够帮助企业快速行动、保持合规，并切实从AI中获取预期价值。

2025-08-15 07:10:00

AI数据治理大数据
Flink SQL 四种 Join 方式详解：原理、场景与实战
本文将深入剖析每种 Join 的底层原理、适用场景，并通过完整代码示例演示实战用法，帮助读者掌握 Flink SQL Join 的选型与优化。

2025-08-13 06:00:00

Flink SQLFlink大数据
数据，正在成为AI大模型最后的护城河
未来的AI竞争，表面上是算法和算力的竞争，本质上是数据的竞争。谁掌握了更多高质量的专业数据，谁就能在垂直领域建立不可逾越的壁垒。

2025-08-12 04:00:00

大数据数字化AI
Clickbench：腾讯云数仓位居ClickHouse生态性能测试第一
8月7日，腾讯云数据仓库TCHouse-C在ClickHouse社区推出的ClickBench数据分析测试中，凭借卓越的性能表现成功跻身前列，荣登ClickHouse生态产品榜首。

2025-08-07 15:59:06

腾讯云数据仓库TCHouse-C
让数据鲜活起来才有意义：基于场景的数据共享模式
本文并非旨在提供数据共享所能实现的一切的完整分类。这既不可能实现，也容易产生误导。相反，本文旨在提出一组经过精心挑选的、反复出现的场景，选择这些场景并非基于其理论的纯粹性，而是基于其实际相关性。

2025-08-07 08:59:48

数据共享数据应用数据治理
Flink + YARN + Gitlab 自动提交代码全流程详解
本文将详细介绍 Flink + FlinkSQL + YARN + Gitlab 的自动提交代码全流程，涵盖环境准备、代码管理、作业开发、CI/CD 流程设计、自动提交与监控等核心环节，帮助企业构建实时计算的自动化开发与部署体系。

2025-08-06 06:00:00

大数据FlinkYARN
Python 数据分析实战：提升洞察力的五个核心技术
本文将分享五个经过实战验证的核心技术，涵盖数据预处理、特征工程到建模优化的全流程，帮助您突破分析瓶颈，显著提高工作效率。

2025-08-05 08:27:19

Python数据分析开发
数据指标体系，关乎企业数字化转型的生死线
数据指标体系不是技术问题，是管理问题。它考验的是企业对业务的理解深度，对未来的判断能力，对组织的协调水平。

2025-08-05 04:20:00

数据指标数据分析大数据
Data Agent来了，数据分析师要失业吗？
Data Agent不是要取代人，而是要成为人的智能伙伴。就像GPS没有取代司机，而是让司机开车更轻松。Data Agent让每个业务人员都能拥有"数据分析师"的能力，让专业的数据分析师能够专注于更高价值的工作。

2025-08-05 04:00:00

数据分析师大数据AI
总做描述性统计，深入的数据分析到底怎么做？？?
很多人听到上边的质问就头皮发麻。名为数据分析师，实则是SQL工具人，每天搓数却没有业务认可的产出，是数据人最怕的事。该如何从数据到业务落地？

2025-08-05 02:22:00

数据分析SQL工具人
漫话以治理优先的思维方式设计数据体系
我花了不少时间，经历了不少“意外事件”，才意识到治理并非“以后再处理”的事情。它不是阻碍，不是开销，而是设计！本文是从另一个角度对这一认识进行结构化的思考。治理不再是我回避的事情。它是我认真、系统地思考的事情，从第一天开始！

2025-08-04 09:52:48

数据治理大数据人工智能
Paimon Python SDK (pypaimon) 详细使用指南
Pypaimon 是 Apache Paimon 数据湖的 Python 客户端 SDK，基于 Py4J 实现 Python 与 Java 代码的桥接，允许开发者通过 Python API 操作 Paimon 数据湖。

2025-08-01 10:04:47

数据湖pypaimon大数据
精通 Pandas：五大核心技巧助你玩转 Excel 数据处理
本文将深入探讨使用 Pandas 处理 Excel 文件的五个高级技巧，助你从基础操作晋升为数据处理高手。

2025-08-01 06:10:00

Pandas数据处理Excel
终于有人把数据跨境流动讲明白了
关于数据跨境流动，各国基于数据主权或数字经济发展的需求有着不同的法律和规定。对于“跨境”，它不仅是一种物理意义上的数据传输，还涉及不同法律系统之间的协调和适应。

2025-07-30 04:44:00

数据跨境流动
数据才是AI的真正护城河啊！
未来的AI竞争，不是比谁的模型大，而是比谁的数据好。就像石油时代，掌握油田的人掌握了能源；AI时代，掌握数据的人掌握了智能。所以，如果你在做AI，别再纠结于模型架构了。多想想：你的数据护城河在哪里？

2025-07-30 04:00:00

大数据数字化AI
FlinkSQL 电商订单状态追踪与实时处理代码
本系统基于FlinkSQL构建，实现从订单创建到完成的全生命周期状态管理，并实时触发库存更新、物流调度等关键业务操作。

2025-07-29 09:36:13

FlinkSQL大数据Flink
如何在体育数据分析中使用机器学习？ 译文 精选
机器学习在这方面发挥着关键作用，因为它可以分析有关球员和比赛的数据，以识别隐藏的模式。通过观察这些模式，教练可以为球员制定个性化的比赛计划。在现代体育时代，数据分析被用来帮助球队确定更科学的训练方法，确定招募球员，并规划比赛策略。本文将介绍机器学习在体育领域的应用，并演示如何实现。

2025-07-29 07:51:41

机器学习数据分析人工智能
数据的五宗罪，道出了数据治理的真正内涵
成功的数据治理，需要IT部门和业务部门真正坐在一起，用同一种语言思考问题。不是IT说服业务，也不是业务指挥IT，而是双方共同定义什么是"好数据"。数据治理的本质，是让数据从"​​问题制造者​​"变成"​​价值创造者​​"。

2025-07-28 06:00:00

数据治理数字化大数据
1 23456 ··· 187
点赞

51CTO技术栈公众号

业务
速览
在线客服