51CTO首页
AI.x社区
博客
学堂
精品班
直播训练营
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

数据仓库

287内容  
涵盖数据仓库相关研究热点、技术难点与应用场景，帮助用户更好的学习数据仓库技术，最终支撑企业分析决策。
文章
共 287 条
物化视图在 MaxCompute 中的探索与实践
物化视图（Materialized View，以下简称 MV）是将查询结果预先计算并存储的一种特殊的物理表，当执行相关查询时，可以自动复用预计算结果，提高查询性能。物化视图作为一种查询加速器，在云计算和大数据时代有着广泛的用途。今天和大家分享物化视图在 MaxCompute 的实践。

2024-04-17 07:21:52

物化视图查询加速器数据仓库
Data Fabric 在数据集成场景的实践
本文将介绍 Data Fabric 的基本概念及其在数据集成场景的实践案例。Data Fabric 到底是什么？Data Fabric 中文翻译成数据网格。而数据的虚拟化是实现数据网格化很关键的一项技术。

2024-03-04 07:34:32

数据网格数仓数据虚拟化
蚂蚁指标系统的设计与实践
从统计学角度看，指标是综合体现总体数量特征的概念和数值。在数据仓库体系中，指标是其核心产物，它是信息层面的一种载体。从 DIKW 模型的角度分析，指标必须满足一些基本要求，包括准确性、完整性、及时性和一致性。

2024-02-19 08:12:15

DIKW 模型指标系统数据仓库
数据湖与数据仓库之间的五大差异
根据Google的说法，对“大数据”的兴趣已经持续了好几年，而且在过去几年里真正的兴起。这篇文章的目的是为了帮助突出数据湖泊和数据仓库之间的差异，帮助您就如何管理数据做出明智的决定。

2023-11-27 16:35:28

数据湖数据仓库
大话数仓，数据仓库，维度建模方法（二）
前文已经简单介绍了什么是数据仓库，数据仓库事实表、维表等相关概念。在了解这些概念之后，我们要建设符合企业要求，能支持业务使用、运营分析的数据仓库。

2023-11-23 16:59:37

数据仓库建模
大话数仓，数据仓库（一）
数据仓库，是越来越流行的数据解决方案。传统烟囱式的数据开发模式，显然不能满足日益增长的数据需求，而作为大数据量化方案、解决大数据问题、发掘数据价值的大数据仓库被很多公司采纳使用。

2023-11-23 16:53:56

数据仓库大数据
从Clickhouse迁移到Doris，数据仓库性能大提升
本文分享如何从ClickHouse迁移到Doris的过程，包括为什么需要更改，需要注意什么以及如何比较两个数据库在各自环境中的性能。

2023-11-17 18:02:19

数据仓库性能Doris
从数据池或大数据仓库到数据湖
这篇博文讨论了从数据池/大数据仓库到数据湖的演变。它探讨了传统数据仓库的局限性以及数据湖在可扩展性、敏捷性和自助服务方面的优势

2023-11-09 15:56:26

数据仓库数据湖
2023 年数据仓库终极指南：概念、技术和新兴趋势
在当今数据驱动的世界中，管理和分析大量数据是业务成功的关键方面。数据仓库是一种强大的解决方案，可帮助组织有效地存储、管理和分析数据，从而推动明智的决策。

2023-11-09 15:02:45

数据仓库数据湖架构师
深算院重磅发布原创数据库YashanDB 助力国产数据库高质量发展 原创
11月8日，YashanDB 2023年度产品发布会成功召开

2023-11-08 14:18:49

数据库
一文读懂数据标准中的属性定义与元数据的区别
最近在做项目过程中发现一个问题：有些同事经常把指标数据标准中的业务属性、技术属性、管理属性当做业务元数据、技术元数据、管理元数据或者在数据指标标准定义的时候直接分为业务元数据、技术元数据和管理元数据。

2023-10-30 15:28:51

数据仓库
阿里巴巴数据模型设计与构建实践
阿里云大数据开发治理工具 DataWorks从2009 年发展至今，已经有14年的发展历程。2021年云栖大会上，DataWorks 全新推出数据建模工具 DataWorks 智能数据建模。同 DataWorks 数据开发等产品模块相同，智能数据建模的产品建设离不开阿里巴巴内部各业务线的数据仓库团队，如菜鸟、淘宝、天猫等数据仓库团队的贡献。

2023-10-26 06:55:46

大数据数据仓库
B站数据质量保障体系建设与实践
本文将分享 B 站数据质量保障体系的建设和实践。文章将关注数仓和建模的相关方法论，讲解 B 站数仓平台团队在数仓建设和建模过程中所做的工作，并分享质量保障方面取得的成果。

2023-10-26 06:43:25

数仓建模
谈谈数据仓库中的数据建模优秀实践
开发和生成数据库中使用的数据概念表示的过程称为数据建模。数据仓库上下文中的数据建模是创建将存储在数据仓库中的数据的逻辑表示的过程。

2023-10-08 16:26:23

数据仓库
民主化A/B实验
A/B实验是一种通过实验来做效果评估的方法，主要流程是将评估对象随机抽样成对照组和实验组，对实验组施加策略干预，然后通过两组之间的效果对比，得出上线策略会产生的影响。本文分享的内容不涉及具体的算法。

2023-10-07 07:42:12

A/B实验数据仓库
Apache Doris入门，下一代实时数据仓库
层级存储的主要目的是节省成本。层级存储将热数据和冷数据分开存储，热数据是经常访问的数据，而冷数据则不是。它允许用户将热数据放入快速但昂贵的磁盘（如 SSD 和 HDD），将冷数据放入对象存储中。

2023-10-05 18:25:40

存储分开存储SSD
大语言模型在数仓数据治理上的落地实践
大语言模型是一种基于Transformer模型的自然语言处理技术。它通过大规模的预训练来学习语言模型，然后可以在各种任务上进行微调，以实现更具体的应用。

2023-09-28 08:19:57

语言模型数仓数据
G行数据仓库数字化运维探索实践
​IT业对金融系统生命周期和投入一般表述为“三分建设、七分运维”，由此可见运维在整个生产系统的建设、运行、维护、管理中充当重要的一环。

2023-09-26 07:18:43

数据仓库数字化​IT
ElasticSearch+Kibana on K8s 讲解与实战操作（版本7.17.3）
Elasticsearch 7 引入了集群维护模式（cluster maintenance mode），允许您更方便地执行维护操作而不影响数据平衡。您可以将集群设置为维护模式，然后执行维护操作，最后再将集群恢复到正常状态。

2023-09-11 00:09:18

KibanaK8s数据
技术的未来：亚太地区数据仓库即服务及其对电信的影响
DWaaS是一种基于云的数据管理形式，允许用户从任何位置访问和分析数据。这对于每天处理大量数据的电信企业来说尤其有利。以其技术实力而闻名的亚太地区一直处于这一发展的前沿，许多企业采用DWaaS来简化运营并提高效率。

2023-09-07 15:54:26

数据仓库DWaaS
数据仓库与数据分析架构：驱动数据驱动决策
在当今信息爆炸的时代，数据已经成为了企业决策的核心资产。数据仓库与数据分析架构的崛起，为企业提供了有效地管理和分析海量数据的解决方案，实现了数据驱动决策的愿景。这个强大的架构不仅能够帮助企业更好地理解市场、客户和业务，还能够发掘潜在的机会，提高决策的准确性和效率。

2023-09-05 16:30:53

数据仓库数据分析
字节基于 Hudi 的批流一体存储实践
通过采用Hudi作为底层存储引擎，结合分布式文件系统进行数据存储和管理，实现批流一体业务高效的数据存储和查询。该方案已在金融风控、零售电商和物流运输等多个场景中得到成功应用，解决了业务痛点。未来，将进一步优化和完善批流一体存储实践方案。

2023-09-05 07:22:17

Hudi数据存储
星云零售信贷基于 Doris 的 OLAP 演进之路
随着业务规模的不断扩大和数据量的快速增长，传统的数据仓库已经无法满足星云零售信贷的数据分析需求。因此，团队开始探索基于Doris的OLAP解决方案，以实现更高效、准确的数据处理和分析。本文将介绍星云零售信贷基于Doris的OLAP演进之路，包括实践中所面临的问题和解决方法。

2023-09-04 07:09:08

数据仓库数据处理
如何构建与优化数据仓库架构与模型设计？
数据仓库是企业中存储和管理大量结构化数据的核心组件，用于支持业务分析和决策制定。构建和优化数据仓库的架构和模型设计是确保数据仓库能够高效、可扩展地满足业务需求的关键要素。

2023-08-31 17:10:56

数据仓库高级互联网架构架构
MaxCompute湖仓一体方案新能力
本次分享的题目为《MaxCompute增量更新和处理架构以及智能数仓新优化解密》。一般综合解决方案会采用Lambda架构去支持大数据的复杂业务，全量批处理使用 MaxCompute 链路，时效性要求高的使用增量处理实时链路。但该架构也存在大家所熟知的问题，如图中所示。

2023-08-30 07:14:27

MaxCompute湖仓一体
效率提升 10 倍！达达基于 StarRocks 极速统一的智能配送再升级
随着国内大数据架构技术的不断演进，达达快速构建了以 Apache Hive 和 Apache Spark 为核心的离线数据仓库，以及以 Apache Flink 和 Apache Kafka 为核心的实时数据处理链路。在业务发展和整体架构的不断迭代过程中，我们尝试了不同时期出现的优秀 OLAP 产品来解决我们在数据分析中对查询加速的需求。

2023-08-29 18:55:25

StarRocks大数据架构
实时数仓混沌演练实践
基于中间件、数据库、JVM、基础资源、网络、服务等注入常见的异常，根据实际业务中梳理的应用核心场景进行混沌演练，检验系统的脆弱性和应急响应能力，从而提升团队的稳定性保障处理能力。

2023-08-29 10:20:00

JVM数据库网络
基于Lambda架构的实时电商数仓建设经验分享
文章分享了某电商平台离线数仓、实时数仓、数据应用等方面的实践经验。电商平台以APP作为载体，最重要的数据就是以订单为核心的结构化数据和以日志流为核心的半结构化数据，这也互联网业务最典型的应用场景。

2023-08-29 07:42:21

离线数仓实时数仓
数据仓库与数据分析：驱动数据驱动决策
在当今信息爆炸的时代，数据已经成为企业和组织最宝贵的资源之一。数据的价值不仅在于收集和存储，更在于对数据进行深入的分析和挖掘。数据仓库和数据分析作为数据驱动决策的重要工具，正在被越来越多的企业所采用。

2023-08-23 15:33:15

数据仓库数据分析
数仓建模平台在网易严选的探索实践
本次分享题目为数仓建模平台在网易严选的探索和实践，数仓建设的意义，简单来说就是将业务数据通过整合、转换、计算以及其它一些操作，提取出有价值的信息，最终把这些信息反馈给业务，为业务的发展持续赋能。

2023-08-15 08:12:12

数仓建模数仓建设
谈谈数据仓库中的数据建模
数据建模是创建数据及其在组织或系统内的关系的概念表示的过程。维度建模是一种以用户直观且易于理解的方式呈现数据。它还提供高性能访问、灵活性和可扩展性，以适应业务需求的变化。

2023-08-14 16:56:53

数据仓库数据建模
从数据仓库到数据结构：数据架构的演变之路 译文
在上个世纪，从电子商务巨头到医疗服务机构和政府部门，数据已成为每家组织的生命线。有效地收集和管理这些数据可以为组织提供宝贵的洞察力，以帮助决策，然而这是一项艰巨的任务。

2023-08-09 08:00:00

数据仓库数据架构
时序与因果模型在复杂仓储控制策略的前沿探索
本文将分享序列数据的因果推断在仓储管理上的应用，包括解决问题上的思路和相关技术。因果分析是一种把握和挖掘数据背后原因和结果的技术，因为它有很好的模型可解释性，所以对于可视化以及复杂商业过程会有很大的帮助。

2023-08-01 08:13:47

因果分析仓储管理
聊聊数据仓库建设步骤
在本文中，我们将通过概述数据仓库设计和数据仓库开发步骤的两种基本方法来深入探讨数据仓库实现的细节。

2023-07-02 14:11:28

数据仓库大数据
大数据分析和数据仓库的组合以及应对网络安全问题
大数据和数据仓库对于功能优化、有前景的增长和创新为企业存储提高了效率，企业还需提供安全的工作环境以应对可能的网络威胁。

2023-06-26 23:42:47

数据仓库网络安全大数据
高性能、云原生湖仓一体存储架构探秘
本文将带领读者探秘高性能、云原生湖仓一体存储架构。

2023-06-19 07:13:51

云原生湖仓一体
EB级数仓都在用的算子级血缘如何实现主动数据治理
本文将介绍大应科技在算子级血缘方面进行主动数据治理的实践。分享分为三大部分，第一部分通过传统血缘治理在当今技术和业务发展的不足之处，引出主动数据治理概念；第二部分介绍基于算子级血缘的指标链路盘点的治理实践；第三部分介绍基于算子级血缘的基于主动模型的探索实践。

2023-06-15 07:24:11

数据治理EB级数仓
借助逻辑数据仓库应对供应链挑战
​数据虚拟化使现代数据管理成为可能，因其用于数据集成和管理的逻辑方法支持跨不同数据源提供实时视图，用户无需首先将数据以物理方式复制到整合存储库中。Denodo数据虚拟化可以在所有不同底层数据源之上建立抽象和语义层，这些底层数据源包括本地和云端数据源、结构化和非结构化数据源、静态和流式处理数据源，以及旧式和新式数据源，它们构成了逻辑数据仓库。

2023-06-06 12:53:45

Denodo数据仓库
聊聊得物数据研发优化策略
在数据研发领域，数据的技术手段无论多么丰富，平台发展何等完善，都不能说能解决业务的所有问题。一定是先有业务，才会有对应的问题。

2023-05-26 18:52:55

得物数据研发
数据仓库的五个优秀实践
开始使用数据仓库是一项艰巨的任务，因此在开始时考虑一些最佳实践很重要。

2023-05-16 15:27:31

数据仓库安全IT
网易云音乐实时数仓架构与低代码实践
本文将介绍网易云音乐的实时数仓架构和低代码平台的实践。分享包括四部分，第一部分总体介绍网易云音乐的实时数仓架构和技术架构。第二部分介绍流批模型的一致性实现思路。第三部分介绍网易云音乐在低代码实践中的成果。第四部分介绍网易云音乐实时数仓未来的规划。

2023-05-06 07:19:48

数仓架构技术架构
【大数据】Hive 内置函数和 UDF 讲解
Hive是基于Hadoop的一个数据仓库工具，可以将结构化数据文件映射为一张数据库表，并提供类SQL语句操作。Hive内置了很多函数，可以满足基本的查询需求，同时还支持自定义函数(UDF)来实现更加灵活的操作。

2023-05-06 07:15:59

Hive内置函数工具
有了数据湖，数据仓库究竟能不能被取代？他们又有什么样的区别呢？
数据湖是近两年中比较新的技术在大数据领域中，对于一个真正的数据湖应该是什么样子，现在对数据湖认知还是处在探索的阶段，像现在代表的开源产品有iceberg、hudi、Delta Lake。

2023-05-05 18:53:23

数据湖数据仓库
为什么改变人们对数据库技术的误解很重要？ 译文 精选
如果数据库的领导者误解了数据库的成本、迁移的复杂性、数据安全性和灵活性，他们就不愿意采用现代化的解决方案。因此，更好地了解这些误区，对于企业的成功至关重要。

2023-05-04 17:24:37

数据安全数据库
解密HDFS如何判断磁盘存储大小，存储动态负载均衡的？
DataNode在运行过程中，为了计算DN的capacity使用量，实现数据存储的动态均衡，DN会对已配置的数据存储路径（dfs.datanode.data.dir）进行du -sk操作，以此获得capacity使用量汇报给NN中，然后NN就知道哪些DN有空间能被写数据进去，哪些是空间不足的。

2023-04-26 11:16:44

HDFScapacityDN
得物供应链复杂业务实时数仓建设之路
得物供应链业务是纷繁复杂的，我们既有JIT的现货模式中间夹着这大量的仓库作业环节，又有到仓的寄售，品牌业务，有非常复杂的逆向链路。在这么复杂的业务背后，我们需要精细化关注人货场车的效率和成本，每一单的及时履约情况，要做到这一点我们需要各粒度和维度的数据来支撑我们的精细化管理。

2023-02-24 18:47:37

供应链实时数仓
使用深度学习模型生成合成数据 译文
合成数据仓库（SDV）是一个生成合成数据的生态系统，允许用户通过了解单表、多表、文本和时间序列数据集，轻松创建合成数据。SDV使用概率图形模型和深度学习技术来生成合成数据。

2023-02-23 07:46:48

学习模型数据仓库
知名数仓技术及其核心思路，大盘点！
Kylin是一个多维OLAP数仓。前文提到Hive的查询延迟很高，尤其在复杂的多维分析中显得格外明显，难以满足某些实时场景下的查询需求。Hbase虽然可以解决一部分场景下的高延迟问题，但因为不支持SQL特性，所以也无法支持复杂的多维分析。

2023-02-01 18:31:03

陈峰 数仓宝贝库
传统数仓的三大缺陷，一篇梳理清楚
使用Hive作为数仓，受限于HDFS的性能瓶颈，Hive的查询速度比较慢，难以支撑低延迟场景，无法应用在实时计算的场景中。

2023-01-11 18:23:38

传统数仓Hadoop数仓技术
五种加速云数据仓库迁移的方法
您可能决定集成业务目录或数据质量工作流等功能。确保您已经投资了具有灵活性的工具或服务，以处理您独特且不断变化的环境。通过严格的自动化，可以节省数百个小时，但是当他们需要解决边缘情况时，可以节省这些时间。

2023-01-11 10:29:26

数据仓库迁移
1 2345 6
点赞

51CTO技术栈公众号

业务
速览
在线客服