51CTO首页
AI.x社区
博客
学堂
精品班
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

数据仓库

297内容  
涵盖数据仓库相关研究热点、技术难点与应用场景，帮助用户更好的学习数据仓库技术，最终支撑企业分析决策。
文章
共 297 条
新一代实时数仓：阿里云数据库 SelectDB 版--100% 兼容 Apache Doris 的全托管云原生实时数仓
本文将介绍 SelectDB 产品能力及其所支持的场景，为数仓选型提供参考和借鉴。SelectDB 是基于 Apache Doris 提供的一个商业化的云原生产品。Apache Doris 是一款国产的开源数据库，专注于实时数仓领域。

2024-07-25 08:12:11

数仓选型开源数据库SelectDB
火山引擎基于 DataLeap 的电商指标管理实践
本文将分享火山引擎基于 DataLeap 的电商指标管理实践。指标管理的关键在于三个要素：指标的有效拆解、统一基础数据的建设，以及指标管理角色的明确划分。

2024-07-18 08:40:28

指标管理数仓建设大数据
金融场景中的指标体系建设与应用
本文将分享金融场景中的指标体系建设思路，希望能够为大家带来新的启发。金融行业的建设长期以来依赖于成熟技术，并投入了大量数据科技人才，通过自下而上或烟囱式的方式构建其基础架构。

2024-07-16 08:38:17

数据仓库指标体系大数据
阿里云 ClickHouse 企业版： 新一代云原生 Serverless 实时数仓
ClickHouse 企业版通过存算分离、秒级扩容、Serverless 弹性等技术手段，降低了资源成本，提高了查询性能和效率。同时，该产品支持跨 AZ 高可用和低成本存储，保证了数据的可靠性和经济性。

2024-07-11 08:13:32

ClickHouse云原生数据分析
在电商场景中，如何建设全链路数据血缘？
本文将分享在电商场景中如何建设数据血缘。在数据一致性方面，通过全链路血缘等手段，我们实现了指标从定义到生产消费的完整自动化流程，提升了指标的管理效率，减少了人为失误。

2024-07-09 10:53:35

数据血缘数据一致性数仓体系
数据仓库中的七种建模方法及示例
试象一下，你是一家繁忙餐厅的分析工程师。每天，顾客都会预订、下订单并完成付款。所有这些数据都会流入餐厅的交易数据库，记录每次互动的详细信息。

2024-06-12 13:46:41

数据仓库大数据
第三代指标平台如何摆脱 ETL 宽表开发 做“轻”数仓
第三代指标平台给我们 IT 部门带来的体验改变，表现在大幅减少指标重复开发的工作量和运维变更的工作量。对业务部门来说，它提供了真正处理“最后一公里”自主分析问题的体验，让业务人员能够自助完成分析工作，而不需要为增加字段或维度而频繁联系 IT 部门。

2024-05-22 09:48:04

自动化指标平台数仓
大数据存储压缩算法调研：snappy、gzip还是lz4？
压缩比是衡量压缩算法效率的重要指标之一，它表示压缩后的数据大小与原始数据大小之间的比率。一般来说，压缩比越高，表示压缩算法越有效，可以更好地减小数据存储空间或网络传输带宽的占用。

2024-04-29 08:53:10

大数据存储数据
Hudi 1.0 新功能预览
本文将详细阐述 Hudi 1.0 在设计上的重新思考和设计思路，并深入探讨 1.0 版本中发布的一些新功能。Hudi 是一个高效的事务型数据湖仓平台，其核心特色是一个开放性的表格式定义和一套全面的事务数据库核心层。

2024-04-26 07:36:42

Hudi 1.0数据湖仓数据查询
物化视图在 MaxCompute 中的探索与实践
物化视图（Materialized View，以下简称 MV）是将查询结果预先计算并存储的一种特殊的物理表，当执行相关查询时，可以自动复用预计算结果，提高查询性能。物化视图作为一种查询加速器，在云计算和大数据时代有着广泛的用途。今天和大家分享物化视图在 MaxCompute 的实践。

2024-04-17 07:21:52

物化视图查询加速器数据仓库
Data Fabric 在数据集成场景的实践
本文将介绍 Data Fabric 的基本概念及其在数据集成场景的实践案例。Data Fabric 到底是什么？Data Fabric 中文翻译成数据网格。而数据的虚拟化是实现数据网格化很关键的一项技术。

2024-03-04 07:34:32

数据网格数仓数据虚拟化
蚂蚁指标系统的设计与实践
从统计学角度看，指标是综合体现总体数量特征的概念和数值。在数据仓库体系中，指标是其核心产物，它是信息层面的一种载体。从 DIKW 模型的角度分析，指标必须满足一些基本要求，包括准确性、完整性、及时性和一致性。

2024-02-19 08:12:15

DIKW 模型指标系统数据仓库
数据湖与数据仓库之间的五大差异
根据Google的说法，对“大数据”的兴趣已经持续了好几年，而且在过去几年里真正的兴起。这篇文章的目的是为了帮助突出数据湖泊和数据仓库之间的差异，帮助您就如何管理数据做出明智的决定。

2023-11-27 16:35:28

数据湖数据仓库
大话数仓，数据仓库，维度建模方法（二）
前文已经简单介绍了什么是数据仓库，数据仓库事实表、维表等相关概念。在了解这些概念之后，我们要建设符合企业要求，能支持业务使用、运营分析的数据仓库。

2023-11-23 16:59:37

数据仓库建模
大话数仓，数据仓库（一）
数据仓库，是越来越流行的数据解决方案。传统烟囱式的数据开发模式，显然不能满足日益增长的数据需求，而作为大数据量化方案、解决大数据问题、发掘数据价值的大数据仓库被很多公司采纳使用。

2023-11-23 16:53:56

数据仓库大数据
从Clickhouse迁移到Doris，数据仓库性能大提升
本文分享如何从ClickHouse迁移到Doris的过程，包括为什么需要更改，需要注意什么以及如何比较两个数据库在各自环境中的性能。

2023-11-17 18:02:19

数据仓库性能Doris
从数据池或大数据仓库到数据湖
这篇博文讨论了从数据池/大数据仓库到数据湖的演变。它探讨了传统数据仓库的局限性以及数据湖在可扩展性、敏捷性和自助服务方面的优势

2023-11-09 15:56:26

数据仓库数据湖
2023 年数据仓库终极指南：概念、技术和新兴趋势
在当今数据驱动的世界中，管理和分析大量数据是业务成功的关键方面。数据仓库是一种强大的解决方案，可帮助组织有效地存储、管理和分析数据，从而推动明智的决策。

2023-11-09 15:02:45

数据仓库数据湖架构师
深算院重磅发布原创数据库YashanDB 助力国产数据库高质量发展 原创
11月8日，YashanDB 2023年度产品发布会成功召开

2023-11-08 14:18:49

数据库
一文读懂数据标准中的属性定义与元数据的区别
最近在做项目过程中发现一个问题：有些同事经常把指标数据标准中的业务属性、技术属性、管理属性当做业务元数据、技术元数据、管理元数据或者在数据指标标准定义的时候直接分为业务元数据、技术元数据和管理元数据。

2023-10-30 15:28:51

数据仓库
阿里巴巴数据模型设计与构建实践
阿里云大数据开发治理工具 DataWorks从2009 年发展至今，已经有14年的发展历程。2021年云栖大会上，DataWorks 全新推出数据建模工具 DataWorks 智能数据建模。同 DataWorks 数据开发等产品模块相同，智能数据建模的产品建设离不开阿里巴巴内部各业务线的数据仓库团队，如菜鸟、淘宝、天猫等数据仓库团队的贡献。

2023-10-26 06:55:46

大数据数据仓库
B站数据质量保障体系建设与实践
本文将分享 B 站数据质量保障体系的建设和实践。文章将关注数仓和建模的相关方法论，讲解 B 站数仓平台团队在数仓建设和建模过程中所做的工作，并分享质量保障方面取得的成果。

2023-10-26 06:43:25

数仓建模
谈谈数据仓库中的数据建模优秀实践
开发和生成数据库中使用的数据概念表示的过程称为数据建模。数据仓库上下文中的数据建模是创建将存储在数据仓库中的数据的逻辑表示的过程。

2023-10-08 16:26:23

数据仓库
民主化A/B实验
A/B实验是一种通过实验来做效果评估的方法，主要流程是将评估对象随机抽样成对照组和实验组，对实验组施加策略干预，然后通过两组之间的效果对比，得出上线策略会产生的影响。本文分享的内容不涉及具体的算法。

2023-10-07 07:42:12

A/B实验数据仓库
Apache Doris入门，下一代实时数据仓库
层级存储的主要目的是节省成本。层级存储将热数据和冷数据分开存储，热数据是经常访问的数据，而冷数据则不是。它允许用户将热数据放入快速但昂贵的磁盘（如 SSD 和 HDD），将冷数据放入对象存储中。

2023-10-05 18:25:40

存储分开存储SSD
大语言模型在数仓数据治理上的落地实践
大语言模型是一种基于Transformer模型的自然语言处理技术。它通过大规模的预训练来学习语言模型，然后可以在各种任务上进行微调，以实现更具体的应用。

2023-09-28 08:19:57

语言模型数仓数据
G行数据仓库数字化运维探索实践
​IT业对金融系统生命周期和投入一般表述为“三分建设、七分运维”，由此可见运维在整个生产系统的建设、运行、维护、管理中充当重要的一环。

2023-09-26 07:18:43

数据仓库数字化​IT
ElasticSearch+Kibana on K8s 讲解与实战操作（版本7.17.3）
Elasticsearch 7 引入了集群维护模式（cluster maintenance mode），允许您更方便地执行维护操作而不影响数据平衡。您可以将集群设置为维护模式，然后执行维护操作，最后再将集群恢复到正常状态。

2023-09-11 00:09:18

KibanaK8s数据
技术的未来：亚太地区数据仓库即服务及其对电信的影响
DWaaS是一种基于云的数据管理形式，允许用户从任何位置访问和分析数据。这对于每天处理大量数据的电信企业来说尤其有利。以其技术实力而闻名的亚太地区一直处于这一发展的前沿，许多企业采用DWaaS来简化运营并提高效率。

2023-09-07 15:54:26

数据仓库DWaaS
数据仓库与数据分析架构：驱动数据驱动决策
在当今信息爆炸的时代，数据已经成为了企业决策的核心资产。数据仓库与数据分析架构的崛起，为企业提供了有效地管理和分析海量数据的解决方案，实现了数据驱动决策的愿景。这个强大的架构不仅能够帮助企业更好地理解市场、客户和业务，还能够发掘潜在的机会，提高决策的准确性和效率。

2023-09-05 16:30:53

数据仓库数据分析
字节基于 Hudi 的批流一体存储实践
通过采用Hudi作为底层存储引擎，结合分布式文件系统进行数据存储和管理，实现批流一体业务高效的数据存储和查询。该方案已在金融风控、零售电商和物流运输等多个场景中得到成功应用，解决了业务痛点。未来，将进一步优化和完善批流一体存储实践方案。

2023-09-05 07:22:17

Hudi数据存储
星云零售信贷基于 Doris 的 OLAP 演进之路
随着业务规模的不断扩大和数据量的快速增长，传统的数据仓库已经无法满足星云零售信贷的数据分析需求。因此，团队开始探索基于Doris的OLAP解决方案，以实现更高效、准确的数据处理和分析。本文将介绍星云零售信贷基于Doris的OLAP演进之路，包括实践中所面临的问题和解决方法。

2023-09-04 07:09:08

数据仓库数据处理
如何构建与优化数据仓库架构与模型设计？
数据仓库是企业中存储和管理大量结构化数据的核心组件，用于支持业务分析和决策制定。构建和优化数据仓库的架构和模型设计是确保数据仓库能够高效、可扩展地满足业务需求的关键要素。

2023-08-31 17:10:56

数据仓库高级互联网架构架构
MaxCompute湖仓一体方案新能力
本次分享的题目为《MaxCompute增量更新和处理架构以及智能数仓新优化解密》。一般综合解决方案会采用Lambda架构去支持大数据的复杂业务，全量批处理使用 MaxCompute 链路，时效性要求高的使用增量处理实时链路。但该架构也存在大家所熟知的问题，如图中所示。

2023-08-30 07:14:27

MaxCompute湖仓一体
效率提升 10 倍！达达基于 StarRocks 极速统一的智能配送再升级
随着国内大数据架构技术的不断演进，达达快速构建了以 Apache Hive 和 Apache Spark 为核心的离线数据仓库，以及以 Apache Flink 和 Apache Kafka 为核心的实时数据处理链路。在业务发展和整体架构的不断迭代过程中，我们尝试了不同时期出现的优秀 OLAP 产品来解决我们在数据分析中对查询加速的需求。

2023-08-29 18:55:25

StarRocks大数据架构
实时数仓混沌演练实践
基于中间件、数据库、JVM、基础资源、网络、服务等注入常见的异常，根据实际业务中梳理的应用核心场景进行混沌演练，检验系统的脆弱性和应急响应能力，从而提升团队的稳定性保障处理能力。

2023-08-29 10:20:00

JVM数据库网络
基于Lambda架构的实时电商数仓建设经验分享
文章分享了某电商平台离线数仓、实时数仓、数据应用等方面的实践经验。电商平台以APP作为载体，最重要的数据就是以订单为核心的结构化数据和以日志流为核心的半结构化数据，这也互联网业务最典型的应用场景。

2023-08-29 07:42:21

离线数仓实时数仓
数据仓库与数据分析：驱动数据驱动决策
在当今信息爆炸的时代，数据已经成为企业和组织最宝贵的资源之一。数据的价值不仅在于收集和存储，更在于对数据进行深入的分析和挖掘。数据仓库和数据分析作为数据驱动决策的重要工具，正在被越来越多的企业所采用。

2023-08-23 15:33:15

数据仓库数据分析
数仓建模平台在网易严选的探索实践
本次分享题目为数仓建模平台在网易严选的探索和实践，数仓建设的意义，简单来说就是将业务数据通过整合、转换、计算以及其它一些操作，提取出有价值的信息，最终把这些信息反馈给业务，为业务的发展持续赋能。

2023-08-15 08:12:12

数仓建模数仓建设
谈谈数据仓库中的数据建模
数据建模是创建数据及其在组织或系统内的关系的概念表示的过程。维度建模是一种以用户直观且易于理解的方式呈现数据。它还提供高性能访问、灵活性和可扩展性，以适应业务需求的变化。

2023-08-14 16:56:53

数据仓库数据建模
从数据仓库到数据结构：数据架构的演变之路 译文
在上个世纪，从电子商务巨头到医疗服务机构和政府部门，数据已成为每家组织的生命线。有效地收集和管理这些数据可以为组织提供宝贵的洞察力，以帮助决策，然而这是一项艰巨的任务。

2023-08-09 08:00:00

数据仓库数据架构
时序与因果模型在复杂仓储控制策略的前沿探索
本文将分享序列数据的因果推断在仓储管理上的应用，包括解决问题上的思路和相关技术。因果分析是一种把握和挖掘数据背后原因和结果的技术，因为它有很好的模型可解释性，所以对于可视化以及复杂商业过程会有很大的帮助。

2023-08-01 08:13:47

因果分析仓储管理
聊聊数据仓库建设步骤
在本文中，我们将通过概述数据仓库设计和数据仓库开发步骤的两种基本方法来深入探讨数据仓库实现的细节。

2023-07-02 14:11:28

数据仓库大数据
大数据分析和数据仓库的组合以及应对网络安全问题
大数据和数据仓库对于功能优化、有前景的增长和创新为企业存储提高了效率，企业还需提供安全的工作环境以应对可能的网络威胁。

2023-06-26 23:42:47

数据仓库网络安全大数据
高性能、云原生湖仓一体存储架构探秘
本文将带领读者探秘高性能、云原生湖仓一体存储架构。

2023-06-19 07:13:51

云原生湖仓一体
EB级数仓都在用的算子级血缘如何实现主动数据治理
本文将介绍大应科技在算子级血缘方面进行主动数据治理的实践。分享分为三大部分，第一部分通过传统血缘治理在当今技术和业务发展的不足之处，引出主动数据治理概念；第二部分介绍基于算子级血缘的指标链路盘点的治理实践；第三部分介绍基于算子级血缘的基于主动模型的探索实践。

2023-06-15 07:24:11

数据治理EB级数仓
借助逻辑数据仓库应对供应链挑战
​数据虚拟化使现代数据管理成为可能，因其用于数据集成和管理的逻辑方法支持跨不同数据源提供实时视图，用户无需首先将数据以物理方式复制到整合存储库中。Denodo数据虚拟化可以在所有不同底层数据源之上建立抽象和语义层，这些底层数据源包括本地和云端数据源、结构化和非结构化数据源、静态和流式处理数据源，以及旧式和新式数据源，它们构成了逻辑数据仓库。

2023-06-06 12:53:45

Denodo数据仓库
聊聊得物数据研发优化策略
在数据研发领域，数据的技术手段无论多么丰富，平台发展何等完善，都不能说能解决业务的所有问题。一定是先有业务，才会有对应的问题。

2023-05-26 18:52:55

得物数据研发
数据仓库的五个优秀实践
开始使用数据仓库是一项艰巨的任务，因此在开始时考虑一些最佳实践很重要。

2023-05-16 15:27:31

数据仓库安全IT
网易云音乐实时数仓架构与低代码实践
本文将介绍网易云音乐的实时数仓架构和低代码平台的实践。分享包括四部分，第一部分总体介绍网易云音乐的实时数仓架构和技术架构。第二部分介绍流批模型的一致性实现思路。第三部分介绍网易云音乐在低代码实践中的成果。第四部分介绍网易云音乐实时数仓未来的规划。

2023-05-06 07:19:48

数仓架构技术架构
1 2345 6
点赞

51CTO技术栈公众号

业务
速览
在线客服