51CTO首页
AI.x社区
博客
学堂
精品班
直播训练营
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

数据仓库

287内容  
涵盖数据仓库相关研究热点、技术难点与应用场景，帮助用户更好的学习数据仓库技术，最终支撑企业分析决策。
文章
共 287 条
2022年第十七届中国企业年终评选榜单揭晓：亿万克分布式存储在大型数据仓库的解决方案荣获2022年度 IT行业优秀解决方案奖 原创
截止到2022年12月28日，激扬创新动能，掘金数字时代｜2022年第十七届中国企业年终评选榜单正式揭晓。亿万克分布式存储在大型数据仓库的解决方案凭借其良好的扩展能力、高可靠性及数据安全性，荣获2022年度 IT行业优秀解决方案奖。

2023-01-04 09:44:26

解决方案数据安全
网易邮箱数仓演进之路
展望未来，邮箱业务会持续发展，甚至会尝试突破业务的领域边界。预计会有更多针对特定领域的数据应用出现。这些应用实际上是把调用数仓算力的门槛降低了，会给数据支撑工作带来更大的压力。

2023-01-03 17:43:39

网易邮箱数仓
场景化、重实操，分享一个实时数仓实践案例
本文将从一个实际业务场景和一个模拟数仓构建的案例来说明如何利用 EasyData 实时开发平台来建设实时数仓。

2022-12-15 17:50:14

场景化重实操实时数仓
网易严选离线数仓治理实践
前面关于各个治理项目都有提到需要推送待办任务给数据开发处理，所以我们需要一个通用的消息通知机制。再结合到我们大多数巡检场景都可以基于元数据+SQL的形式识别，于是我们采用UDF的方法，对接消息中心的接口，实现了消息通知的SQL化。

2022-12-06 17:52:57

离线数仓治理
浅谈数据血缘的实现原理
市面上其实针对数据血缘的产品有很多，像阿里DataWorks的数据地图、字节的DataLeap以及非常火的开源产品Apache Atlas都是非常好用工具产品。但是本质上是想通过这篇文章，让小伙伴们在使用这些产品的时候多去思考这些产品背后的实现原理。

2022-11-30 18:38:50

数据血缘DataLeap
谈谈如何跨越数据架构的漩涡
创建数据湖和数据集市是为了满足当时数据工程领域的实际需求。即使在今天，数据仓库仍然无法支持企业的所有不同应用。即使对于较新的云数据仓库也是如此。

2022-11-16 14:18:03

数据湖数据仓库数据架构
ETL工具算法构建企业级数据仓库五步法
ETL是数据抽取（Extract）、转换（Transform）、加载（Load ）的简写，它是将OLTP系统中的数据经过抽取，并将不同数据源的数据进行转换、整合，得出一致性的数据，然后加载到数据仓库中。简而言之ETL是完成从 OLTP系统到OLAP系统的过程。

2022-11-07 18:35:09

企业级数据仓库ETL工具
一文读懂选择数据湖还是数据仓库
随着数据量、速度和种类的增加，选择合适的数据平台来管理数据从未像现在这样重要。它应该是迄今为止满足我们需求的古老数据仓库，还是应该是承诺支持任何类型工作负载的任何类型数据的数据湖？

2022-10-21 16:38:57

数据湖数据仓库数据库
“实时数仓”若干问？ 原创 精选
如果从一个初学者来说这些技术可能大家听起来会很容易觉得混淆，他们到底是什么样的一些关系？我为大家去简单的梳理一下。

2022-09-28 07:08:25

技术实时数仓
数据仓库即服务（DWaaS）：定义、主要功能和解决方案提供商 译文
随着企业数据量以惊人的速度增长（比如IDC预计到2025年，年复合增长率为23%，达到175 ZB），采用现代数据基础架构已不可避免。各行各业大大小小的公司都不可避免地采用更有效的数据解决方案。

2022-09-02 09:00:00

数据仓库架构数据源
数仓公共层，还有存在的必要吗？
自我接触数仓以来，数仓建模就是最为核心的工作，而数仓建模的主要目的是建立公共层，公共层主要起到两个作用，第一个是屏蔽底层的变动对上层应用的影响，第二个作用是通过复用沉淀的公共层来提升应用支撑的效率，但在长期的数仓公共层运营实践中中，我发现公共层的表现不总是沿着我们设想的轨迹演进。

2022-08-16 14:17:50

数据仓库数据治理数据职场
数据挖掘和数据仓库之间的区别
当人们听到“数据挖掘”这个词时，“数据仓库”这个词怎么样？找出数据挖掘和数据仓库之间的确切区别。

2022-08-09 11:12:02

数据仓库数据挖掘数据集
如何构建准实时数仓？
当前，数据仓库被分为离线数仓和实时数仓，离线数仓一般是传统的T+1型数据ETL方案，而实时数仓一般是分钟级甚至是秒级ETL方案。并且，离线数仓和实时数仓的底层架构也不一样，离线数仓一般采用传统大数据架构模式搭建，而实时数仓则采用Lambda、Kappa等架构搭建。

2022-08-01 15:58:48

数据仓库架构数据
内部部署数据仓库与云计算数据仓库的优缺点
高质量的计算环境(包括服务器、操作系统、存储和数据库)对于任何使用大量数据的应用程序的成功都是至关重要的。

2022-07-28 13:47:30

云计算数据仓库
数据仓库项目从来不是技术项目 原创 精选
对于数据仓库项目而言，更需要的是一套策略，一套组合拳，不仅仅需要技术卓越、业务理解，还需要需求方、业务方在整体架构和流程上的配合。

2022-07-27 08:07:29

数据仓库数据集合
浅谈数仓的数据治理
绝大数公司建立数仓之初是没有考虑好数据治理怎么做的，因为数据部门刚开始成立，必然要有一些“数据驱动”的成果，而数据治理不能很好的体现这些业绩。所以，都是在业务发展的过程中，逐渐遇到了一些数据问题，才考虑做这件事的。

2022-07-26 15:38:58

数据仓数据治理数据团队
10亿+/秒！看阿里如何搞定实时数仓高吞吐实时写入与更新 原创
在本文中，我们将会介绍数据实时入仓所面临的挑战，以及Hologres为了应对这些挑战在技术原理上的创新和演进，支撑实时数仓的高吞吐实时写入与更新，加速业务数据探索。

2022-07-07 17:49:32

阿里数仓Hologres
字节跳动数据平台技术揭秘：基于ClickHouse的复杂查询实现与优化 原创 精选
ClickHouse目前已凭借其性能优势引领了业内新一轮分析型数据库的热潮

2022-06-24 15:18:48

字节跳动数据库ClickHouse
数据团队来管理数据的年代该结束了
中心化的数据团队常常会在公司结构中造成瓶颈，阻碍整个企业采取民主和进步的方法来使用数据。其罪魁祸首是众所周知的：孤立式思维、部门/团队之间缺乏沟通，以及对数据使用的被动态度。

2022-06-07 14:25:23

数据团队数据仓库
用Elastic Block Store（EBS）改善性能和数据可用性 译文
如今，许多数据库即服务（DBaaS）解决方案将计算层和存储层分开来，比如包括Amazon Aurora和Google BigQuery。

2022-05-19 09:42:16

数据库存储分布式数据库
眼见不一定为实：调用链HBase倾斜修复
知道原因后，把RowKey的MD5改成十六进制字符，重新发布，果然没有出现严重热点问题，监控曲线跟之前一样，说明复用了已有的Region，日常倾斜情况需要跑一段时间才可以解决。

2022-04-26 06:53:37

HBaseMD5RowKey
HDFS 为何在大数据领域经久不衰？
HDFS是最早的大数据存储系统，存储着宝贵的数据资产，各种新算法、框架要想得到广泛使用，必须支持HDFS，才能获取已存储在里面的数据。所以大数据技术越发展，新技术越多，HDFS得到的支持越多，越离不开HDFS。

2022-04-06 15:59:11

大数据HDFS存储系统
Java开发人员需要了解的地域分布数据库 译文 精选
一个有用的启动板，在Java中连接和进行CRUD 操作的地域分布数据库。

2022-04-02 11:49:54

分布式数据库Java
专家视点：数据无处不在的云原生路径
在分布式数据云中，企业数据仓库将不仅用于为公司中的数百名业务分析师或数据科学家提供分析，而且最终能够为企业端直接使用的实时分析应用提供支持数以万计的客户。

2022-03-30 15:31:07

分布式数据云中数据仓库云原生
2022年数据仓库安全优秀实践
在本文中，我们将探讨可以帮助企业组织保持信息和软件安全的数据仓库安全最佳实践。

2022-03-25 11:46:21

数据仓库软件安全保护数据
数据研发该如何做好业务方管理
本文主要介绍了作为数据研发该如何破局被动接需求的尴尬境地，核心的点在于要改变看问题的立场，多站在解决问题的角度去思考背后的逻辑。

2022-03-14 08:40:48

数据MRDPRD
你真的了解ELT和ETL吗？
ELT和ETL都有各自的应用场景，可以说现在大数据环境下，很多已经是ELT架构了，所以这也是我近几年一直不看好很多厂商在推“拖拉拽”的ETL工具或者平台，未来肯定是需要一种通用语言来实现所有的ELT过程。

2022-03-14 07:53:27

ELTETL大数据
聊聊HBase海量数据高效入仓解决方案
数据仓库的数据来源于各方业务系统，高效准确的将业务系统的数据同步到数仓，是数仓建设的根本。通过该解决方案，主要解决了数据同步过程中的几大痛点问题，能够较好的保证数据入仓的质量问题，为后续的数仓建设打下一个较好的基础。

2022-03-09 21:55:30

HBase数据入仓
聊聊数仓建模之 ID Mapping
ID Mapping 就如同它的名字一样，我们要做的就是将一系列的ID 关联起来，尽可能地将用户的数据打通，从而提供更加全面准确的分析。

2022-03-01 17:16:16

数仓建模ID Mapping
从盘古开天辟地说起为什么 Flink CP 能实现精确一次之二
本文主要讲了一个分布式应用异步做一个全局一致性快照的机制。

2022-02-20 10:47:54

Flink CP通用算法实时数仓
从盘古开天辟地说起为什么 Flink CP 能实现精确一次？
对于很多做离线或者实时数仓的小伙伴来说，我先问几个问题，看看小伙伴萌能回答上来吗？

2022-02-19 09:09:37

数仓Flink CP分布式
数据仓库之数仓治理
数据治理（Data Governance），是一套持续改善管理机制，通常包括了数据架构组织、数据模型、政策及体系制定、技术工具、数据标准、数据质量、影响度分析、作业流程、监督及考核流程等内容。

2022-02-18 09:02:04

数据仓库治理
什么是 Azure Synapse，它与 Azure Data Bricks 有何不同？
zure Synapse Analytics 是一项针对大型公司的无限信息分析服务，它被呈现为 Azure SQL 数据仓库 (SQL DW) 的演变，将业务数据存储和宏或大数据分析结合在一起。

2022-02-17 22:28:39

数据仓库SQL大数据
一篇带你了解OLTP vs. OLAP
OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。

2022-02-17 08:35:59

OLTPOLAP数据仓库
Github 推出“赞助商专用”仓库，根据赞助金额解锁新功能
随着企业回馈开源作者的呼声，Github推出了新的“赞助商仓库”：这种仓库只有赞助商能访问，开发者可以根据赞助的金额设置赞助等级(最多十个)，每个等级的赞助商享受的功能不一样(类似于游戏的 vip1-vip10?)。

2022-02-09 15:20:39

Github赞助商仓库开发者
使用数据仓库BI的六种策略
用于流分析、数据准备和主数据管理的新工具可以帮助企业采用更好的数据仓库策略。这里有六种策略，可以帮助企业充分使用新的云数据仓库。

2021-12-10 13:08:31

数据仓库BI数据存储
数据仓库详细介绍之数据质量理论与经验
数据质量管理是对数据从计划、收集、记录、存储、回收、分析和展示生命周期的每个阶段里可能引发的数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高。

2021-11-30 08:11:19

数据仓库经验
数据仓库详细介绍之调度
我们通过配置调度去周期性定时触发执行各种任务或流程(同步、集成、计算、校验、测试等)并监控他们的运行情况，及时、保质、自动化的满足各种数据使用需求。

2021-10-27 11:33:31

数据仓库架构
手把手教你数据仓库建设
经过前面一系列的ETL过程（什么是ETL？一文掌握ETL设计过程），我们最终将数据装载到数据仓库中。

2021-09-30 18:27:38

数据仓库ETL
阿里云发布首个一站式敏捷数据仓库解决方案 实现库仓一体数据分析能力
峰会上，阿里云重磅发布首个一站式敏捷数据仓库解决方案。该方案结合一站式数据管理平台DMS及云原生数据仓库AnalyticDB（简称：ADB），真正实现了库仓一体的技术架构，提供在线数据实时入仓、T+1周期性快照、按需建仓等能力，数据延时低至秒级，持续赋能业务在线化，令企业在线数据释放最大价值。

2021-09-26 22:49:36

阿里云数据仓库库仓一体
新一代云原生数据仓库 AnalyticDB「SQL 智能诊断」功能详解
AnalyticDB For MySQL（新一代云原生实时数据仓库，语法兼容MySQL，以下简称ADB）为用户提供了高效、实时、功能丰富并且智能化的「SQL智能诊断」和「SQL智能调优」功能，提供用户SQL性能调优的思路、方向和具体的方法，降低用户使用成本，提高用户使用ADB的效率。

2021-09-07 11:07:35

AnalyticDBSQL 云原生
关于数据仓库以及云数据仓库的那些事儿！
几乎所有投资者都看好数据库上云趋势，就在云数据库、云原生数据库呼声高涨的同时，云数仓成为一个新的赛道，开始走入大众眼帘。

2021-09-01 10:03:44

数据仓库云数据仓库数据库
外部工具连接 SaaS 模式云数据仓库 MaxCompute 实战
MaxCompute 产品能支持的外部工具，大概可以分为商业智能、开发管理、传输调度、编程接口。本次分享主要关注商业智能（BI）工具这一板块，可以看到 MaxCompute 官方集成有Tableau、FineReport、FineBI、Quick BI。

2021-07-29 11:30:41

SaaS云数据仓库MaxCompute
数据规模爆炸性增长，云原生数据仓库数据化运营实战分享
在日前的2021阿里云金融数据智能峰会——《云原生驱动数智化运营的“增长黑马”》专场上，阿里云数据库资深技术专家魏闯先 从数据价值链路角度切入，为大家解读云原生数据仓库如何支撑数据化运营、全链路营销和阿里集团双11业务，并展示金融客户最佳实践案例和应用场景。本文内容根据演讲录音及PPT整理而成。

2021-07-22 10:04:13

云原生数据仓库数据化运营
对比四大典型的云数据仓库：Snowflake、Redshift、BigQuery和Azure 译文
本文从特征参数、技术规格、以及定价模型等方面，为您综合比较了Snowflake、Redshift、BigQuery、以及Azure，这四种典型的云数据仓库的优缺点，并给出了选型时的各项参考因素。

2021-07-19 09:00:00

数据库数据分析技术
数据仓库有坑怎么办，如何从0到1来填坑
这种数据仓库体系，最典型的特征，是找数据只能给表，无法通过规范自主查找;看逻辑只能问人，无法通过模型设计快速了解;问业务只能靠求，别人管不过来自己的事情了，哪有时间来管你?

2021-07-05 22:32:33

数据仓库团队
数仓 | 该如何理解数据仓库的建设
在大数据时代，随着机器学习和人工智能的兴起，这个定义需要做一些补充：数据仓库不只是用于构建支持管理决策的商业智能BI的基础, 也是大量的机器学习和人工智能算法的底层基础之一。

2021-06-11 07:26:16

数据仓库机器学习
如何基于MaxCompute快速打通数据仓库和数据湖的湖仓一体实践
纵观整个计算机科学技术领域，对于数据处理的技术主要分为四个阶段，数据库阶段、大数据技术探索阶段、大数据技术发展阶段、大数据普惠阶段。

2021-06-07 10:45:16

大数据数据仓库数据湖
云数据仓库的未来趋势：计算存储分离
随着云时代的到来，数据库也开始拥抱云数据库时代，各类数据库系统（OLTP、OLAP、NoSQL等）在各内外云平台（AWS、Azure、阿里云）百花齐放，有些数据库还处于Cloud Hosting阶段，仅仅是将原有架构迁移到云主机上，利用了云的资源。有些数据库则已经进入了Cloud Native阶段，基于云平台IAAS层的基础设施，构建弹性、serverless、数据共享等能力。

2021-06-03 14:34:15

云数据仓库计算存储分离
女朋友问小灰：什么是数据仓库？什么是数据湖？什么是智能湖仓？
作为程序员，我们写的大多数商业项目，往往都需要用到大量的数据。计算机的内存，可以实现数据的快速存储和访问。

2021-05-28 09:23:07

数据仓库数据湖
上一页 1 2345 6
点赞

51CTO技术栈公众号

业务
速览
在线客服