鸿蒙开发者社区

WOT技术大会

公众号矩阵

移动端

视频课免费课排行榜短视频直播课软考学堂

全部课程软考华为认证厂商认证 IT技术 PMP项目管理免费题库

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

账号设置退出

数据仓库

309内容

关注

涵盖数据仓库相关研究热点、技术难点与应用场景，帮助用户更好的学习数据仓库技术，最终支撑企业分析决策。

共 309 条

从盘古开天辟地说起为什么 Flink CP 能实现精确一次之二

本文主要讲了一个分布式应用异步做一个全局一致性快照的机制。

2022-02-20 10:47:54

Flink CP 通用算法实时数仓

从盘古开天辟地说起为什么 Flink CP 能实现精确一次？

对于很多做离线或者实时数仓的小伙伴来说，我先问几个问题，看看小伙伴萌能回答上来吗？

2022-02-19 09:09:37

数仓 Flink CP 分布式

数据仓库之数仓治理

数据治理（Data Governance），是一套持续改善管理机制，通常包括了数据架构组织、数据模型、政策及体系制定、技术工具、数据标准、数据质量、影响度分析、作业流程、监督及考核流程等内容。

2022-02-18 09:02:04

数据仓库治理

什么是 Azure Synapse，它与 Azure Data Bricks 有何不同？

zure Synapse Analytics 是一项针对大型公司的无限信息分析服务，它被呈现为 Azure SQL 数据仓库 (SQL DW) 的演变，将业务数据存储和宏或大数据分析结合在一起。

2022-02-17 22:28:39

数据仓库 SQL 大数据

一篇带你了解OLTP vs. OLAP

OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。

2022-02-17 08:35:59

OLTP OLAP 数据仓库

Github 推出“赞助商专用”仓库，根据赞助金额解锁新功能

随着企业回馈开源作者的呼声，Github推出了新的“赞助商仓库”：这种仓库只有赞助商能访问，开发者可以根据赞助的金额设置赞助等级(最多十个)，每个等级的赞助商享受的功能不一样(类似于游戏的 vip1-vip10?)。

2022-02-09 15:20:39

Github 赞助商仓库开发者

使用数据仓库BI的六种策略

用于流分析、数据准备和主数据管理的新工具可以帮助企业采用更好的数据仓库策略。这里有六种策略，可以帮助企业充分使用新的云数据仓库。

2021-12-10 13:08:31

数据仓库 BI 数据存储

数据仓库详细介绍之数据质量理论与经验

数据质量管理是对数据从计划、收集、记录、存储、回收、分析和展示生命周期的每个阶段里可能引发的数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高。

2021-11-30 08:11:19

数据仓库经验

数据仓库详细介绍之调度

我们通过配置调度去周期性定时触发执行各种任务或流程(同步、集成、计算、校验、测试等)并监控他们的运行情况，及时、保质、自动化的满足各种数据使用需求。

2021-10-27 11:33:31

数据仓库架构

手把手教你数据仓库建设

经过前面一系列的ETL过程（什么是ETL？一文掌握ETL设计过程），我们最终将数据装载到数据仓库中。

2021-09-30 18:27:38

数据仓库 ETL

阿里云发布首个一站式敏捷数据仓库解决方案实现库仓一体数据分析能力

峰会上，阿里云重磅发布首个一站式敏捷数据仓库解决方案。该方案结合一站式数据管理平台DMS及云原生数据仓库AnalyticDB（简称：ADB），真正实现了库仓一体的技术架构，提供在线数据实时入仓、T+1周期性快照、按需建仓等能力，数据延时低至秒级，持续赋能业务在线化，令企业在线数据释放最大价值。

2021-09-26 22:49:36

阿里云数据仓库库仓一体

新一代云原生数据仓库 AnalyticDB「SQL 智能诊断」功能详解

AnalyticDB For MySQL（新一代云原生实时数据仓库，语法兼容MySQL，以下简称ADB）为用户提供了高效、实时、功能丰富并且智能化的「SQL智能诊断」和「SQL智能调优」功能，提供用户SQL性能调优的思路、方向和具体的方法，降低用户使用成本，提高用户使用ADB的效率。

2021-09-07 11:07:35

AnalyticDB SQL 云原生

关于数据仓库以及云数据仓库的那些事儿！

几乎所有投资者都看好数据库上云趋势，就在云数据库、云原生数据库呼声高涨的同时，云数仓成为一个新的赛道，开始走入大众眼帘。

2021-09-01 10:03:44

数据仓库云数据仓库数据库

外部工具连接 SaaS 模式云数据仓库 MaxCompute 实战

MaxCompute 产品能支持的外部工具，大概可以分为商业智能、开发管理、传输调度、编程接口。本次分享主要关注商业智能（BI）工具这一板块，可以看到 MaxCompute 官方集成有Tableau、FineReport、FineBI、Quick BI。

2021-07-29 11:30:41

SaaS 云数据仓库 MaxCompute

数据规模爆炸性增长，云原生数据仓库数据化运营实战分享

在日前的2021阿里云金融数据智能峰会——《云原生驱动数智化运营的“增长黑马”》专场上，阿里云数据库资深技术专家魏闯先从数据价值链路角度切入，为大家解读云原生数据仓库如何支撑数据化运营、全链路营销和阿里集团双11业务，并展示金融客户最佳实践案例和应用场景。本文内容根据演讲录音及PPT整理而成。

2021-07-22 10:04:13

云原生数据仓库数据化运营

对比四大典型的云数据仓库：Snowflake、Redshift、BigQuery和Azure 译文

本文从特征参数、技术规格、以及定价模型等方面，为您综合比较了Snowflake、Redshift、BigQuery、以及Azure，这四种典型的云数据仓库的优缺点，并给出了选型时的各项参考因素。

2021-07-19 09:00:00

数据库数据分析技术

数据仓库有坑怎么办，如何从0到1来填坑

这种数据仓库体系，最典型的特征，是找数据只能给表，无法通过规范自主查找;看逻辑只能问人，无法通过模型设计快速了解;问业务只能靠求，别人管不过来自己的事情了，哪有时间来管你?

2021-07-05 22:32:33

数据仓库团队

数仓 | 该如何理解数据仓库的建设

在大数据时代，随着机器学习和人工智能的兴起，这个定义需要做一些补充：数据仓库不只是用于构建支持管理决策的商业智能BI的基础, 也是大量的机器学习和人工智能算法的底层基础之一。

2021-06-11 07:26:16

数据仓库机器学习

如何基于MaxCompute快速打通数据仓库和数据湖的湖仓一体实践

纵观整个计算机科学技术领域，对于数据处理的技术主要分为四个阶段，数据库阶段、大数据技术探索阶段、大数据技术发展阶段、大数据普惠阶段。

2021-06-07 10:45:16

大数据数据仓库数据湖

云数据仓库的未来趋势：计算存储分离

随着云时代的到来，数据库也开始拥抱云数据库时代，各类数据库系统（OLTP、OLAP、NoSQL等）在各内外云平台（AWS、Azure、阿里云）百花齐放，有些数据库还处于Cloud Hosting阶段，仅仅是将原有架构迁移到云主机上，利用了云的资源。有些数据库则已经进入了Cloud Native阶段，基于云平台IAAS层的基础设施，构建弹性、serverless、数据共享等能力。

2021-06-03 14:34:15

云数据仓库计算存储分离

女朋友问小灰：什么是数据仓库？什么是数据湖？什么是智能湖仓？

作为程序员，我们写的大多数商业项目，往往都需要用到大量的数据。计算机的内存，可以实现数据的快速存储和访问。

2021-05-28 09:23:07

数据仓库数据湖

云数据仓库的未来趋势：计算存储分离

随着云时代的到来，数据库也开始拥抱云数据库时代，各类数据库系统（OLTP、OLAP、NoSQL等）在各内外云平台（AWS、Azure、阿里云）百花齐放

2021-05-27 09:22:41

云计算数据科技

支持机器学习的8个数据仓库译文

对于规模非常大的数据集来说，理想的情况是在数据已经存在的地方建立模型，这样就不需要导出大量的数据。有一些数据仓库在一定程度上支持这一点。而随之而来的问题是：哪些数据仓库支持机器学习？它们是如何做到的？以下按字母排序对这些数据仓库进行分析和阐述。

2021-05-14 09:00:00

机器学习数据集工具

数据仓库和Olap傻傻分不清

数仓一般是多维模型模型，数据分层，ETL处理。它的数据源来源很多，格式也很多，比如结构化的数据，非结构化的数据。

2021-05-09 21:57:08

数据仓库 Olap

数据仓库环境现代化工具和技巧

数据仓库历史悠久，这里的基本想法是，大多数企业建立各种应用程序来自动化其基本业务流程，而这些业务流程各自发展，从而产生多个版本的数据。

2021-04-18 18:43:25

数据仓库数据数据库

简述数据仓库，数据集市，数据湖泊、和运营数据存储

互联网和大规模技术开发使得当今世界中数据的爆炸性增长。企业决策者希望研究数据之间的关系，点击数据的隐藏功能并分析和探索更深层次的数据。

2021-04-16 10:21:50

数据库数据湖数据

数据仓库和Hive环境搭建

数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库顾名思义，是一个很大的数据存储集合，出于企业的分析性报告和决策支持目的而创建，对多样的业务数据进行筛选与整合。

2021-04-15 07:40:44

数据仓库 Hive 环境搭建

关于数据仓库架构及组件方案选型

本文更想聊聊企业数据仓库项目上的架构和组件工具问题。

2021-03-31 10:16:00

架构运维技术

Teradata天睿公司被独立研究机构Forrester评为云数据仓库领导者

该报告由Forrester副总裁兼首席分析师Noel Yuhanna于2021年3月24日撰写完成，基于26项标准对云数据仓库市场的13家厂商进行评估和打分。

2021-03-25 17:27:12

万字详解整个数据仓库建设体系

英文名称为Data Warehouse，可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持(Decision Support)。它出于分析性报告和决策支持目的而创建。

2021-03-18 10:04:46

数据仓库体系

关于构建数据仓库的几个问题

数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、集成的(Integrated)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合，用于支持管理决策(Decision Making Support)。

2021-03-03 21:24:57

数据仓库工具

云计算成为数据仓库的新重心

绝大多数组织计划在2021年扩大对云计算数据仓库和数据湖的投资。然而，围绕数据管理和ETL的许多问题仍然存在。

2021-01-21 11:44:20

云计算数据仓库云数据仓库

数据仓库工具方法-维度表同步 MySQL表结构同步到Hive

mysql 中的数据类型与Hive 是有区别的，但是他们有规律，有规律就好办了，我们可以通过写程序来批量处理，来提高我们的工作效率。

2021-01-06 10:36:55

MySQL 数据库 Hive

数据仓库分层架构深度讲解

本篇文章主要讲解数仓项目中为什么分层，比如我们在完成一个需要的需求的时候也许只需要一个复杂的SQL语句就可以完成。

2021-01-04 05:51:02

数据仓库架构

新数据仓库模式设计有利于企业用户

业务分析师的目标之一是用数据讲述完整的故事，提供有关业务如何进行或如何改进的见解。这是通过商业智能仪表板来实现，该仪表板从数据仓库提取数据。

2021-01-03 20:01:19

数据仓库数据库数据

数据湖 VS 数据仓库之争？阿里提出大数据架构新概念：湖仓一体

数据仓库和数据湖的区别到底是什么，是技术路线之争？是数据管理方式之争？二者是水火不容还是其实可以和谐共存，甚至互为补充？

2020-12-02 17:20:58

数据仓库阿里云数据湖

5000多张数据表，如何用SQL迁移到数据仓库？

需求背景最近公司打算集中梳理几大业务系统的数据，希望将各个业务系统中的数据集中到数据仓库中。总共有5000多张数据表，但是好在业务数据量没有像电商那么庞大，也就几十个G。

2020-12-02 14:38:21

SQL 数据库 MySQL

有了数据湖，距离数据仓库消失还有几年？

很多人跟我一样，对于数据湖充满好奇，也许还读了不少数据湖文章，但无论别人怎么说，你还是会觉得难以把握数据湖的本质。

2020-10-20 18:59:40

数据湖数据仓库采集

关于数据仓库的数据模型的思考

任何需求均来源于业务 , 业务决定了需求 , 需求分析的正确与否是关系到项目成败的关键所在 , 从任何角度都可以说项目是由业务驱动的所以数据仓库项目也是由业务所驱动的。

2020-10-14 06:28:38

数据仓库模型

为什么你的数据仓库项目推进不下去？

不同的团队会面临不同的难题，今天居士简单聊一下这几年自己亲身经历以及帮助一些小伙伴解惑后的一些感想。

2020-10-13 06:52:50

数据仓库项目

数据仓库Hive vs 准实时分析系统Impala

Impala是用于处理存储在Hadoop集群中的大量数据的MPP(大规模并行处理)SQL查询引擎。它是一个用C++和Java编写的开源软件。与其他Hadoop的SQL引擎相比，它提供了高性能和低延迟。

2020-09-17 14:32:18

数据仓库 Hive Impala

报表自动化就是连接数据库？错，它打开了数据仓库的大门

本文简单的介绍了一种数据仓库的分层设计，主要提及了 OBS 层、DW 层、DM 层，这里过多的说了概念，后面开始抛出细节。比如后面让我们来聊聊 DW 层建模方法之维度建模。

2020-09-04 10:01:00

数据仓库自动化报表

4分钟带你看懂究竟什么是数据仓库？

2020-07-07 07:57:45

选择现代数据仓库满足你的数据需求

现在，大数据平台的使用范围包括车间机器人访问现代数据仓库以改善其机器人动作，到日常工作中业务人员使用越来越智能的分析工具。

2020-06-22 17:26:36

数据仓库数据数据库

数据仓库DWS与数据库RDS、MapReduce的区别

华为云618年中云钜惠，大数据+AI专场热销中，精选10+大数据、AI产品，有很多朋友对于数据仓库DWS、数据库RDS、MapReduce这3个服务“傻傻”分不清楚，下面就图文结合介绍三个产品之间的区别，如何根据业务场景选择适合的产品。

2020-06-19 17:43:51

数据仓库：OLTP与OLAP查询

相比之下，数据仓库是一个独立的数据库，分析人员可以查询其内心的内容，而不会影响OLTP操作。数据仓库包含公司所有各种OLTP系统中数据的只读副本。

2020-06-11 08:56:34

数据仓库数据库数据

未卜先知，现代化数据仓库带来强大商业智能

在当前这个数据爆炸的时代，企业数字化程度越高，越会重视数据仓库的应用。对数据仓库的数据进行多维度分析，在看似杂乱无章的数据中寻找规律、预测趋势，从而未卜先知，做出正确的商业决策。现代化数据仓库的应用不仅可以提高企业的决策能力、洞察发现力和流程优化能力，同时还有助于发掘新商机，加快业务发展步伐。

2020-05-20 10:33:48

Cloudera 商业智能数据仓库

阿里云自研技术拿下世界第一云原生数据仓库AnalyticDB登顶TPC-DS

由于传统数据库厂商对分布式和并行能力的支持欠佳，该榜单自2006年公布以来，还没有一家传统数据库厂商能通过测试，目前也仅有3家企业上榜。

2020-05-14 16:11:20

如何在Hadoop上建立数据仓库

大数据平台上的数据仓库是许多组织正在探索的标准用例。采用这种方法的原因可能是大数据平台提供的许多灵活性之一。

2020-04-06 13:52:45

数据仓库大数据平台 Hadoop

探索Hadoop与数据仓库之间的关系

在大数据世界中用于BI和分析的新平台的需求，并描述了三种常用的基本数据架构：数据仓库，大规模并行处理系统(MPP)和Hadoop。

2020-04-03 15:22:49

Hadoop 数据仓库数据库

上一页 1 2 3 4 5 6 7 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区 AI.x社区

教育

51CTO学堂精培企业培训 CTO训练营