开源基础软件社区

WOT全球技术创新大会

公众号矩阵

移动端

免费课程课程排行直播课软考学堂

精品班厂商认证 IT技术 2023年软考 PMP项目管理

在线学习企业服务

CTO训练营技术经理研习营 LeaTech峰会

文章资源问答开源课堂专栏直播

51CTO

开源基础软件社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

开源基础软件社区订阅号

51CTO学堂APP

51CTO学堂企业版APP

开源基础软件社区视频号

账号设置退出

数据仓库

242内容

关注

涵盖数据仓库相关研究热点、技术难点与应用场景，帮助用户更好的学习数据仓库技术，最终支撑企业分析决策。

共 242 条

你的数据仓库还在为企业业务拖后腿吗? 原创

数据仓库系统长期以来一直是企业IT架构的重要组成部分。随着开源技术的不断发展以及云端部署方式的不断深入，传统数据仓库的局限性日益凸显，难以适应新技术带来的市场变革，如何面向大数据技术进行数据仓库的优化、转型是企业IT管理者面临的重要挑战。处于不同阶段的企业如何应用大数据技术?如何面向大数据技术进行数据仓库转型?如何对现有数据仓库进行优化?如何在Hadoop中进行性能优化?这些已成为困扰IT管理者的主要问题。

2018-09-24 09:15:12

数据仓库大数据

大数据时代，传统数据仓库技术是否已经过时？

传统数据仓库由源系统、ODS、EDW、Data Mart这几部分组成，源系统就是业务系统、生产系统，ODS是操作数据存储，EDW是企业级数据仓库，Data Mart是数据集市。

2018-07-26 10:26:09

大数据传统数据

收集和存储数据——数据仓库

数据产品的工作比较杂，从数据仓库建模，指标体系建立，到数据产品工具的设计，再到偶尔一些数据分析报告的撰写，甚至一些机器学习的预测模型都要有所了解。

2018-07-24 09:28:18

存储数据仓库

数据产品必备技术知识：数据仓库入门，看这这一篇就够了

对于准备求职数据产品的童鞋来说，可能身边没有做数仓开发的朋友可以请教。自学吧，而那几本经典书籍里面又过于理论，看起真是生不如死，而且数据产品并不是数据开发，可能了解一些入门的常识，有个大概的概念就可以了。我也一直零零散散的积累这方面的知识，这两天梳理了下，形成下文。

2018-07-13 16:10:21

数据仓库数据存储

偶数科技构建新一代数据仓库，与AI应用场景更契合原创

现如今的信息化社会，已经被各类信息资源所充斥，如何有效地管理和利用各类信息资源，是进行科学研究和决策管理的前提条件，数据处理是管理信息系统必不可少的核心部分。从人工管理阶段到文件系统阶段再到现在的数据库系统阶段，数据处理在近几十年经历了质的飞跃。

2018-07-10 11:02:48

数据仓库 AI 分析型数据库

华为发布新一代企业级分布式数据仓库FusionInsight LibrA

在华为全球金融峰会上，华为发布了新一代企业级分布式数据仓库FusionInsight LibrA 解决方案，旨在为各行业客户提供统一的、可扩展的、高性能的数据分析平台。LibrA支持全并行计算、行列混存、向量化执行、弹性伸缩资源等技术，实现万亿数据关联分析秒级响应和全文检索，从而帮助客户快速分析、挖掘数据价值。

2018-04-26 18:23:37

必备数据知识：数据仓库之数据存储

为了特定的应用目的或应用范围，而从数据仓库中独立出来的一部分数据，也可称为部门数据或主题数据（subjectarea）。在数据仓库的实施过程中往往可以从一个部门的数据集市着手，以后再用几个数据集市组成一个完整的数据仓库。

2018-03-20 09:36:57

数据仓库数据存储知识

关于Hive数据仓库的那些事儿--数据存储结构

在Row-based数据库中，一行记录中的每一列都是紧挨着另一列存放在硬盘中的，行之间也成线性存储。这样的模式十分适用于OLTP工作，由于每次操作对象都是某几行记录，每次查询只需要从硬盘中加载最少的数据。

2018-03-15 08:50:46

Hive -数据存储

华为开放平台助力中信银行（国际）打造统一数据仓库

华为通过FusionCube一体机，预集成了网络、计算、存储、虚拟化操作系统和分布式存储软件，采用“X86服务器+分布式存储”的架构替换传统的“RISC服务器+SAN存储”的架构。

2018-01-03 22:14:31

分析型数据仓库中读写分离的实现

神策数据一直致力于帮助企业搭建数据仓库，实现数据的秒级响应，积累数据资产。本文主要通过神策数据在技术上的探索与实践，探讨如何利用现有的开源组件实现分析型数据仓库当中的读写分离。

2017-11-24 17:20:37

数据库数据仓库读写分离

数据仓库：过去、现在和未来

我经常接触数据仓库建设的需求，而现有的大数据系统也希望基于大数据建设数据仓库，然而Hadoop为核心发展起来的软件适用于OLAP的数据分析需求，OLTP这样的分布式数据库系统也如火如荼的发展。

2017-11-24 13:51:40

数据仓库数据库数据分析

【漫谈数据仓库】如何优雅地设计数据分层

本文主要讲解数据仓库的一个重要环节：如何设计数据分层!其它关于数据仓库的内容可参考之前的文章。本文对数据分层的讨论适合下面一些场景，超过该范围场景 or 数据仓库经验丰富的大神就不必浪费时间看了。

2017-10-20 12:59:05

数据分层数据建设数据仓库

五个小技巧告诉你如何保护MySQL数据仓库

在数据仓库中，最常见的数据库管理系统应该是开源MySQL数据库。本文列出了5个小技巧，帮助用户来更好地保护MySQL数据仓库。

2017-08-25 09:18:04

MySQL 数据仓库技巧

腾讯云存储黄炳琪：存储不仅是数据仓库，而应该是生产管道原创

腾讯混合云主要解决了用户的两大痛点，一是数据增长如果超过了用户传统IDC的容量，可以自动化的上传到有无限空间的公有云上;二是用户的业务不用做改动，对业务没有任何影响。随着社会的认知、政策的跟进，公有云将是未来的解决方案，但实际上谁都无法预测这一天何时到来。因此，通过先把传统的存储改到私有云上，让私有云再变成混合云，最终到达公有云存储解决方案。

2017-08-24 09:12:55

腾讯云存储

什么是企业数据仓库？

数据分析已经成为帮助企业做出战略决策的关键。软件工具可以帮助企业发现模式或者发现各种流程的洞察。用于实施这些策略的数据系统通常作为供应商特定的企业数据仓库解决方案而存在。在这些应用程序中，信息被加载和结构化，以便从非常大的数据集合中提供最有效的结果。

2017-08-17 15:52:38

企业数据仓库

外媒速递：关于云数据仓库的几项关键思考原创

数据的增长与多元化趋势给传统数据仓库体系带来巨大压力，并直接推动各类新兴技术方案的诞生。在这样的时代背景之下，云解决方案迅速普及，同时凭借着按使用量计费且易于上手的规模化优势切实同市场需求相对接。

2017-07-21 08:54:12

云数据大数据 Kubernetes

Hadoop+数据仓库到底是梦幻组合还是命中的宿敌？

现在。自从Hadoop出现在舞台上之后，一直有人嘀咕说，这个闪亮的新星正在为一些最好的数据管理角色提供服务–这些角色就是，在几年前，数据仓库已稳操胜券。

2017-06-30 09:29:00

Hadoop 数据仓库

数据仓库的多维数据模型

可能很多人理解的数据仓库就是基于多维数据模型构建，用于OLAP的数据平台，通过上一篇文章——数据仓库的基本架构，我们已经看到数据仓库的应用可能远不止这些。

2017-06-27 10:08:29

数据仓库模型

漫谈数据仓库之拉链表（原理、设计以及在Hive中的实现）

本文将会谈一谈在数据仓库中拉链表相关的内容，包括它的原理、设计、以及在我们大数据场景下的实现方式。

2017-05-16 10:23:51

数据仓库拉链表

创业公司做数据分析(六)数据仓库的建设

本文将重点探讨数据处理层中数据仓库的建设。在第二篇运营数据系统一文，有提到早期的数据服务中存在不少问题，虽然在做运营Dashboard系统时，对后台数据服务进行了梳理，构建了数据处理的底层公共库等，但是仍然存在一些问题。

2017-04-06 22:15:07

数据分析数据存储数据仓库

支付风控数据仓库建设

支付系统的风控分析需要大量的数据支撑。本文从名单、画像和图谱三个层面，分析在支付系统建设的不同阶段如何建立支持风控计算的数据仓库，详细介绍从什么地方采集数据、如何采集数据、以及如何存储这些数据。

2017-03-01 10:50:45

支付风控数据

基于Hadoop的数据仓库Hive基础知识

Hive是基于Hadoop的数据仓库工具，可对存储在HDFS上的文件中的数据集进行数据整理、特殊查询和分析处理，提供了类似于SQL语言的查询语言–HiveQL，可通过HQL语句实现简单的MR统计，Hive将HQL语句转换成MR任务进行执行。

2017-02-28 09:21:56

Hadoop Hive 数据仓库

从数据仓库到数据湖——浅谈数据架构演进(加强版)

我们尝试过在数据加载过程中自学习的产生数据库schema，证明这个思路是可行的。基于结构化的数据，这个过程非常容易。但对于非结构化的数据，还是存在很大的挑战。使用机器学习的方式，模型训练成本恐怕和人工抽取schema的工作量是相当的。这是开放的话题，可以讨论。

2017-01-22 15:43:47

数据架构演进

数据仓库中的SQL性能优化（Hive篇）

一个Hive查询生成多个map reduce job，一个map reduce job又有map，reduce，spill，shuffle，sort等多个阶段，所以针对hive查询的优化可以大致分为针对M/R中单个步骤的优化，针对M/R全局的优化，和针对整个查询（多M/R job）的优化，下文会分别阐述。

2016-12-21 12:46:47

数据仓库 SQL Hive

Hadoop工具引发的改变和提升：让数据仓库迁移更轻松

从高成本数据仓库将任务卸载有时被看做是Hadoop商用集群的首要目标。迁移提取、转换、加载(ETL)、查询以及报告工作并不能显著改变商业模式，但它可能会抑制数据仓库的增长和成本。

2016-11-16 13:34:41

Hadoop 数据仓库

Hadoop工具让数据仓库迁移更轻松

从高成本数据仓库将任务卸载有时被看做是Hadoop商用集群的首要目标。迁移提取、转换、加载(ETL)、查询以及报告工作并不能显著改变商业模式，但它可能会抑制数据仓库的增长和成本。

2016-11-14 10:23:08

Hadoop工具大数据数据仓库

如何利用数据仓库优化数据分析?

在整个数据分析流程中，数据处理的时间往往要占据70%以上!这个数字有没有让你震惊呢?为了提高分析效率和质量，借用数据仓库进行数据分析是一个很好的选择，详细的工作方法本文都有所介绍。

2016-11-08 09:16:54

数据仓库优化

新型数据准备工具来袭你还在使用传统数据仓库架构吗?

随着企业员工越来越精通于使用分析工具，他们当中越来越多的人发现，传统的数据仓库架构阻碍了他们分析某些重要数据的能力,而新兴的自助型数据准备工具可以帮助业务分析师、数据科学家和其他最终用户绕过数据仓库，完成数据集成和制备过程的关键部分。

2016-08-21 14:45:41

数据仓库自助型数据准备工具

数据仓库中如何使用索引

数据仓库的索引是个棘手的问题。在创建数据仓库索引的时候需要考虑一些参数比如数据仓库类型、维度表和事实表大小、是否分区、是否AD hoc等等。这些参数决定了你的索引结构。这里我们只是介绍一点小经验。

2016-08-15 12:57:01

数据仓库索引架构维度索引

有容乃大 UCloud数据仓库UDW架构解析

UCloud 近日推出了大规模并行、完全托管的PB级数据仓库服务——UDW，可以极大地减少部署数据仓库相关的成本和工作量，更高效地使用商业智能 (BI)工具来分析海量数据。

2016-06-28 13:09:48

UCloud数据仓库架构解析

Teradata 天睿公司将在大中华区推出全新 IntelliFlex 数据仓库架构

全球领先的大数据分析服务供应商Teradata天睿公司(Teradata Corporation，纽交所：TDC)日前宣布，将于 2016 年第三季度向大中华区市场推出其业内领先的下一代海量并行处理(MPP)架构：Teradata IntelliFlex™。

2016-06-15 16:27:26

Teradata 天睿数据仓库

AWS云数据仓库Redshift，让您的数据飞起来

随着信息技术的迅速发展，各行各业积累的数据都呈现出爆炸增长的趋势，我们已经进入了大数据的时代。当前企业数据的规模和复杂度不断增长，如何快速低成本的分析这些海量数据、挖掘数据的价值、让数据为公司的业务提供支撑，成为困扰企业的一个问题。作为全球领先的公有云提供商，AWS提供了一整套数据分析及挖掘的解决方案，涵盖了数据收集、传输、存储、分析、报表等，其中数据仓库服务是尤为重要的一个环节。AWS 2013年在美国区域发布了云数据仓库Redshift服务，让用户无需任何硬件、低成本、快速的分析企业数据中心或者云中的数据。

2016-05-11 09:18:21

AWS 云数据仓库 Redshift

Hadoop 如何推动现代数据仓库技术的变革

2006年雅虎等团队开始研发Hadoop技术至今已整整十年。在此之间技术发展迅速，Hadoop上的生态系统逐渐扩大。各个行业的用户逐渐开始基于这一新的技术来开发全新的应用，甚至将原先的应用向Hadoop之上进行迁移。

2016-04-05 10:59:59

Hadoop 数据仓库架构设计

星环科技上榜Gartner 2016年数据仓库及数据管理解决方案魔力象限

2016-03-18 11:00:37

Teradata天睿公司再度蝉联数据仓库和客户价值的领导者

Teradata再度被评选为数据仓库技术的全球领导者。该分析机构发布数据仓库市场格局年度报告，评估全球最重要的数据仓库厂商。

2016-02-18 15:47:31

Gartner预警：千万别把数据湖与数据仓库混为一谈译文

数据湖常常被厂商说成是应对大数据挑战的一种手段，它其实有助于你搞清楚针对你的数据提出的新问题，但前提是你得有相应技能。换句话说，别头脑发热将数据湖用于数据仓库

2016-01-27 09:49:19

Gartner 数据湖数据仓库

Teradata天睿公司再次获Forrester评为企业级数据仓库领导者

2015-12-17 16:11:41

Teradata天睿公司在业内率先将DevOps扩展至数据仓库

推出开源Teradata Python模块帮助使用通用Python编程语言的程序员和数据科学家轻松开发出充分利用Teradata数据库中数据的应用，并使数据仓库的操作更加流畅。Python应用可在应用服务器上运行，向Teradata数据库发送SQL查询，或直接在Teradata数据库内运行。程序员在任意Python应用中都可运用Python库中的多种功能，进行高级分析或数据操作。Python公用库包括Python标准库（Python Standard Library）、NumPy/SciPy、Biopython、Pandas、Mlpy和Dateutil/Pytz。

2015-10-29 22:52:21

星环大数据助银行数据仓库全面升级

我国银行的IT系统高度依赖“IOE”(以IBM为代表的小型机，以Oracle为代表的数据库软件、以EMC为代表的高端存储)等国外厂商。39号文的发布让大家认为银行业的信息技术立刻就要掀起国产化的大浪，但是今年四月，银监会宣布了暂缓39号文新规的决定。这个决定并不出乎意料。

2015-06-17 19:54:10

星环大数据银行

微软发布Azure数据仓库，对抗AWS Redshift

很多在微软数据库和云生态系统里工作的数据专业人士一直都迫不及待地想知道，微软什么时候会推出云数据仓库服务与亚马逊的Redshift竞争。在微软Build大会的开幕演讲中，执行副总裁Scott Guthrie宣布推出“Azure数据仓库”( Azure Data Warehouse)——名字非常地恰到好处。

2015-05-04 10:51:04

微软 Azure数据仓库

北美数据仓库的四大常用技术

数据挖掘、数据仓库，近些年在国内越来越热、越来越流行，需求比较多，应用也比较广泛，它们常服务于商务智能活动。通俗地概括来讲，我们可将它们统称作数据分析、数据计算。

2015-04-02 15:50:47

数据仓库数据挖掘

Teradata列2015年Gartner数据仓库和分析型数据管理解决方案领导者象限

全球数据分析平台、应用和服务供应商Teradata天睿公司宣布名列Gartner公司首次发布的《2015年数据仓库和分析型数据管理解决方案魔力象限报告》（Data Warehouse and Data Management Solutions for Analytics Magic Quadrant）中的“领导者象限”。

2015-03-13 09:05:26

Teradata 数据仓库数据管理

Teradata被Information Difference再度评为整合数据仓库技术领导者

全球数据分析平台、应用和服务供应商Teradata天睿公司宣布，国际数据管理咨询机构Information Difference再次将其评为全球数据仓库创新技术领导者。该研究机构从技术与市场实力两方面考评，每年调查领先数据仓库供应商，并将这些大型数据库厂商在对比象限中排位，并发布数据仓库市场格局年度报告。

2015-02-11 16:18:37

云南中烟部署Teradata数据仓库加速数据驱动型转型

中国烟草行业领军企业云南中烟工业有限责任公司（云南中烟）携手大数据分析和营销应用提供商Teradata天睿公司，将通过建设单一的数据分析系统，助力驰名中外的云南中烟针对核心部门提升全公司的数据分析能力。

2014-12-09 13:39:14

Teradata助力欧迪办公扩展企业级数据仓库

全球数据分析平台、应用和服务供应商Teradata天睿公司宣布，通过部署Teradata最新数据平台和创新技术，助力欧迪办公（Office Depot）扩展企业级数据仓库（EDW）。欧迪办公已开设2,000多家零售店，是全球领先的办公产品、服务和解决方案供应商。

2014-08-18 09:01:09

Teradata 数据仓库

赵修湘：关系型数据库替代者-Hive数据仓库

Hadoop是一款运行在廉价商用服务器之上的，能够对大量数据进行有效存储和处理的软件框架，主要由HDFS分布式文件系统和Mapreduce计算框架组成，而Hive分布式数据仓库构建于hadoop的hdfs和mapred之上，用于管理和查询结构化/非结构化数据的数据仓库。

2014-07-26 15:22:31

赵修湘关系型数据库 Hive数据仓库

广州农商银行选择天睿公司部署企业数据仓库

全球数据分析平台、应用和服务供应商天睿公司今日宣布，广州农商银行已经采用天睿公司全球领先的动态企业数据仓库，并借助其专业服务制定数据质量治理标准，实现统一的企业级业务视图。该项目将为该行实现“数据战略”奠定坚实基础，为未来开展各种业务应用提供强大的后台支持能力。

2014-05-28 16:02:34

Teradata 数据仓库

大数据之路（一）数据仓库也需要大数据

大数据传统企业实施，其路漫漫，绝不会如昙花一现，探索大数据在传统行业的实施之路，寻找一条适合传统行业的企业大数据实施方法体系，是我执着坚守的信念，大数据是一种信仰，吾将上下而求索。记下项目中的点滴，算是日志，自勉。

2014-02-12 09:22:28

Teradata数据仓库加速Sligro食品集团的商业智能建设

全球领先的数据分析平台、应用和服务供应商Teradata天睿公司宣布，欧洲食品零售以及餐饮批发领导企业Sligro食品集团已经选择Teradata数据仓库实现预测性分析。这一全新且高效的平台将帮助该集团获得崭新视角，更好地预测未来的客户和市场发展，进一步实现从供应驱动型向需求驱动型运营模式的转变。

2014-01-22 10:11:49

Teradata 数据仓库

Teradata数据仓库：获取物联网价值的分析枢纽

全球数据分析平台、应用和服务供应商Teradata天睿公司（Teradata Corporation）宣布，用户将能够在Teradata数据仓库中加载JSON(Java Script Object Notation)数据，帮助其快速把握物联网发展带来的业务机会。

2013-11-18 12:53:48

Teradata 数据仓库

上一页 1 2 3 4 5 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客开源基础软件社区

教育

51CTO学堂精培企业培训 CTO训练营