加快数据仓库加载无需添加硬件的解决方法

数据库 数据仓库
本文说到的是加快数据仓库加载速度的方法,由于硬件环境无法改变,作者只能从仓库设计和加载细节入手来改变了。

很多公司流行使用数据仓库进行数据分析,一般从线上数据源备库(mirror,logshipping,slave等)抽取到ods 层

在从ods层到dw再到dm.特别在ods层到dw时,数据的清洗装载需要一定的时间和硬件资源.

但是当硬件成为瓶颈时,怎么能快速完成清洗转载,及时的提供数据分析?

下面提供一种方法使用Ssis 加载到 ods层后,直接通过分区表把数据加载到 dw 

1 准备

  1.  /*create filegroup*/  
  2.   ALTER DATABASE [testxwj] ADD FILEGROUP [account_1]   
  3.  go   
  4. ALTER DATABASE [testxwj] ADD FILEGROUP [account_2]   
  5. go   
  6. ALTER DATABASE [testxwj] ADD FILEGROUP [account_3]  
  7.  
  8. /*create file to filegroup*/  
  9.  
  10. ALTER DATABASE [testxwj] ADD FILE ( NAME = N'account_1', FILENAME = N'E:\account_1.ndf' , SIZE = 409600KB , FILEGROWTH = 20480KB ) TO FILEGROUP [account_1]  
  11.   GO  
  12. ALTER DATABASE [testxwj] ADD FILE ( NAME = N'account_2', FILENAME = N'E:\account_2.ndf' , SIZE = 409600KB , FILEGROWTH = 20480KB ) TO FILEGROUP [account_2]  
  13.  GO  
  14. ALTER DATABASE [testxwj] ADD FILE ( NAME = N'account_3', FILENAME = N'E:\account_3.ndf' , SIZE = 409600KB , FILEGROWTH = 20480KB ) TO FILEGROUP [account_3]  
  15. GO16 

2 使用ssis copy table

  1. sp_spaceused accountdetail; 

  1. /* delete EarnTime is not null*/   
  2.  
  3. /*23 sec*/   
  4. delete from accountdetail where EarnTime is null 
  5. /*26 sec*/   
  6. delete from accountdetail where isnull(CommitStatus,0)<1   
  7. /*12 sec*/  
  8. delete from accountdetail where  isnull(EarnStatus,0) =0 

对传输过来的表进行分区

  1. /*create partition function*/  
  2. declare @bdate char(8),@edate varchar(8),@sql varchar(500)   
  3. select   
  4. @bdate=convert(char(8),GETDATE()-1 ,112)   
  5. ,@edate=convert(char(8),GETDATE() ,112)   
  6. select @bdate,@edate;  
  7. set @sql='   
  8. CREATE PARTITION FUNCTION ac_EarnTime (datetime)  
  9. AS11 RANGE RIGHT FOR VALUES ( '''+@bdate+''' ,'''+@edate+''')'  
  10.  execute(@sql)  
  11. /*create partition schema*/  
  12. CREATE PARTITION SCHEME ac_schema_ac_EarnTime
  13. AS PARTITION ac_EarnTime TO (account_1,account_2,account_3);  
  14. /*create partition table */  
  15. alter table accountdetail  
  16. alter column EarnTime datetime not null;  
  17. alter TABLE accountdetail  
  18. add CONSTRAINT [PK_PARTITIONmis] PRIMARY KEY 
  19. (   id,EarnTime
  20.  )ON ac_schema_ac_EarnTime(EarnTime)

把分区partition 2指向给 dw 值得注意的是 accountdetail_dw 必须跟partition 2 分区所在同一个文件组

  1. /*switch accountdetail to accountdetail_dwl*/  
  2.  ALTER TABLE accountdetail SWITCH PARTITION 2 TO accountdetail_dw ;  
  3. /**/ 

整个过程在 5分钟内.数据仓库最重要的还在当初的设计和选型.

原文标题:当硬件成为瓶颈时怎么提高数据仓库的加载?

链接:http://www.cnblogs.com/xwj1985/archive/2010/08/19/1803272.html

【编辑推荐】

  1. 数据仓库及其体系结构建设
  2. 建立数据仓库的八条基本准则
  3. 成功实施数据仓库项目的七个步骤
  4. 动态数据仓库设计与应用浅谈
  5. 成功实施数据仓库项目的七个步骤
责任编辑:彭凡 来源: 博客园
相关推荐

2011-05-13 14:17:27

智能数据仓库

2021-09-01 10:03:44

数据仓库云数据仓库数据库

2022-08-01 11:30:27

数据建模

2009-12-16 10:50:26

2023-01-11 10:29:26

2013-03-20 16:23:53

数据清洗

2022-07-28 13:47:30

云计算数据仓库

2017-06-27 10:08:29

数据仓库模型

2023-08-14 16:56:53

2009-01-18 15:48:31

数据仓库数据存储OLTP

2024-03-19 13:45:27

数据仓库数据湖大数据

2009-02-06 09:56:56

软件测试数据仓库测试开发与执行

2011-03-25 16:15:42

SQL Server

2023-11-23 16:59:37

数据仓库建模

2022-10-27 09:50:41

数据仓开发

2019-05-24 11:51:18

BI数据仓库数据分析

2018-07-24 09:28:18

存储数据仓库

2022-11-29 17:16:57

2020-01-03 09:40:13

大数据数据仓库分层

2009-01-19 14:08:35

ODS数据仓库粒度
点赞
收藏

51CTO技术栈公众号