达梦DMETL与其它主流ETL对比 整体性能优势明显

企业动态
达梦数据交换平台(DM Extract、Transform、Loading,缩写DMETL)是国内知名数据库厂商达梦数据库有限公司在上十年数据处理经验的基础上,研制开发的具有自主版权的、商品化的数据交换与处理平台。经过与市场上其他主流ETL工具测试对比之后发现,DMETL从功能性能上已经完全能够满足用户需求,并且在易用性方便更具有独特的优势。

达梦数据交换平台(DM Extract、Transform、Loading,缩写DMETL)是国内知名数据库厂商达梦数据库有限公司在上十年数据处理经验的基础上,研制开发的具有自主版权的、商品化的数据交换与处理平台。DMETL创新地将传统的ETL工具与分布式消息平台相结合,实现了对数据抽取、传输、整合、以及装载的一站式支持,是构建数据中心、数据仓库、数据交换和数据同步等数据集成类应用的理想平台,同时也可以作为数据加工处理工具由业务人员直接使用。 

经过与市场上其他主流ETL工具测试对比之后发现,DMETL从功能性能上已经完全能够满足用户需求,并且在易用性方便更具有独特的优势。 

1.测试对象

1) SSIS:SQL Server Integration Services。微软的数据集成工具

2) KETTLE:主流开源ETL工具

3) POERCENTER:业界领先的ETL工具,已被oracle公司收购

4) DMETL:达梦数据交换平台

2.测试环境

1) ETL工具主要运行环境

IP:223.254.112.1

CPU Intel 双核 E2160 主频1.8G

内存 2G

操作系统 MS server2003

2) 数据源服务器A主要环境

IP:223.254.102.21

CPU Intel双核 E5300 主频2.6G

内存 2G

操作系统 MS XP

数据库:SQLSERVER,ORACLE

3) 数据目的服务器B主要环境

223.254.110.136

CPU Intel双核 E5400 主频2.7G

内存 4G

操作系统 MS server2003

数据库:SQLSERVER,ORACLE

3.功能对比

(注:√—支持 ×—不支持) 

4.性能对比

四种ETL工具在10W条和1000W条不同数据量下进行性能测试。

数据容量(10W记录)=945*100000/(1024*1024)=90.1M

数据容量(1000W记录)=945*10000000/(1024*1024)=9012.2M

1) DMETL性能测试记录 

2) SSIS 性能测试记录

3) KETTLE性能测试记录

   

4) INFORMATIC POERCENTER性能测试记录

   

5) 性能测试数据汇总

(单位:条/秒) 

5.结论

性能上INFORMATIC POWERCENTER总体性能***;DMETL性能比较稳健,优于KETTLE和微软的SSIS。

功能上DMETL和INFORMATIC POWERCENTER两者最为丰富,KETTLE次之,SSIS较弱。

易用性方面DMETL是***的,SSIS次之,KETTLE和INFORMATIC POWERCENTER使用最为复杂。 

责任编辑:黄丹 来源: 中国电商资讯
相关推荐

2023-09-28 08:01:06

MySQL事务失效

2010-01-05 13:59:22

网吧交换机

2017-01-15 09:56:48

LinuxIO性能

2010-02-22 10:38:44

Web交换技术

2020-11-24 20:54:17

数据

2011-12-21 17:12:07

2023-10-06 16:56:19

Python二进制工具

2023-09-25 08:06:44

工具非阻塞式接口

2014-04-16 14:36:03

2019-10-29 09:14:52

ETL架构DataPipelin

2010-06-10 10:51:59

Internet协议

2010-03-11 09:05:25

Windows 7企业部署

2009-02-28 14:07:00

D-Link DI-7多口路由器

2013-06-05 10:56:26

2014-07-24 15:15:55

达梦oracle

2023-03-03 08:00:00

重采样数据集

2010-06-10 14:25:20

2009-05-20 13:39:58

2010-06-21 10:02:32

2009-11-06 17:10:34

WCF服务性能计数器
点赞
收藏

51CTO技术栈公众号