Oracle千万条记录插入与查询小结

数据库 Oracle 数据库运维
对于千万条记录这样数量级的库表插入与查询操作,似乎是根本不可能实现的。但是本文的作者经过多次努力后,完成了这一任务,希望本文能给大家一些好的帮助。

最近做了个项目,实现对存在千万条记录的库表进行插入、查询操作。原以为对数据库的插入、查询是件很容易的事,可不知当数据达到百万甚至千万条级别的时候,这一切似乎变得相当困难。几经折腾,总算完成了任务。

1、 避免使用Hibernate框架

Hibernate用起来虽然方便,但对于海量数据的操作显得力不从心。

关于插入:

试过用Hibernate一次性进行5万条左右数据的插入,若ID使用sequence方式生成,Hibernate将分5万次从数据库取得5万个sequence,构造成相应对象后,再分五万次将数据保存到数据库。花了我十分钟时间。主要的时间不是花在插入上,而是花在5万次从数据库取sequence上,弄得我相当郁闷。虽然后来把ID生成方式改成increase解决了问题,但还是对那十分钟的等待心有余悸。

关于查询:

Hibernate对数据库查询的主要思想还是面向对象的,这将使许多我们不需要查询的数据占用了大量的系统资源(包括数据库资源和本地资源)。由于对Hibernate的偏爱,本着不抛弃、不放弃的作风,做了包括配SQL,改进SQL等等的相当多的尝试,可都以失败告终,不得不忍痛割爱了。

2、 写查询语句时,要把查询的字段一一列出

查询时不要使用类似select * from x_table的语句,要尽量使用select id,name from x_table,以避免查询出不需要的数据浪费资源。对于海量数据而言,一个字段所占用的资源和查询时间是相当可观的。

3、 减少不必要的查询条件

当我们在做查询时,常常是前台提交一个查询表单到后台,后台解析这个表单,而后进行查询操作。在我们解析表单时,为了方便起见,常常喜欢将一些不需要查询的条件用永真的条件来代替(如:select count(id) from x_table where name like ‘%’),其实这样的SQL对资源的浪费是相当可怕的。我试过对于同样的近一千万条记录的查询来说,使用select count(id) from x_table 进行表查询需要11秒,而使用select count(id) from x_table where name like ‘%’却花了33秒。

4、 避免在查询时使用表连接

在做海量数据查询时,应尽量避免表连接(特别是左、右连接),万不得已要进行表连接时,被连接的另一张表数据量一定不能太大,若连接的另一张表也是数万条的话,那估计可以考虑重新设计库表了,因为那需要等待的时间决不是正常用户所能忍受的。

5、 嵌套查询时,尽可能地在***次select就把查询范围缩到最小

在有多个select嵌套查询的时候,应尽量在最内层就把所要查询的范围缩到最小,能分页的先分页。很多时候,就是这样简单地把分页放到内层查询里,对查询效率来说能形成质的变化。

就是这些了,希望对遇到类似问题的朋友们能有所帮助!

【编辑推荐】

  1. Oracle中视图的创建和处理方法
  2. 详解Oracle几种性能调优方法
  3. 简述Oracle数据仓库的体系结构
责任编辑:彭凡 来源: 51CTO论坛
相关推荐

2010-11-15 14:58:17

Oracle千万级记录

2010-11-15 13:47:13

oracle记录加锁

2010-04-23 16:35:02

Oracle 查询记录

2010-04-07 09:09:49

Oracle查询

2010-10-27 15:11:52

oracle递归查询

2014-11-06 17:15:06

阿里巴巴双十一阿里数据

2018-06-13 10:55:06

2010-04-30 10:24:00

Oracle查询指定记

2010-10-28 17:08:11

Oracle查询

2010-10-08 14:32:47

MySQL使用INSE

2022-04-12 16:39:55

数据泄露网络攻击

2010-11-15 14:42:03

Oracle查询重复记

2010-11-15 13:35:28

Oracle记录类型

2010-05-06 14:52:52

Oracle查询记录数

2023-04-13 08:00:59

路由协议动态路由

2013-10-25 09:22:14

2011-03-02 15:35:15

Oracle分组统计

2010-04-08 11:11:16

Oracle查询

2009-03-04 13:32:28

排序SQLOracle

2013-03-28 13:08:15

Web缓存
点赞
收藏

51CTO技术栈公众号