Oracle 中使用 fetch bulk collect into 批量效率的读取游标数据

Wesley13
• 阅读 973

通常我们获取游标数据是用 fetch some_cursor into var1, var2 的形式,当游标中的记录数不多时不打紧。然而自 Oracle 8i 起,Oracle 为我们提供了 fetch bulk collect 来批量取游标中的数据,存中即是合理的。它能在读取游标中大量数据的时候提升效率,就像 SNMP 协议中,V2 版比 V1 版新加了 GET-BULK PDU 一样,也是用来更高效的批量取设备上的节点值(原来做过网管软件开发,故联想到此)。

  fetch bulk collect into 的使用格式是:fetch some_cursor collect into col1, col2 limit xxx。col1、col2 是声明的集合类型变量,xxx 为每次取数据块的大小(记录数),相当于缓冲区的大小,可以不指定 limit xxx 大小。下面以实际的例子来说明它的使用,并与逐条取记录的 fetch into 执行效率上进行比较。测试环境是 Oracle 10g  10.2.1.0,查询的联系人表 sr_contacts 中有记录数 1802983 条,游标中以 rownum 限定返回的记录数。

  使用 fetch bulk collect into 获取游标数据

  declare    

   --声明需要集合类型及变量,参照字段的 type 来声明类型      

  type id_type is table of sr_contacts.sr_contact_id%type;      
  v_id id_type;      
        
  type phone_type is table of sr_contacts.contact_phone%type;      
  v_phone phone_type;      
        
  type remark_type is table of sr_contacts.remark%type;      
  v_remark remark_type;   

   cursor all_contacts_cur is --用 rownum 来限定取出的记录数来测试      

     select sr_contact_id,contact_phone,remark from sr_contacts where rownum <= 100000;         

begin     
          
    open all_contacts_cur;      
    loop      
        fetch all_contacts_cur bulk collect into v_id,v_phone,v_remark limit 256;      
        for i in 1..v_id.count loop --遍历集合      
            --用 v_id(i)/v_phone(i)/v_remark(i) 取出字段值来执行你的业务逻辑     
            null; --这里只放置一个空操作,只为测试循环取数的效率     
        end loop;      
        exit when all_contacts_cur%notfound; --exit 不能紧接 fetch 了,不然会漏记录      
    end loop;      
    close all_contacts_cur;      
end;    
declare  

   --声明需要集合类型及变量,参照字段的 type 来声明类型   

  type id_type is table of sr_contacts.sr_contact_id%type;   
  v_id id_type;   
     
  type phone_type is table of sr_contacts.contact_phone%type;   
  v_phone phone_type;   
     
  type remark_type is table of sr_contacts.remark%type;   
  v_remark remark_type; 

   cursor all_contacts_cur is --用 rownum 来限定取出的记录数来测试   

     select sr_contact_id,contact_phone,remark from sr_contacts where rownum <= 100000;   

begin  
       
    open all_contacts_cur;   
    loop   
        fetch all_contacts_cur bulk collect into v_id,v_phone,v_remark limit 256;   
        for i in 1..v_id.count loop --遍历集合   
            --用 v_id(i)/v_phone(i)/v_remark(i) 取出字段值来执行你的业务逻辑   
            null; --这里只放置一个空操作,只为测试循环取数的效率  
        end loop;   
        exit when all_contacts_cur%notfound; --exit 不能紧接 fetch 了,不然会漏记录   
    end loop;   
    close all_contacts_cur;   
end; 
  使用 fetch into 逐行获取游标数据

  declare 

   --声明变量,参照字段的 type 来声明类型   

  v_id sr_contacts.sr_contact_id%type; cursor all_contacts_cur is  --用 rownum 来限定取出的记录数来测试   

     select sr_contact_id,contact_phone,remark from sr_contacts where rownum <= 100000;   

begin  
       
    open all_contacts_cur;   
    loop   
        fetch all_contacts_cur into v_id,v_phone,v_remark;   
        exit when all_contacts_cur%notfound;       
        --用 v_id/v_phone/v_remark 取出字段值来执行你的业务逻辑   
        null; --这里只放置一个空操作,只为测试循环取数的效率   
    end loop;   
    close all_contacts_cur;   
end;  
declare
   --声明变量,参照字段的 type 来声明类型

  v_id sr_contacts.sr_contact_id%type;
  v_phone sr_contacts.contact_phone%type;
  v_remark sr_contacts.remark%type;
   cursor all_contacts_cur is  --用 rownum 来限定取出的记录数来测试

     select sr_contact_id,contact_phone,remark from sr_contacts where rownum <= 100000;begin
    
    open all_contacts_cur;
    loop
        fetch all_contacts_cur into v_id,v_phone,v_remark;
        exit when all_contacts_cur%notfound;    
        --用 v_id/v_phone/v_remark 取出字段值来执行你的业务逻辑
        null; --这里只放置一个空操作,只为测试循环取数的效率
    end loop;
    close all_contacts_cur;
end;
  执行性能比较

  看看测试的结果,分别执行五次所耗费的秒数:

  当 rownum <= 100000 时:

  fetch bulk collect into 耗时:0.125秒, 0.125秒, 0.125秒, 0.125秒, 0.141秒

  fetch into 耗时:                 1.266秒, 1.250秒, 1.250秒, 1.250秒, 1.250秒

  当 rownum <= 1000000 时:

  fetch bulk collect into 耗时:1.157秒, 1.157秒, 1.156秒, 1.156秒, 1.171秒

  fetch into 耗时:              12.128秒, 12.125秒, 12.125秒, 12.109秒, 12.141秒

  当 rownum <= 10000 时:

  fetch bulk collect into 耗时:0.031秒, 0.031秒, 0.016秒, 0.015秒, 0.015秒

  fetch into 耗时:                 0.141秒, 0.140秒, 0.125秒, 0.141秒, 0.125秒

  当 rownum <= 1000 时:

  fetch bulk collect into 耗时:0.016秒, 0.015秒, 0.016秒, 0.016秒, 0.015秒

  fetch into 耗时:                 0.016秒, 0.031秒, 0.031秒, 0.032秒, 0.015秒

  从测试结果来看游标的记录数越大时,用 fetch bulk collect into 的效率很明显示,趋于很小时就差不多了。

  注意了没有,前面使用 fetch bulk collect into 时前为每一个查询列都定义了一个集合,这样有些繁琐。我们之前也许用过表的 %rowtype 类型,同样的我们也可以定义表的 %rowtype 的集合类型。看下面的例子,同时在这个例子中,我们借助于集合的 first、last 属性来代替使用 count  属性来进行遍历。

  declare 

   --声明需要集合类型及变量,参照字段的 type 来声明类型   

  type contacts_type is table of sr_contacts%rowtype;   
  v_contacts contacts_type;   

   cursor all_contacts_cur is --用 rownum 来限定取出的记录数来测试   

     select * from sr_contacts where rownum <= 10000;   

begin  
       
    open all_contacts_cur;   
    loop   
        fetch all_contacts_cur bulk collect into v_contacts limit 256;   
        for i in v_contacts.first .. v_contacts.last loop --遍历集合   
            --用 v_contacts(i).sr_contact_id/v_contacts(i).contact_phone/v_contacts(i).remark   
            --的形式来取出各字段值来执行你的业务逻辑   
            null; --这里只放置一个空操作,只为测试循环取数的效率   
        end loop;   
        exit when all_contacts_cur%notfound;   
    end loop;   
    close all_contacts_cur;   
end;  
declare
 --声明需要集合类型及变量,参照字段的 type 来声明类型

  type contacts_type is table of sr_contacts%rowtype;
  v_contacts contacts_type;

   cursor all_contacts_cur is --用 rownum 来限定取出的记录数来测试

     select * from sr_contacts where rownum <= 10000;begin
    
    open all_contacts_cur;
    loop
        fetch all_contacts_cur bulk collect into v_contacts limit 256;
        for i in v_contacts.first .. v_contacts.last loop --遍历集合
            --用 v_contacts(i).sr_contact_id/v_contacts(i).contact_phone/v_contacts(i).remark
            --的形式来取出各字段值来执行你的业务逻辑
            null; --这里只放置一个空操作,只为测试循环取数的效率
        end loop;
        exit when all_contacts_cur%notfound;
    end loop;
    close all_contacts_cur;
end;
  关于 limit 参数

  你可以根据你的实际来调整 limit 参数的大小,来达到你最优的性能。limit 参数会影响到 pga 的使用率。而且也可以在 fetch bulk 中省略 limit 参数,写成

fetch all_contacts_cur bulk collect into v_contacts;
  有些资料中是说,如果不写 limit 参数,将会以数据库的 arraysize  参数值作为默认值。在 sqlplus 中用 show arraysize  可以看到该值默认为 15,set arraysize 256 可以更改该值。而实际上我测试不带 limit 参数时,外层循环只执行了一轮,好像不是 limit 15,所以不写 limit 参数时,可以去除外层循环,begin-end 部分可写成:

begin  
    open all_contacts_cur;   
    fetch all_contacts_cur bulk collect into v_contacts;   
    for i in v_contacts.first .. v_contacts.last loop --遍历集合   
        --用 v_contacts(i).sr_contact_id/v_contacts(i).contact_phone/v_contacts(i).remark   
        --的形式来取出各字段值来执行你的业务逻辑   
        null; --这里只放置一个空操作,只为测试循环取数的效率   
        dbms_output.put_line(2000);   
    end loop;   
    close all_contacts_cur;   
end;  
begin
    open all_contacts_cur;
    fetch all_contacts_cur bulk collect into v_contacts;
    for i in v_contacts.first .. v_contacts.last loop --遍历集合
        --用 v_contacts(i).sr_contact_id/v_contacts(i).contact_phone/v_contacts(i).remark
        --的形式来取出各字段值来执行你的业务逻辑
        null; --这里只放置一个空操作,只为测试循环取数的效率
        dbms_output.put_line(2000);
    end loop;
    close all_contacts_cur;
end;
  bulk collect 的其他用法(总是针对集合)

  select into 语句中,如:

SELECT sr_contact_id,contact_phone BULK COLLECT INTO v_id,v_phone
     FROM sr_contacts WHERE ROWNUM <= 100;
dbms_output.put_line('Count:'||v_id.count||', First:'||v_id(1)||'|'||v_phone(1));
  returning into 语句中,如:

DELETE FROM sr_contacts WHERE sr_contact_id < 30
    RETURNING sr_contact_id, contact_phone BULK COLLECT INTO v_id, v_phone;
dbms_output.put_line('Count:'||v_id.count||', First:'||v_id(1)||'|'||v_phone(1));
  forall 的 bulk dml 操作,它大大优于 for 集合后的操作

fetch all_contacts_cur bulk collect into v_contacts;
forall i in 1 .. v_contacts.count
--forall i in v_contacts.first .. v_contacts.last   
--forall i in indices of v_contacts --10g以上,可以是非连续的集合   
insert into sr_contacts(sr_contact_id,contact_phone,remark) 
    values(v_contacts(i).sr_contact_id,v_contacts(i).contact_phone,v_contacts(i).remark); 
   --或者是单条的 delete/update 操作
   
  v_phone sr_contacts.contact_phone%type;   
  v_remark sr_contacts.remark%type;

点赞
收藏
评论区
推荐文章
blmius blmius
3年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
Jacquelyn38 Jacquelyn38
3年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
Wesley13 Wesley13
3年前
Mysql 游标(cursor)
简介    游标实际上是一种能从包括多条数据记录的结果集中每次提取一条记录的机制。  游标充当指针的作用。  尽管游标能遍历结果中的所有行,但他一次只指向一行。  游标的作用就是用于对查询数据库所返回的记录进行遍历,以便进行相应的操作。语法  _DECLAR
Easter79 Easter79
3年前
Twitter的分布式自增ID算法snowflake (Java版)
概述分布式系统中,有一些需要使用全局唯一ID的场景,这种时候为了防止ID冲突可以使用36位的UUID,但是UUID有一些缺点,首先他相对比较长,另外UUID一般是无序的。有些时候我们希望能使用一种简单一些的ID,并且希望ID能够按照时间有序生成。而twitter的snowflake解决了这种需求,最初Twitter把存储系统从MySQL迁移
Stella981 Stella981
3年前
Django中Admin中的一些参数配置
设置在列表中显示的字段,id为django模型默认的主键list_display('id','name','sex','profession','email','qq','phone','status','create_time')设置在列表可编辑字段list_editable
Wesley13 Wesley13
3年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
为什么mysql不推荐使用雪花ID作为主键
作者:毛辰飞背景在mysql中设计表的时候,mysql官方推荐不要使用uuid或者不连续不重复的雪花id(long形且唯一),而是推荐连续自增的主键id,官方的推荐是auto_increment,那么为什么不建议采用uuid,使用uuid究
LeeFJ LeeFJ
2年前
Foxnic-SQL (12) —— DAO 特性 : 记录与记录集
默认情况下,JDBC从数据库取得的是ResultSet(游标),但是游标打开着是消耗数据库连接的,所以我们希望,打开游标取数结束后立即关闭游标。FoxnicSQL使用Rcd(记录)和RcdSet(记录集)将游标遍历的数据取出存放。本节将详细介绍Rcd(记录)和RcdSet(记录集)的概念和使用方法。
Python进阶者 Python进阶者
11个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这