bulkupdate，如何实现sqlbulkcopy 批量更新
老铁们，大家好，相信还有很多朋友对于bulkupdate和如何实现sqlbulkcopy 批量更新的相关问题不太懂，没关系，今天就由我来为大家分享分享bulkupdate以及如何实现sqlbulkcopy 批量更新的问题，文章篇幅可能偏长，希望可以帮助到大家，下面一起来看看吧！
如何实现sqlbulkcopy 批量更新
由于要录入大量的数据，使用sqlcommand.executenonquery()方法向数据库中插入数据，使得程序运行缓慢，无法满足程序使用要求，就在考虑什么方法能够进行数据的批量处理，最后发现了另外两种性能优异的方法，解决了速度的问题。那么现在就介绍一下两种方法，一种是SqlDataAdapter的Update(dataTable)方法，另一种是SqlBulkCopy类。
Hibernate的批量处理
Hibernate批量处理其实从性能上考虑它是很不可取的浪费了很大的内存从它的机制上讲 Hibernate它是先把符合条件的数据查出来放到内存当中然后再进行操作实际使用下来性能非常不理想在笔者的实际使用中采用下面的第三种优化方案的数据是条数据插入数据库主流台式机的配置需要约分钟呵呵晕倒
总结下来有三种来处理以解决性能问题
绕过Hibernate API直接通过 JDBC API来做这个方法性能上是比较好的也是最快的
运用存储过程
还是用Hibernate API来进行常规的批量处理可以也有变变就变在我们可以在查找出一定的量的时候及时的将这些数据做完操作就
删掉 session flush（） session evict（XX对象集）这样也可以挽救一点性能损失这个一定的量要就要根据实际情况做定量参考了一般为左右但效果仍然不理想
绕过Hibernate API直接通过 JDBC API来做这个方法性能上是比较好的也是最快的（实例为更新操作）
Transaction tx=session beginTransaction（）//注意用的是hibernate事务处理边界
Connection conn=nnection（）
PreparedStatement stmt=conn preparedStatement（ update CUSTOMER as C set C sarlary=c sarlary+ where c sarlary>）
stmt excuteUpdate（）
mit（）//注意用的是hibernate事务处理边界
这小程序中采用的是直接调用JDBC的API来访问数据库效率很高避免了Hibernate先查询出来加载到内存再进行操作引发的性能问题
运用存储过程但这种方式考虑到易植和程序部署的方便性不建议使用（实例为更新操作）
如果底层数据库（如Oracle）支持存储过程也可以通过存储过程来执行批量更新存储过程直接在数据库中运行速度更加快在Oracle数
据库中可以定义一个名为batchUpdateCustomer（）的存储过程代码如下
代码内容create or replace procedure batchUpdateCustomer（p_age in number） as begin update CUSTOMERS set AGE=AGE+ where AGE>p_age end
以上存储过程有一个参数p_age代表客户的年龄应用程序可按照以下方式调用存储过程
代码内容
tx= session beginTransaction（）
Connection con=nnection（）
String procedure={call batchUpdateCustomer（？）}
CallableStatement cstmt= con prepareCall（procedure）
cstmt setInt（）//把年龄参数设为
cstmt executeUpdate（）
mit（）
从上面程序看出应用程序也必须绕过Hibernate API直接通过JDBC API来调用存储过程
还是用Hibernate API来进行常规的批量处理可以也有变变就变在我们可以在查找出一定的量的时候及时的将这些数据做完操作就
删掉 session flush（） session evict（XX对象集）这样也可以挽救一点性能损失这个一定的量要就要根据实际情况做定量参考了……
（实例为保存操作）
业务逻辑为我们要想数据库插入条数据
tx=session beginTransaction（）
for（int i= i< i++）
{
Customer custom=new Customer（）
custom setName（ user+i）
session save（custom）
if（i%==）//以每个数据作为一个处理单元也就是我上面说的一定的量这个量是要酌情考虑的
{
session flush（）
session clear（）
}
}
这样可以把系统维持在一个稳定的范围……
在项目的开发过程之中由于项目需求我们常常需要把大批量的数据插入到数据库数量级有万级十万级百万级甚至千万级别的如此数量级别的数据用Hibernate做插入操作就可能会发生异常常见的异常是OutOfMemoryError（内存溢出异常）
首先我们简单来回顾一下Hibernate插入操作的机制 Hibernate要对它内部缓存进行维护当我们执行插入操作时就会把要操作的对象全部放到自身的内部缓存来进行管理
谈到Hibernate的缓存 Hibernate有内部缓存与二级缓存之说由于Hibernate对这两种缓存有着不同的管理机制对于二级缓存我们可以对它的大小进行相关配置而对于内部缓存 Hibernate就采取了放任自流的态度了对它的容量并没有限制现在症结找到了我们做海量数据插入的时候生成这么多的对象就会被纳入内部缓存（内部缓存是在内存中做缓存的）这样你的系统内存就会一点一点的被蚕食如果最后系统被挤炸了也就在情理之中了
我们想想如何较好的处理这个问题呢？有的开发条件又必须使用Hibernate来处理当然有的项目比较灵活可以去寻求其他的方法
笔者在这里推荐两种方法（）优化Hibernate程序上采用分段插入及时清除缓存的方法
（）绕过Hibernate API直接通过 JDBC API来做批量插入这个方法性能上是最好的也是最快的
对于上述中的方法其基本是思路为优化Hibernate在配置文件中设置hibernate jdbc batch_size参数来指定每次提交SQL的数量程序上采用分段插入及时清除缓存的方法（Session实现了异步write behind它允许Hibernate显式地写操作的批处理）也就是每插入一定量的数据后及时的把它们从内部缓存中清除掉释放占用的内存
设置hibernate jdbc batch_size参数可参考如下配置
<hibernate configuration><session factory>……
<property name= hibernate jdbc batch_size></property>……
<session factory><hibernate configuration>
配置hibernate jdbc batch_size参数的原因就是尽量少读数据库 hibernate jdbc batch_size参数值越大读数据库的次数越少速度越快从上面的配置可以看出 Hibernate是等到程序积累到了个SQL之后再批量提交
笔者也在想 hibernate jdbc batch_size参数值也可能不是设置得越大越好从性能角度上讲还有待商榷这要考虑实际情况酌情设置一般情形设置就可以满足需求了
程序实现方面笔者以插入条数据为例子如
Session session=HibernateUtil currentSession（）
Transatcion tx=session beginTransaction（）
for（int i= i< i++）
{
Student st=new Student（）
st setName（ feifei）
session save（st）
if（i%==）//以每个数据作为一个处理单元
{
session flush（）//保持与数据库数据的同步
session clear（）//清除内部缓存的全部数据及时释放出占用的内存
}
}
mit（）
……
在一定的数据规模下这种做法可以把系统内存资源维持在一个相对稳定的范围
注意前面提到二级缓存笔者在这里有必要再提一下如果启用了二级缓存从机制上讲Hibernate为了维护二级缓存我们在做插入更新删除操作时 Hibernate都会往二级缓存充入相应的数据性能上就会有很大损失所以笔者建议在批处理情况下禁用二级缓存
对于方法采用传统的JDBC的批处理使用JDBC API来处理
些方法请参照java批处理自执行SQL
看看上面的代码是不是总觉得有不妥的地方？对没发现么！这还是JDBC的传统编程没有一点Hibernate味道
可以对以上的代码修改成下面这样
Transaction tx=session beginTransaction（）//使用Hibernate事务处理
边界Connection conn=nnection（）
PrepareStatement stmt=conn prepareStatement（ insert into T_STUDENT（name） values（？））
for（int j= j++ j<）{
for（int i= i++ j<）
{
stmt setString（ feifei）
}
}
stmt executeUpdate（）
mit（）//使用 Hibernate事务处理边界
……
这样改动就很有Hibernate的味道了笔者经过测试采用JDBC API来做批量处理性能上比使用Hibernate API要高将近倍性能上JDBC占优这是无疑的
批量更新与删除
Hibernate中对于批量更新操作 Hibernate是将符合要求的数据查出来然后再做更新操作批量删除也是这样先把符合条件的数据查出来然后再做删除操作
这样有两个大缺点（）占用大量的内存
（）处理海量数据的时候执行update/delete语句就是海量了而且一条update/delete语句只能操作一个对象这样频繁的操作数据库性能低下应该是可想而知的了
Hibernate发布后对批量更新/删除操作引入了bulk update/delete其原理就是通过一条HQL语句完成批量更新/删除操作很类似JDBC的批量更新/删除操作在性能上比Hibernate的批量更新/删除有很大的提升
Transaction tx=session beginSession（）
String HQL= delete STUDENT
Query query=session createQuery（HQL）
int size=query executeUpdate（）
mit（）
……
控制台输出了也就一条删除语句Hibernate delete from T_STUDENT语句执行少了性能上也与使用JDBC相差无几是一个提升性能很好的方法当然为了有更好的性能笔者建议批量更新与删除操作还是使用JDBC方法以及基本的知识点与上面的批量插入方法基本相同这里就不在冗述
笔者这里再提供一个方法就是从数据库端来考虑提升性能在Hibernate程序端调用存储过程存储过程在数据库端运行速度更快以批量更新为例给出参考代码
首先在数据库端建立名为batchUpdateStudent存储过程
create or replace produre batchUpdateStudent（a in number） as
begin
update STUDENT set AGE=AGE+ where AGE>a
end
调用代码如下
Transaction tx=session beginSession（）
Connection conn=nnection（）
String pd=……{call batchUpdateStudent（？）}
CallableStatement cstmt=conn PrepareCall（pd）
cstmt setInt（）//把年龄这个参数设为
mit（）
观察上面的代码也是绕过Hibernate API使用 JDBC API来调用存储过程使用的还是Hibernate的事务边界存储过程无疑是提高批量处理性能的一个好方法直接运行与数据库端某种程度上讲把批处理的压力转接给了数据库
三编后语
本文探讨了Hibernate的批处理操作出发点都是在提高性能上考虑了也只是提供了提升性能的一个小方面
lishixinzhi/Article/program/Java/ky/201311/28885hibernate批量插入操作
是用循环，最后commit，但是要注意不能一次过循环save10000条数据再commit，因为这样会使Hibernate的一级缓存爆满导致内存溢出的异常，所以每隔100条记录就commit一次吧，Hibernate的二级缓存会决定该什么时候提交以实现批量插入的高效率的。
try{
tx= session.beginTransaction();
for(int i=0;i<=10000;i++)
{
UserInfo u= new UserInfo();
u.setUserName("FuJingZhou");
u.setPassword("123");
session.save(u);
if(i%100||i==10000)
{
tx.commit();
if(i<10000)
tx= session.beginTransaction();
}
}
tx= null;
}
方法大概是这样的，这段代码我没有运行过，你再注意一下结构吧。
mysql怎么设置bulk
adapter.update()批量更新
MySqlBulkLoader,这个是从文件里边到的,有个实现是先将DATATable编程CSV文件,在用MySqlBulkLoader导入MySql
使用多个值表的 INSERT语句或者 LOAD DATA命令，可以大大缩减客户端与数据库之间的连接、语法分析等消耗，使得效率比分开执行的单个 INSERT语句快很多，相关的命令我们会在 SQL优化详细介绍。如果多值的 INSERT或者 LOAD DATA是往一个非空的数据表里增加记录，也可以通过调整 bulk_insert_buffer_size参数来提高数据插入的效率，这个参数设置的是 bulk insert的缓存大小，默认是 8M。
关于bulkupdate到此分享完毕，希望能帮助到您。