.NET 数据库大数据方案(插入、更新、删除、查询 、批量插入、插入或更新)

功能介绍

海量数据操作 ORM 性能瓶颈在实体转换上面,并且不能使用常规的 Sql 去实现

当列越多转换越慢,SqlSugar 将转换性能做到极致,并且采用数据库最佳 API

操作数据库达到极限性能,当然你如果不用 sqlsugar 了解一下原理也可以使用其他 ORM 实现

BulkCopy

BulkCopy 是一种用于高效批量插入大量数据到数据库的技术。其原理是利用数据库系统提供的高性能数据导入接口,将数据以批量的方式一次性写入数据库,而不是逐条插入。这种方法比逐条插入要快得多,因为减少了数据库操作的次数,从而降低了系统开销

db.Fastest<DC_Scene>().BulkCopy(lstData);
db.Fastest<Order>().PageSize(100000).BulkCopy(insertObjs);
//Winfom 中要用 Task.Run 底层是异步实现

 

BulkUpdate

使用 BulkCopy 将大量数据快速导入临时表中。然后,通过表与表之间的高效操作(如 UPDATE 语句)进行数据更新,而不是逐条处理。这种方法降低了数据库操作的频率,减少了系统开销,从而提高了更新效率。最后,及时清理临时表,确保数据的一致性和数据库性能的稳定性。这种策略在大规模数据更新时能够显著提升性能和效率

db.Fastest<RealmAuctionDatum>().BulkUpdate(GetList())//更新
db.Fastest<RealmAuctionDatum>().PageSize(100000).BulkUpdate(GetList())//更新
//Winfom 中要用 Task.Run 底层是异步实现 

 

BulkMerge (5.1.4.109)

大数据 :插入或者更新

原理 Oracle 和 SqlServer 使用了 Merge Into+BulkCopy ,其他库使用分页+BulkCopy +查询验证

db.Fastest<Order>().BulkMerge(List);
db.Fastest<Order>().PageSize(100000).BulkMerge(List);
//Winfom 中要用 Task.Run 底层是异步实现

 

使用 BulkCopy 将需要更新的数据批量导入到临时表(或者使用临时内存表)中。

使用 MERGE INTO 语句将临时表中的数据与目标表进行比较和合并。根据需要更新的条件,判断是否执行更新操作,同时可以在 MERGE INTO 语句中指定需要更新的列。通过一次性的批量操作,实现了大规模数据的高效更新,减少了数据库操作的次数,提高了性能。

这种方法结合了数据库的批量导入和灵活的条件更新,适用于需要处理大规模数据更新的场景,提供了高效、快速的数据更新解决方案。

BulkQuery

纯手工指定映射+Emit 绑定防止类型冲突引起的装拆和拆箱并且预热后达到原生水准

db.Queryable<Order>().ToList(); 
//分页降低内存 适合复杂的 DTO 转换和导出
List<Order> order = new List<Order>(); 
db.Queryable<Order>().ForEach(it=> { order.Add(it); /*禁止这儿操作数据库因为会循环*/} ,2000);

 

BulkDelete

删除操作慢的原因包括事务处理、索引更新、并发锁定、数据量大、触发器和硬件性能等。为提高性能,可分批次删除。

db.Deleteable<Order>(list).PageSize(1000).ExecuteCommand();

 

Select INTO

表和表之间的导入,如果在同一个库中并且表已存在性能比 bulkcopy 要快些

Select INTO
表和表之间的导入
//例 1:不同实体插入 Select Into
db.Queryable<Order>()
 //.IgnoreColumns(it=>it.Id) 如果是自增可以忽略,不过 ID 就不一样了  
 .Select(it=>new { name=it.name,......})           
 .IntoTable<实体 2>();
    
//例 2: 同实体不同表插入   
db.Queryable<Order>()
 //.IgnoreColumns(it=>it.Id) 如果是自增可以忽略,不过 ID 就不一样了
.IntoTable<Order>("新表名");

 

SqlBulkCopy 类

(在.NET 中提供的用于高性能批量操作数据的类)结合 ORM 框架进行大数据插入和更新。结合 SqlBulkCopy 进行大数据处理可以提供更高的性能,下面是一些优化原则和最佳实践:

1、使用事务

将 SqlBulkCopy 操作放在一个数据库事务中。这样,如果插入或更新过程中发生错误,你可以回滚整个操作,确保数据的一致性。

2、调整 BatchSize

BatchSize 表示每个批次中的行数。根据数据库性能和网络带宽,调整批次大小以提高性能。通常情况下,使用合理的批次大小可以最大限度地减少数据库的往返次数,提高性能。

BulkCopyTimeout 表示超时时间(以秒为单位),如果在指定的时间内操作没有完成,操作将被中断。根据数据量的大小和网络条件,调整超时时间。

3、使用临时表

有时,将数据先插入到一个临时表中,然后执行 SQL 语句将数据从临时表复制到目标表,这种方法也可以提高性能。这是因为临时表可以不受约束和索引的影响,插入速度更快。

4、注意内存使用

在进行大数据操作时,需要注意内存的使用情况,以防止内存溢出。可以考虑分批次处理数据,避免一次性加载大量数据到内存中。综上所述,结合使用 SqlBulkCopy 和 ORM 框架时,通过调整参数、合理使用事务、关闭索引和约束等方式,可以最大限度地提高大数据插入和更新的性能。

© 版权声明

☆ END ☆
喜欢就点个赞吧
点赞0 分享
图片正在生成中,请稍后...