c#读取文本文件,有几万行数据,读出来然后存到数据库,怎么提高读取效率和存储效率

2024-12-17 11:04:43
推荐回答(3个)
回答1:

思路:
可以用流来读取,并且每次读取二十条数据,存入缓存中buff,然后把这二十条数据清空,再读后面的数据以此类推,读完之后把缓存中的数据,一并写入到数据库中,你也可以在读取的时候把数据设大一点

回答2:

如果是sql server的话,用file.readallline一次读入所有行,然后读取数据库目标表的结构到datatable里,然后循环将读入的行装入这个datatable,用sqlbulkcopy复制到目标表上去。

回答3:

可以提供你的代码看看么 尤其是读取数据和插入数据那块
也许对内存的控制有问题 否则不会越来越慢
几万行说多也不多 应该不至于特别慢