应《网络安全法》要求，自2017年10月1日起，未进行实名认证将不得使用互联网跟帖服务。为保障您的帐号能够正常使用，请尽快对帐号进行手机号验证，感谢您的理解与支持！

24小时热门版块排行榜    

小木虫论坛-学术科研互动平台 » 计算模拟区 » 程序语言 » 数据库 » 求教C#处理sql大量数据的高效率方法
51/1返回列表
查看: 1648  |  回复: 3
只看楼主 @他人 存档 新回复提醒 (忽略) 收藏    在APP中查看
当前只显示满足指定条件的回帖，点击这里查看本话题的所有回帖

spz19901006

新虫 (初入文坛)

[求助] 求教C#处理sql大量数据的高效率方法

请问大家使用C#语言从SQL的数据库中读取80万条数据，并存在字典中，之后要在这个字典中查找相关符合条件的数据，处理datatable的时候速度很慢，请问大家有没有好的方法，前段时间研究了缓存，缓存一般适合于B/S模式，在C/S模式下并不是很适用，另外C#在处理大量数据时，有没有相应的高效的方法，请大家多多指教，谢谢！！
回复此楼

» 猜你喜欢
1楼 2013-12-06 22:06:51
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

第五洋

木虫 (小有名气)

【答案】应助回帖

感谢参与，应助指数 +1
spz19901006: 回帖置顶 2013-12-09 15:30:03
我已经给好多人做过C#调数据库的了。。。

C#数据库速度的瓶颈在于 .open .close这类文件IO的地方。
楼主可以考虑一整张表的话，用select* 全读到一个table里，或者放到datagridview中，
这样一次文件的io，数据就都读到内存里了，
然后写循环在table里大量读取需要的数据条目

如果楼主按照模板，每一个语句都要走一遍数据库的 open close 申请 这些过程，自然会较慢的。

有问题欢迎继续追问
赞一下(2人) 回复此楼
给时光以生命
3楼2013-12-08 08:49:50
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
查看全部 4 个回答

adong76

禁虫 (正式写手)
感谢参与，应助指数 +1
本帖内容被屏蔽
2楼2013-12-07 09:04:04
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

spz19901006

新虫 (初入文坛)
引用回帖:
3楼: Originally posted by 第五洋 at 2013-12-08 08:49:50
我已经给好多人做过C#调数据库的了。。。

C#数据库速度的瓶颈在于 .open .close这类文件IO的地方。
楼主可以考虑一整张表的话，用select* 全读到一个table里，或者放到datagridview中，
这样一次文件的io，数据 ...

80万的数据导入到数据库中差不多是15分钟左右，这个还好，我现在做的一个是程序是，读取文本文件，将文本文件中的有用数据以字典的形式进行存储，字典中的键和值，类型都是字符串，在字典中搜索指定项觉得很慢，请问大家有没有好的解决办法？
赞一下 回复此楼
4楼2013-12-08 15:43:05
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
查看全部 4 个回答
普通表情 龙 兔 虎 猫
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[考研] 一志愿中南化学（0703）总分337求调剂 +7 niko- 2026-03-19 8/400 2026-03-20 21:40 by ChemPharm
[考研] 287求调剂 +6 晨昏线与星海 2026-03-19 7/350 2026-03-20 20:39 by 学员8dgXkO
[考研] 一志愿南昌大学，327分，材料与化工085600 +7 Ncdx123456 2026-03-19 7/350 2026-03-20 20:02 by zhukairuo
[考研] 一志愿吉林大学材料学硕321求调剂 +11 Ymlll 2026-03-18 15/750 2026-03-20 19:40 by 丁丁*
[考研] 工科材料085601 279求调剂 +7 困于星晨 2026-03-17 9/450 2026-03-20 17:38 by 无懈可击111
[考研] 271材料工程求调剂 +7 .6lL 2026-03-18 7/350 2026-03-20 09:10 by xingguangj
[考研] 294求调剂材料与化工专硕 +14 陌の森林 2026-03-18 14/700 2026-03-19 22:38 by 学员8dgXkO
[考研] 梁成伟老师课题组欢迎你的加入 +9 一鸭鸭哟 2026-03-14 11/550 2026-03-19 17:22 by ！本暗一次！
[考研] 266求调剂 +5 阳阳哇塞 2026-03-14 10/500 2026-03-19 15:08 by 阳阳哇塞
[考研] 本科郑州大学物理学院，一志愿华科070200学硕，346求调剂 +4 我不是一根葱 2026-03-18 4/200 2026-03-19 09:11 by 浮云166
[考研] 330求调剂 +3 小材化本科 2026-03-18 3/150 2026-03-18 21:55 by 无懈可击111
[考研] 303求调剂 +4 睿08 2026-03-17 6/300 2026-03-18 11:01 by Iveryant
[考研] 考研求调剂 +3 橘颂. 2026-03-17 4/200 2026-03-17 21:43 by 有只狸奴
[考研] 一志愿苏州大学材料工程（085601）专硕有科研经历三项国奖两个实用型专利一项省级立项 +6 大火山小火山 2026-03-16 8/400 2026-03-17 15:05 by 无懈可击111
[考研] 一志愿，福州大学材料专硕339分求调剂 +3 木子momo青争 2026-03-15 3/150 2026-03-17 07:52 by laoshidan
[考研] 304求调剂 +4 ahbd 2026-03-14 4/200 2026-03-16 16:48 by 我的船我的海
[考研] 070300化学学硕求调剂 +6 太想进步了0608 2026-03-16 6/300 2026-03-16 16:13 by kykm678
[考研] 277材料科学与工程080500求调剂 +3 自由煎饼果子 2026-03-16 3/150 2026-03-16 14:10 by 运气yunqi
[考研] 288求调剂 +4 奇点0314 2026-03-14 4/200 2026-03-14 23:04 by JourneyLucky
[考研] 本科南京大学一志愿川大药学327 +3 麦田耕者 2026-03-14 3/150 2026-03-14 20:04 by 外星文明
信息提示
关闭
请填处理意见
关闭