应《网络安全法》要求，自2017年10月1日起，未进行实名认证将不得使用互联网跟帖服务。为保障您的帐号能够正常使用，请尽快对帐号进行手机号验证，感谢您的理解与支持！

24小时热门版块排行榜    

Znn3bq.jpeg
小木虫论坛-学术科研互动平台 » 计算模拟区 » 程序语言 » 数据库 » 求教C#处理sql大量数据的高效率方法
41/1返回列表
查看: 1662  |  回复: 3
只看楼主 @他人 存档 新回复提醒 (忽略) 收藏    在APP中查看

spz19901006

新虫 (初入文坛)

[求助] 求教C#处理sql大量数据的高效率方法

请问大家使用C#语言从SQL的数据库中读取80万条数据，并存在字典中，之后要在这个字典中查找相关符合条件的数据，处理datatable的时候速度很慢，请问大家有没有好的方法，前段时间研究了缓存，缓存一般适合于B/S模式，在C/S模式下并不是很适用，另外C#在处理大量数据时，有没有相应的高效的方法，请大家多多指教，谢谢！！
回复此楼

» 猜你喜欢
1楼 2013-12-06 22:06:51
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
回帖置顶 ( 共有1个 )

第五洋

木虫 (小有名气)

【答案】应助回帖

感谢参与，应助指数 +1
spz19901006: 回帖置顶 2013-12-09 15:30:03
我已经给好多人做过C#调数据库的了。。。

C#数据库速度的瓶颈在于 .open .close这类文件IO的地方。
楼主可以考虑一整张表的话，用select* 全读到一个table里，或者放到datagridview中，
这样一次文件的io，数据就都读到内存里了，
然后写循环在table里大量读取需要的数据条目

如果楼主按照模板，每一个语句都要走一遍数据库的 open close 申请 这些过程，自然会较慢的。

有问题欢迎继续追问
赞一下(2人) 回复此楼
给时光以生命
3楼2013-12-08 08:49:50
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
普通回帖

adong76

禁虫 (正式写手)
感谢参与，应助指数 +1
本帖内容被屏蔽
2楼2013-12-07 09:04:04
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

spz19901006

新虫 (初入文坛)
引用回帖:
3楼: Originally posted by 第五洋 at 2013-12-08 08:49:50
我已经给好多人做过C#调数据库的了。。。

C#数据库速度的瓶颈在于 .open .close这类文件IO的地方。
楼主可以考虑一整张表的话，用select* 全读到一个table里，或者放到datagridview中，
这样一次文件的io，数据 ...

80万的数据导入到数据库中差不多是15分钟左右，这个还好，我现在做的一个是程序是，读取文本文件，将文本文件中的有用数据以字典的形式进行存储，字典中的键和值，类型都是字符串，在字典中搜索指定项觉得很慢，请问大家有没有好的解决办法？
赞一下 回复此楼
4楼2013-12-08 15:43:05
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 spz19901006 的主题更新
41/1返回列表
普通表情 龙 兔 虎 猫
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[考研] 考研二轮调剂 +5 故人?? 2026-04-09 5/250 2026-04-09 16:44 by 271179835
[考研] 一志愿鲁东大学071000生物学学硕初试分数276求调剂 +18 慕绝cc 2026-04-09 22/1100 2026-04-09 16:34 by xihu1109
[考研] 材料专硕初试分332一志愿西北工业大学， +9 故人?? 2026-04-09 9/450 2026-04-09 16:26 by may_新宇
[考研] 286求调剂 +5 草木不言 2026-04-04 5/250 2026-04-09 16:01 by 探123
[考研] 一志愿211，化学学硕，310分，本科重点双非，求调剂 +14 努力奋斗112 2026-04-04 14/700 2026-04-09 16:00 by 紫翼精灵
[考研] 化学工程与技术专业一志愿哈工程 291分B区 国家级大创负责人 有一作论文 +13 Emmy~ 2026-04-09 13/650 2026-04-09 14:47 by only周
[基金申请] 有爆料，一个青年教师卖房得400万，然后换了一个四青帽子 +6 babu2015 2026-04-08 6/300 2026-04-09 08:14 by kudofaye
[考研] 材料调剂 +14 一样YWY 2026-04-06 14/700 2026-04-08 23:00 by 猪会飞
[考研] 材料334求调剂 +21 Eecho# 2026-04-03 21/1050 2026-04-08 22:55 by 猪会飞
[考研] 302分求调剂 +4 凡语祈愿 2026-04-08 5/250 2026-04-08 22:03 by 土木硕士招生
[考研] 考研求调剂 +4 雯??? 2026-04-08 4/200 2026-04-08 21:44 by 土木硕士招生
[考研] 一志愿南京航空航天大学 材料与化工329分求调剂 +11 Mr. Z 2026-04-05 12/600 2026-04-08 16:15 by luoyongfeng
[考研] 305求调剂 +3 77Qi 2026-04-07 3/150 2026-04-07 23:18 by jp9609
[考研] 复试调剂 +9 春日来信- 2026-04-03 9/450 2026-04-07 15:17 by 尽舜尧1
[论文投稿] Decision: Revise for Editor还会送审吗 100+3 CccccccccFD 2026-04-04 5/250 2026-04-07 10:58 by 北京莱茵润色
[考研] 22408 总分320，一篇论文二作，两个国三，求调剂 +3 Leomulufu 2026-04-04 5/250 2026-04-05 19:04 by chongya
[考研] 求调剂 +6 朔朔话 2026-04-02 7/350 2026-04-04 19:16 by 蓝云思雨
[考研] 材料383求调剂 +5 郭阳阳阳成 2026-04-04 5/250 2026-04-04 19:06 by dongzh2009
[考研] 材料科学与工程考研 +10 拯救皮特托先生 2026-04-02 10/500 2026-04-03 23:57 by userper
[考研] 考研调剂 +3 15615482637 2026-04-03 3/150 2026-04-03 22:50 by ms629
信息提示
关闭
请填处理意见
关闭