应《网络安全法》要求，自2017年10月1日起，未进行实名认证将不得使用互联网跟帖服务。为保障您的帐号能够正常使用，请尽快对帐号进行手机号验证，感谢您的理解与支持！

24小时热门版块排行榜    

小木虫论坛-学术科研互动平台 » 计算模拟区 » 程序语言 » 数据库 » 求教C#处理sql大量数据的高效率方法
41/1返回列表
查看: 1776  |  回复: 3
只看楼主 @他人 存档 新回复提醒 (忽略) 收藏    在APP中查看

spz19901006

新虫 (初入文坛)

[求助] 求教C#处理sql大量数据的高效率方法

请问大家使用C#语言从SQL的数据库中读取80万条数据，并存在字典中，之后要在这个字典中查找相关符合条件的数据，处理datatable的时候速度很慢，请问大家有没有好的方法，前段时间研究了缓存，缓存一般适合于B/S模式，在C/S模式下并不是很适用，另外C#在处理大量数据时，有没有相应的高效的方法，请大家多多指教，谢谢！！
回复此楼

» 猜你喜欢
1楼 2013-12-06 22:06:51
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

adong76

禁虫 (正式写手)
感谢参与，应助指数 +1
本帖内容被屏蔽
2楼2013-12-07 09:04:04
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

第五洋

木虫 (小有名气)

【答案】应助回帖

感谢参与，应助指数 +1
spz19901006: 回帖置顶 2013-12-09 15:30:03
我已经给好多人做过C#调数据库的了。。。

C#数据库速度的瓶颈在于 .open .close这类文件IO的地方。
楼主可以考虑一整张表的话，用select* 全读到一个table里，或者放到datagridview中，
这样一次文件的io，数据就都读到内存里了，
然后写循环在table里大量读取需要的数据条目

如果楼主按照模板，每一个语句都要走一遍数据库的 open close 申请 这些过程，自然会较慢的。

有问题欢迎继续追问
赞一下(2人) 回复此楼
给时光以生命
3楼2013-12-08 08:49:50
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

spz19901006

新虫 (初入文坛)
引用回帖:
3楼: Originally posted by 第五洋 at 2013-12-08 08:49:50
我已经给好多人做过C#调数据库的了。。。

C#数据库速度的瓶颈在于 .open .close这类文件IO的地方。
楼主可以考虑一整张表的话，用select* 全读到一个table里，或者放到datagridview中，
这样一次文件的io，数据 ...

80万的数据导入到数据库中差不多是15分钟左右，这个还好，我现在做的一个是程序是，读取文本文件，将文本文件中的有用数据以字典的形式进行存储，字典中的键和值，类型都是字符串，在字典中搜索指定项觉得很慢，请问大家有没有好的解决办法？
赞一下 回复此楼
4楼2013-12-08 15:43:05
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 spz19901006 的主题更新
41/1返回列表
普通表情 龙 兔 虎 猫
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[基金申请] 让我中一个面上吧！ +8 大萍1987 2026-08-20 10/500 2026-08-20 21:48 by 大萍1987
[基金申请] 科研孤儿太难了 +13 我4大白菜 2026-08-20 14/700 2026-08-20 21:28 by 一碗砂锅米线
[基金申请] 言之凿凿，明天官网会通知放榜？ +15 医学老男孩 2026-08-20 17/850 2026-08-20 20:35 by CaoLG
[基金申请] 今天系统多次维护，明天很可能放榜！ +10 zju2000 2026-08-16 11/550 2026-08-20 20:02 by cl479861084
[基金申请] 时间戳变了，能看出什么问题？ +18 基诺咪客 2026-08-17 23/1150 2026-08-20 17:19 by Godzela
[基金申请] 只有每年这种时候来逛逛小木虫 +21 yaoyewhu2008 2026-08-20 22/1100 2026-08-20 17:03 by yaoyewhu2008
[基金申请] 放榜前的不淡定 40+3 snowwithsea 2026-08-19 12/600 2026-08-20 15:56 by lfy8008
[基金申请] 重要消息，中午系统在维护 +11 yuleib84 2026-08-18 12/600 2026-08-20 11:09 by xskun
[基金申请] 今天基金会出结果吗？20260819 +14 kkkl_v 2026-08-19 15/750 2026-08-20 08:21 by sunzitan
[教师之家] 为什么余额宝的年化利率越来越低？主要原因有哪些？ +5 瞬息宇宙 2026-08-15 5/250 2026-08-19 20:23 by super2002521
[基金申请] 今天放榜没戏了吧 +4 yuleib84 2026-08-19 5/250 2026-08-19 19:52 by hhs666
[基金申请] 今天放榜吗？ +14 布布和一二 2026-08-19 15/750 2026-08-19 18:07 by gltch
[基金申请] filecode=后面第一个是大写字母 +10 wangze12014 2026-08-14 12/600 2026-08-19 16:56 by 苦难博士
[基金申请] 快农历七夕节了，轻松一下，男人悄悄话，女施主请不要进来。 +6 Tide man 2026-08-14 7/350 2026-08-19 09:56 by ZJTJZ
[基金申请] 什么时候开奖？ +6 CrisMessi 2026-08-18 6/300 2026-08-19 08:06 by Equinoxhua
[论文投稿] 投稿咨询 +4 wwm09 2026-08-17 6/300 2026-08-18 15:36 by wwm09
[基金申请] 时间戳又变了8-15 +14 archvillain 2026-08-15 26/1300 2026-08-18 13:37 by phantomgost
[基金申请] 今天维护系统维护 祝所有人 高中 +8 gjjjzhong 2026-08-18 9/450 2026-08-18 13:01 by 家与远方
[基金申请] 93BebMhtakh前后11位开头都是大写 +4 且听虎啸 2026-08-17 5/250 2026-08-18 00:49 by 蔡棒棒菂
[基金申请] 感觉是下周放榜了 +6 angus9576 2026-08-17 11/550 2026-08-17 23:57 by angus9576
信息提示
关闭
请填处理意见
关闭