24小时热门版块排行榜    

查看: 1855  |  回复: 3

spz19901006

新虫 (初入文坛)

[求助] 求教C#处理sql大量数据的高效率方法

请问大家使用C#语言从SQL的数据库中读取80万条数据,并存在字典中,之后要在这个字典中查找相关符合条件的数据,处理datatable的时候速度很慢,请问大家有没有好的方法,前段时间研究了缓存,缓存一般适合于B/S模式,在C/S模式下并不是很适用,另外C#在处理大量数据时,有没有相应的高效的方法,请大家多多指教,谢谢!!
回复此楼
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

adong76

禁虫 (正式写手)

感谢参与,应助指数 +1
本帖内容被屏蔽

2楼2013-12-07 09:04:04
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

第五洋

木虫 (小有名气)

【答案】应助回帖

感谢参与,应助指数 +1
spz19901006: 回帖置顶 2013-12-09 15:30:03
我已经给好多人做过C#调数据库的了。。。

C#数据库速度的瓶颈在于 .open .close这类文件IO的地方。
楼主可以考虑一整张表的话,用select* 全读到一个table里,或者放到datagridview中,
这样一次文件的io,数据就都读到内存里了,
然后写循环在table里大量读取需要的数据条目

如果楼主按照模板,每一个语句都要走一遍数据库的 open close 申请 这些过程,自然会较慢的。

有问题欢迎继续追问
给时光以生命
3楼2013-12-08 08:49:50
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

spz19901006

新虫 (初入文坛)

引用回帖:
3楼: Originally posted by 第五洋 at 2013-12-08 08:49:50
我已经给好多人做过C#调数据库的了。。。

C#数据库速度的瓶颈在于 .open .close这类文件IO的地方。
楼主可以考虑一整张表的话,用select* 全读到一个table里,或者放到datagridview中,
这样一次文件的io,数据 ...

80万的数据导入到数据库中差不多是15分钟左右,这个还好,我现在做的一个是程序是,读取文本文件,将文本文件中的有用数据以字典的形式进行存储,字典中的键和值,类型都是字符串,在字典中搜索指定项觉得很慢,请问大家有没有好的解决办法?
4楼2013-12-08 15:43:05
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 spz19901006 的主题更新
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[教师之家] 为了不被淘汰,必须要开始第三次奋斗了 +8 lice_1987 2026-11-15 11/550 2026-11-19 21:32 by lice_1987
[硕博家园] 售SCI文章,我:8O5.5.1.O.54,科目齐全,可+急 +5 XJXMuRjD7cK7 2026-11-13 5/250 2026-11-19 17:19 by Equinoxhua
[考博] 售SCI文章,我:8O.5.5.1O.54,科目全,可十急 +4 SX5mJmPWDfOO 2026-11-13 4/200 2026-11-19 17:15 by Equinoxhua
[教师之家] 征友后感触 +6 重新启 2026-11-17 7/350 2026-11-19 08:12 by m_zyj
[论文投稿] 售SCI一区文章,我:8.O.551.O.5.4,科目全,可伽急 +5 XJXMuRjD7cK7 2026-11-13 5/250 2026-11-19 00:17 by Equinoxhua
[考博] 27博士申请(市政/环境) +4 ladf 2026-11-12 4/200 2026-11-18 20:18 by junqiang
[找工作] 售SCI一区T0P文章,我:8.O.55.1.O54,科目全,可伽急 +3 SX5mJmPWDfOO 2026-11-13 3/150 2026-11-18 14:51 by UPDUsNlULsJZ
[硕博家园] 售SCI文章,我:8O5.5.1.O.54,科目齐全,可+急 +5 SX5mJmPWDfOO 2026-11-13 6/300 2026-11-18 13:33 by UPDUsNlULsJZ
[考博] 售一区SCI文章T0P,我:8O.551.O54,科目全,可十急 +5 XJXMuRjD7cK7 2026-11-13 5/250 2026-11-18 13:22 by UPDUsNlULsJZ
[论文投稿] 售一区SCI文章T0P,我:8O.551.O54,科目全,可十急 +5 XJXMuRjD7cK7 2026-11-13 5/250 2026-11-18 11:43 by Z1pODz48hoDV
[硕博家园] 售SCI一区文章,我:8.O.551.O.5.4,科目全,可伽急 +5 XJXMuRjD7cK7 2026-11-13 5/250 2026-11-18 11:32 by Z1pODz48hoDV
[考研] 售SCI一区文章,我:8.O.55.1.O.54,科目齐全,可伽急 +4 uKOSCocCb6Fm 2026-11-13 4/200 2026-11-18 11:21 by Z1pODz48hoDV
[考博] 售SCI一区T0P文章,我:8.O.55.1.O.5.4,科目全,可+急 +4 uKOSCocCb6Fm 2026-11-13 4/200 2026-11-18 10:37 by Z1pODz48hoDV
[论文投稿] 售SCI一区T0P文章,我:8O.55.1.O.5.4,科目齐全,可+急 +3 uKOSCocCb6Fm 2026-11-13 4/200 2026-11-18 10:04 by Z1pODz48hoDV
[公派出国] 售SCI文章,我:8O5.5.1.O.54,科目齐全,可+急 +4 uKOSCocCb6Fm 2026-11-12 8/400 2026-11-18 09:53 by Z1pODz48hoDV
[论文投稿] 售SCI-T0P文章,我:8O.5.5.1.O.54,科目齐全,可+急 +5 uKOSCocCb6Fm 2026-11-12 8/400 2026-11-18 09:20 by Z1pODz48hoDV
[硕博家园] 售一区SCI文章T0P,我:8O.551.O54,科目全,可十急 +4 uKOSCocCb6Fm 2026-11-12 7/350 2026-11-18 09:09 by Z1pODz48hoDV
[考博] 27年药学 考博申请 +4 。12345 2026-11-14 5/250 2026-11-16 19:52 by 0611517sll
[公派出国] 售SCI一区文章,我:8.O.55.1.O.54,科目齐全,可伽急 +4 uKOSCocCb6Fm 2026-11-13 4/200 2026-11-16 10:44 by K7HMGGdOpylw
[公派出国] 售一区SCI文章T0P,我:8O.551.O54,科目全,可十急 +3 SX5mJmPWDfOO 2026-11-13 3/150 2026-11-15 08:29 by xSrQNSSjcgoX
信息提示
请填处理意见