24小时热门版块排行榜    

查看: 991  |  回复: 16
当前只显示满足指定条件的回帖,点击这里查看本话题的所有回帖

小小坌

新虫 (正式写手)

[交流] matlab数据提取速度问题已有7人参与

情况是这样:从全国站点中提取某个变量日值数据,数据集是每个变量每个月一个txt文件,大小大概是8G,提取一遍一个站点6个变量要3个半小时,太慢了。。。大家有懂的可不可以给我提点建议

发自小木虫Android客户端
回复此楼
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

mygt_hit

专家顾问 (职业作家)

★ ★
小木虫: 金币+0.5, 给个红包,谢谢回帖
jjdg: 金币+1, 感谢参与 2017-10-20 08:03:56
不行就换其他语言吧,比如python

发自小木虫Android客户端
知其然,知其所以然。
5楼2017-10-20 00:14:19
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
查看全部 17 个回答

小小坌

新虫 (正式写手)

2楼2017-10-19 19:32:05
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

somomo91

专家顾问 (职业作家)

★ ★ ★
小木虫: 金币+0.5, 给个红包,谢谢回帖
jjdg: 金币+2, 感谢参与 2017-10-20 08:02:39
好几个问题所在
1. 文件所在分区是 硬盘,还是固态硬盘,或者是网络,读取速度影响非常大,一般来说固态硬盘 400MB,硬盘 60-80MB,网络<10MB
2. 导入数字所用的函数,是 fscan 还是其他的,
3. 数据文件的 数据格式 也会影响读取和转换速度
4. 电脑的内存大小,如果小于 16GB 的话,那有非常大可能,MATLAB 没法利用 连续内存空间(不要和剩余内存空间混淆),这个时候系统会调用硬盘作为缓存,读取速度至少会下降一半

还有,你应该是顺序读取,如果多文件的话,可以考虑并行处理,

» 本帖已获得的红花(最新10朵)

3楼2017-10-19 22:11:25
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

ha0451

版主 (知名作家)

★ ★
小木虫: 金币+0.5, 给个红包,谢谢回帖
jjdg: 金币+1, 感谢参与 2017-10-20 08:03:25
网络数据下载用专门的软件,多线程并行,关键还受制于服务器端的网速,下载速度也就那样子了

发自小木虫Android客户端
不忘初心,努力前行!
4楼2017-10-19 22:24:57
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[博后之家] 山东大学(青岛)“天然药物生物智造”课题组 招聘“博士后”(年薪20.4-55.6万元) +5 第二种态度 2024-06-11 8/400 2024-06-16 10:14 by 午睡未进行
[考博] 2025考博 +5 自强不息a?a 2024-06-15 7/350 2024-06-16 10:07 by wang333666
[有机交流] 车间生产,真空度很高,温度很高,但减压蒸馏速度很慢。 10+12 召唤鬼泣lL 2024-06-13 36/1800 2024-06-16 09:20 by ddc805
[找工作] 江西双非一本和四川双一流高校如何选择? 5+7 寒山敲钟 2024-06-12 23/1150 2024-06-16 06:52 by puterde
[论文投稿] 投稿被一个审稿人恶意评审了怎么样? +5 1chen 2024-06-14 7/350 2024-06-15 23:15 by xy66xy
[论文投稿] 审稿人含糊拒稿,还需要回复吗?如何回复? 20+3 BruceChum 2024-06-15 17/850 2024-06-15 20:19 by arthas_007
[教师之家] 我们学院常年位居 各学院 倒数第二。专业撤销的话,在编者有什么补偿? +13 河西夜郎 2024-06-09 14/700 2024-06-15 19:44 by LittleBush
[硕博家园] 博士毕业高校和就业的相关问题 +4 SCITOPPP 2024-06-14 6/300 2024-06-15 18:54 by SCITOPPP
[基金申请] BO4的YQ答辩通知发布了吗? +6 博学笃行 2024-06-11 6/300 2024-06-15 16:04 by 悲催科研狗
[基金申请] 为什么我的博后基金还在流动站审核中?不会是学院给我卡了吧? +14 王凯12 2024-06-13 26/1300 2024-06-15 15:22 by 好人与坏人
[基金申请] 博后基金,以往的结果点不开,怎么回事呢?最后一次机会了,两次都没中前面。 +7 kyukitu 2024-06-14 13/650 2024-06-15 06:46 by 我是王小帅
[基金申请] 博士后基金需要结题吗? +8 zhouchuck 2024-06-13 8/400 2024-06-14 17:27 by liuyupu132
[硕博家园] 关于硕博连读的一些疑问? +4 Lwenter 2024-06-14 4/200 2024-06-14 14:32 by ou0551
[有机交流] ππ堆积会发生在有机溶剂中吗 5+3 zibuyu0420 2024-06-13 4/200 2024-06-14 14:17 by 小肉干
[论文投稿] 投稿kbs被拒后,系统提供的推荐的其他期刊有用吗? +3 chenrui2015 2024-06-10 3/150 2024-06-14 10:30 by Tr.sjx1997
[考博] 还能读上博士吗 +14 小伙走起 2024-06-09 24/1200 2024-06-14 06:32 by 18787065176
[硕博家园] 科研求助 +5 杲www 2024-06-12 6/300 2024-06-13 16:16 by 姓李名明
[论文投稿] with editor日期变更 +3 慎独的小花卷 2024-06-12 8/400 2024-06-13 11:00 by 慎独的小花卷
[硕博家园] 求助 +6 LYWwrz 2024-06-09 9/450 2024-06-11 13:12 by powerhours
[教师之家] 公办双非,学生论文升学就业都不行。一本大学的论文升学就业没问题吧? +5 河西夜郎 2024-06-09 5/250 2024-06-10 17:59 by yyallen2003
信息提示
请填处理意见