24小时热门版块排行榜    

查看: 995  |  回复: 16
当前只显示满足指定条件的回帖,点击这里查看本话题的所有回帖

小小坌

新虫 (正式写手)

[交流] matlab数据提取速度问题已有7人参与

情况是这样:从全国站点中提取某个变量日值数据,数据集是每个变量每个月一个txt文件,大小大概是8G,提取一遍一个站点6个变量要3个半小时,太慢了。。。大家有懂的可不可以给我提点建议

发自小木虫Android客户端
回复此楼
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

ha0451

版主 (知名作家)

★ ★
小木虫: 金币+0.5, 给个红包,谢谢回帖
jjdg: 金币+1, 感谢参与 2017-10-20 08:03:25
网络数据下载用专门的软件,多线程并行,关键还受制于服务器端的网速,下载速度也就那样子了

发自小木虫Android客户端
不忘初心,努力前行!
4楼2017-10-19 22:24:57
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
查看全部 17 个回答

小小坌

新虫 (正式写手)

2楼2017-10-19 19:32:05
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

somomo91

专家顾问 (职业作家)

★ ★ ★
小木虫: 金币+0.5, 给个红包,谢谢回帖
jjdg: 金币+2, 感谢参与 2017-10-20 08:02:39
好几个问题所在
1. 文件所在分区是 硬盘,还是固态硬盘,或者是网络,读取速度影响非常大,一般来说固态硬盘 400MB,硬盘 60-80MB,网络<10MB
2. 导入数字所用的函数,是 fscan 还是其他的,
3. 数据文件的 数据格式 也会影响读取和转换速度
4. 电脑的内存大小,如果小于 16GB 的话,那有非常大可能,MATLAB 没法利用 连续内存空间(不要和剩余内存空间混淆),这个时候系统会调用硬盘作为缓存,读取速度至少会下降一半

还有,你应该是顺序读取,如果多文件的话,可以考虑并行处理,

» 本帖已获得的红花(最新10朵)

3楼2017-10-19 22:11:25
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

mygt_hit

专家顾问 (职业作家)

★ ★
小木虫: 金币+0.5, 给个红包,谢谢回帖
jjdg: 金币+1, 感谢参与 2017-10-20 08:03:56
不行就换其他语言吧,比如python

发自小木虫Android客户端
知其然,知其所以然。
5楼2017-10-20 00:14:19
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[找工作] 初始合伙人来啦!(生物试剂耗材标准品) +6 欢快的小科研人 2024-06-15 11/550 2024-06-16 12:34 by 超级老快
[基金申请] 博后基金,博管会会提前知道消息吗? +4 yuyiang 2024-06-13 4/200 2024-06-16 11:40 by yangyuzhong4
[找工作] 成都产品质量检测研究院 200+3 鲸鱼663 2024-06-11 9/450 2024-06-16 10:08 by SNaiL1995
[考博] 希望能25博士入学,可提前一年做科研助理 +5 干饭版小太阳 2024-06-09 9/450 2024-06-16 09:56 by wanghaiyu
[教师之家] 关于2023的收入 +33 小龙虾2008 2024-06-10 34/1700 2024-06-15 23:01 by zeolitess
[论文投稿] 审稿人含糊拒稿,还需要回复吗?如何回复? 20+3 BruceChum 2024-06-15 17/850 2024-06-15 20:19 by arthas_007
[硕博家园] 博士毕业高校和就业的相关问题 +4 SCITOPPP 2024-06-14 6/300 2024-06-15 18:54 by SCITOPPP
[论文投稿] 投稿时忘记修改一作 +7 gll123456 2024-06-13 11/550 2024-06-15 11:49 by gll123456
[论文投稿] 求机械类四区sci推荐 5+3 迷茫小旷 2024-06-14 4/200 2024-06-15 11:25 by bobvan
[基金申请] 博后基金,以往的结果点不开,怎么回事呢?最后一次机会了,两次都没中前面。 +7 kyukitu 2024-06-14 13/650 2024-06-15 06:46 by 我是王小帅
[基金申请] 博士后基金需要结题吗? +8 zhouchuck 2024-06-13 8/400 2024-06-14 17:27 by liuyupu132
[基金申请] 工材E口JQ有消息了吗 +4 babyduck 2024-06-11 4/200 2024-06-14 17:23 by firepick
[有机交流] ππ堆积会发生在有机溶剂中吗 5+3 zibuyu0420 2024-06-13 4/200 2024-06-14 14:17 by 小肉干
[论文投稿] ACS Nano投稿后分配到副编辑手里12天了,能确定送审了吗? +5 潇洒怡惜 2024-06-12 10/500 2024-06-14 09:56 by 潇洒怡惜
[论文投稿] 最近写了一篇控制优化领域的文章,可以投哪里啊?有没有水一些的期刊推荐 +7 香瓜木香 2024-06-12 13/650 2024-06-14 07:05 by 香瓜木香
[论文投稿] 文章proof要求使用机构的邮箱 5+3 不可不信缘 2024-06-11 11/550 2024-06-14 07:00 by 3001160025
[考博] 还能读上博士吗 +14 小伙走起 2024-06-09 24/1200 2024-06-14 06:32 by 18787065176
[基金申请] 连续两年医学口青年项目初审体会 +11 进击的荣耀 2024-06-09 18/900 2024-06-13 17:27 by 进击的荣耀
[硕博家园] 考博应该从哪里开始准备 +6 亮姐2019 2024-06-11 8/400 2024-06-13 12:53 by 帕秋莉GO
[论文投稿] 摩擦磨损论文投稿 +3 jmysan 2024-06-12 3/150 2024-06-13 08:36 by 莱茵润色
信息提示
请填处理意见