24小时热门版块排行榜    

查看: 996  |  回复: 16
当前只显示满足指定条件的回帖,点击这里查看本话题的所有回帖

小小坌

新虫 (正式写手)

[交流] matlab数据提取速度问题已有7人参与

情况是这样:从全国站点中提取某个变量日值数据,数据集是每个变量每个月一个txt文件,大小大概是8G,提取一遍一个站点6个变量要3个半小时,太慢了。。。大家有懂的可不可以给我提点建议

发自小木虫Android客户端
回复此楼
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

小小坌

新虫 (正式写手)

引用回帖:
4楼: Originally posted by ha0451 at 2017-10-19 22:24:57
网络数据下载用专门的软件,多线程并行,关键还受制于服务器端的网速,下载速度也就那样子了

我不是下载出问题,提取过程太慢太卡而已

发自小木虫Android客户端
8楼2017-10-20 09:06:12
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
查看全部 17 个回答

小小坌

新虫 (正式写手)

2楼2017-10-19 19:32:05
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

somomo91

专家顾问 (职业作家)

★ ★ ★
小木虫: 金币+0.5, 给个红包,谢谢回帖
jjdg: 金币+2, 感谢参与 2017-10-20 08:02:39
好几个问题所在
1. 文件所在分区是 硬盘,还是固态硬盘,或者是网络,读取速度影响非常大,一般来说固态硬盘 400MB,硬盘 60-80MB,网络<10MB
2. 导入数字所用的函数,是 fscan 还是其他的,
3. 数据文件的 数据格式 也会影响读取和转换速度
4. 电脑的内存大小,如果小于 16GB 的话,那有非常大可能,MATLAB 没法利用 连续内存空间(不要和剩余内存空间混淆),这个时候系统会调用硬盘作为缓存,读取速度至少会下降一半

还有,你应该是顺序读取,如果多文件的话,可以考虑并行处理,

» 本帖已获得的红花(最新10朵)

3楼2017-10-19 22:11:25
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

ha0451

版主 (知名作家)

★ ★
小木虫: 金币+0.5, 给个红包,谢谢回帖
jjdg: 金币+1, 感谢参与 2017-10-20 08:03:25
网络数据下载用专门的软件,多线程并行,关键还受制于服务器端的网速,下载速度也就那样子了

发自小木虫Android客户端
不忘初心,努力前行!
4楼2017-10-19 22:24:57
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[找工作] 杭电、天津科技、青农和宁波工程学院如何选? +11 味道很好啊 2024-06-13 21/1050 2024-06-16 13:57 by wanglongzh
[博后之家] 山东大学(青岛)“天然药物生物智造”课题组 招聘“博士后”(年薪20.4-55.6万元) +5 第二种态度 2024-06-11 8/400 2024-06-16 10:14 by 午睡未进行
[论文投稿] 投稿被一个审稿人恶意评审了怎么样? +5 1chen 2024-06-14 7/350 2024-06-15 23:15 by xy66xy
[基金申请] 关于博后基金的bug问题 +6 lxr1991 2024-06-14 9/450 2024-06-15 21:17 by since—2010
[教师之家] 饶议:什么制度能保障大学普通教师不用为领导拎包,不用看领导脸色 +8 zju2000 2024-06-12 14/700 2024-06-15 13:59 by chemhua
[论文投稿] 投稿时忘记修改一作 +7 gll123456 2024-06-13 11/550 2024-06-15 11:49 by gll123456
[论文投稿] 求机械类四区sci推荐 5+3 迷茫小旷 2024-06-14 4/200 2024-06-15 11:25 by bobvan
[论文投稿] 审稿问题:为什么荧光激发波长和紫外吸收波长差的大? 10+4 sdawege 2024-06-14 8/400 2024-06-14 22:39 by 东北读书人
[考研] 物理化学一对一辅导 +3 林大diao 2024-06-12 5/250 2024-06-14 20:57 by 林大diao
[基金申请] 博士后基金需要结题吗? +8 zhouchuck 2024-06-13 8/400 2024-06-14 17:27 by liuyupu132
[有机交流] ππ堆积会发生在有机溶剂中吗 5+3 zibuyu0420 2024-06-13 4/200 2024-06-14 14:17 by 小肉干
[基金申请] 75批博后基金 +10 kyukitu 2024-06-13 13/650 2024-06-14 10:31 by kyukitu
[论文投稿] ACS Nano投稿后分配到副编辑手里12天了,能确定送审了吗? +5 潇洒怡惜 2024-06-12 10/500 2024-06-14 09:56 by 潇洒怡惜
[论文投稿] 最近写了一篇控制优化领域的文章,可以投哪里啊?有没有水一些的期刊推荐 +7 香瓜木香 2024-06-12 13/650 2024-06-14 07:05 by 香瓜木香
[基金申请] 工材E10口函评结束了吗 10+3 我1的飞翔 2024-06-13 5/250 2024-06-14 06:35 by nono2009
[有机交流] 旋蒸请教 +6 办公室摸鱼 2024-06-09 9/450 2024-06-13 21:31 by wuxiaominggo
[硕博家园] 科研求助 +5 杲www 2024-06-12 6/300 2024-06-13 16:16 by 姓李名明
[考博] 博导选择 +3 bing85977 2024-06-12 3/150 2024-06-13 15:34 by 我是邱尧
[有机交流] 原料反应完了,怎么知道是产物还是中间体 +6 小胡在努力 2024-06-11 8/400 2024-06-13 13:33 by 091602
[论文投稿] 摩擦磨损论文投稿 +3 jmysan 2024-06-12 3/150 2024-06-13 08:36 by 莱茵润色
信息提示
请填处理意见