| 查看: 1002 | 回复: 16 | ||||
小小坌新虫 (正式写手)
|
[交流]
matlab数据提取速度问题已有7人参与
|
|
情况是这样:从全国站点中提取某个变量日值数据，数据集是每个变量每个月一个txt文件，大小大概是8G，提取一遍一个站点6个变量要3个半小时，太慢了。。。大家有懂的可不可以给我提点建议 发自小木虫Android客户端 |
回复此楼» 猜你喜欢
工材口青年基金上会可能性
已经有9人回复
-
这个博士要读吗
已经有24人回复
-
切削液交流群
已经有4人回复
-
2024国社科通讯评审
已经有44人回复
-
面青地会评时间？？？
已经有7人回复
-
镍负载氧化铝的保存问题
已经有6人回复
-
投稿求助
已经有3人回复
-
希望今年自己国自然面上项目和老婆青年项目能中！
已经有10人回复
-
高校两个offer选择
已经有15人回复
-
刚刚收到科研之友邮件
已经有18人回复
» 本主题相关价值贴推荐，对您同样有帮助:
- comsol livelink with matlab 使用交流
已经有13人回复
- gPROMS v4.0 with Cracked
已经有39人回复
- 计算所2014年度招聘信息
已经有1人回复
- Multiwfn 3.0波函数分析程序的意义、功能与用途
已经有38人回复
- 【转帖】EDA技术软件有哪些
已经有5人回复
小小坌
新虫 (正式写手)
- 应助: 1 (幼儿园)
- 金币: 3176.5
- 散金: 190
- 红花: 3
- 帖子: 304
- 在线: 72.6小时
- 虫号: 4439068
- 注册: 2016-02-26
- 专业: 水文、水资源
2楼2017-10-19 19:32:05
somomo91
专家顾问 (职业作家)
-
专家经验: +3 - 应助: 144 (高中生)
- 金币: 19352.2
- 红花: 115
- 帖子: 3854
- 在线: 1053.2小时
- 虫号: 2399301
- 注册: 2013-04-03
- 专业: 动力学与控制
- 管辖: 计算模拟
★ ★ ★
小木虫: 金币+0.5, 给个红包，谢谢回帖
jjdg: 金币+2, 感谢参与 2017-10-20 08:02:39
小木虫: 金币+0.5, 给个红包，谢谢回帖
jjdg: 金币+2, 感谢参与 2017-10-20 08:02:39
|
好几个问题所在 1. 文件所在分区是 硬盘，还是固态硬盘，或者是网络，读取速度影响非常大，一般来说固态硬盘 400MB，硬盘 60-80MB，网络<10MB 2. 导入数字所用的函数，是 fscan 还是其他的， 3. 数据文件的 数据格式 也会影响读取和转换速度 4. 电脑的内存大小，如果小于 16GB 的话，那有非常大可能，MATLAB 没法利用 连续内存空间（不要和剩余内存空间混淆），这个时候系统会调用硬盘作为缓存，读取速度至少会下降一半 还有，你应该是顺序读取，如果多文件的话，可以考虑并行处理， |
小小坌3楼2017-10-19 22:11:25
ha0451
版主 (知名作家)
- 应助: 12 (小学生)
- 金币: 18645.4
- 散金: 59
- 红花: 33
- 沙发: 1
- 帖子: 6174
- 在线: 628.3小时
- 虫号: 824860
- 注册: 2009-08-09
- 专业: 数论
- 管辖: 文学芳草园
★ ★
小木虫: 金币+0.5, 给个红包，谢谢回帖
jjdg: 金币+1, 感谢参与 2017-10-20 08:03:25
小木虫: 金币+0.5, 给个红包，谢谢回帖
jjdg: 金币+1, 感谢参与 2017-10-20 08:03:25
|
网络数据下载用专门的软件，多线程并行，关键还受制于服务器端的网速，下载速度也就那样子了 发自小木虫Android客户端 |
4楼2017-10-19 22:24:57
mygt_hit
专家顾问 (职业作家)
-
专家经验: +362 - 应助: 438 (硕士)
- 贵宾: 0.019
- 金币: 19498
- 散金: 5130
- 红花: 135
- 沙发: 3
- 帖子: 4925
- 在线: 981.2小时
- 虫号: 1489764
- 注册: 2011-11-13
- 性别: GG
- 专业: 结构工程
- 管辖: 土木建筑
5楼2017-10-20 00:14:19
匿名
用户注销 (职业作家)
Matlab专家
- 应助: 223 (大学生)
- 金币: 2891.3
- 散金: 5302
- 红花: 59
- 沙发: 10
- 帖子: 3308
- 在线: 945小时
- 虫号: 0
- 注册: 2012-05-01
- 性别: GG
- 专业: 力学
6楼2017-10-20 01:38:04
7楼2017-10-20 08:01:30
小小坌
新虫 (正式写手)
- 应助: 1 (幼儿园)
- 金币: 3176.5
- 散金: 190
- 红花: 3
- 帖子: 304
- 在线: 72.6小时
- 虫号: 4439068
- 注册: 2016-02-26
- 专业: 水文、水资源
8楼2017-10-20 09:06:12
小小坌
新虫 (正式写手)
- 应助: 1 (幼儿园)
- 金币: 3176.5
- 散金: 190
- 红花: 3
- 帖子: 304
- 在线: 72.6小时
- 虫号: 4439068
- 注册: 2016-02-26
- 专业: 水文、水资源
9楼2017-10-20 09:27:11
小小坌
新虫 (正式写手)
- 应助: 1 (幼儿园)
- 金币: 3176.5
- 散金: 190
- 红花: 3
- 帖子: 304
- 在线: 72.6小时
- 虫号: 4439068
- 注册: 2016-02-26
- 专业: 水文、水资源
10楼2017-10-20 09:28:03
10