24小时热门版块排行榜    

查看: 1000  |  回复: 16
当前只显示满足指定条件的回帖,点击这里查看本话题的所有回帖

小小坌

新虫 (正式写手)

[交流] matlab数据提取速度问题已有7人参与

情况是这样:从全国站点中提取某个变量日值数据,数据集是每个变量每个月一个txt文件,大小大概是8G,提取一遍一个站点6个变量要3个半小时,太慢了。。。大家有懂的可不可以给我提点建议

发自小木虫Android客户端
回复此楼

» 猜你喜欢

» 本主题相关价值贴推荐,对您同样有帮助:

已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

小小坌

新虫 (正式写手)

2楼2017-10-19 19:32:05
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

小小坌

新虫 (正式写手)

引用回帖:
4楼: Originally posted by ha0451 at 2017-10-19 22:24:57
网络数据下载用专门的软件,多线程并行,关键还受制于服务器端的网速,下载速度也就那样子了

我不是下载出问题,提取过程太慢太卡而已

发自小木虫Android客户端
8楼2017-10-20 09:06:12
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

小小坌

新虫 (正式写手)

送红花一朵
引用回帖:
3楼: Originally posted by somomo91 at 2017-10-19 22:11:25
好几个问题所在
1. 文件所在分区是 硬盘,还是固态硬盘,或者是网络,读取速度影响非常大,一般来说固态硬盘 400MB,硬盘 60-80MB,网络<10MB
2. 导入数字所用的函数,是 fscan 还是其他的,
3. 数据文件 ...

这么复杂

发自小木虫Android客户端
9楼2017-10-20 09:27:11
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

小小坌

新虫 (正式写手)

送红花一朵
引用回帖:
6楼: Originally posted by yanze at 2017-10-20 01:38:04
你不会用的循环吧?那样还不如用c语言写个脚本。Matlab要用向量语句,还可以加入索引文件。你的问题太抽象无法给出具体建议

哦哦,问题太具体不便放上来

发自小木虫Android客户端
10楼2017-10-20 09:28:03
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

小小坌

新虫 (正式写手)

送红花一朵
引用回帖:
3楼: Originally posted by somomo91 at 2017-10-19 22:11:25
好几个问题所在
1. 文件所在分区是 硬盘,还是固态硬盘,或者是网络,读取速度影响非常大,一般来说固态硬盘 400MB,硬盘 60-80MB,网络<10MB
2. 导入数字所用的函数,是 fscan 还是其他的,
3. 数据文件 ...

你好,请问可以指导一下吗?我用了并行计算,但语法错误,求加企鹅

发自小木虫Android客户端
12楼2017-10-20 20:08:28
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

小小坌

新虫 (正式写手)

送红花一朵
引用回帖:
11楼: Originally posted by ha0451 at 2017-10-20 11:14:02
是十六进制文本的话,用fscanf读取,涉及进展转换的,用typecast转换为uint16格式,参考
fid = fopen(文件名);
b = uint8(fscanf(fid,'%x%x%*x%*x%*x%*x%*x%*x%*x%*x'));
fclose(fid);
d = typecast(b,'uint16' ...

是普通10进制的数据

发自小木虫Android客户端
13楼2017-10-20 20:12:16
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

小小坌

新虫 (正式写手)

送红花一朵
引用回帖:
15楼: Originally posted by duhb655 at 2017-10-25 09:54:21
给你建议:我知道你说的情况,因为我处理过,一样的数据。编个程序把所有的数据读进去每个站点数据存为一个cell,全国的数据可用存成一个cell。存成mat格式就行,这样做完以后你想做啥怎么做都很快,意思就是一个数 ...

谢谢

发自小木虫Android客户端
17楼2017-10-25 15:22:00
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 小小坌 的主题更新
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[论文投稿] 投稿求助 6+3 小短腿安琪拉 2024-06-19 3/150 2024-06-20 08:59 by nono2009
[基金申请] 希望今年自己国自然面上项目和老婆青年项目能中! +10 恐龙爸爸 2024-06-14 10/500 2024-06-20 08:42 by jsguo4127
[基金申请] 刚刚收到科研之友邮件 +14 olivermiaoer 2024-06-19 18/900 2024-06-20 08:33 by olivermiaoer
[论文投稿] 有化学投稿的期刊推荐吗 20+3 荣小撇 2024-06-13 4/200 2024-06-20 08:24 by 1975632963
[考博] 2025年博士申请,可先做科研助理 +3 limit888 2024-06-18 6/300 2024-06-20 02:43 by limit888
[文学芳草园] 累并快乐着 +20 MYHLD521 2024-06-14 20/1000 2024-06-19 23:04 by tentoone
[基金申请] F口信息学部拿面上,大概需要什么样的成果 +7 _奋黎_ 2024-06-16 18/900 2024-06-19 20:02 by _奋黎_
[考博] 关于读博感觉自己很抓马 +8 小九月 2024-06-19 11/550 2024-06-19 19:22 by 鱼翔浅底1
[基金申请] 面上博士后 +3 jsqy 2024-06-19 3/150 2024-06-19 17:58 by bxwisdom_886
[基金申请] 基金得中 +4 woaini0218 2024-06-18 4/200 2024-06-19 17:27 by mengzl
[基金申请] Nature 11日发文,中国著名学者们称造假迫不得已 +8 babu2015 2024-06-14 8/400 2024-06-19 15:25 by 风今25
[基金申请] 博后基金刷到的BUG,图片来的更直观 +15 carolloo 2024-06-17 16/800 2024-06-19 09:42 by msjy
[精细化工] 试剂价格 +4 旭必上岸 2024-06-17 4/200 2024-06-18 23:58 by 又幂青松顶
[教师之家] 请问事业编制和年薪制冲突吗? +12 ZHONGWU_U 2024-06-14 12/600 2024-06-18 19:31 by fangyl2005
[基金申请] 太卷了 +13 laoyuefubio 2024-06-17 26/1300 2024-06-18 10:56 by shuigubio
[论文投稿] 投稿被一个审稿人恶意评审了怎么样? +5 1chen 2024-06-14 7/350 2024-06-15 23:15 by xy66xy
[论文投稿] 投稿时忘记修改一作 +7 gll123456 2024-06-13 11/550 2024-06-15 11:49 by gll123456
[基金申请] 博士后基金需要结题吗? +8 zhouchuck 2024-06-13 8/400 2024-06-14 17:27 by liuyupu132
[基金申请] 国自然基金公布的时候基金号有吗 +8 潇洒怡惜 2024-06-13 11/550 2024-06-14 11:24 by JRfei
[基金申请] 工材E10口函评结束了吗 10+3 我1的飞翔 2024-06-13 5/250 2024-06-14 06:35 by nono2009
信息提示
请填处理意见