24小时热门版块排行榜    

查看: 6869  |  回复: 2
【悬赏金币】回答本帖问题,作者n01096将赠送您 10 个金币

n01096

新虫 (正式写手)

[求助] matlab 并行计算中缓存一直增加,然后卡死,问题已解决

交代一下背景:
本人用服务器跑matlab程序,cpu10核,内存256G,程序用的m函数文件,调用函数的那种。我在A函数里调用B函数。B函数里有parfor循环。在parfor循环里,每次用完的那些变量我都及时赋成空值,[].  parfor循环结束后,将得到的变量通过assign返回A函数,也就是workspace,然后返回A函数。A函数里有个循环(循环变量为i),次数为6000,由于是用的龙格库塔迭代,A函数里不能用parfor并行计算。

当A循环里的次数比较小时,比如i<1000,运行效果还可以,,挺快的。
但是,我的系统是linux的,查看了linux系统的内存,发现缓存buffer、cache一直增加。。。基本每隔一会就增加几个G。。
随着循环的增加,内存占用越来越大。。。由最初的i=1的10G左右一直飙升到i=1000时的120G左右。最终,好像程序会在i=2000左右卡住,,不动。。。


PS:我在没有用并行计算时,也跑过,最终得到的数据量为8G左右,程序运行时的内存也就20G左右。。。

想问一下有没有大神知道这是啥原因呢,,求助

============================================
自己解决了。。。在调用并行程序之后,加一个clear functions,这样就可以清除并行程序里的进程及相关数据,要是不清除的话,并行程序里的进程会一直堆积在内存里。。。当然,考虑到每次清除内存的时间消耗,可以用外部循环的变量来判断,比如到了i=1000的时候再清理,当然,前提是i=1000的时候程序总的内存消化小于你的电脑可用内存。这个清除语句可以添加在函数A中。这样就可以使效率大大提高了。。。哈哈

希望对其他人有用
回复此楼

» 猜你喜欢

已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

n01096

新虫 (正式写手)

问题已自行解决,把方法写出来了,希望对大家有用,,,
2楼2015-08-25 11:40:40
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

天崖cb

新虫 (著名写手)

引用回帖:
2楼: Originally posted by n01096 at 2015-08-25 11:40:40
问题已自行解决,把方法写出来了,希望对大家有用,,,

感谢楼主,非常有用
3楼2020-12-01 16:40:39
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 n01096 的主题更新
不应助 确定回帖应助 (注意:应助才可能被奖励,但不允许灌水,必须填写15个字符以上)
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[基金申请] 刚刚收到科研之友邮件 +18 olivermiaoer 2024-06-19 25/1250 2024-06-20 12:34 by 凌绝顶
[基金申请] 青年基金会评专家到底是怎么会评的呀?主审专家是不是一般不会改动系统按函评给的顺序 5+4 他山攻玉之石 2024-06-18 16/800 2024-06-20 11:14 by 阿凡达C
[考博] 关于读博感觉自己很抓马 +9 小九月 2024-06-19 12/600 2024-06-20 11:06 by SCITOPPP
[精细化工] 试剂价格 +4 旭必上岸 2024-06-17 5/250 2024-06-20 10:52 by 旭必上岸
[论文投稿] 有化学投稿的期刊推荐吗 20+3 荣小撇 2024-06-13 4/200 2024-06-20 08:24 by 1975632963
[文学芳草园] 累并快乐着 +20 MYHLD521 2024-06-14 20/1000 2024-06-19 23:04 by tentoone
[海外博后] 墨尔本大学博后offer要不要接 +3 kyxblmm 2024-06-18 3/150 2024-06-19 22:39 by blake1111
[基金申请] 面上博士后 +3 jsqy 2024-06-19 3/150 2024-06-19 17:58 by bxwisdom_886
[论文投稿] 审稿 +5 香瓜木香 2024-06-19 6/300 2024-06-19 17:44 by xli1984
[基金申请] 基金得中 +4 woaini0218 2024-06-18 4/200 2024-06-19 17:27 by mengzl
[基金申请] 我标书代码变了 +62 学员NHuqdk 2024-06-16 85/4250 2024-06-19 11:52 by zhangjxnu
[公派出国] CSC德国博后每个月资助多少呀?够用吗 +4 326lhpqk 2024-06-16 7/350 2024-06-19 02:03 by PLHOU
[找工作] 初始合伙人来啦!(生物试剂耗材标准品) +14 欢快的小科研人 2024-06-15 25/1250 2024-06-18 20:35 by 小飞来虫
[考博] 2025考博 +8 自强不息a?a 2024-06-15 13/650 2024-06-18 18:12 by 投必得科研顾问
[基金申请] 有人中过人文社科类的博后特助吗? +3 outsider1986 2024-06-16 5/250 2024-06-18 11:10 by 袁天未然
[论文投稿] 审稿问题:为什么荧光激发波长和紫外吸收波长差的大? 10+5 sdawege 2024-06-14 10/500 2024-06-17 18:54 by HH-探针
[基金申请] 面青地会评时间 +8 tanjydd 2024-06-15 8/400 2024-06-17 17:08 by 小龙虾2008
[基金申请] 博士后基金需要结题吗? +8 zhouchuck 2024-06-13 8/400 2024-06-14 17:27 by liuyupu132
[考博] 申博找导师 +4 疏影横斜水清浅3 2024-06-13 6/300 2024-06-14 14:31 by zxl_1105
[有机交流] ππ堆积会发生在有机溶剂中吗 5+3 zibuyu0420 2024-06-13 4/200 2024-06-14 14:17 by 小肉干
信息提示
请填处理意见