24小时热门版块排行榜    

查看: 6866  |  回复: 2
【悬赏金币】回答本帖问题,作者n01096将赠送您 10 个金币
当前只显示满足指定条件的回帖,点击这里查看本话题的所有回帖

n01096

新虫 (正式写手)

[求助] matlab 并行计算中缓存一直增加,然后卡死,问题已解决

交代一下背景:
本人用服务器跑matlab程序,cpu10核,内存256G,程序用的m函数文件,调用函数的那种。我在A函数里调用B函数。B函数里有parfor循环。在parfor循环里,每次用完的那些变量我都及时赋成空值,[].  parfor循环结束后,将得到的变量通过assign返回A函数,也就是workspace,然后返回A函数。A函数里有个循环(循环变量为i),次数为6000,由于是用的龙格库塔迭代,A函数里不能用parfor并行计算。

当A循环里的次数比较小时,比如i<1000,运行效果还可以,,挺快的。
但是,我的系统是linux的,查看了linux系统的内存,发现缓存buffer、cache一直增加。。。基本每隔一会就增加几个G。。
随着循环的增加,内存占用越来越大。。。由最初的i=1的10G左右一直飙升到i=1000时的120G左右。最终,好像程序会在i=2000左右卡住,,不动。。。


PS:我在没有用并行计算时,也跑过,最终得到的数据量为8G左右,程序运行时的内存也就20G左右。。。

想问一下有没有大神知道这是啥原因呢,,求助

============================================
自己解决了。。。在调用并行程序之后,加一个clear functions,这样就可以清除并行程序里的进程及相关数据,要是不清除的话,并行程序里的进程会一直堆积在内存里。。。当然,考虑到每次清除内存的时间消耗,可以用外部循环的变量来判断,比如到了i=1000的时候再清理,当然,前提是i=1000的时候程序总的内存消化小于你的电脑可用内存。这个清除语句可以添加在函数A中。这样就可以使效率大大提高了。。。哈哈

希望对其他人有用
回复此楼
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

天崖cb

新虫 (著名写手)

引用回帖:
2楼: Originally posted by n01096 at 2015-08-25 11:40:40
问题已自行解决,把方法写出来了,希望对大家有用,,,

感谢楼主,非常有用
3楼2020-12-01 16:40:39
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 n01096 的主题更新
不应助 确定回帖应助 (注意:应助才可能被奖励,但不允许灌水,必须填写15个字符以上)
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[基金申请] 博后基金,博管会会提前知道消息吗? +4 yuyiang 2024-06-13 4/200 2024-06-16 11:40 by yangyuzhong4
[论文投稿] 二审返修送审10天了,原来一审的3个审稿人只有2个接受了审稿,会邀请新审稿人么? 50+3 huanpo116 2024-06-15 5/250 2024-06-16 10:27 by bobvan
[找工作] 成都产品质量检测研究院 200+3 鲸鱼663 2024-06-11 9/450 2024-06-16 10:08 by SNaiL1995
[考博] 希望能25博士入学,可提前一年做科研助理 +5 干饭版小太阳 2024-06-09 9/450 2024-06-16 09:56 by wanghaiyu
[教师之家] 每次骚扰女学生的都是院系领导,而不是普通教师,小编们要注意措辞正确 +8 zju2000 2024-06-15 10/500 2024-06-16 09:22 by Quakerbird
[论文投稿] 投稿被一个审稿人恶意评审了怎么样? +5 1chen 2024-06-14 7/350 2024-06-15 23:15 by xy66xy
[基金申请] 关于博后基金的bug问题 +6 lxr1991 2024-06-14 9/450 2024-06-15 21:17 by since—2010
[考博] 上海交大招收材料化学方向科研助理/“申请考核”博士(请勿回复帖子或站内投条) +3 灵梦and紫 2024-06-12 4/200 2024-06-15 20:58 by 1822836277
[基金申请] 为什么我的博后基金还在流动站审核中?不会是学院给我卡了吧? +14 王凯12 2024-06-13 26/1300 2024-06-15 15:22 by 好人与坏人
[考研] 物理化学一对一辅导 +3 林大diao 2024-06-12 5/250 2024-06-14 20:57 by 林大diao
[基金申请] 博士后基金需要结题吗? +8 zhouchuck 2024-06-13 8/400 2024-06-14 17:27 by liuyupu132
[基金申请] E12面上申请 +4 汉风之遗 2024-06-13 4/200 2024-06-14 15:28 by 天外飞去来
[有机交流] ππ堆积会发生在有机溶剂中吗 5+3 zibuyu0420 2024-06-13 4/200 2024-06-14 14:17 by 小肉干
[论文投稿] 最近写了一篇控制优化领域的文章,可以投哪里啊?有没有水一些的期刊推荐 +7 香瓜木香 2024-06-12 13/650 2024-06-14 07:05 by 香瓜木香
[论文投稿] 投稿后发现其他作者的邮箱填错了该怎么办呀 10+4 在飞的猪 2024-06-13 6/300 2024-06-14 04:45 by 小虫子咔咔
[硕博家园] 科研求助 +5 杲www 2024-06-12 6/300 2024-06-13 16:16 by 姓李名明
[考博] 博导选择 +3 bing85977 2024-06-12 3/150 2024-06-13 15:34 by 我是邱尧
[论文投稿] 摩擦磨损论文投稿 +3 jmysan 2024-06-12 3/150 2024-06-13 08:36 by 莱茵润色
[论文投稿] water research状态咨询 5+3 Flyyawa 2024-06-10 6/300 2024-06-11 09:45 by bobvan
[教师之家] 公办双非,学生论文升学就业都不行。一本大学的论文升学就业没问题吧? +5 河西夜郎 2024-06-09 5/250 2024-06-10 17:59 by yyallen2003
信息提示
请填处理意见