24小时热门版块排行榜    

查看: 6876  |  回复: 2
【悬赏金币】回答本帖问题,作者n01096将赠送您 10 个金币

n01096

新虫 (正式写手)

[求助] matlab 并行计算中缓存一直增加,然后卡死,问题已解决

交代一下背景:
本人用服务器跑matlab程序,cpu10核,内存256G,程序用的m函数文件,调用函数的那种。我在A函数里调用B函数。B函数里有parfor循环。在parfor循环里,每次用完的那些变量我都及时赋成空值,[].  parfor循环结束后,将得到的变量通过assign返回A函数,也就是workspace,然后返回A函数。A函数里有个循环(循环变量为i),次数为6000,由于是用的龙格库塔迭代,A函数里不能用parfor并行计算。

当A循环里的次数比较小时,比如i<1000,运行效果还可以,,挺快的。
但是,我的系统是linux的,查看了linux系统的内存,发现缓存buffer、cache一直增加。。。基本每隔一会就增加几个G。。
随着循环的增加,内存占用越来越大。。。由最初的i=1的10G左右一直飙升到i=1000时的120G左右。最终,好像程序会在i=2000左右卡住,,不动。。。


PS:我在没有用并行计算时,也跑过,最终得到的数据量为8G左右,程序运行时的内存也就20G左右。。。

想问一下有没有大神知道这是啥原因呢,,求助

============================================
自己解决了。。。在调用并行程序之后,加一个clear functions,这样就可以清除并行程序里的进程及相关数据,要是不清除的话,并行程序里的进程会一直堆积在内存里。。。当然,考虑到每次清除内存的时间消耗,可以用外部循环的变量来判断,比如到了i=1000的时候再清理,当然,前提是i=1000的时候程序总的内存消化小于你的电脑可用内存。这个清除语句可以添加在函数A中。这样就可以使效率大大提高了。。。哈哈

希望对其他人有用
回复此楼
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

n01096

新虫 (正式写手)

问题已自行解决,把方法写出来了,希望对大家有用,,,
2楼2015-08-25 11:40:40
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

天崖cb

新虫 (著名写手)

引用回帖:
2楼: Originally posted by n01096 at 2015-08-25 11:40:40
问题已自行解决,把方法写出来了,希望对大家有用,,,

感谢楼主,非常有用
3楼2020-12-01 16:40:39
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 n01096 的主题更新
不应助 确定回帖应助 (注意:应助才可能被奖励,但不允许灌水,必须填写15个字符以上)
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[基金申请] 厅级项目出校却没中 +3 Iwould 2024-06-23 3/150 2024-06-24 00:32 by MichaelBlunt
[论文投稿] Pattern Recognition期刊,二审审稿邀请发出一个月了,但有一个审稿人一直未接受审稿 5+4 PLVS_VLTRA 2024-06-19 9/450 2024-06-24 00:16 by holypower
[基金申请] 能看出是否上会了吗 +6 articlefan 2024-06-23 6/300 2024-06-24 00:04 by 一年有一年
[基金申请] 江苏省333人才工程 出校后被刷的概率大不大? +8 maxbirdzhang 2024-06-19 12/600 2024-06-23 20:39 by 查拉图斯特拉
[基金申请] 国自然资助比率是不是要下降了?? +8 今晚推荐22 2024-06-21 11/550 2024-06-23 19:18 by 今晚推荐22
[基金申请] 请问三个字的中文名字,在文中到底怎么表示? 5+3 zhongyuan764 2024-06-22 6/300 2024-06-23 17:42 by 鱼翔浅底1
[基金申请] 青年和面上,哪个上会难度更大 +12 今晚推荐22 2024-06-21 17/850 2024-06-23 14:44 by 今晚推荐22
[论文投稿] Scientific Reports二审90天了,催稿也没反应怎么办? +10 智晨君 2024-06-18 14/700 2024-06-23 13:33 by mage9162
[硕博家园] 怎么带研究生? +18 豆豆小小2 2024-06-20 19/950 2024-06-23 13:31 by wanglizmst
[有机交流] 求助 10+7 脂质纳米粒 2024-06-20 9/450 2024-06-23 07:52 by buhui7829
[教师之家] 复旦夏同学提出高校成年人学生退学不应该让家长审核,大家认同吗? +8 苏东坡二世 2024-06-22 15/750 2024-06-22 21:37 by 我爱夏天了
[有机交流] 三颈瓶加热 5+3 wzjwx888 2024-06-20 3/150 2024-06-22 16:38 by zyp0009928
[有机交流] 高温酯化反应喷料 20+3 hl24678 2024-06-21 5/250 2024-06-22 16:37 by zyp0009928
[有机交流] 间氨基苯甲酸甲酯合成 5+3 pengdatao 2024-06-19 6/300 2024-06-22 10:58 by zyp0009928
[有机交流] 锌粉还原反应 20+4 明宝栋 2024-06-17 6/300 2024-06-22 02:29 by hwalle
[论文投稿] 水果保鲜投稿 5+4 zhengjiandong 2024-06-19 6/300 2024-06-21 22:27 by 宋小爷
[有机交流] 跑板能跑开,过柱过不纯怎么办 +8 小胡在努力 2024-06-18 10/500 2024-06-21 08:22 by hptianyan
[论文投稿] 第一篇论文投稿进程记录 +4 慎独的小花卷 2024-06-20 9/450 2024-06-20 20:37 by 慎独的小花卷
[有机交流] 想要用氢化钠拔掉吲哚N上的氢取代酰氯 50+3 光敏剂 2024-06-19 4/200 2024-06-20 18:41 by HF111001
[基金申请] 青年基金会评专家到底是怎么会评的呀?主审专家是不是一般不会改动系统按函评给的顺序 5+4 他山攻玉之石 2024-06-18 18/900 2024-06-20 16:33 by 他山攻玉之石
信息提示
请填处理意见