24小时热门版块排行榜    

查看: 1399  |  回复: 1

zhangguangping

木虫 (著名写手)

[交流] 使用Torque的注意undelivered目录了 已有1人参与

今天突然发现其中一个节点上的/目录使用量为100%,但是其他节点都是9%左右。很奇怪,我没有用root用户在/目录下面写东西。后来就到/目录下面利用du 命令挨着搜索看看“是谁动了我的奶酪”。结果最后结果让我大吃一惊。结果是Torque在“偷吃我的奶酪”,并且真凶是/var/spool/torque/undelivered,进入这个目录undelivered下面,发现是一些用户任务相关的文件。格式为*.OU(*为任务号),并且发现其中一个文件占用了44GB.
我到手册上查了一下,找到如下内容:
If for any reason the MOM daemon is unable to copy the output or error files to the submission directory, these files are instead copied to the undelivered directory also located in.

并且一旦任务发生了这个问题,用户不会得到输出文件的。

关于这个问题的产生原因,不是很清楚,目前也在寻找是不是这个问题和任务提交上之后不运行,必须用qrun才运行有关呢?

希望能够引起大家的讨论,引来高手的讲解。

回拷数据的时候采用的是rcp或者scp,这个时候需要节点之间无密码验证,因此需要保证从计算节点到管理节点能够无密码验证才行。

如果采用的是NFS系统的话,可以直接使用cp拷贝就行,就避免了这个问题,关于这个的设置可以参考手册$usecp的用法。

[ Last edited by zhangguangping on 2012-9-20 at 11:02 ]
回复此楼
弘德明志博学笃行
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

hnuzhoulin

金虫 (小有名气)

★ ★ ★
小木虫: 金币+0.5, 给个红包,谢谢回帖
cenwanglai: 金币+2, 欢迎跟帖讨论~ 2012-04-11 12:52:18
没有碰到过这个问题,但是曾经碰到过在管理节点的message里面提示

Aug  9 09:19:09 compute-0-28.local pbs_mom: LOG_ERROR::sys_copy, command '/bin/cp -rp /opt/torque/spool/6375.cluster.atomsimlab.com.OU /home/dazao/V-He/V_pv/vacany/vasp.log' failed with status=1, giving up after 4 attempts
Aug  9 09:19:09 compute-0-28.local pbs_mom: LOG_ERROR::req_cpyfile, Unable to copy file /opt/torque/spool/6375.cluster.atomsimlab.com.OU to /home/dazao/V-He/V_pv/vacany/vasp.log

这个问题,而且出现很多,但是当时没有去计算节点查看是不是在那个目录下有文件,呵呵,好像也没理会。
2楼2012-04-11 12:38:17
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 zhangguangping 的主题更新
普通表情 高级回复 (可上传附件)
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[考研] 一志愿天津大学化学工艺专业(081702)315分求调剂 +10 yangfz 2026-03-17 10/500 2026-03-18 20:14 by walc
[考研] 一志愿985,本科211,0817化学工程与技术319求调剂 +7 Liwangman 2026-03-15 7/350 2026-03-18 20:08 by walc
[考研] 070303一志愿西北大学学硕310找调剂 +6 d如愿上岸 2026-03-12 9/450 2026-03-18 19:50 by macy2011
[考研] 一志愿武理材料305分求调剂 +5 想上岸的鲤鱼 2026-03-18 6/300 2026-03-18 17:53 by 无际的草原
[考研] 302求调剂 +10 呼呼呼。。。。 2026-03-17 10/500 2026-03-18 12:45 by Linda Hu
[考研] 304求调剂 +12 小熊joy 2026-03-14 13/650 2026-03-18 12:34 by Linda Hu
[考研] 0703化学调剂 +3 妮妮ninicgb 2026-03-17 3/150 2026-03-18 10:29 by macy2011
[考研] 268求调剂 +6 简单点0 2026-03-17 6/300 2026-03-18 09:04 by 无际的草原
[考研] 326求调剂 +5 上岸的小葡 2026-03-15 6/300 2026-03-17 17:26 by ruiyingmiao
[考研] 211本,11408一志愿中科院277分,曾在中科院自动化所实习 +6 Losir 2026-03-12 7/350 2026-03-17 12:09 by danranxie
[考研] 070303 总分349求调剂 +3 LJY9966 2026-03-15 5/250 2026-03-16 14:24 by xwxstudy
[考研] 070305求调剂 +3 mlpqaz03 2026-03-14 4/200 2026-03-15 11:04 by peike
[考研] 085601材料工程315分求调剂 +3 yang_0104 2026-03-15 3/150 2026-03-15 10:58 by peike
[考研] 288求调剂 +4 奇点0314 2026-03-14 4/200 2026-03-14 23:04 by JourneyLucky
[考研] 材料工程调剂 +9 咪咪空空 2026-03-12 9/450 2026-03-13 22:05 by 星空星月
[考研] 0856材料与化工301求调剂 +5 奕束光 2026-03-13 5/250 2026-03-13 22:00 by 星空星月
[考研] 304求调剂 +7 7712b 2026-03-13 7/350 2026-03-13 21:42 by peike
[考研] 土木第一志愿276求调剂,科研和技能十分丰富,求新兴方向的导师收留 +3 土木小天才 2026-03-12 3/150 2026-03-13 15:01 by JourneyLucky
[考研] 321求调剂(食品/专硕) +3 xc321 2026-03-12 6/300 2026-03-13 08:45 by xc321
[考博] 26读博 +4 Rui135246 2026-03-12 10/500 2026-03-13 07:15 by gaobiao
信息提示
请填处理意见