24小时热门版块排行榜    

查看: 1395  |  回复: 1

zhangguangping

木虫 (著名写手)

[交流] 使用Torque的注意undelivered目录了 已有1人参与

今天突然发现其中一个节点上的/目录使用量为100%,但是其他节点都是9%左右。很奇怪,我没有用root用户在/目录下面写东西。后来就到/目录下面利用du 命令挨着搜索看看“是谁动了我的奶酪”。结果最后结果让我大吃一惊。结果是Torque在“偷吃我的奶酪”,并且真凶是/var/spool/torque/undelivered,进入这个目录undelivered下面,发现是一些用户任务相关的文件。格式为*.OU(*为任务号),并且发现其中一个文件占用了44GB.
我到手册上查了一下,找到如下内容:
If for any reason the MOM daemon is unable to copy the output or error files to the submission directory, these files are instead copied to the undelivered directory also located in.

并且一旦任务发生了这个问题,用户不会得到输出文件的。

关于这个问题的产生原因,不是很清楚,目前也在寻找是不是这个问题和任务提交上之后不运行,必须用qrun才运行有关呢?

希望能够引起大家的讨论,引来高手的讲解。

回拷数据的时候采用的是rcp或者scp,这个时候需要节点之间无密码验证,因此需要保证从计算节点到管理节点能够无密码验证才行。

如果采用的是NFS系统的话,可以直接使用cp拷贝就行,就避免了这个问题,关于这个的设置可以参考手册$usecp的用法。

[ Last edited by zhangguangping on 2012-9-20 at 11:02 ]
回复此楼
弘德明志博学笃行
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

hnuzhoulin

金虫 (小有名气)

★ ★ ★
小木虫: 金币+0.5, 给个红包,谢谢回帖
cenwanglai: 金币+2, 欢迎跟帖讨论~ 2012-04-11 12:52:18
没有碰到过这个问题,但是曾经碰到过在管理节点的message里面提示

Aug  9 09:19:09 compute-0-28.local pbs_mom: LOG_ERROR::sys_copy, command '/bin/cp -rp /opt/torque/spool/6375.cluster.atomsimlab.com.OU /home/dazao/V-He/V_pv/vacany/vasp.log' failed with status=1, giving up after 4 attempts
Aug  9 09:19:09 compute-0-28.local pbs_mom: LOG_ERROR::req_cpyfile, Unable to copy file /opt/torque/spool/6375.cluster.atomsimlab.com.OU to /home/dazao/V-He/V_pv/vacany/vasp.log

这个问题,而且出现很多,但是当时没有去计算节点查看是不是在那个目录下有文件,呵呵,好像也没理会。
2楼2012-04-11 12:38:17
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 zhangguangping 的主题更新
普通表情 高级回复 (可上传附件)
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[基金申请] 情人节自我反思:在爱情中有过遗憾吗? +5 瞬息宇宙 2026-02-15 6/300 2026-02-18 12:51 by 月下雪林
[找工作] 售SCI一区文章,我:8 O5 51O 54,科目齐全,可+急 +3 i3cz6qj6l2 2026-02-17 3/150 2026-02-18 11:09 by lqtl9djx19
[考博] 售SCI一区文章,我:8 O5 51O 54,科目齐全,可+急 +3 i3cz6qj6l2 2026-02-17 3/150 2026-02-18 10:54 by lqtl9djx19
[考研] 售SCI一区文章,我:8 O5 51O 54,科目齐全,可+急 +3 i3cz6qj6l2 2026-02-17 3/150 2026-02-18 10:39 by lqtl9djx19
[考研] 售SCI一区文章,我:8 O5 51O 54,科目齐全,可+急 +3 pnpwoqbg8f 2026-02-17 3/150 2026-02-18 08:53 by lqtl9djx19
[硕博家园] 售SCI一区文章,我:8 O5 51O 54,科目齐全,可+急 +3 pnpwoqbg8f 2026-02-17 3/150 2026-02-18 08:38 by lqtl9djx19
[找工作] 售SCI一区文章,我:8 O5 51O 54,科目齐全,可+急 +4 pnpwoqbg8f 2026-02-17 4/200 2026-02-18 07:55 by lotyj5cz79
[基金申请] 售SCI一区文章,我:8 O5 51O 54,科目齐全,可+急 +3 pnpwoqbg8f 2026-02-16 4/200 2026-02-18 07:40 by lotyj5cz79
[考研] 售SCI一区文章,我:8 O5 51O 54,科目齐全,可+急 +4 pnpwoqbg8f 2026-02-16 4/200 2026-02-18 07:38 by lotyj5cz79
[硕博家园] 售SCI一区文章,我:8 O5 51O 54,科目齐全,可+急 +4 pnpwoqbg8f 2026-02-16 4/200 2026-02-18 07:23 by lotyj5cz79
[论文投稿] 售SCI一区文章,我:8 O5 51O 54,科目齐全,可+急 +4 pnpwoqbg8f 2026-02-16 4/200 2026-02-18 07:08 by lotyj5cz79
[公派出国] 售SCI一区文章,我:8 O5 51O 54,科目齐全,可+急 +3 pnpwoqbg8f 2026-02-16 3/150 2026-02-18 06:53 by lotyj5cz79
[论文投稿] 售SCI一区文章,我:8 O5 51O 54,科目齐全,可+急 +3 pnpwoqbg8f 2026-02-17 3/150 2026-02-18 00:40 by tk2gfblvuz
[找工作] 售SCI一区文章,我:8 O5 51O 54,科目齐全,可+急 +3 pnpwoqbg8f 2026-02-17 4/200 2026-02-18 00:23 by tk2gfblvuz
[公派出国] 售SCI一区文章,我:8 O5 51O 54,科目齐全,可+急 +3 pnpwoqbg8f 2026-02-17 3/150 2026-02-17 23:40 by tk2gfblvuz
[基金申请] 基金正文30页指的是报告正文还是整个申请书 +3 successhe 2026-02-16 4/200 2026-02-17 20:56 by successhe
[基金申请] 今年春晚有几个节目很不错,点赞! +5 瞬息宇宙 2026-02-16 6/300 2026-02-17 12:49 by jymy19840415
[微米和纳米] 球磨粉体时遇到了大的问题,请指教! 10+3 6sbiam 2026-02-12 15/750 2026-02-16 15:03 by tgzxzqj
[基金申请] 过年走亲戚时感受到了所开私家车的鄙视链 +3 瞬息宇宙 2026-02-15 5/250 2026-02-16 14:23 by aspect3000
[硕博家园] 江汉大学解明教授课题组招博士研究生/博士后 +3 cleverlyy 2026-02-12 3/150 2026-02-12 21:02 by qsdf1
信息提示
请填处理意见