24小时热门版块排行榜    

查看: 4232  |  回复: 41
本帖产生 1 个 计算强帖 ,点击这里进行查看
当前只显示满足指定条件的回帖,点击这里查看本话题的所有回帖

zhangguangping

木虫 (著名写手)

[交流] 遇到实验室有些同学不按章程用集群怎么办? 已有15人参与

我们集群使用的是Troque+maui,自从使用之后,结束了原始的机群使用方式。但是问题也出来了:有些同学觉得排队等候很费时,不想等候。所以他们找到了一个漏洞。对于像高斯这样的软件,需要在高斯输入文件中指定并行使用的核数,同时需要在PBS脚本中指定一个申请资源的核数。
漏洞出来了:如果高斯文件里面设定的核数比PBS脚本中指定的核数小,那么高斯一旦运行是按照高斯文件中指定的核数来运行。简单的说,这种情况下,PBS脚本中的核数仅仅起一个限制何时得到资源作用。因此,为了使自己的任务尽快得到资源(因为申请资源的时候写的核数越多,平均说来需要等候的时间越多)。这样就在PBS脚本中少写,而高斯输入文件中多写。这样就能做到减少等候时间的目的。并且一旦高斯任务被分派到节点上运行起来,如果原来节点上有任务,那么高斯就开始发挥自己强大的抢夺资源的优势,对其他任务进资源抢夺,并且如果该节点还有空闲资源的话(在Troque看来有空闲资源,但实际上已经被高斯偷偷占用了),还能阻止后来的任务被分到该节点上。因为虽然Torque认为那个节点上有空闲资源,但是maui会认为那上面的空闲资源不足以满足使用的条件,原因很简单,高斯偷偷霸占了一些。所以会出现明明这个节点上有空闲资源,但是任务就是分配不到这个节点上来。

补充:对于Torque+maui任何软件都可以用这个方法来欺骗管理软件。

对于这种情况我开始不明白他们为什么这样做,并且屡次警告不止。
如果你是管理员,面对这样的同学,你会怎么处理?前提我仅仅是他们的一个师兄而已,或许在他们心里,我连一个师兄都不是了已经。

[ Last edited by zhangguangping on 2012-4-6 at 01:50 ]
回复此楼

» 收录本帖的淘帖专辑推荐

材料计算模拟实用技巧

» 猜你喜欢

» 本主题相关价值贴推荐,对您同样有帮助:

弘德明志博学笃行
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

gyty

木虫 (初入文坛)

满地打滚

★ ★
小木虫: 金币+0.5, 给个红包,谢谢回帖
fegg7502: 金币+1, 鼓励交流 2013-06-20 10:50:28
可以写一个脚本检测某任务在PBS脚本中申请使用的CPU资源数以及其在某节点上实际使用的CPU资源数,当实际值大于申请值时将任务杀死或暂停。脚本放入cron每小时运行一次执行这种检测就会让他们受不了,用不了一个星期所有人都会变得非常自觉,再也不会有任务被脚本处理掉。

我们集群以前问题虽然和你这个不同,但是也差不多,导师各种强调也不起作用,总会有人图方便。后来上了这种管理机制,就再也不是人与人的对抗,而是机器与人的对抗了,相信没有人会乐意傻傻地与机器对抗的。
好好学习,天天向上!
34楼2013-06-19 18:11:55
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

gyty

木虫 (初入文坛)

满地打滚


小木虫: 金币+0.5, 给个红包,谢谢回帖
引用回帖:
35楼: Originally posted by zhangguangping at 2013-06-19 19:04:15
哈哈哈,你的这个脚本太牛了吧。你能把脚本分享一下吗?
另外,这个脚本是每个计算节点放一个,还是只在管理节点放一个?

谢谢你。...

这么长时间还没有解决呀?

我是针对我们的集群写的脚本,有很多特殊的功能,不确定是不是适用于你们的集群。要不这样吧,你留一个邮箱给我,我把脚本程序发送给你,看看效果如何。
好好学习,天天向上!
38楼2013-06-22 19:01:36
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

gyty

木虫 (初入文坛)

满地打滚


小木虫: 金币+0.5, 给个红包,谢谢回帖
引用回帖:
35楼: Originally posted by zhangguangping at 2013-06-19 19:04:15
哈哈哈,你的这个脚本太牛了吧。你能把脚本分享一下吗?
另外,这个脚本是每个计算节点放一个,还是只在管理节点放一个?

谢谢你。...

哦,对了,这个脚本只需要在管理节点(排队系统 server 节点)放一个,计算节点不用做任何变动。另外,有一个需要注意的地方,我只针对 TORQUE 排队系统做了实现,不支持其他的排队系统。关于操作系统倒是没什么特殊的要求,一般的 Linux 系统应该都可以,需要 BASH 支持。
好好学习,天天向上!
39楼2013-06-22 19:05:36
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 zhangguangping 的主题更新
普通表情 高级回复 (可上传附件)
信息提示
请填处理意见