24小时热门版块排行榜    

查看: 2929  |  回复: 9
当前只显示满足指定条件的回帖,点击这里查看本话题的所有回帖

04nylxb

木虫 (正式写手)

[求助] 请教torque该如何设置队列或是任务或是用户优先级?以及调用哪些node

各位同仁,用torque进行任务管理,无maui,请问该如何设置优先级?我看torque手册,是否可以通过设置,队列、任务、以及用户组来设置优先级?
比如通过队列,创建一个队列,通过priority控制优先级
# qmgr –c “set queue queuename priority=20”(默认是0,手册只说是取整数,是正数优先级高还是负数优先级高呢? 0的优先级还是20的优先级高呢?还是可以设置-20,是最高优先级?)
也可以在Pbs脚本里面设定,
#pbs -l nice=integer (-20优先级最高,19优先级最低)
脚本还可以通过这样控制优先级
#pbs –p -1024 (-1024到1023,是否是负值越大,优先级越高?)
或者是否可以通过设定用户的优先级?(手册上貌似没说)

请教下大家,队列优先级和脚本优先级,哪个更高些?
还有是否可以通过设定nodes文件后面的Node跟的队列,来指定某个队列调用哪些nodes?

node-2 queue01
node-3 queue01
node-4 queue02
是否可以指定,queue01只能调用node-2 跟3,queue02只能调用node-4?
queue03 (没有指定),是否可以调用全部nodes?

非常感谢。
回复此楼

» 收录本帖的淘帖专辑推荐

第一性原理和电化学

» 猜你喜欢

» 本主题相关价值贴推荐,对您同样有帮助:

集中精力发文章
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

dubo

金虫 (著名写手)

优秀版主

【答案】应助回帖

★ ★ ★ ★ ★
感谢参与,应助指数 +1
04nylxb: 金币+5, ★★★很有帮助, 谢谢版主 2012-03-18 20:21:12
首先是负数优先级高,一般普通用户优先级最高设置为0
9楼2012-03-18 12:07:33
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
查看全部 10 个回答

zhangguangping

木虫 (著名写手)

【答案】应助回帖

★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★
感谢参与,应助指数 +1
04nylxb(金币+10): ★★★很有帮助, 多谢,非常有帮助 2012-03-14 14:01:25
cenwanglai: 金币+2, 随礼~~ 2012-03-15 19:13:13
对于第一个问题,现在没有研究。我使用的Torque+Maui,但是对于你的第二个问题:队列和节点的映射问题,可以提供一个思路。具体可以参见:http://muchong.com/bbs/viewthread.php?tid=4065399&fpage=1,估计你看过,可能被开头的Torque+Maui吓到了,以为下面找不到你要的东西。其实那个帖子在最后的实现上与Maui无关,不妨一试。
现摘抄如下:

1.修改/var/spool/torque/server_priv/nodes文件
node01  np=12    sugon      siesta  dalton gaussian
node02  np=12    sugon      siesta  dalton gaussian
node03  np=12    sugon      siesta  dalton gaussian
node04  np=12    sugon      siesta  dalton gaussian
node05  np=12    sugon      siesta  dalton gaussian
node06  np=12    sugon      siesta  dalton gaussian
node07  np=12    sugon      siesta  dalton gaussian
node08  np=12    sugon      siesta  dalton gaussian
node09  np=12    sugon      siesta  dalton gaussian
node10  np=12    sugon      siesta  dalton gaussian
node11  np=12    sugon      siesta  dalton gaussian
node12  np=12    sugon      siesta  dalton gaussian
node31  np=8     powerlead  siesta  dalton gaussian others
node32  np=8     powerlead  siesta  dalton gaussian others
node33  np=8     powerlead  siesta  dalton gaussian others
node34  np=8     powerlead  siesta  dalton gaussian others
node35  np=8     powerlead  siesta  dalton gaussian others
node36  np=8     powerlead  siesta  dalton gaussian others
node38  np=8     powerlead  siesta  dalton gaussian others
node39  np=8     powerlead  siesta  dalton gaussian others
node40  np=8     powerlead  siesta  dalton gaussian others
node41  np=8     dell             siesta  dalton gaussian others
node42  np=8     dell             siesta  dalton gaussian others
node43  np=8     dell             siesta  dalton gaussian others
node44  np=8     dell             molpro
node45  np=8     dell             molpro
node46  np=8     dell             molpro
将每一个节点分配上属性,每一个节点可以加多个属性,这一点是该方法成功的关键所在。
2.然后创建一系列的队列,并且指定队列只接受哪个用户组的任务,为了简单起见,每一个用户组创建一个相似的队列。然后给队列指定默认的资源。
举一例如下:
创建siesta用户对应的队列SIESTA
qmgr -c "create queue SIESTA queue_type=execution"
创建SIESTA队列,并且指定类型为execution
qmgr -c "set queue SIESTA started=true"
指定SIESTA队列中的任务可以被调度执行
qmgr -c "set queue SIESTA enabled=true"
指定SIESTA队列可以接受新的任务
qmgr -c "set queue SIESTA acl_group_enable=true"
指定SIESTA队列专属某一个用户组
qmgr -c "set queue SIESTA acl_groups=siesta"
指定SIESTA队列的专属用户组为siesta用户组,只有属于siesta用户组的用户才能向改队列中提交任务,其他的用户组不可以。当然,一个用户可以属于多个用户组。
qmgr -c "set queue SIESTA acl_group_sloppy=true"
指定是不是只看用户的第一用户组来决定对队列的使用权。如果该项没有,则只有第一用户组为siesta的用户组才能向该队列对提交任务,如果该项为true,表示检查用户的其他用户组属性。
qmgr -c "set queue SIESTA resources_default.neednodes=siesta"
指定SIESTA队列使用的计算节点是siesta属性的(上面1中指定的)

创建完毕后,可以用qmgr -c "p s"查看创建的队列情况,如下
# Create and define queue SIESTA
#
create queue SIESTA
set queue SIESTA queue_type = Execution
set queue SIESTA resources_default.neednodes = siesta
set queue SIESTA acl_group_enable = True
set queue SIESTA acl_groups = siesta
set queue SIESTA acl_group_sloppy = True
set queue SIESTA enabled = True
set queue SIESTA started = True

其他的用户组都可以类比着创建自己的专属队列。

3.启动服务节点的pbs_server服务和maui服务:
qterm -t quick
停止pbs_server服务
pbs_server
重启pbs_server服务
ps -A |grep maui
找出maui的进程号
18066 ?        00:00:00 maui
杀掉maui进程
kill 18066
重新启动maui
/usr/local/software/maui-3.3.1/sbin/maui

好了,到此为止,大功告成。可以使用了

属于siesta用户组的用户提交任务,就可以默认提交到node01-node43上,只要提交满了,就排队,不能提交到node44-node46上。
但是siesta用户组的成员如果想将自己的某一个任务提交到sugon上,而不是powerlead或者dell上,则可以在自己的脚本中写上:
#PBS -l nodes=1:sugon:ppn=8
表示该任务只向sugon机器提交,如果sugon满了,就排队,即使powerlead和dell有空闲。
如果写为#PBS -l nodes=1:dell:ppn=8
那么siesta用户组的用户只能提交到node41,42,43这三个上,如果满了,就排队,直到这三个节点有空余。不会侵占到node44-node46上。
也就是说这儿对节点属性的要求和队列本身对节点的要求是 “与(and)”的关系。

如果写成:
#PBS -l nodes=1:ppn=8
那么就会从node43倒序向node01检查,看是否有空闲资源。也就是说dell机器优先。

这种做法有一个不令人满意的地方:如果other用户组的用户用OTHER队列向sugon提交任务的话,那么可以提交,并且不出错,但是任务始终在排队状态,永远不会被执行。
弘德明志博学笃行
2楼2012-03-14 12:27:31
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

风间的记忆

铁杆木虫 (著名写手)

【答案】应助回帖

★ ★ ★ ★ ★
感谢参与,应助指数 +1
04nylxb(金币+5): ★★★很有帮助, 非常感谢 2012-03-14 14:02:04
队列优先级是排队的时候起作用
脚本优先级是和系统有关系
只和运行的时候的优先程度有关系
九州浩淼,任其东西,明日何在,但随我意。
3楼2012-03-14 13:49:44
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

04nylxb

木虫 (正式写手)

引用回帖:
2楼: Originally posted by zhangguangping at 2012-03-14 12:27:31:
对于第一个问题,现在没有研究。我使用的Torque+Maui,但是对于你的第二个问题:队列和节点的映射问题,可以提供一个思路。具体可以参见:http://muchong.com/bbs/viewthread.php?tid=4065399&fpage=1,估计你看 ...

收到,非常感谢,哈哈。
集中精力发文章
4楼2012-03-14 14:00:50
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[公派出国] 售SCI一区T0P文章,我:8.O55.1.O.54,科目全,可十急 +3 9zw1gfyi7x 2026-08-01 4/200 2026-08-01 21:10 by Kddn1pB6pAzX
[论文投稿] 售SCI一区T0P文章,我:8.O.55.1.O.5.4,科目全,可+急 +3 9zw1gfyi7x 2026-08-01 9/450 2026-08-01 21:02 by Kddn1pB6pAzX
[论文投稿] 售SCI-T0P文章,我:8O.5.5.1.O.54,科目齐全,可+急 +3 9zw1gfyi7x 2026-08-01 5/250 2026-08-01 20:51 by Kddn1pB6pAzX
[硕博家园] 售SCI一区T0P文章,我:8.O.55.1.O.54,科目齐全,可+急 +3 9zw1gfyi7x 2026-07-31 12/600 2026-08-01 20:31 by Kddn1pB6pAzX
[博后之家] 售SCI一区T0P文章,我:8O.55.1.O.54,科目全,可伽急 +3 9zw1gfyi7x 2026-07-31 11/550 2026-08-01 20:30 by Kddn1pB6pAzX
[教师之家] 售一区SCI文章T0P,我:8O.551.O54,科目全,可十急 +3 9zw1gfyi7x 2026-07-31 10/500 2026-08-01 20:23 by Kddn1pB6pAzX
[教师之家] 售SCI文章,我:8O.5.5.1O.54,科目全,可十急 +3 9zw1gfyi7x 2026-07-31 10/500 2026-08-01 20:11 by Kddn1pB6pAzX
[论文投稿] 售SCI文章,我:8O5.5.1.O.54,科目齐全,可+急 +3 9zw1gfyi7x 2026-07-31 9/450 2026-08-01 20:10 by Kddn1pB6pAzX
[考博] 售SCI-T0P文章,我:8O.5.5.1.O.54,科目齐全,可+急 +4 jzg3xk1po8 2026-07-31 13/650 2026-08-01 20:02 by Kddn1pB6pAzX
[教师之家] 售SCI一区T0P文章,我:8.O55.1.O.54,科目全,可十急 +4 jzg3xk1po8 2026-07-31 10/500 2026-08-01 19:57 by Kddn1pB6pAzX
[考研] 售SCI一区T0P文章,我:8.O.55.1.O.5.4,科目全,可+急 +4 jzg3xk1po8 2026-07-31 13/650 2026-08-01 19:57 by Kddn1pB6pAzX
[教师之家] 售SCI一区文章,我:8.O.55.1.O.54,科目齐全,可伽急 +3 9zw1gfyi7x 2026-08-01 6/300 2026-08-01 18:37 by Kddn1pB6pAzX
[考研] 售SCI一区T0P文章,我:8.O.55.1.O.54,科目齐全,可+急 +3 9zw1gfyi7x 2026-08-01 6/300 2026-08-01 18:37 by Kddn1pB6pAzX
[论文投稿] 售一区SCI文章T0P,我:8O.551.O54,科目全,可十急 +3 9zw1gfyi7x 2026-07-31 11/550 2026-08-01 18:17 by Kddn1pB6pAzX
[博后之家] 售SCI一区文章,我:8.O.55.1.O.54,科目齐全,可伽急 +3 9zw1gfyi7x 2026-07-31 9/450 2026-08-01 18:02 by Kddn1pB6pAzX
[基金申请] 微信指数没变化,科研之友没阅读 +14 wangze12014 2026-07-28 18/900 2026-07-31 18:35 by lzchaihuo
[高分子] HXDI做水性聚氨酯乳液,是不是特别容易出渣 15+3 yuyusuv 2026-07-29 3/150 2026-07-31 09:21 by huizingga
[基金申请] 你们的时间戳变了吗 +3 archvillain 2026-07-30 4/200 2026-07-30 18:53 by levinzhwen
[基金申请] 时间戳他又来了 +14 晓晓爱翠翠 2026-07-26 17/850 2026-07-29 16:30 by 呵呵二哥
[分析] 水蒸气蒸馏法乳化现象 +3 月光娇娇 2026-07-26 3/150 2026-07-26 23:25 by caiyun
信息提示
请填处理意见