24小时热门版块排行榜    

查看: 2588  |  回复: 9
当前只显示满足指定条件的回帖,点击这里查看本话题的所有回帖

04nylxb

木虫 (正式写手)

[求助] 请教torque该如何设置队列或是任务或是用户优先级?以及调用哪些node

各位同仁,用torque进行任务管理,无maui,请问该如何设置优先级?我看torque手册,是否可以通过设置,队列、任务、以及用户组来设置优先级?
比如通过队列,创建一个队列,通过priority控制优先级
# qmgr –c “set queue queuename priority=20”(默认是0,手册只说是取整数,是正数优先级高还是负数优先级高呢? 0的优先级还是20的优先级高呢?还是可以设置-20,是最高优先级?)
也可以在Pbs脚本里面设定,
#pbs -l nice=integer (-20优先级最高,19优先级最低)
脚本还可以通过这样控制优先级
#pbs –p -1024 (-1024到1023,是否是负值越大,优先级越高?)
或者是否可以通过设定用户的优先级?(手册上貌似没说)

请教下大家,队列优先级和脚本优先级,哪个更高些?
还有是否可以通过设定nodes文件后面的Node跟的队列,来指定某个队列调用哪些nodes?

node-2 queue01
node-3 queue01
node-4 queue02
是否可以指定,queue01只能调用node-2 跟3,queue02只能调用node-4?
queue03 (没有指定),是否可以调用全部nodes?

非常感谢。
回复此楼

» 收录本帖的淘帖专辑推荐

第一性原理和电化学

» 猜你喜欢

» 本主题相关价值贴推荐,对您同样有帮助:

集中精力发文章
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

04nylxb

木虫 (正式写手)

引用回帖:
9楼: Originally posted by dubo at 2012-03-18 12:07:33:
首先是负数优先级高,一般普通用户优先级最高设置为0

谢谢版主,是否是 torque里面,默认负值表示优先级高?如-4 比70优先?
集中精力发文章
10楼2012-03-18 20:26:10
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
查看全部 10 个回答

zhangguangping

木虫 (著名写手)

【答案】应助回帖

★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★
感谢参与,应助指数 +1
04nylxb(金币+10): ★★★很有帮助, 多谢,非常有帮助 2012-03-14 14:01:25
cenwanglai: 金币+2, 随礼~~ 2012-03-15 19:13:13
对于第一个问题,现在没有研究。我使用的Torque+Maui,但是对于你的第二个问题:队列和节点的映射问题,可以提供一个思路。具体可以参见:http://muchong.com/bbs/viewthread.php?tid=4065399&fpage=1,估计你看过,可能被开头的Torque+Maui吓到了,以为下面找不到你要的东西。其实那个帖子在最后的实现上与Maui无关,不妨一试。
现摘抄如下:

1.修改/var/spool/torque/server_priv/nodes文件
node01  np=12    sugon      siesta  dalton gaussian
node02  np=12    sugon      siesta  dalton gaussian
node03  np=12    sugon      siesta  dalton gaussian
node04  np=12    sugon      siesta  dalton gaussian
node05  np=12    sugon      siesta  dalton gaussian
node06  np=12    sugon      siesta  dalton gaussian
node07  np=12    sugon      siesta  dalton gaussian
node08  np=12    sugon      siesta  dalton gaussian
node09  np=12    sugon      siesta  dalton gaussian
node10  np=12    sugon      siesta  dalton gaussian
node11  np=12    sugon      siesta  dalton gaussian
node12  np=12    sugon      siesta  dalton gaussian
node31  np=8     powerlead  siesta  dalton gaussian others
node32  np=8     powerlead  siesta  dalton gaussian others
node33  np=8     powerlead  siesta  dalton gaussian others
node34  np=8     powerlead  siesta  dalton gaussian others
node35  np=8     powerlead  siesta  dalton gaussian others
node36  np=8     powerlead  siesta  dalton gaussian others
node38  np=8     powerlead  siesta  dalton gaussian others
node39  np=8     powerlead  siesta  dalton gaussian others
node40  np=8     powerlead  siesta  dalton gaussian others
node41  np=8     dell             siesta  dalton gaussian others
node42  np=8     dell             siesta  dalton gaussian others
node43  np=8     dell             siesta  dalton gaussian others
node44  np=8     dell             molpro
node45  np=8     dell             molpro
node46  np=8     dell             molpro
将每一个节点分配上属性,每一个节点可以加多个属性,这一点是该方法成功的关键所在。
2.然后创建一系列的队列,并且指定队列只接受哪个用户组的任务,为了简单起见,每一个用户组创建一个相似的队列。然后给队列指定默认的资源。
举一例如下:
创建siesta用户对应的队列SIESTA
qmgr -c "create queue SIESTA queue_type=execution"
创建SIESTA队列,并且指定类型为execution
qmgr -c "set queue SIESTA started=true"
指定SIESTA队列中的任务可以被调度执行
qmgr -c "set queue SIESTA enabled=true"
指定SIESTA队列可以接受新的任务
qmgr -c "set queue SIESTA acl_group_enable=true"
指定SIESTA队列专属某一个用户组
qmgr -c "set queue SIESTA acl_groups=siesta"
指定SIESTA队列的专属用户组为siesta用户组,只有属于siesta用户组的用户才能向改队列中提交任务,其他的用户组不可以。当然,一个用户可以属于多个用户组。
qmgr -c "set queue SIESTA acl_group_sloppy=true"
指定是不是只看用户的第一用户组来决定对队列的使用权。如果该项没有,则只有第一用户组为siesta的用户组才能向该队列对提交任务,如果该项为true,表示检查用户的其他用户组属性。
qmgr -c "set queue SIESTA resources_default.neednodes=siesta"
指定SIESTA队列使用的计算节点是siesta属性的(上面1中指定的)

创建完毕后,可以用qmgr -c "p s"查看创建的队列情况,如下
# Create and define queue SIESTA
#
create queue SIESTA
set queue SIESTA queue_type = Execution
set queue SIESTA resources_default.neednodes = siesta
set queue SIESTA acl_group_enable = True
set queue SIESTA acl_groups = siesta
set queue SIESTA acl_group_sloppy = True
set queue SIESTA enabled = True
set queue SIESTA started = True

其他的用户组都可以类比着创建自己的专属队列。

3.启动服务节点的pbs_server服务和maui服务:
qterm -t quick
停止pbs_server服务
pbs_server
重启pbs_server服务
ps -A |grep maui
找出maui的进程号
18066 ?        00:00:00 maui
杀掉maui进程
kill 18066
重新启动maui
/usr/local/software/maui-3.3.1/sbin/maui

好了,到此为止,大功告成。可以使用了

属于siesta用户组的用户提交任务,就可以默认提交到node01-node43上,只要提交满了,就排队,不能提交到node44-node46上。
但是siesta用户组的成员如果想将自己的某一个任务提交到sugon上,而不是powerlead或者dell上,则可以在自己的脚本中写上:
#PBS -l nodes=1:sugon:ppn=8
表示该任务只向sugon机器提交,如果sugon满了,就排队,即使powerlead和dell有空闲。
如果写为#PBS -l nodes=1:dell:ppn=8
那么siesta用户组的用户只能提交到node41,42,43这三个上,如果满了,就排队,直到这三个节点有空余。不会侵占到node44-node46上。
也就是说这儿对节点属性的要求和队列本身对节点的要求是 “与(and)”的关系。

如果写成:
#PBS -l nodes=1:ppn=8
那么就会从node43倒序向node01检查,看是否有空闲资源。也就是说dell机器优先。

这种做法有一个不令人满意的地方:如果other用户组的用户用OTHER队列向sugon提交任务的话,那么可以提交,并且不出错,但是任务始终在排队状态,永远不会被执行。
弘德明志博学笃行
2楼2012-03-14 12:27:31
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

风间的记忆

铁杆木虫 (著名写手)

【答案】应助回帖

★ ★ ★ ★ ★
感谢参与,应助指数 +1
04nylxb(金币+5): ★★★很有帮助, 非常感谢 2012-03-14 14:02:04
队列优先级是排队的时候起作用
脚本优先级是和系统有关系
只和运行的时候的优先程度有关系
九州浩淼,任其东西,明日何在,但随我意。
3楼2012-03-14 13:49:44
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

04nylxb

木虫 (正式写手)

引用回帖:
2楼: Originally posted by zhangguangping at 2012-03-14 12:27:31:
对于第一个问题,现在没有研究。我使用的Torque+Maui,但是对于你的第二个问题:队列和节点的映射问题,可以提供一个思路。具体可以参见:http://muchong.com/bbs/viewthread.php?tid=4065399&fpage=1,估计你看 ...

收到,非常感谢,哈哈。
集中精力发文章
4楼2012-03-14 14:00:50
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[硕博家园] 深圳大学硕士招生(2026秋,传感器方向,仅录取第一志愿) +4 xujiaoszu 2026-03-11 8/400 2026-03-16 09:45 by xujiaoszu
[考研] 机械专硕调剂 +3 笨笨兔子 2026-03-12 3/150 2026-03-15 20:02 by 栗子粥?
[考研] 294求调剂 +3 Zys010410@ 2026-03-13 4/200 2026-03-15 10:59 by zhq0425
[考研] 289求调剂 +4 这么名字咋样 2026-03-14 6/300 2026-03-14 18:58 by userper
[考研] 331求调剂(0703有机化学 +5 ZY-05 2026-03-13 6/300 2026-03-14 10:51 by Jy?
[考研] 330求调剂 +3 ?酱给调剂跪了 2026-03-13 3/150 2026-03-14 10:13 by JourneyLucky
[考研] 271求调剂 +10 生如夏花… 2026-03-11 10/500 2026-03-14 00:35 by 卖报员小雨
[考研] b区环境工程求调剂 +4 Maps1 2026-03-10 6/300 2026-03-14 00:23 by JourneyLucky
[考研] 341求调剂 +3 番茄头--- 2026-03-10 3/150 2026-03-13 23:07 by JourneyLucky
[考研] 0703化学调剂 +4 快乐的香蕉 2026-03-11 4/200 2026-03-13 22:41 by JourneyLucky
[考研] 一志愿中科院,化学方向,295求调剂 +4 一氧二氮 2026-03-11 4/200 2026-03-13 22:35 by JourneyLucky
[考研] 0703,333分求调剂 一志愿郑州大学-物理化学 +3 李魔女斗篷 2026-03-11 3/150 2026-03-13 22:24 by JourneyLucky
[考研] 304求调剂 +7 7712b 2026-03-13 7/350 2026-03-13 21:42 by peike
[考研] 26调剂/材料科学与工程/总分295/求收留 +9 2026调剂侠 2026-03-12 9/450 2026-03-13 20:46 by 18595523086
[考研] 293求调剂 +3 世界首富 2026-03-11 3/150 2026-03-13 16:27 by JourneyLucky
[考研] 277求调剂 +4 anchor17 2026-03-12 4/200 2026-03-13 11:15 by 白夜悠长
[考研] 工科0856专硕化学工程269能调剂吗 +10 我想读研11 2026-03-10 10/500 2026-03-13 10:14 by Yuyi.
[考研] 研究生招生 +3 徐海涛11 2026-03-10 7/350 2026-03-12 14:26 by 徐海涛11
[考研] 279求调剂 +3 莫xiao 2026-03-10 4/200 2026-03-11 08:06 by 斩魂滴兔子!
[考研] 298求调剂 +3 Vv呀! 2026-03-10 3/150 2026-03-10 22:40 by 剑诗杜康
信息提示
请填处理意见