24小时热门版块排行榜

返回列表

当前只显示满足指定条件的回帖，点击这里查看本话题的所有回帖

wuy069

铁杆木虫 (正式写手)

应助: 20 (小学生)
金币: 7921.9
散金: 15
红花: 10
帖子: 506
在线: 549.1小时
虫号: 760723
注册: 2009-04-30
性别: GG
专业: 理论和计算化学

[求助] 请教：用Shell, awk, perl等语言实现监视SGE集群节点和任务

请教：用Shell, awk, perl等语言实现监视SGE集群节点和任务
简单的bash shell和awk语言会点，但弄个复杂的脚本，功底还是不够

下面的格式有点错位，我把相应的内容以附件粘贴了。

[wuy@cluster test]$ qhost -j
HOSTNAME             ARCH       NCPU  LOAD  MEMTOT  MEMUSE  SWAPTO  SWAPUS
-------------------------------------------------------------------------------
global                -             -    -    -    -    -    -
compute-0-0          lx26-amd64    4  2.97 3.9G 3.5G 4.0G 2.9G
job-ID  prior name    user       state submit/start at    queue    master ja-task-ID
----------------------------------------------------------------------------------------------
      6 0.50500 test1.sh wuy       r    12/09/2012 14:47:26 all.q@comp MASTER
      7 0.60500 test4.sh wuy       r    12/09/2012 14:47:26 all.q@comp MASTER
                                                                  all.q@comp SLAVE
                                                                  all.q@comp SLAVE
compute-0-1          lx26-amd64    4  3.56 3.9G 3.8G 4.0G 3.1G
job-ID  prior name    user       state submit/start at    queue    master ja-task-ID
----------------------------------------------------------------------------------------------
      8 0.60500 test2.sh tester    r    12/09/2012 14:48:52 all.q@comp MASTER
                                                                  all.q@comp SLAVE
                                                                  all.q@comp SLAVE
      9 0.60500 test3.sh tester    r    12/09/2012 14:48:52 all.q@comp MASTER
                                                                  all.q@comp SLAVE
                                                                  all.q@comp SLAVE
在compute-0-0节点上有两个任务6和7，所用的cpu分别为1和2；在compute-0-1节点上有两个任务8和9，所用的cpu分别为2和2.
使用Shell, awk, perl等语言获得的命令脚本打印输出下面所示：
------------------------------------------------------------------------------------------------
  node       state load ncpu mem memuse swapto  swapus  tasks  jobids/users
------------------------------------------------------------------------------------------------
compute-0-0 free 2.97    4 3.9G 3.5G    4.0G 2.9G    3    6/wuy 7/wuy
compute-0-1 busy 3.56    4 3.9G 3.8G    4.0G 3.1G    4    8/tester 9/tester

其中，当node的LOAD为“-”时，相应node的state为down.

下面是根据qstat命令编写脚本监视任务的申请时间和逝去时间
[wuy@cluster test]$ qstat -u '*'
job-ID  prior name    user       state submit/start at    queue                         slots ja-task-ID
-----------------------------------------------------------------------------------------------------------------
   6 0.50500 test1.sh wuy       r    12/09/2012 14:47:26 all.q@compute-0-0.local          1
   7 0.60500 test4.sh wuy       r    12/09/2012 14:47:26 all.q@compute-0-0.local          2
   8 0.60500 test2.sh tester    r    12/09/2012 14:48:52 all.q@compute-0-1.local          2
   9 0.60500 test3.sh tester    r    12/09/2012 14:48:52 all.q@compute-0-1.local          2
[wuy@cluster test]$ qstat -j 6 |grep h_rt
hard resource_list:       h_rt=3600
得到的申请时间（reqtime）为3600s，改为小时制：1:00:00
逝去的时间（elaptime)为现在的时间`date`减去任务开始的时间

使用Shell, awk, perl等语言获得的命令脚本打印输出下面所示
job-ID name    user       state submit/start at    queue                   slots reqtime    elaptime
--------------------------------------------------------------------------------------------------------------------
   6  test1.sh wuy       r    12/09/2012 14:47:26 all.q@compute-0-0.local    1    1:00:00    00:50:00
   7  test4.sh wuy       r    12/09/2012 14:47:26 all.q@compute-0-0.local    2    2:00:00    00:50:00
   8  test2.sh tester    r    12/09/2012 14:48:52 all.q@compute-0-1.local    2    5:00:00    00:48:34
   9  test3.sh tester    r    12/09/2012 14:48:52 all.q@compute-0-1.local    2    12:00:00    00:48:34[ Last edited by wuy069 on 2012-12-9 at 18:30 ]

回复此楼

» 本帖附件资源列表

欢迎监督和反馈：小木虫仅提供交流平台，不对该内容负责。
本内容由用户自主发布，如果其内容涉及到知识产权问题，其责任在于用户本人，如对版权有异议，请联系邮箱：xiaomuchong@tal.com
附件 1 : 求助.txt

2012-12-09 18:30:44, 4.22 K

» 猜你喜欢

请问有评职称，把科研教学业绩算分排序的高校吗已经有6人回复
2025冷门绝学什么时候出结果已经有6人回复
Bioresource Technology期刊，第一次返修的时候被退回好几次了已经有7人回复
真诚求助：手里的省社科项目结项要求主持人一篇中文核心，有什么渠道能发核心吗已经有8人回复
寻求一种能扛住强氧化性腐蚀性的容器密封件已经有5人回复
请问哪里可以有青B申请的本子可以借鉴一下。已经有4人回复
请问下大家为什么这个铃木偶联几乎不反应呢已经有5人回复
天津工业大学郑柳春团队欢迎化学化工、高分子化学或有机合成方向的博士生和硕士生加入已经有4人回复
康复大学泰山学者周祺惠团队招收博士研究生已经有6人回复
AI论文写作工具：是科研加速器还是学术作弊器？已经有3人回复

» 本主题相关价值贴推荐，对您同样有帮助:

钢管混凝土桁架的单元选取问题已经有5人回复
钢管混凝土桁架的建模问题已经有2人回复
请教虫虫们：我分配了50G的内存，gaussian报错…… 已经有3人回复
用170，175单元耦合壳和梁，怎么设置材料属性，实常数？和184有什么区别已经有0人回复
关于wien2k软件安装和配置问题请教各位高手！已经有8人回复
热沉淀法合成上转换纳米离子求教已经有8人回复
SCF电子占据已经有3人回复
又被督导（退休老师组成的）老师听课！已经有22人回复
复合材料连续管ANSYS分析已经有13人回复
visual studio 2008 中的VB调用ansys时老是VB内部错误而关闭已经有8人回复
请教：用Shell, awk, perl等语言实现监视SGE集群节点和任务已经有0人回复
请教C-Shell的Script如何获取Elapsed Time 已经有2人回复
【求助】弹性力学-ansys-机械已经有8人回复
【求助】请教用高斯09算溶剂化单点时，怎样得到溶剂中的Gibbs自由能？已经有9人回复
【请教】乙醇溶剂中ZnO纳米粒子的制备？已经有14人回复
【求助】在计算含pt的吸收光谱的时候，居然出现 l801错误，请教怎样解决？已经有3人回复

1楼2012-12-09 18:27:15

已阅回复此楼关注TA 给TA发消息送TA红花 TA的回帖

tracel

木虫 (正式写手)

应助: 48 (小学生)
金币: 4116.7
散金: 1052
红花: 1
帖子: 314
在线: 2048.9小时
虫号: 831941
注册: 2009-08-21
专业: 理论和计算化学

【答案】应助回帖

感谢参与，应助指数 +1

看起来貌似很容易写，shell+awk 就可以，不过把你命令的结果组合下就可以了。

不过实在没看懂你需求是什么。你既然懂得脚本，不妨具体解决不了的问题贴出来，更方便一点。

赞一下

回复此楼

2楼2012-12-09 20:59:38

已阅回复此楼关注TA 给TA发消息送TA红花 TA的回帖

tracel

木虫 (正式写手)

应助: 48 (小学生)
金币: 4116.7
散金: 1052
红花: 1
帖子: 314
在线: 2048.9小时
虫号: 831941
注册: 2009-08-21
专业: 理论和计算化学

【答案】应助回帖

★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★
wuy069: 金币+20, ★有帮助, 要考虑的因素还是挺多的，我有时间再弄吧 2012-12-10 08:07:09

qhost -j | awk '/compute/{b=1;a[b++]=$1;a[b++]=$3;a[b++]=$4;getline;getline;for(i=1;i<5;i++){getline;if(NF==9){a[b++]=$4"/"$1}};print a[1]"\t"a[2]"\t"a[3]"\t"a[4],a[5]}'

你照着这个自己再修改下吧，反正你应该是可以看懂的

赞一下

回复此楼

5楼2012-12-09 23:42:46

已阅回复此楼关注TA 给TA发消息送TA红花 TA的回帖