24小时热门版块排行榜    

查看: 1778  |  回复: 17
当前只显示满足指定条件的回帖,点击这里查看本话题的所有回帖

wuy069

铁杆木虫 (正式写手)

[求助] 请教:用Shell, awk, perl等语言实现监视SGE集群节点和任务

请教:用Shell, awk, perl等语言实现监视SGE集群节点和任务
简单的bash shell和awk语言会点,但弄个复杂的脚本,功底还是不够

下面的格式有点错位,我把相应的内容以附件粘贴了。

[wuy@cluster test]$ qhost -j
HOSTNAME                ARCH         NCPU  LOAD  MEMTOT  MEMUSE  SWAPTO  SWAPUS
-------------------------------------------------------------------------------
global                  -               -     -       -       -       -       -
compute-0-0             lx26-amd64      4  2.97    3.9G    3.5G    4.0G    2.9G
   job-ID  prior   name       user         state submit/start at     queue      master ja-task-ID
   ----------------------------------------------------------------------------------------------
         6 0.50500 test1.sh   wuy          r     12/09/2012 14:47:26 all.q@comp MASTER        
         7 0.60500 test4.sh   wuy          r     12/09/2012 14:47:26 all.q@comp MASTER        
                                                                     all.q@comp SLAVE         
                                                                     all.q@comp SLAVE         
compute-0-1             lx26-amd64      4  3.56    3.9G    3.8G    4.0G    3.1G
   job-ID  prior   name       user         state submit/start at     queue      master ja-task-ID
   ----------------------------------------------------------------------------------------------
         8 0.60500 test2.sh   tester       r     12/09/2012 14:48:52 all.q@comp MASTER        
                                                                     all.q@comp SLAVE         
                                                                     all.q@comp SLAVE
         9 0.60500 test3.sh   tester       r     12/09/2012 14:48:52 all.q@comp MASTER        
                                                                     all.q@comp SLAVE         
                                                                     all.q@comp SLAVE
在compute-0-0节点上有两个任务6和7,所用的cpu分别为1和2;在compute-0-1节点上有两个任务8和9,所用的cpu分别为2和2.
使用Shell, awk, perl等语言获得的命令脚本打印输出下面所示:
------------------------------------------------------------------------------------------------
  node          state   load    ncpu   mem   memuse   swapto  swapus  tasks  jobids/users     
------------------------------------------------------------------------------------------------
compute-0-0    free    2.97     4    3.9G   3.5G     4.0G    2.9G      3     6/wuy 7/wuy
compute-0-1    busy    3.56     4    3.9G   3.8G     4.0G    3.1G      4     8/tester 9/tester

其中,当node的LOAD为“-”时,相应node的state为down.

下面是根据qstat命令编写脚本监视任务的申请时间和逝去时间
[wuy@cluster test]$ qstat -u '*'
job-ID  prior   name       user         state submit/start at     queue                          slots ja-task-ID
-----------------------------------------------------------------------------------------------------------------
      6 0.50500 test1.sh   wuy          r     12/09/2012 14:47:26 all.q@compute-0-0.local            1        
      7 0.60500 test4.sh   wuy          r     12/09/2012 14:47:26 all.q@compute-0-0.local            2  
      8 0.60500 test2.sh   tester       r     12/09/2012 14:48:52 all.q@compute-0-1.local            2        
      9 0.60500 test3.sh   tester       r     12/09/2012 14:48:52 all.q@compute-0-1.local            2
[wuy@cluster test]$ qstat -j 6 |grep h_rt
hard resource_list:         h_rt=3600
得到的申请时间(reqtime)为3600s,改为小时制:1:00:00
逝去的时间(elaptime)为现在的时间`date`减去任务开始的时间

使用Shell, awk, perl等语言获得的命令脚本打印输出下面所示
job-ID   name       user         state submit/start at     queue                      slots   reqtime      elaptime
--------------------------------------------------------------------------------------------------------------------
      6  test1.sh   wuy          r     12/09/2012 14:47:26 all.q@compute-0-0.local      1      1:00:00     00:50:00
      7  test4.sh   wuy          r     12/09/2012 14:47:26 all.q@compute-0-0.local      2      2:00:00     00:50:00
      8  test2.sh   tester       r     12/09/2012 14:48:52 all.q@compute-0-1.local      2      5:00:00     00:48:34
      9  test3.sh   tester       r     12/09/2012 14:48:52 all.q@compute-0-1.local      2     12:00:00     00:48:34[ Last edited by wuy069 on 2012-12-9 at 18:30 ]
回复此楼

» 本帖附件资源列表

  • 欢迎监督和反馈:小木虫仅提供交流平台,不对该内容负责。
    本内容由用户自主发布,如果其内容涉及到知识产权问题,其责任在于用户本人,如对版权有异议,请联系邮箱:xiaomuchong@tal.com
  • 附件 1 : 求助.txt
  • 2012-12-09 18:30:44, 4.22 K

» 猜你喜欢

已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

wuy069

铁杆木虫 (正式写手)

引用回帖:
17楼: Originally posted by tracel at 2012-12-11 11:09:40
awk '{print "\033[40;33m"$1"\033[0m",$2}'

显示颜色的可以这样搞。

谢谢!从网上能看到一些:
颜色:"\033[1;5;37;41mdown\033[0m"

flag:
# Flag nodes with status down, offline or unknown
        if (state[node] == "busy" || state[node] == "down" || state[node] == "offl" || state[node] == "UNKN" {
                stateflag="*"
                listnode++
        } else
                stateflag=" "

        # Flag unexpected CPU load average
        loaddiff = loadave[node] - numtasks[node]
        if (loaddiff > 0.5 || loaddiff < -0.5) {
                loadflag="*"
                listnode++
        } else
                loadflag=" "

        # Resident memory
        resi = (totmem[node]-availmem[node])/1024
        if (resi > 50 && resi > physmem[node]/1024 - 50) {      # High memory usage
                resiflag="*"
                listnode++
        } else
                resiflag=" "

        # Flag unexpected number of processes or users
        if (nsessions[node] > 2*ncpus[node] + 1) {      # More than 2 sessions per job
                sessflag="*"
                listnode++
        } else if (nusers[node] > ncpus[node]) {        # More users than nCPUs is bad
                sessflag="*"
                listnode++
        } else
                sessflag=" "

        # Flag unexpected number of jobs
        if (numjobs[node] > numtasks[node]) {           # Should be at least 1 task per job
                jobflag="*"
                listnode++
        } else
                jobflag=" "

组合在一起不会,抽时间看看教程;
谢谢!
18楼2012-12-11 11:16:25
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
查看全部 18 个回答

tracel

木虫 (正式写手)

【答案】应助回帖

感谢参与,应助指数 +1
看起来貌似很容易写,shell+awk 就可以,不过把你命令的结果组合下就可以了。

不过实在没看懂你需求是什么。你既然懂得脚本,不妨具体解决不了的问题贴出来,更方便一点。
2楼2012-12-09 20:59:38
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

wuy069

铁杆木虫 (正式写手)

引用回帖:
2楼: Originally posted by tracel at 2012-12-09 20:59:38
看起来貌似很容易写,shell+awk 就可以,不过把你命令的结果组合下就可以了。

不过实在没看懂你需求是什么。你既然懂得脚本,不妨具体解决不了的问题贴出来,更方便一点。

嗯,shell+awk应该是能实现的,awk学的不咋好,一时半会整不出来
根据qhost -j命令输出的结果,编写一个脚本打印出:
------------------------------------------------------------------------------------------------
  node          state   load    ncpu   mem   memuse   swapto  swapus  tasks  jobids/users     
------------------------------------------------------------------------------------------------
compute-0-0    free    2.97     4    3.9G   3.5G     4.0G    2.9G      3     6/wuy 7/wuy
compute-0-1    busy    3.56     4    3.9G   3.8G     4.0G    3.1G      4     8/tester 9/tester
这是第一个脚本

第二个:
根据qstat -u ’*'和qstat -j jobid输出的结果,编一个脚本输出以下部分:
job-ID   name       user         state submit/start at     queue                      slots   reqtime      elaptime
--------------------------------------------------------------------------------------------------------------------
      6  test1.sh   wuy          r     12/09/2012 14:47:26 all.q@compute-0-0.local      1      1:00:00     00:50:00
      7  test4.sh   wuy          r     12/09/2012 14:47:26 all.q@compute-0-0.local      2      2:00:00     00:50:00
      8  test2.sh   tester       r     12/09/2012 14:48:52 all.q@compute-0-1.local      2      5:00:00     00:48:34
      9  test3.sh   tester       r     12/09/2012 14:48:52 all.q@compute-0-1.local      2     12:00:00     00:48:34

如果你觉得很容易,我可以给你提供个账号,你在机器上可以编写;方便的话,可把你的QQ号用站内消息发我,谢谢!
3楼2012-12-09 21:20:59
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

chembetsey

木虫 (小有名气)

【答案】应助回帖

感谢参与,应助指数 +1
100金币太少了,给我500金币,我给你写。
4楼2012-12-09 23:26:27
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[基金申请] 售SCI一区T0P文章,我:8O.55.1.O.54,科目全,可伽急 +3 TxdNP2oT1Q0A 2026-11-21 3/150 2026-11-23 04:33 by TU1sx51gX99i
[硕博家园] 售SCI一区T0P文章,我:8.O.55.1.O54,科目全,可伽急 +3 WHWfk3qcedgw 2026-11-21 3/150 2026-11-23 03:48 by TU1sx51gX99i
[找工作] 售SCI-T0P文章,我:8O.5.5.1.O.54,科目齐全,可+急 +3 Gt0XhENGW3Q3 2026-11-21 3/150 2026-11-23 03:04 by TU1sx51gX99i
[考博] 售SCI一区T0P文章,我:8O.55.1.O.54,科目全,可伽急 +5 YpGmINmR5fp3 2026-11-21 5/250 2026-11-23 02:42 by TU1sx51gX99i
[硕博家园] 售SCI一区文章,我:8O5.5.1.O5.4,科目全,可伽急 +6 K2uSGhxsSAvH 2026-11-21 7/350 2026-11-23 01:59 by TU1sx51gX99i
[考研] 售SCI一区文章,我:8O5.5.1.O5.4,科目全,可伽急 +6 K2uSGhxsSAvH 2026-11-21 6/300 2026-11-23 01:58 by TU1sx51gX99i
[论文投稿] 售SCI-T0P文章,我:8O.5.5.1.O.54,科目齐全,可+急 +6 YLsF7OSIoYU4 2026-11-21 7/350 2026-11-23 01:37 by TU1sx51gX99i
[考研] 售SCI一区T0P文章,我:8.O.55.1.O.5.4,科目全,可+急 +3 YLsF7OSIoYU4 2026-11-21 3/150 2026-11-23 01:25 by TU1sx51gX99i
[博后之家] 售SCI一区T0P文章,我:8.O.55.1.O.54,科目齐全,可+急 +3 Xoz0hXWi9tT1 2026-11-21 4/200 2026-11-23 01:14 by AyQg4gRU5coM
[论文投稿] 售SCI一区T0P文章,我:8.O.55.1.O.5.4,科目全,可+急 +3 Xoz0hXWi9tT1 2026-11-21 3/150 2026-11-23 00:52 by AyQg4gRU5coM
[教师之家] 售SCI文章,我:8O.5.5.1O.54,科目全,可十急 +3 TxdNP2oT1Q0A 2026-11-21 3/150 2026-11-22 20:27 by AyQg4gRU5coM
[考研] 售SCI文章,我:8O5.5.1.O.54,科目齐全,可+急 +3 TxdNP2oT1Q0A 2026-11-21 3/150 2026-11-22 19:54 by EFrqTWPNvJJu
[考博] 售一区SCI文章T0P,我:8O.551.O54,科目全,可十急 +4 YLsF7OSIoYU4 2026-11-21 4/200 2026-11-22 09:49 by HAlUgI97lcPc
[硕博家园] 售SCI文章,我:8O5.5.1.O.54,科目齐全,可+急 +5 Xoz0hXWi9tT1 2026-11-21 5/250 2026-11-22 09:27 by HAlUgI97lcPc
[论文投稿] 售SCI-T0P文章,我:8O.5.5.1.O.54,科目齐全,可+急 +4 Xoz0hXWi9tT1 2026-11-20 5/250 2026-11-22 08:54 by HAlUgI97lcPc
[论文投稿] 售SCI-T0P文章,我:8O.5.5.1.O.54,科目齐全,可+急 +3 K2uSGhxsSAvH 2026-11-21 3/150 2026-11-22 04:30 by mNjrFMLoQVIW
[公派出国] 售SCI一区文章,我:8.O.551.O.5.4,科目全,可伽急 +3 Xoz0hXWi9tT1 2026-11-21 4/200 2026-11-22 03:46 by mNjrFMLoQVIW
[考博] 申博 +4 权@@ 2026-11-19 7/350 2026-11-20 20:53 by 行稳致远11
[教师之家] 征友后感触 +7 重新启 2026-11-17 9/450 2026-11-20 17:06 by 爱唠叨的小木虫
[论文投稿] IVD领域内综述投稿推荐 100+3 小小筑梦 2026-11-16 5/250 2026-11-19 17:03 by hansi2025
信息提示
请填处理意见