| 查看: 1409 | 回复: 17 | |||
| 当前只显示满足指定条件的回帖，点击这里查看本话题的所有回帖 | |||
wuy069铁杆木虫 (正式写手)
|
[求助]
请教：用Shell, awk, perl等语言实现监视SGE集群节点和任务
|
||
|
请教：用Shell, awk, perl等语言实现监视SGE集群节点和任务 简单的bash shell和awk语言会点，但弄个复杂的脚本，功底还是不够 下面的格式有点错位，我把相应的内容以附件粘贴了。 [wuy@cluster test]$ qhost -j HOSTNAME ARCH NCPU LOAD MEMTOT MEMUSE SWAPTO SWAPUS ------------------------------------------------------------------------------- global - - - - - - - compute-0-0 lx26-amd64 4 2.97 3.9G 3.5G 4.0G 2.9G job-ID prior name user state submit/start at queue master ja-task-ID ---------------------------------------------------------------------------------------------- 6 0.50500 test1.sh wuy r 12/09/2012 14:47:26 all.q@comp MASTER 7 0.60500 test4.sh wuy r 12/09/2012 14:47:26 all.q@comp MASTER all.q@comp SLAVE all.q@comp SLAVE compute-0-1 lx26-amd64 4 3.56 3.9G 3.8G 4.0G 3.1G job-ID prior name user state submit/start at queue master ja-task-ID ---------------------------------------------------------------------------------------------- 8 0.60500 test2.sh tester r 12/09/2012 14:48:52 all.q@comp MASTER all.q@comp SLAVE all.q@comp SLAVE 9 0.60500 test3.sh tester r 12/09/2012 14:48:52 all.q@comp MASTER all.q@comp SLAVE all.q@comp SLAVE 在compute-0-0节点上有两个任务6和7，所用的cpu分别为1和2；在compute-0-1节点上有两个任务8和9，所用的cpu分别为2和2. 使用Shell, awk, perl等语言获得的命令脚本打印输出下面所示： ------------------------------------------------------------------------------------------------ node state load ncpu mem memuse swapto swapus tasks jobids/users ------------------------------------------------------------------------------------------------ compute-0-0 free 2.97 4 3.9G 3.5G 4.0G 2.9G 3 6/wuy 7/wuy compute-0-1 busy 3.56 4 3.9G 3.8G 4.0G 3.1G 4 8/tester 9/tester 其中，当node的LOAD为“-”时，相应node的state为down. 下面是根据qstat命令编写脚本监视任务的申请时间和逝去时间 [wuy@cluster test]$ qstat -u '*' job-ID prior name user state submit/start at queue slots ja-task-ID ----------------------------------------------------------------------------------------------------------------- 6 0.50500 test1.sh wuy r 12/09/2012 14:47:26 all.q@compute-0-0.local 1 7 0.60500 test4.sh wuy r 12/09/2012 14:47:26 all.q@compute-0-0.local 2 8 0.60500 test2.sh tester r 12/09/2012 14:48:52 all.q@compute-0-1.local 2 9 0.60500 test3.sh tester r 12/09/2012 14:48:52 all.q@compute-0-1.local 2 [wuy@cluster test]$ qstat -j 6 |grep h_rt hard resource_list: h_rt=3600 得到的申请时间（reqtime）为3600s，改为小时制：1:00:00 逝去的时间（elaptime)为现在的时间`date`减去任务开始的时间 使用Shell, awk, perl等语言获得的命令脚本打印输出下面所示 job-ID name user state submit/start at queue slots reqtime elaptime -------------------------------------------------------------------------------------------------------------------- 6 test1.sh wuy r 12/09/2012 14:47:26 all.q@compute-0-0.local 1 1:00:00 00:50:00 7 test4.sh wuy r 12/09/2012 14:47:26 all.q@compute-0-0.local 2 2:00:00 00:50:00 8 test2.sh tester r 12/09/2012 14:48:52 all.q@compute-0-1.local 2 5:00:00 00:48:34 9 test3.sh tester r 12/09/2012 14:48:52 all.q@compute-0-1.local 2 12:00:00 00:48:34[ Last edited by wuy069 on 2012-12-9 at 18:30 ] |
回复此楼» 本帖附件资源列表
-
欢迎监督和反馈：小木虫仅提供交流平台，不对该内容负责。
本内容由用户自主发布，如果其内容涉及到知识产权问题，其责任在于用户本人，如对版权有异议，请联系邮箱：xiaomuchong@tal.com - 附件 1 : 求助.txt
2012-12-09 18:30:44, 4.22 K
» 猜你喜欢
299求调剂
已经有5人回复
-
收复试调剂生
已经有3人回复
-
280求调剂
已经有7人回复
-
环境领域全国重点实验室招收博士1-2名
已经有5人回复
-
303求调剂
已经有6人回复
-
290求调剂
已经有10人回复
-
0703化学求调剂 总分331
已经有3人回复
-
一志愿天津大学化学工艺专业（081702）315分求调剂
已经有8人回复
-
0703化学调剂
已经有3人回复
-
材料，纺织，生物（0856、0710），化学招生啦
已经有9人回复
» 本主题相关价值贴推荐，对您同样有帮助:
- 钢管混凝土桁架的单元选取问题
已经有5人回复
- 钢管混凝土桁架的建模问题
已经有2人回复
- 请教虫虫们：我分配了50G的内存，gaussian报错……
已经有3人回复
- 用170，175单元耦合壳和梁，怎么设置材料属性，实常数？和184有什么区别
已经有0人回复
- 关于wien2k软件安装和配置问题请教各位高手！
已经有8人回复
- 热沉淀法合成上转换纳米离子求教
已经有8人回复
- SCF电子占据
已经有3人回复
- 又被督导（退休老师组成的）老师听课！
已经有22人回复
- 复合材料连续管ANSYS分析
已经有13人回复
- visual studio 2008 中的VB调用ansys时老是VB内部错误而关闭
已经有8人回复
- 请教：用Shell, awk, perl等语言实现监视SGE集群节点和任务
已经有0人回复
- 请教C-Shell的Script如何获取Elapsed Time
已经有2人回复
- 【求助】弹性力学-ansys-机械
已经有8人回复
- 【求助】请教用高斯09算溶剂化单点时，怎样得到溶剂中的Gibbs自由能？
已经有9人回复
- 【请教】乙醇溶剂中ZnO纳米粒子的制备？
已经有14人回复
- 【求助】在计算含pt的吸收光谱的时候，居然出现 l801错误，请教怎样解决？
已经有3人回复
tracel
木虫 (正式写手)
- 应助: 48 (小学生)
- 金币: 4116.7
- 散金: 1052
- 红花: 1
- 帖子: 314
- 在线: 2048.9小时
- 虫号: 831941
- 注册: 2009-08-21
- 专业: 理论和计算化学
【答案】应助回帖
★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★
wuy069: 金币+20, ★有帮助, 要考虑的因素还是挺多的，我有时间再弄吧 2012-12-10 08:07:09
wuy069: 金币+20, ★有帮助, 要考虑的因素还是挺多的，我有时间再弄吧 2012-12-10 08:07:09
|
qhost -j | awk '/compute/{b=1;a[b++]=$1;a[b++]=$3;a[b++]=$4;getline;getline;for(i=1;i<5;i++){getline;if(NF==9){a[b++]=$4"/"$1}};print a[1]"\t"a[2]"\t"a[3]"\t"a[4],a[5]}' 你照着这个自己再修改下吧，反正你应该是可以看懂的 |
5楼2012-12-09 23:42:46
tracel
木虫 (正式写手)
- 应助: 48 (小学生)
- 金币: 4116.7
- 散金: 1052
- 红花: 1
- 帖子: 314
- 在线: 2048.9小时
- 虫号: 831941
- 注册: 2009-08-21
- 专业: 理论和计算化学
2楼2012-12-09 20:59:38
wuy069
铁杆木虫 (正式写手)
- 应助: 20 (小学生)
- 金币: 7921.9
- 散金: 15
- 红花: 10
- 帖子: 506
- 在线: 549.1小时
- 虫号: 760723
- 注册: 2009-04-30
- 性别: GG
- 专业: 理论和计算化学
|
嗯，shell+awk应该是能实现的，awk学的不咋好，一时半会整不出来 根据qhost -j命令输出的结果，编写一个脚本打印出： ------------------------------------------------------------------------------------------------ node state load ncpu mem memuse swapto swapus tasks jobids/users ------------------------------------------------------------------------------------------------ compute-0-0 free 2.97 4 3.9G 3.5G 4.0G 2.9G 3 6/wuy 7/wuy compute-0-1 busy 3.56 4 3.9G 3.8G 4.0G 3.1G 4 8/tester 9/tester 这是第一个脚本 第二个： 根据qstat -u ’*'和qstat -j jobid输出的结果，编一个脚本输出以下部分： job-ID name user state submit/start at queue slots reqtime elaptime -------------------------------------------------------------------------------------------------------------------- 6 test1.sh wuy r 12/09/2012 14:47:26 all.q@compute-0-0.local 1 1:00:00 00:50:00 7 test4.sh wuy r 12/09/2012 14:47:26 all.q@compute-0-0.local 2 2:00:00 00:50:00 8 test2.sh tester r 12/09/2012 14:48:52 all.q@compute-0-1.local 2 5:00:00 00:48:34 9 test3.sh tester r 12/09/2012 14:48:52 all.q@compute-0-1.local 2 12:00:00 00:48:34 如果你觉得很容易，我可以给你提供个账号，你在机器上可以编写；方便的话，可把你的QQ号用站内消息发我，谢谢！ |
3楼2012-12-09 21:20:59
chembetsey
木虫 (小有名气)
- 应助: 125 (高中生)
- 金币: 3820.1
- 散金: 5
- 红花: 9
- 帖子: 262
- 在线: 281.8小时
- 虫号: 1781694
- 注册: 2012-04-27
- 专业: 理论和计算化学
4楼2012-12-09 23:26:27
