| 查看: 1258 | 回复: 17 | ||
wuy069铁杆木虫 (正式写手)
|
[求助]
请教:用Shell, awk, perl等语言实现监视SGE集群节点和任务
|
|
请教:用Shell, awk, perl等语言实现监视SGE集群节点和任务 简单的bash shell和awk语言会点,但弄个复杂的脚本,功底还是不够 下面的格式有点错位,我把相应的内容以附件粘贴了。 [wuy@cluster test]$ qhost -j HOSTNAME ARCH NCPU LOAD MEMTOT MEMUSE SWAPTO SWAPUS ------------------------------------------------------------------------------- global - - - - - - - compute-0-0 lx26-amd64 4 2.97 3.9G 3.5G 4.0G 2.9G job-ID prior name user state submit/start at queue master ja-task-ID ---------------------------------------------------------------------------------------------- 6 0.50500 test1.sh wuy r 12/09/2012 14:47:26 all.q@comp MASTER 7 0.60500 test4.sh wuy r 12/09/2012 14:47:26 all.q@comp MASTER all.q@comp SLAVE all.q@comp SLAVE compute-0-1 lx26-amd64 4 3.56 3.9G 3.8G 4.0G 3.1G job-ID prior name user state submit/start at queue master ja-task-ID ---------------------------------------------------------------------------------------------- 8 0.60500 test2.sh tester r 12/09/2012 14:48:52 all.q@comp MASTER all.q@comp SLAVE all.q@comp SLAVE 9 0.60500 test3.sh tester r 12/09/2012 14:48:52 all.q@comp MASTER all.q@comp SLAVE all.q@comp SLAVE 在compute-0-0节点上有两个任务6和7,所用的cpu分别为1和2;在compute-0-1节点上有两个任务8和9,所用的cpu分别为2和2. 使用Shell, awk, perl等语言获得的命令脚本打印输出下面所示: ------------------------------------------------------------------------------------------------ node state load ncpu mem memuse swapto swapus tasks jobids/users ------------------------------------------------------------------------------------------------ compute-0-0 free 2.97 4 3.9G 3.5G 4.0G 2.9G 3 6/wuy 7/wuy compute-0-1 busy 3.56 4 3.9G 3.8G 4.0G 3.1G 4 8/tester 9/tester 其中,当node的LOAD为“-”时,相应node的state为down. 下面是根据qstat命令编写脚本监视任务的申请时间和逝去时间 [wuy@cluster test]$ qstat -u '*' job-ID prior name user state submit/start at queue slots ja-task-ID ----------------------------------------------------------------------------------------------------------------- 6 0.50500 test1.sh wuy r 12/09/2012 14:47:26 all.q@compute-0-0.local 1 7 0.60500 test4.sh wuy r 12/09/2012 14:47:26 all.q@compute-0-0.local 2 8 0.60500 test2.sh tester r 12/09/2012 14:48:52 all.q@compute-0-1.local 2 9 0.60500 test3.sh tester r 12/09/2012 14:48:52 all.q@compute-0-1.local 2 [wuy@cluster test]$ qstat -j 6 |grep h_rt hard resource_list: h_rt=3600 得到的申请时间(reqtime)为3600s,改为小时制:1:00:00 逝去的时间(elaptime)为现在的时间`date`减去任务开始的时间 使用Shell, awk, perl等语言获得的命令脚本打印输出下面所示 job-ID name user state submit/start at queue slots reqtime elaptime -------------------------------------------------------------------------------------------------------------------- 6 test1.sh wuy r 12/09/2012 14:47:26 all.q@compute-0-0.local 1 1:00:00 00:50:00 7 test4.sh wuy r 12/09/2012 14:47:26 all.q@compute-0-0.local 2 2:00:00 00:50:00 8 test2.sh tester r 12/09/2012 14:48:52 all.q@compute-0-1.local 2 5:00:00 00:48:34 9 test3.sh tester r 12/09/2012 14:48:52 all.q@compute-0-1.local 2 12:00:00 00:48:34[ Last edited by wuy069 on 2012-12-9 at 18:30 ] |
» 本帖附件资源列表
-
欢迎监督和反馈:小木虫仅提供交流平台,不对该内容负责。
本内容由用户自主发布,如果其内容涉及到知识产权问题,其责任在于用户本人,如对版权有异议,请联系邮箱:xiaomuchong@tal.com - 附件 1 : 求助.txt
2012-12-09 18:30:44, 4.22 K
» 猜你喜欢
请问哪里可以有青B申请的本子可以借鉴一下。
已经有4人回复
真诚求助:手里的省社科项目结项要求主持人一篇中文核心,有什么渠道能发核心吗
已经有6人回复
孩子确诊有中度注意力缺陷
已经有14人回复
三甲基碘化亚砜的氧化反应
已经有4人回复
请问下大家为什么这个铃木偶联几乎不反应呢
已经有5人回复
请问有评职称,把科研教学业绩算分排序的高校吗
已经有5人回复
2025冷门绝学什么时候出结果
已经有3人回复
天津工业大学郑柳春团队欢迎化学化工、高分子化学或有机合成方向的博士生和硕士生加入
已经有4人回复
康复大学泰山学者周祺惠团队招收博士研究生
已经有6人回复
AI论文写作工具:是科研加速器还是学术作弊器?
已经有3人回复
» 本主题相关价值贴推荐,对您同样有帮助:
钢管混凝土桁架的单元选取问题
已经有5人回复
钢管混凝土桁架的建模问题
已经有2人回复
请教虫虫们:我分配了50G的内存,gaussian报错……
已经有3人回复
用170,175单元耦合壳和梁,怎么设置材料属性,实常数?和184有什么区别
已经有0人回复
关于wien2k软件安装和配置问题请教各位高手!
已经有8人回复
热沉淀法合成上转换纳米离子求教
已经有8人回复
SCF电子占据
已经有3人回复
又被督导(退休老师组成的)老师听课!
已经有22人回复
复合材料连续管ANSYS分析
已经有13人回复
visual studio 2008 中的VB调用ansys时老是VB内部错误而关闭
已经有8人回复
请教:用Shell, awk, perl等语言实现监视SGE集群节点和任务
已经有0人回复
请教C-Shell的Script如何获取Elapsed Time
已经有2人回复
【求助】弹性力学-ansys-机械
已经有8人回复
【求助】请教用高斯09算溶剂化单点时,怎样得到溶剂中的Gibbs自由能?
已经有9人回复
【请教】乙醇溶剂中ZnO纳米粒子的制备?
已经有14人回复
【求助】在计算含pt的吸收光谱的时候,居然出现 l801错误,请教怎样解决?
已经有3人回复
tracel
木虫 (正式写手)
- 应助: 48 (小学生)
- 金币: 4116.7
- 散金: 1052
- 红花: 1
- 帖子: 314
- 在线: 2048.9小时
- 虫号: 831941
- 注册: 2009-08-21
- 专业: 理论和计算化学
2楼2012-12-09 20:59:38
wuy069
铁杆木虫 (正式写手)
- 应助: 20 (小学生)
- 金币: 7921.9
- 散金: 15
- 红花: 10
- 帖子: 506
- 在线: 549.1小时
- 虫号: 760723
- 注册: 2009-04-30
- 性别: GG
- 专业: 理论和计算化学
|
嗯,shell+awk应该是能实现的,awk学的不咋好,一时半会整不出来 根据qhost -j命令输出的结果,编写一个脚本打印出: ------------------------------------------------------------------------------------------------ node state load ncpu mem memuse swapto swapus tasks jobids/users ------------------------------------------------------------------------------------------------ compute-0-0 free 2.97 4 3.9G 3.5G 4.0G 2.9G 3 6/wuy 7/wuy compute-0-1 busy 3.56 4 3.9G 3.8G 4.0G 3.1G 4 8/tester 9/tester 这是第一个脚本 第二个: 根据qstat -u ’*'和qstat -j jobid输出的结果,编一个脚本输出以下部分: job-ID name user state submit/start at queue slots reqtime elaptime -------------------------------------------------------------------------------------------------------------------- 6 test1.sh wuy r 12/09/2012 14:47:26 all.q@compute-0-0.local 1 1:00:00 00:50:00 7 test4.sh wuy r 12/09/2012 14:47:26 all.q@compute-0-0.local 2 2:00:00 00:50:00 8 test2.sh tester r 12/09/2012 14:48:52 all.q@compute-0-1.local 2 5:00:00 00:48:34 9 test3.sh tester r 12/09/2012 14:48:52 all.q@compute-0-1.local 2 12:00:00 00:48:34 如果你觉得很容易,我可以给你提供个账号,你在机器上可以编写;方便的话,可把你的QQ号用站内消息发我,谢谢! |
3楼2012-12-09 21:20:59
chembetsey
木虫 (小有名气)
- 应助: 125 (高中生)
- 金币: 3820.1
- 散金: 5
- 红花: 9
- 帖子: 262
- 在线: 281.8小时
- 虫号: 1781694
- 注册: 2012-04-27
- 专业: 理论和计算化学
4楼2012-12-09 23:26:27
tracel
木虫 (正式写手)
- 应助: 48 (小学生)
- 金币: 4116.7
- 散金: 1052
- 红花: 1
- 帖子: 314
- 在线: 2048.9小时
- 虫号: 831941
- 注册: 2009-08-21
- 专业: 理论和计算化学
【答案】应助回帖
★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★
wuy069: 金币+20, ★有帮助, 要考虑的因素还是挺多的,我有时间再弄吧 2012-12-10 08:07:09
wuy069: 金币+20, ★有帮助, 要考虑的因素还是挺多的,我有时间再弄吧 2012-12-10 08:07:09
|
qhost -j | awk '/compute/{b=1;a[b++]=$1;a[b++]=$3;a[b++]=$4;getline;getline;for(i=1;i<5;i++){getline;if(NF==9){a[b++]=$4"/"$1}};print a[1]"\t"a[2]"\t"a[3]"\t"a[4],a[5]}' 你照着这个自己再修改下吧,反正你应该是可以看懂的 |
5楼2012-12-09 23:42:46
wuy069
铁杆木虫 (正式写手)
- 应助: 20 (小学生)
- 金币: 7921.9
- 散金: 15
- 红花: 10
- 帖子: 506
- 在线: 549.1小时
- 虫号: 760723
- 注册: 2009-04-30
- 性别: GG
- 专业: 理论和计算化学
6楼2012-12-10 08:08:41
chembetsey
木虫 (小有名气)
- 应助: 125 (高中生)
- 金币: 3820.1
- 散金: 5
- 红花: 9
- 帖子: 262
- 在线: 281.8小时
- 虫号: 1781694
- 注册: 2012-04-27
- 专业: 理论和计算化学
7楼2012-12-10 12:46:24
wuy069
铁杆木虫 (正式写手)
- 应助: 20 (小学生)
- 金币: 7921.9
- 散金: 15
- 红花: 10
- 帖子: 506
- 在线: 549.1小时
- 虫号: 760723
- 注册: 2009-04-30
- 性别: GG
- 专业: 理论和计算化学
8楼2012-12-10 13:45:36
tracel
木虫 (正式写手)
- 应助: 48 (小学生)
- 金币: 4116.7
- 散金: 1052
- 红花: 1
- 帖子: 314
- 在线: 2048.9小时
- 虫号: 831941
- 注册: 2009-08-21
- 专业: 理论和计算化学
9楼2012-12-10 16:51:07
chembetsey
木虫 (小有名气)
- 应助: 125 (高中生)
- 金币: 3820.1
- 散金: 5
- 红花: 9
- 帖子: 262
- 在线: 281.8小时
- 虫号: 1781694
- 注册: 2012-04-27
- 专业: 理论和计算化学
【答案】应助回帖
★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ...
wuy069: 金币+100, ★★★很有帮助, 能否继续完善,下面有回帖说明。 2012-12-11 08:42:40
wuy069: 金币+200, ★★★很有帮助, 麻烦你了 2012-12-11 09:14:44
wuy069: 金币+10, ★★★★★最佳答案, 非常感谢!!! 2012-12-12 08:09:55
wuy069: 金币+100, ★★★很有帮助, 能否继续完善,下面有回帖说明。 2012-12-11 08:42:40
wuy069: 金币+200, ★★★很有帮助, 麻烦你了 2012-12-11 09:14:44
wuy069: 金币+10, ★★★★★最佳答案, 非常感谢!!! 2012-12-12 08:09:55
|
既然你感兴趣,我也没必要敝帚自珍了。 查看节点Qnod 查看作业Qjob |
10楼2012-12-11 06:03:29













回复此楼