24小时热门版块排行榜

返回列表

当前只显示满足指定条件的回帖，点击这里查看本话题的所有回帖

沐心精灵

木虫 (正式写手)

应助: 0 (幼儿园)
金币: 1360.4
散金: 20
红花: 1
帖子: 835
在线: 122.7小时
虫号: 1381766
注册: 2011-08-27
专业: 力学中的基本问题和方法

[求助] 求助：Rocks 6.1集群搭建不能跨节点并行已有2人参与

有没有大神知道用Rocks 6.1搭建集群时不能跨节点并行的原因啊？
集群由4台服务器组成，其中一个为前端节点，剩下的为计算节点。安装按照Rocks 6.1手册，并结合网上的一些教程，镜像全部为Rocks官方的。安装完前端节点和计算节点后，在、share/apps目录下安装了OpenMP（不用自带的）和intel Fortran，并设置环境变量等，同步到计算节点，并source环境变量。
按照上面的安装，CFD程序（自己的，包括CFL3D）可以编译，由SGE可提交至计算节点正常并行计算。但是问题是，当并行线程数超过某个计算节点的总线程数时，qstat给的结果是分配到两台节点上，但是到分配的节点top时发现，其实只在一个节点上并行而已。
例如，用64个线程运行程序，用命令qsub -pe mpich 64 RUN_Script在前端节点提交，刚好分配到了两台计算节点（总线程数分别为24和40），如下所示：
[user01@cluster src]$ qstat -f
queuename                   qtype resv/used/tot. load_avg arch       states
---------------------------------------------------------------------------------
all.q@compute-0-15.local    BIP 0/40/40       0.00    linux-x64
129 0.55500 RUN_Script user01    r    02/14/2014 09:28:38 40
---------------------------------------------------------------------------------
all.q@compute-0-4.local       BIP 0/24/24       0.07    linux-x64
129 0.55500 RUN_Script user01    r    02/14/2014 09:28:38 24
但是ssh到compute-0-15和compute-0-4上top看时，只有一个节点上有程序运行。我的任务脚本文件 RUN_Script内容如下：
#!/bin/bash
#
#$ -cwd
#$ -j y
#$ -S /bin/bash
#
mpirun -machinefile $TMPDIR/machines -np $NSLOTS \
/home/user01/AxisJet/src/JET
集群内的计算节点和前端节点可以无密码ssh登录。搞了几天，实在是不知道问题何在啊！求虫友们指点啊，问题能解决，再追加赏币啊！

回复此楼