24小时热门版块排行榜    

查看: 2721  |  回复: 4
本帖产生 1 个 1ST强帖 ,点击这里进行查看

csi505

新虫 (初入文坛)

[求助] vasp 在parallel 3dFFT wavefunction 后死掉

各位大虾,小弟vasp刚入门,
最近尝试编译了VASP,编译没出错,
但是运行时有问题。

    提交直接:
    /usr/local/openmpi/bin/mpirun -np 40 -machinefile ~/machines.LINUX /home/chenshi/softwares/vasp/vasp.4.6/vasp

    machines.LINUX 内容如下:
          node01  slots=8
          node02  slots=8
          node03  slots=8
          node04  slots=8
          node05  slots=8
          node06  slots=8
          node07  slots=8
           
    一,算小体系Si(两个原子)
        
        核数          2         4          8          16         
      计算用时/秒    2.537     4.798     8.934      275.012
      
      32核的没算完,估计要一两千秒,似乎是核越多越慢...

    二,算大体系(一百个原子左右)

   提交32个核,可以运行;
   提交40个核,OUTCAR里进行到:

       parallel 3dFFT wavefunction:
          minimum data exchange during FFTs selected (reduces bandwidth)

   不再继续,但vasp也不报错,死在那里...
   有时连 OUTCAR 都没有产生,直接就死在那里,
   不知什么原因?

   还有一个异常的地方,我在 machines.LINUX 里没有把主节点 libin 写进去,
按理在主节点不应该有进程运行 vasp , 但是在主节点上 top

  310 chenshi   20   0  252m  15m 9280 R 100.0  0.0  10055:21 vasp
  312 chenshi   20   0  252m  15m 9256 R 100.0  0.0  10055:35 vasp
  315 chenshi   20   0  252m  16m 9244 R 100.0  0.0  10055:41 vasp
27401 chenshi   20   0  252m  16m 9276 R 100.0  0.0  10767:00 vasp
27416 chenshi   20   0  252m  16m 9308 R 100.0  0.0  10767:26 vasp
32759 chenshi   20   0  252m  15m 9304 R 100.0  0.0  10056:04 vasp
  323 chenshi   20   0  252m  16m 9272 R 99.7  0.0  10055:48 vasp
27400 chenshi   20   0  252m  16m 9284 R 99.7  0.0  10767:47 vasp
27408 chenshi   20   0  252m  15m 9256 R 99.7  0.0  10767:27 vasp
22973 chenshi   20   0 13312 1408  860 R  0.7  0.0   0:01.06 top
    1 root      20   0 23480 1100  896 S  0.0  0.0   0:14.41 init
    2 root      20   0     0    0    0 S  0.0  0.0   0:00.01 kthreadd

    却发现9个进程在运行 vasp , 而且奇怪的是 MEM 利用率为零...

    现在真是迷惑。安装并行版本一定要有 scalapack库 吗?
    我的编译用的库:
       BLASLAPACK=-L$(MKLROOT)/lib/intel64  -lmkl_blas95_lp64 -lmkl_lapack95_lp64 -lmkl_cdft_core -lmkl_intel_lp64 -lmkl_sequential -lmkl_core -lmkl_blacs_intelmpi_lp64 -lpthread -limf -lm -lsvml


LIB   =  -I/usr/local/openmpi/include/mpif.h \
         -L../vasp.4.lib -ldmy  \
         $(BLASLAPACK) \
         ../vasp.4.lib/linpack_double.o

FFT3D   = fftmpi.o fftmpi_map.o fft3dlib.o /export/opt/intel/composerxe/mkl/lib/intel64/libfftw3xf_intel.a

    MKL库和Intel编译器都只在主节点安装,放在 /export 文件夹, 共享给其他节点;
    在各节点都装了 opnempi 和 hpmpi(装MS要用)。

    MKL库和fft库是不是在各节点都装,并行会快些?
    VASP 装在我家里,整个 /home 目录都共享出去了。

    现在不知是 vasp 没编译好, 还是 并行系统的问题,或者是 其他问题?
回复此楼

» 猜你喜欢

» 本主题相关价值贴推荐,对您同样有帮助:

已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

贺仪

铁杆木虫 (著名写手)


zzy870720z(金币+1): 谢谢提示 2011-09-03 17:21:05
这个问题很麻烦好像与你的排队系统有关 问问排队软件的客服吧
嘟啦啦嘟啦啦嘟
2楼2011-09-02 15:46:53
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

csi505

新虫 (初入文坛)

多谢!
我直接用 mpirun 提交的。
3楼2011-09-03 14:21:17
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

后天一

木虫 (小有名气)

我们的自由!

【答案】应助回帖

★ ★ ★ ★
youzhizhe(金币-1): 看不懂?!从哪里复制过来的吗? 2011-09-04 00:14:00
youzhizhe(金币+5, 1ST强帖+1): 谢谢交流。授予epi一个。 2011-09-05 07:56:45
32核的没算完,估计要一两千秒,似乎是核越多越慢...
--------------------------------
对于两个原子的小体系来说,用32核跑。。。。哎,资源不能这么浪费,我这里一核难求啊,越来越慢的原因是由于,各个核之间存在通讯时间啊,两原子计算量本来就小,被你这样分配到那么多核中,每个电子步都要交换信息,所以在通讯上非常耗时啊,你可以查看你OUTCAR最后那几行。伤不起啊~~32核,两原子~~~
---------------------------------

算大体系(一百个原子左右)
---------------------------------
这个估计和计算量比较大有关,所给的信息太少,不好判断啦
---------------------------------

   还有一个异常的地方,我在 machines.LINUX 里没有把主节点 libin 写进去,
按理在主节点不应该有进程运行 vasp , 但是在主节点上 top
--------------------------------
我记得好像是由于openmpi的调度就是这样的,启动mpirun的节点自动包涵在node-list里面,这个可以通过使用PBS排队系统来解决,或者换mpich
--------------------------------

安装并行版本一定要有 scalapack库 吗?
-------------------------------
这个一般用不上,除非你各个节点之间网络交换非常慢。

VASP 装在我家里,整个 /home 目录都共享出去了。
------------------------------
神马意思?装你家?
4楼2011-09-03 22:46:34
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

后天一

木虫 (小有名气)

我们的自由!

引用回帖:
3楼: Originally posted by csi505 at 2011-09-03 14:21:17:
多谢!
我直接用 mpirun 提交的。

复制?!!
我在回答问题,和LZ的问题一一对应,你仔细看看,OK?

~~!!!
5楼2011-09-04 20:21:45
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 csi505 的主题更新
信息提示
请填处理意见