24小时热门版块排行榜    

查看: 1449  |  回复: 8

贺仪

铁杆木虫 (著名写手)

[求助] ADF在linux下安装的并行设置

一般的设置都不会出问题,也不会提示出错,但是发现了ADF运行的一个奇怪的地方:
在任务刚开始运行的时候是一个核在计算的,然后在特定的阶段才会使用设定NSCM的核数进行算。

以前在一个集群里面有这个问题,就使用自带的ADF的mpi,问题就解决了。从一开始就是按照设定的NSCM计算的,速度有了明显的提升,mpi部分设置是这样的:
export PATH=$PATH:/home/zhou/soft/adf/adf2010.02/bin/platform_mpi/bin
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/zhou/soft/adf/adf2010.02/bin/platform_mpi/lib/linux_amd64
export MPIRUN_OPTIONS=-TCP
其他设置见2楼
这个服务器是suse系统的

后来买了个新的集群,安装的都是CentOS。因为知道adf这个问题,所以最开始在提交任务的脚本中就设置使用a自带的mpi,也没什么问题。
但是最近由于使用vasp等软件,把环境变量改动了一部分,分别换了openmpi和intelmpi。后来又用到adf,就又把环境变量换回来了,但是问题就出现了!每个任务一开始很长时间都只有一个adf进程在算,运行一段时间后,才使用设定的核数计算。计算任务也可以正常算完,但是计算慢了很多。
我把环境变量中PATH和LD_LIBRARY_PATH都清空,然后重新设置。但是问题还是没有解决。特向大家求助!希望用过adf的同志们帮帮忙!谢谢!
也欢迎交流,参与讨论就有BB,解决问题的答案还有更多额外的奖励。

[ Last edited by 贺仪 on 2012-6-24 at 21:18 ]
回复此楼

» 本帖@通知

» 猜你喜欢

» 本主题相关价值贴推荐,对您同样有帮助:

嘟啦啦嘟啦啦嘟
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

贺仪

铁杆木虫 (著名写手)

export ADFHOME=/home/zhou/soft/adf/adf2010.02
#export ADFHOME=/home/zhou/soft/adf/2007/adf2007.01
export PATH=$PATH:$ADFHOME/bin
export ADFBIN=$ADFHOME/bin
export ADFRESOURCES=$ADFHOME/atomicdata
export SCMLICENSE=$ADFHOME/license.txt
export SCM_TMPDIR=/tmp
export SCM_RESULTDIR=$ADFHOME/result
export NSCM=12
嘟啦啦嘟啦啦嘟
2楼2012-06-24 20:49:48
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

wntc

木虫 (正式写手)

★ ★
gmy1990: 金币+2 2012-06-25 11:20:22
需要设置这么多么,我这似乎souce一下adfrc.sh就好了
My jobs 144803 are running on node71
  PID TTY          TIME CMD
27938 ?        00:00:00 bash
27966 ?        00:00:00 bash
27972 ?        00:00:00 job1.run
27973 ?        00:00:00 adf
27987 ?        00:00:00 runscript
28012 ?        00:00:00 start
28018 ?        00:00:00 mpirun.mpich
28021 ?        00:00:00 mpid
28135 ?        00:19:37 adf.exe
28136 ?        00:19:37 adf.exe
28137 ?        00:19:37 adf.exe
28138 ?        00:19:37 adf.exe
28139 ?        00:19:36 adf.exe
28140 ?        00:19:37 adf.exe
28141 ?        00:19:38 adf.exe
28142 ?        00:19:36 adf.exe
29642 ?        00:00:00 ps
My jobs 144804 are running on node72
  PID TTY          TIME CMD
19894 ?        00:00:00 bash
19922 ?        00:00:00 bash
19928 ?        00:00:00 job2.run
19929 ?        00:00:00 adf
19943 ?        00:00:00 runscript
19968 ?        00:00:00 start
19974 ?        00:00:00 mpirun.mpich
19977 ?        00:00:00 mpid
20091 ?        00:19:38 adf.exe
20092 ?        00:19:37 adf.exe
20093 ?        00:19:38 adf.exe
20094 ?        00:19:38 adf.exe
20095 ?        00:19:38 adf.exe
20096 ?        00:19:38 adf.exe
20097 ?        00:19:37 adf.exe
20098 ?        00:19:36 adf.exe
21598 ?        00:00:00 ps
3楼2012-06-24 22:04:44
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

贺仪

铁杆木虫 (著名写手)

引用回帖:
3楼: Originally posted by wntc at 2012-06-24 22:04:44
需要设置这么多么,我这似乎souce一下adfrc.sh就好了
My jobs 144803 are running on node71
  PID TTY          TIME CMD
27938 ?        00:00:00 bash
27966 ?        00:00:00 bash
27972 ?        00:00: ...

这个不够的,我也试过了不行的,
后来看了里面的详细内容,其实就是我设置的其中几项
嘟啦啦嘟啦啦嘟
4楼2012-06-24 22:14:12
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

wntc

木虫 (正式写手)

引用回帖:
4楼: Originally posted by 贺仪 at 2012-06-24 22:14:12
这个不够的,我也试过了不行的,
后来看了里面的详细内容,其实就是我设置的其中几项...

系统的差别,不清楚!
这里用的是红帽没有发现上述问题
Linux node60 2.6.9-67.ELsmp #1 SMP Wed Nov 9 13:56:44 EST 2007 x86_64 x86_64 x86_64 GNU/Linux
5楼2012-06-25 10:56:20
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

贺仪

铁杆木虫 (著名写手)

引用回帖:
5楼: Originally posted by wntc at 2012-06-25 10:56:20
系统的差别,不清楚!
这里用的是红帽没有发现上述问题
Linux node60 2.6.9-67.ELsmp #1 SMP Wed Nov 9 13:56:44 EST 2007 x86_64 x86_64 x86_64 GNU/Linux...

系统是有差别,但内核一样的,只要设置好都不会有问题的,
集群不是我一个人用,肯定不能重装系统的
嘟啦啦嘟啦啦嘟
6楼2012-06-25 17:04:30
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

abbott

金虫 (著名写手)

不要用QQ问我东西

把需要的东西, 写在各自的脚本里面。
在脚本里面单独设定调用的东西。
也可以单独设定PATH等, 仅仅对当前的SHELL进程有效哦。
可以如此尝试一下哦。
Chemistry[]==[]Chem[]is[]try!!!
7楼2012-06-27 21:19:56
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

贺仪

铁杆木虫 (著名写手)

引用回帖:
7楼: Originally posted by abbott at 2012-06-27 21:19:56
把需要的东西, 写在各自的脚本里面。
在脚本里面单独设定调用的东西。
也可以单独设定PATH等, 仅仅对当前的SHELL进程有效哦。
可以如此尝试一下哦。

嗯 我的adf设置是放在提交任务的脚本里面的。但是.bashrc里面有其他的软件设置,就设置了一个公共的mpi。换了几次后,虽然adf的脚本设置没有改变但是计算的速度变慢了,不知道怎么回事呀
嘟啦啦嘟啦啦嘟
8楼2012-06-27 21:54:32
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

贺仪

铁杆木虫 (著名写手)

怎么都不选择应助呢?
嘟啦啦嘟啦啦嘟
9楼2012-06-27 21:54:54
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 贺仪 的主题更新
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[公派出国] 售SCI一区文章,我:8 O5 51O 54,科目齐全 +3 5lbyq5wrhb 2026-02-07 4/200 2026-02-08 08:47 by vs90ilomwc
[考博] 售SCI一区文章,我:8 O5 51O 54,科目齐全 +3 5lbyq5wrhb 2026-02-07 4/200 2026-02-08 08:46 by vs90ilomwc
[硕博家园] 售SCI一区文章,我:8 O5 51O 54,科目齐全 +3 3rkserf6qr 2026-02-07 4/200 2026-02-08 08:27 by vs90ilomwc
[硕博家园] 售SCI一区文章,我:8 O5 51O 54,科目齐全 +5 2h7du0nuhk 2026-02-07 6/300 2026-02-08 08:26 by vs90ilomwc
[考博] 售SCI一区文章,我:8 O5 51O 54,科目齐全 +5 2h7du0nuhk 2026-02-07 6/300 2026-02-08 08:12 by vs90ilomwc
[硕博家园] 售SCI一区文章,我:8 O5 51O 54,科目齐全 +4 2h7du0nuhk 2026-02-07 6/300 2026-02-08 08:07 by vs90ilomwc
[教师之家] 售SCI一区文章,我:8 O5 51O 54,科目齐全 +4 2h7du0nuhk 2026-02-07 7/350 2026-02-08 07:52 by vs90ilomwc
[公派出国] 售SCI一区文章,我:8 O5 51O 54,科目齐全 +4 2h7du0nuhk 2026-02-07 8/400 2026-02-08 07:32 by vs90ilomwc
[考博] 售SCI一区文章,我:8 O5 51O 54,科目齐全 +4 2h7du0nuhk 2026-02-07 8/400 2026-02-08 07:27 by vs90ilomwc
[教师之家] 售SCI一区文章,我:8 O5 51O 54,科目齐全 +4 2h7du0nuhk 2026-02-07 8/400 2026-02-08 07:26 by vs90ilomwc
[硕博家园] 售SCI一区文章,我:8 O5 51O 54,科目齐全 +4 2h7du0nuhk 2026-02-07 8/400 2026-02-08 07:07 by vs90ilomwc
[硕博家园] 博士延得我,科研能力直往上蹿 +8 偏振片 2026-02-02 8/400 2026-02-08 06:52 by liyeqik
[教师之家] 有院领导为了换新车,用横向课题经费买了俩车 +7 瞬息宇宙 2026-02-04 7/350 2026-02-07 21:47 by tfang
[有机交流] 酰胺脱乙酰基 10+5 chibby 2026-02-03 12/600 2026-02-07 19:29 by 江东闲人
[基金申请] 同年申请2项不同项目,第1个项目里不写第2个项目的信息,可以吗 +4 hitsdu 2026-02-06 4/200 2026-02-07 13:07 by jurkat.1640
[基金申请] 有时候真觉得大城市人没有县城人甚至个体户幸福 +9 苏东坡二世 2026-02-04 10/500 2026-02-07 12:37 by 小毛球
[考博] 天津大学招2026.09的博士生,欢迎大家推荐交流(博导是本人) +4 a793625982 2026-02-05 5/250 2026-02-07 10:57 by a793625982
[公派出国] CSC & MSCA 博洛尼亚大学能源材料课题组博士/博士后招生|MSCA经费充足、排名优 +4 雨念 2026-02-01 6/300 2026-02-06 23:32 by MelissaPon
[基金申请] 面上项目申报 +3 Tide man 2026-02-01 3/150 2026-02-05 22:56 by god_tian
[教师之家] 遇见不省心的家人很难过 +18 otani 2026-02-03 22/1100 2026-02-04 11:06 by tangmnt
信息提示
请填处理意见