当前位置: 首页 > 第一原理 >【求助】为什么并行计算比单节点的要慢非常多呢?

【求助】为什么并行计算比单节点的要慢非常多呢?

作者 tubaxu
来源: 小木虫 550 11 举报帖子
+关注

菜鸟刚刚接触集群系统的计算。这两天在折腾MS的并行计算。现在可以实行并行计算,但是多节点并行计算的速度,远远低于单节点的计算速度,不知道是为什么?
  集群是曙光系统,共六个节点,每个节点有8个核,内存node1最大,其他五个内存一样大。安装好后,并行可以进行,6个节点48个cpu运行是可以跑的,但是不如用单节点8个cpu跑的快。跑CASTEP程序,单节点8cpu只需要一两分钟就可以返回的结果,6个节点48个cpu却要至少20多分钟。
   请问各位大虾,是什么原因导致这种情况?是并行文件配置的不好?还是因为节点间用的是千兆交换机,影响了数据的交换?还是其他原因?恳请达人给予指点。
    刚刚接触,真的比较菜,让各位见笑了。 返回小木虫查看更多

今日热帖
  • 精华评论
  • tubaxu

    引用回帖:
    Originally posted by fuzp at 2010-1-11 12:09:
    我跑castep,跑几天的程序也是这样,单节点就是比3个节点的快,而且查网络通讯,交换速度并没有满,有些奇怪。
    也许硬盘速度也有关系。


    用top命令看了一下,发现单节点跑的时候,每个cpu都几乎是100%占用,而多节点跑的时候,每个cpu的占用率不一样,有的多有的少。我猜想,单节点内的各个cpu之间的数据交换速度,要大大快于跨节点之间的数据交换。不同节点间的数据交换速度,是并行计算的瓶颈,毕竟节点间是靠廉价的千兆交换机来交换数据的。不知道我这种想法是不是有一点点道理?
      看来二楼的说法是正解。

    [ Last edited by tubaxu on 2010-1-11 at 12:55 ]

  • flyfly20069888

    我也刚刚用集群进行并行计算,六个节点,每节点8个核,
    遇到了不少问题,向各位请教一下:
    1、我装的是MS4.3版本,为什么在提交任务时最多只能选8个CPU呢?
    2、用脚本提交CASTEP的几何优化计算,计算后返回的文件中怎么没有优化后的
         结构文件呢?

  • fuzp

    1、好好看看集群安装吧。尤其etc/Gateway/root_default/dsd/conf/
        gw-info.sbd和gwparams.cfg需要修改cpucorestotal=这项,这个也
        可以从http://gateway==>gateway data==>edit==>账号gatekeeper,
        密码缺省为空。
    2、analysis==>structure==>create或update

    引用回帖:
    Originally posted by flyfly20069888 at 2010-1-12 19:20:
    我也刚刚用集群进行并行计算,六个节点,每节点8个核,
    遇到了不少问题,向各位请教一下:
    1、我装的是MS4.3版本,为什么在提交任务时最多只能选8个CPU呢?
    2、用脚本提交CASTEP的几何优化计算,计算后返回的文 ...


  • dige1863

    引用回帖:
    Originally posted by yqzhang6518 at 2010-1-10 10:04:
    不是CPU越多就越快的,CPU之间通讯需要时间,对于一般的集群系统,超过8个CPU后效率会直线下降!

    核与核之间的通讯同样耗时!
    运行同样的onetep任务,8核时跑完需要6154s,而4核跑时只需4783s。

猜你喜欢