应《网络安全法》要求，自2017年10月1日起，未进行实名认证将不得使用互联网跟帖服务。为保障您的帐号能够正常使用，请尽快对帐号进行手机号验证，感谢您的理解与支持！

24小时热门版块排行榜    

CyRhmU.jpeg
小木虫论坛-学术科研互动平台 » 计算模拟区 » 第一性原理 » MS » 【求助】为什么并行计算比单节点的要慢非常多呢？
121/2返回列表12下一页
查看: 1659  |  回复: 11
只看楼主@他人 存档 新回复提醒 (忽略) 收藏    在APP中查看
当前主题已经存档。

tubaxu

金虫 (小有名气)

[交流] 【求助】为什么并行计算比单节点的要慢非常多呢？

菜鸟刚刚接触集群系统的计算。这两天在折腾MS的并行计算。现在可以实行并行计算，但是多节点并行计算的速度，远远低于单节点的计算速度，不知道是为什么？
  集群是曙光系统，共六个节点，每个节点有8个核，内存node1最大，其他五个内存一样大。安装好后，并行可以进行，6个节点48个cpu运行是可以跑的，但是不如用单节点8个cpu跑的快。跑CASTEP程序，单节点8cpu只需要一两分钟就可以返回的结果，6个节点48个cpu却要至少20多分钟。
   请问各位大虾，是什么原因导致这种情况？是并行文件配置的不好？还是因为节点间用的是千兆交换机，影响了数据的交换？还是其他原因？恳请达人给予指点。
    刚刚接触，真的比较菜，让各位见笑了。
回复此楼

» 猜你喜欢
凡人作一事，便须全副精神注在此一事，首尾不懈。人而无恒，终生一无所成。
1楼2010-01-09 23:07:41
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

yqzhang6518

金虫 (正式写手)
★ ★
小木虫(金币+0.5):给个红包，谢谢回帖交流
qasd(金币+1,VIP+0):xiexie~ 1-10 20:04
不是CPU越多就越快的，CPU之间通讯需要时间，对于一般的集群系统，超过8个CPU后效率会直线下降！
赞一下(11人) 回复此楼
2楼2010-01-10 10:04:19
 已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

chimegreen

木虫 (正式写手)

Dr.
★ ★
小木虫(金币+0.5):给个红包，谢谢回帖交流
qasd(金币+1,VIP+0):xiexie~ 1-10 20:04
castep有一个节点8个核跑跑试试，呵呵
刷刷的。
并行计算是个很复杂的问题，核间通讯要比节点间通讯快的多，节点间通讯还有一些等待，所以并行效率就会降低，MS因为源码不开饭，也没有办法调整，只能顺着来了
祝你好运
赞一下(11人) 回复此楼
快乐科研，快乐生活。
3楼2010-01-10 10:48:14
 已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

tubaxu

金虫 (小有名气)
引用回帖:
Originally posted by tubaxu at 2010-1-9 23:07:
菜鸟刚刚接触集群系统的计算。这两天在折腾MS的并行计算。现在可以实行并行计算，但是多节点并行计算的速度，远远低于单节点的计算速度，不知道是为什么？
  集群是曙光系统，共六个节点，每个节点有8个核，内存 ...

的确是，跑dmol3，6个节点跑，要80多秒，而一个节点，只要50秒。看来真不如只用一个节点。多谢回复。
赞一下 回复此楼
凡人作一事，便须全副精神注在此一事，首尾不懈。人而无恒，终生一无所成。
4楼2010-01-10 10:57:59
 已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

tubaxu

金虫 (小有名气)
引用回帖:
Originally posted by yqzhang6518 at 2010-1-10 10:04:
不是CPU越多就越快的，CPU之间通讯需要时间，对于一般的集群系统，超过8个CPU后效率会直线下降！

并行应该比单节点快，只所以慢，也许是通讯太慢，也许是并行文件设置不当吧。我新手，一点也不懂。
赞一下 回复此楼
凡人作一事，便须全副精神注在此一事，首尾不懈。人而无恒，终生一无所成。
5楼2010-01-10 10:59:56
 已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

xirainbow

木虫 (正式写手)
★ ★
小木虫(金币+0.5):给个红包，谢谢回帖交流
qasd(金币+1,VIP+0):xiexie~ 1-10 20:05
你跑一个几分钟的程序是没意义的
其中真正并行的部分只占你总计算时间的很少一部分
再加上通讯时间：（

跑个需要两三天的任务试试；）
赞一下(11人) 回复此楼
6楼2010-01-10 17:23:26
 已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

tubaxu

金虫 (小有名气)
引用回帖:
Originally posted by xirainbow at 2010-1-10 17:23:
你跑一个几分钟的程序是没意义的
其中真正并行的部分只占你总计算时间的很少一部分
再加上通讯时间：（

跑个需要两三天的任务试试；）

明白了。三克油
回复此楼
凡人作一事，便须全副精神注在此一事，首尾不懈。人而无恒，终生一无所成。
7楼2010-01-10 18:29:00
 已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

fuzp

铁杆木虫 (正式写手)
我跑castep，跑几天的程序也是这样，单节点就是比3个节点的快，而且查网络通讯，交换速度并没有满，有些奇怪。
也许硬盘速度也有关系。
引用回帖:
Originally posted by xirainbow at 2010-1-10 17:23:
你跑一个几分钟的程序是没意义的
其中真正并行的部分只占你总计算时间的很少一部分
再加上通讯时间：（

跑个需要两三天的任务试试；）

赞一下 回复此楼
8楼2010-01-11 12:09:47
 已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

tubaxu

金虫 (小有名气)
引用回帖:
Originally posted by fuzp at 2010-1-11 12:09:
我跑castep，跑几天的程序也是这样，单节点就是比3个节点的快，而且查网络通讯，交换速度并没有满，有些奇怪。
也许硬盘速度也有关系。


用top命令看了一下，发现单节点跑的时候，每个cpu都几乎是100%占用，而多节点跑的时候，每个cpu的占用率不一样，有的多有的少。我猜想，单节点内的各个cpu之间的数据交换速度，要大大快于跨节点之间的数据交换。不同节点间的数据交换速度，是并行计算的瓶颈，毕竟节点间是靠廉价的千兆交换机来交换数据的。不知道我这种想法是不是有一点点道理？
  看来二楼的说法是正解。

[ Last edited by tubaxu on 2010-1-11 at 12:55 ]
赞一下 回复此楼
凡人作一事，便须全副精神注在此一事，首尾不懈。人而无恒，终生一无所成。
9楼2010-01-11 12:53:51
 已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

flyfly20069888

银虫 (小有名气)
★
小木虫(金币+0.5):给个红包，谢谢回帖交流
我也刚刚用集群进行并行计算，六个节点，每节点8个核，
遇到了不少问题，向各位请教一下：
1、我装的是MS4.3版本，为什么在提交任务时最多只能选8个CPU呢?
2、用脚本提交CASTEP的几何优化计算，计算后返回的文件中怎么没有优化后的
     结构文件呢？
赞一下(1人) 回复此楼
10楼2010-01-12 19:20:06
 已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 tubaxu 的主题更新
121/2返回列表12下一页
普通表情 龙 兔 虎 猫 高级回复(可上传附件)
信息提示
关闭
请填处理意见
关闭