应《网络安全法》要求，自2017年10月1日起，未进行实名认证将不得使用互联网跟帖服务。为保障您的帐号能够正常使用，请尽快对帐号进行手机号验证，感谢您的理解与支持！

24小时热门版块排行榜    

小木虫论坛-学术科研互动平台 » 计算模拟区 » 第一性原理 » MS » 【求助】为什么并行计算比单节点的要慢非常多呢？
121/2返回列表12下一页
查看: 2038  |  回复: 11
只看楼主 @他人 存档 新回复提醒 (忽略) 收藏    在APP中查看
当前主题已经存档。

tubaxu

金虫 (小有名气)

[交流] 【求助】为什么并行计算比单节点的要慢非常多呢？

菜鸟刚刚接触集群系统的计算。这两天在折腾MS的并行计算。现在可以实行并行计算，但是多节点并行计算的速度，远远低于单节点的计算速度，不知道是为什么？
  集群是曙光系统，共六个节点，每个节点有8个核，内存node1最大，其他五个内存一样大。安装好后，并行可以进行，6个节点48个cpu运行是可以跑的，但是不如用单节点8个cpu跑的快。跑CASTEP程序，单节点8cpu只需要一两分钟就可以返回的结果，6个节点48个cpu却要至少20多分钟。
   请问各位大虾，是什么原因导致这种情况？是并行文件配置的不好？还是因为节点间用的是千兆交换机，影响了数据的交换？还是其他原因？恳请达人给予指点。
    刚刚接触，真的比较菜，让各位见笑了。
回复此楼

» 猜你喜欢
凡人作一事，便须全副精神注在此一事，首尾不懈。人而无恒，终生一无所成。
1楼 2010-01-09 23:07:41
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

yqzhang6518

金虫 (正式写手)
★ ★
小木虫(金币+0.5):给个红包，谢谢回帖交流
qasd(金币+1,VIP+0):xiexie~ 1-10 20:04
不是CPU越多就越快的，CPU之间通讯需要时间，对于一般的集群系统，超过8个CPU后效率会直线下降！
赞一下(11人) 回复此楼
2楼2010-01-10 10:04:19
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

chimegreen

木虫 (正式写手)

Dr.
★ ★
小木虫(金币+0.5):给个红包，谢谢回帖交流
qasd(金币+1,VIP+0):xiexie~ 1-10 20:04
castep有一个节点8个核跑跑试试，呵呵
刷刷的。
并行计算是个很复杂的问题，核间通讯要比节点间通讯快的多，节点间通讯还有一些等待，所以并行效率就会降低，MS因为源码不开饭，也没有办法调整，只能顺着来了
祝你好运
赞一下(11人) 回复此楼
快乐科研，快乐生活。
3楼2010-01-10 10:48:14
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

tubaxu

金虫 (小有名气)
引用回帖:
Originally posted by tubaxu at 2010-1-9 23:07:
菜鸟刚刚接触集群系统的计算。这两天在折腾MS的并行计算。现在可以实行并行计算，但是多节点并行计算的速度，远远低于单节点的计算速度，不知道是为什么？
  集群是曙光系统，共六个节点，每个节点有8个核，内存 ...

的确是，跑dmol3，6个节点跑，要80多秒，而一个节点，只要50秒。看来真不如只用一个节点。多谢回复。
赞一下 回复此楼
凡人作一事，便须全副精神注在此一事，首尾不懈。人而无恒，终生一无所成。
4楼2010-01-10 10:57:59
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

tubaxu

金虫 (小有名气)
引用回帖:
Originally posted by yqzhang6518 at 2010-1-10 10:04:
不是CPU越多就越快的，CPU之间通讯需要时间，对于一般的集群系统，超过8个CPU后效率会直线下降！

并行应该比单节点快，只所以慢，也许是通讯太慢，也许是并行文件设置不当吧。我新手，一点也不懂。
赞一下 回复此楼
凡人作一事，便须全副精神注在此一事，首尾不懈。人而无恒，终生一无所成。
5楼2010-01-10 10:59:56
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

xirainbow

木虫 (正式写手)
★ ★
小木虫(金币+0.5):给个红包，谢谢回帖交流
qasd(金币+1,VIP+0):xiexie~ 1-10 20:05
你跑一个几分钟的程序是没意义的
其中真正并行的部分只占你总计算时间的很少一部分
再加上通讯时间：（

跑个需要两三天的任务试试；）
赞一下(11人) 回复此楼
6楼2010-01-10 17:23:26
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

tubaxu

金虫 (小有名气)
引用回帖:
Originally posted by xirainbow at 2010-1-10 17:23:
你跑一个几分钟的程序是没意义的
其中真正并行的部分只占你总计算时间的很少一部分
再加上通讯时间：（

跑个需要两三天的任务试试；）

明白了。三克油
回复此楼
凡人作一事，便须全副精神注在此一事，首尾不懈。人而无恒，终生一无所成。
7楼2010-01-10 18:29:00
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

fuzp

铁杆木虫 (正式写手)
我跑castep，跑几天的程序也是这样，单节点就是比3个节点的快，而且查网络通讯，交换速度并没有满，有些奇怪。
也许硬盘速度也有关系。
引用回帖:
Originally posted by xirainbow at 2010-1-10 17:23:
你跑一个几分钟的程序是没意义的
其中真正并行的部分只占你总计算时间的很少一部分
再加上通讯时间：（

跑个需要两三天的任务试试；）

赞一下 回复此楼
8楼2010-01-11 12:09:47
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

tubaxu

金虫 (小有名气)
引用回帖:
Originally posted by fuzp at 2010-1-11 12:09:
我跑castep，跑几天的程序也是这样，单节点就是比3个节点的快，而且查网络通讯，交换速度并没有满，有些奇怪。
也许硬盘速度也有关系。


用top命令看了一下，发现单节点跑的时候，每个cpu都几乎是100%占用，而多节点跑的时候，每个cpu的占用率不一样，有的多有的少。我猜想，单节点内的各个cpu之间的数据交换速度，要大大快于跨节点之间的数据交换。不同节点间的数据交换速度，是并行计算的瓶颈，毕竟节点间是靠廉价的千兆交换机来交换数据的。不知道我这种想法是不是有一点点道理？
  看来二楼的说法是正解。

[ Last edited by tubaxu on 2010-1-11 at 12:55 ]
赞一下 回复此楼
凡人作一事，便须全副精神注在此一事，首尾不懈。人而无恒，终生一无所成。
9楼2010-01-11 12:53:51
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

flyfly20069888

银虫 (小有名气)
★
小木虫(金币+0.5):给个红包，谢谢回帖交流
我也刚刚用集群进行并行计算，六个节点，每节点8个核，
遇到了不少问题，向各位请教一下：
1、我装的是MS4.3版本，为什么在提交任务时最多只能选8个CPU呢?
2、用脚本提交CASTEP的几何优化计算，计算后返回的文件中怎么没有优化后的
     结构文件呢？
赞一下(1人) 回复此楼
10楼2010-01-12 19:20:06
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 tubaxu 的主题更新
121/2返回列表12下一页
普通表情 龙 兔 虎 猫 高级回复 (可上传附件)
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[基金申请] 售SCI一区文章，我:8.O.551.O.5.4,科目全,可伽急 +3 6PrO1XyZ5URF 2026-11-13 3/150 2026-11-15 16:12 by 0aDbZAghdVq9
[考研] 售SCI一区T0P文章，我:8.O.55.1.O.5.4,科目全,可+急 +3 TZqyNTBa07NP 2026-11-13 3/150 2026-11-15 11:14 by xSrQNSSjcgoX
[论文投稿] 售一区SCI文章T0P，我:8O.551.O54,科目全,可十急 +3 TZqyNTBa07NP 2026-11-13 3/150 2026-11-15 11:03 by xSrQNSSjcgoX
[论文投稿] 售SCI一区文章，我:8.O.551.O.5.4,科目全,可伽急 +3 TZqyNTBa07NP 2026-11-13 3/150 2026-11-15 09:24 by xSrQNSSjcgoX
[考研] 售SCI一区T0P文章，我:8.O.55.1.O.5.4,科目全,可+急 +3 SX5mJmPWDfOO 2026-11-13 3/150 2026-11-15 07:56 by xSrQNSSjcgoX
[论文投稿] 售一区SCI文章T0P，我:8O.551.O54,科目全,可十急 +3 XJXMuRjD7cK7 2026-11-13 3/150 2026-11-15 05:33 by xSrQNSSjcgoX
[考研] 售SCI一区T0P文章，我:8.O.55.1.O.5.4,科目全,可+急 +3 uKOSCocCb6Fm 2026-11-12 8/400 2026-11-15 02:26 by xSrQNSSjcgoX
[基金申请] 售SCI一区T0P文章，我:8.O.55.1.O.54,科目齐全,可+急 +6 FChKX8meu1ds 2026-11-09 8/400 2026-11-15 00:35 by Equinoxhua
[考博] 售SCI一区文章，我:8.O.55.1.O.54,科目齐全,可伽急 +4 G2rhSvqvhNzl 2026-11-10 6/300 2026-11-15 00:24 by Equinoxhua
[考博] 27博士申请（市政/环境） +3 ladf 2026-11-12 3/150 2026-11-13 08:19 by Equinoxhua
[考博] 售SCI一区T0P文章，我:8.O55.1.O.54,科目全,可十急 +3 Z7qfCsdIiD1T 2026-11-10 5/250 2026-11-12 11:25 by HajghKOMynmz
[硕博家园] 售SCI一区T0P文章，我:8O.55.1.O.5.4,科目齐全,可+急 +4 Z7qfCsdIiD1T 2026-11-10 6/300 2026-11-12 11:22 by HajghKOMynmz
[硕博家园] 售SCI-T0P文章，我:8O.5.5.1.O.54,科目齐全,可+急 +5 Z7qfCsdIiD1T 2026-11-10 8/400 2026-11-12 11:20 by HajghKOMynmz
[考研] 售SCI一区T0P文章，我:8O.55.1.O.54,科目全,可伽急 +4 G2rhSvqvhNzl 2026-11-10 7/350 2026-11-12 10:49 by HajghKOMynmz
[教师之家] 售SCI一区T0P文章，我:8O.55.1.O.5.4,科目齐全,可+急 +3 C6CRn66RYYXS 2026-11-10 8/400 2026-11-12 10:16 by HajghKOMynmz
[考博] 售SCI一区T0P文章，我:8O.55.1.O.5.4,科目齐全,可+急 +6 YHiw1gou1Eda 2026-11-10 6/300 2026-11-12 10:08 by HajghKOMynmz
[考研] 售SCI一区文章，我:8O5.5.1.O5.4,科目全,可伽急 +8 cqv1zKnzd7hr 2026-11-09 12/600 2026-11-12 09:32 by HajghKOMynmz
[考研] 售SCI文章，我:8O.5.5.1O.54,科目全,可十急 +7 0TEMgxdT1eIw 2026-11-09 9/450 2026-11-12 09:24 by HajghKOMynmz
[教师之家] 售SCI一区T0P文章，我:8.O.55.1.O.54,科目齐全,可+急 +3 TgvkbZZl9tqB 2026-11-11 4/200 2026-11-12 08:15 by HajghKOMynmz
[公派出国] 售SCI一区T0P文章，我:8O.55.1.O.5.4,科目齐全,可+急 +3 czAiolzR0IJC 2026-11-10 5/250 2026-11-12 06:36 by 9fOTqj074tIg
信息提示
关闭
请填处理意见
关闭