24小时热门版块排行榜    

查看: 1222  |  回复: 16
当前主题已经存档。

ustbmars

铜虫 (小有名气)

[交流] 【紧急求助】交换机的选择标准

集群情况:有8个节点机。每个节点有8个核,4G内存,146G高速SCSI硬盘,千兆网卡。

现在想用来做VASP并行计算,已让厂家换过三款不同型号的千兆交换机,发现交换机对并行性能有很大影响。

交换机1:两个节点同时并行VASP,速度甚至不如一个节点。

交换机2:两个节点同时并行VASP,速度是一个节点的1.5倍;换成四个节点并行,速度反而比一个节点慢了N(N>10)倍。

交换机3:  两个节点同时并行VASP,速度是一个节点的1.5倍;四个节点并行,速度比一个节点快2倍;再增加节点数速度没有提高,反而在用6-8个节点时会下降。

价格分别是:交换机1-5000元,2-10000元,3-20000元。

目前倾向于选择交换机3,但感觉性能还不是很理想,而且价格有些高。请版上的高手们支支招?你们选择交换机的主要标准是什么(背板带宽?包发速率?)。另外,请推荐几款型号,价格最好在10000左右的。

[ Last edited by mingdong on 2009-3-24 at 10:03 ]
回复此楼
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

wgpig

木虫 (小有名气)

IB交换机,即使铜缆的。
2楼2009-03-24 10:17:26
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

ustbmars

铜虫 (小有名气)

InfiniBand的?How much?  需要网卡也支持IB吧?
3楼2009-03-24 11:12:01
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

abbott

金虫 (著名写手)

不要用QQ问我东西

★ ★ ★
mingdong(金币+3,VIP+0):谢谢 3-25 06:53
注意 提供一条参考的信息.

交换机也有这么一个分类:
1 共享端口的;
比如标称是千兆交换机,但是是8个口共享1000MBPS的端口,这个就比较倒霉的;
理论上讲,千兆网卡的理论上限速度是125MB/s, 如果你并行计算中,数据交换量大于这个值, 就会出现数据阻塞, 交换机不畅!

2 独立端口的, 即每一个端口都独享1000兆的速度. 但是,这样的,价格也是极其昂贵的.
去年年底,咨询华为, 8口独立千兆的交换机,25000人民币起价(问题是,8口的少,一般都是24口的)

所以 如果要达到理想的速度,适合采用独立端口的交换机,而非共享的;
Chemistry[]==[]Chem[]is[]try!!!
4楼2009-03-24 11:46:07
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

madonion

金虫 (正式写手)


mingdong(金币+1,VIP+0):谢谢 3-25 06:53
单个节点cpu太多,用以太网并行的话通信瓶颈太大,看来楼主也是不差钱的主,上IB把,必须上ib卡,至于这个具体多少钱你问代理商把,反正不便宜,一根线都要几百
5楼2009-03-24 11:47:32
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

wgpig

木虫 (小有名气)

IB 的要比你第三的交换机要贵,LS有兄弟说了,要有IB的卡搭配的。 不过好处就是,你可以全部使用8台节点并行。
6楼2009-03-24 13:57:34
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

tjpm

金虫 (正式写手)

★ ★
mingdong(金币+2,VIP+0):谢谢 3-25 06:53
交换机对并行影响非常大吧。我们这有个老师买的集群,1个控制节点,4个计算节点。每个节点都是2X4核,4GB内存。
他当时买的交换机好像用了5W左右吧。具体效果我不知道,我们不用那个。
建议LZ就单机内8个核并行吧。不过LZ的内存似乎小了点。计算时每个线程占有的内存用量是相同的,如果体系大点或者网格密点内存就不够了。

Debian的源里有编译好的单机并行(mpich-shmem)用的mpich2,(http://packages.debian.org/lenny/mpich-shmem-bin)测试过比没有加那个选项的要快一些。LZ可以自己重新编译一个MPICH2测试一下,那个选项是什么有点忘记了。
7楼2009-03-24 20:36:29
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

tjpm

金虫 (正式写手)

http://muchong.com/bbs/viewthread.php?tid=1143865&fpage=2
我在这个帖子的最后回了一点
可以参考一下。

另外,可以运行iotop看一下大概的网络传输速度。
引用回帖:
Originally posted by ustbmars at 2009-3-24 09:56:
集群情况:有8个节点机。每个节点有8个核,4G内存,146G高速SCSI硬盘,千兆网卡。

现在想用来做VASP并行计算,已让厂家换过三款不同型号的千兆交换机,发现交换机对并行性能有很大影响。

交换机1:两个节点 ...

8楼2009-03-24 20:40:32
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

ustbmars

铜虫 (小有名气)

谢谢各位的建议!

PS:7楼的兄弟,我们集群用的是Suse Linux 10.0以及lam_mpi,似乎没有iotop这个命令。
9楼2009-03-25 09:19:21
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

tjpm

金虫 (正式写手)


mingdong(金币+1,VIP+0):继续感谢! 3-25 15:23
iotop不是系统默认带的
需要自己安装
软件包名字在Debian 的源里就叫iotop.
Suse外观好看,似乎是有点慢。

PS:lam_mpi好像只支持F77吧 记得以前自己编译过
引用回帖:
Originally posted by ustbmars at 2009-3-25 09:19:
谢谢各位的建议!

PS:7楼的兄弟,我们集群用的是Suse Linux 10.0以及lam_mpi,似乎没有iotop这个命令。

10楼2009-03-25 12:13:42
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 ustbmars 的主题更新
普通表情 高级回复 (可上传附件)
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[教师之家] 售SCI一区T0P文章,我:8.O55.1.O.54,科目全,可十急 +3 CyTWnZiM0cS6 2026-08-02 5/250 2026-08-02 20:43 by 3VGOm6paSgqv
[找工作] 售SCI一区文章,我:8O5.5.1.O5.4,科目全,可伽急 +4 AS6fX1tr1on4 2026-08-02 5/250 2026-08-02 20:31 by 3VGOm6paSgqv
[论文投稿] 售SCI一区T0P文章,我:8.O.55.1.O.54,科目齐全,可+急 +3 AS6fX1tr1on4 2026-08-02 8/400 2026-08-02 20:24 by 3VGOm6paSgqv
[论文投稿] 售SCI一区文章,我:8.O.55.1.O.54,科目齐全,可伽急 +3 AS6fX1tr1on4 2026-08-02 6/300 2026-08-02 20:21 by 3VGOm6paSgqv
[硕博家园] 售一区SCI文章T0P,我:8O.551.O54,科目全,可十急 +4 AS6fX1tr1on4 2026-08-02 9/450 2026-08-02 20:18 by 3VGOm6paSgqv
[公派出国] 售SCI-T0P文章,我:8O.5.5.1.O.54,科目齐全,可+急 +3 AS6fX1tr1on4 2026-08-02 7/350 2026-08-02 20:11 by 3VGOm6paSgqv
[教师之家] 售SCI一区文章,我:8.O.551.O.5.4,科目全,可伽急 +4 AS6fX1tr1on4 2026-08-02 11/550 2026-08-02 20:11 by 3VGOm6paSgqv
[论文投稿] 售SCI一区T0P文章,我:8O.55.1.O.5.4,科目齐全,可+急 +4 AS6fX1tr1on4 2026-08-02 14/700 2026-08-02 20:11 by 3VGOm6paSgqv
[硕博家园] 售SCI一区T0P文章,我:8.O55.1.O.54,科目全,可十急 +4 AS6fX1tr1on4 2026-08-02 13/650 2026-08-02 20:04 by 3VGOm6paSgqv
[公派出国] 售SCI一区T0P文章,我:8O.55.1.O.5.4,科目齐全,可+急 +4 cBGhfJFuNMca 2026-08-02 10/500 2026-08-02 20:03 by 3VGOm6paSgqv
[找工作] 售SCI一区文章,我:8.O.55.1.O.54,科目齐全,可伽急 +4 cBGhfJFuNMca 2026-08-02 17/850 2026-08-02 19:58 by 3VGOm6paSgqv
[博后之家] 售SCI一区文章,我:8.O.551.O.5.4,科目全,可伽急 +5 cBGhfJFuNMca 2026-08-02 17/850 2026-08-02 19:54 by 3VGOm6paSgqv
[考博] 售SCI一区T0P文章,我:8.O.55.1.O.54,科目齐全,可+急 +5 cBGhfJFuNMca 2026-08-02 15/750 2026-08-02 19:54 by 3VGOm6paSgqv
[教师之家] 售SCI一区T0P文章,我:8.O.55.1.O.54,科目齐全,可+急 +3 AS6fX1tr1on4 2026-08-02 6/300 2026-08-02 18:34 by ca3DVAx4OB19
[博后之家] 售SCI-T0P文章,我:8O.5.5.1.O.54,科目齐全,可+急 +4 cBGhfJFuNMca 2026-08-02 20/1000 2026-08-02 18:04 by ca3DVAx4OB19
[基金申请] 准备明年的基金了 +7 Tide man 2026-07-27 7/350 2026-08-02 16:43 by gltch
[基金申请] 2026年国自然面上资助率 +15 布布和一二 2026-07-30 21/1050 2026-08-02 10:56 by iaeyuan
[考博] 2027年申博 50+3 射雕英雄胜 2026-07-30 3/150 2026-08-02 09:36 by lfy8008
[有机交流] 一个有机合成实验室都需要哪些设备? 50+3 kf2781974 2026-07-31 7/350 2026-08-02 07:59 by 88817753
[基金申请] 同事接到电话了,我却没有 +4 1234567wang 2026-07-27 4/200 2026-07-28 10:11 by GOODLUCKER
信息提示
请填处理意见