24小时热门版块排行榜    

查看: 1027  |  回复: 16
当前主题已经存档。

ustbmars

铜虫 (小有名气)

[交流] 【紧急求助】交换机的选择标准

集群情况:有8个节点机。每个节点有8个核,4G内存,146G高速SCSI硬盘,千兆网卡。

现在想用来做VASP并行计算,已让厂家换过三款不同型号的千兆交换机,发现交换机对并行性能有很大影响。

交换机1:两个节点同时并行VASP,速度甚至不如一个节点。

交换机2:两个节点同时并行VASP,速度是一个节点的1.5倍;换成四个节点并行,速度反而比一个节点慢了N(N>10)倍。

交换机3:  两个节点同时并行VASP,速度是一个节点的1.5倍;四个节点并行,速度比一个节点快2倍;再增加节点数速度没有提高,反而在用6-8个节点时会下降。

价格分别是:交换机1-5000元,2-10000元,3-20000元。

目前倾向于选择交换机3,但感觉性能还不是很理想,而且价格有些高。请版上的高手们支支招?你们选择交换机的主要标准是什么(背板带宽?包发速率?)。另外,请推荐几款型号,价格最好在10000左右的。

[ Last edited by mingdong on 2009-3-24 at 10:03 ]
回复此楼
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

wgpig

木虫 (小有名气)

IB交换机,即使铜缆的。
2楼2009-03-24 10:17:26
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

ustbmars

铜虫 (小有名气)

InfiniBand的?How much?  需要网卡也支持IB吧?
3楼2009-03-24 11:12:01
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

abbott

金虫 (著名写手)

不要用QQ问我东西

★ ★ ★
mingdong(金币+3,VIP+0):谢谢 3-25 06:53
注意 提供一条参考的信息.

交换机也有这么一个分类:
1 共享端口的;
比如标称是千兆交换机,但是是8个口共享1000MBPS的端口,这个就比较倒霉的;
理论上讲,千兆网卡的理论上限速度是125MB/s, 如果你并行计算中,数据交换量大于这个值, 就会出现数据阻塞, 交换机不畅!

2 独立端口的, 即每一个端口都独享1000兆的速度. 但是,这样的,价格也是极其昂贵的.
去年年底,咨询华为, 8口独立千兆的交换机,25000人民币起价(问题是,8口的少,一般都是24口的)

所以 如果要达到理想的速度,适合采用独立端口的交换机,而非共享的;
Chemistry[]==[]Chem[]is[]try!!!
4楼2009-03-24 11:46:07
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

madonion

金虫 (正式写手)


mingdong(金币+1,VIP+0):谢谢 3-25 06:53
单个节点cpu太多,用以太网并行的话通信瓶颈太大,看来楼主也是不差钱的主,上IB把,必须上ib卡,至于这个具体多少钱你问代理商把,反正不便宜,一根线都要几百
5楼2009-03-24 11:47:32
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

wgpig

木虫 (小有名气)

IB 的要比你第三的交换机要贵,LS有兄弟说了,要有IB的卡搭配的。 不过好处就是,你可以全部使用8台节点并行。
6楼2009-03-24 13:57:34
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

tjpm

金虫 (正式写手)

★ ★
mingdong(金币+2,VIP+0):谢谢 3-25 06:53
交换机对并行影响非常大吧。我们这有个老师买的集群,1个控制节点,4个计算节点。每个节点都是2X4核,4GB内存。
他当时买的交换机好像用了5W左右吧。具体效果我不知道,我们不用那个。
建议LZ就单机内8个核并行吧。不过LZ的内存似乎小了点。计算时每个线程占有的内存用量是相同的,如果体系大点或者网格密点内存就不够了。

Debian的源里有编译好的单机并行(mpich-shmem)用的mpich2,(http://packages.debian.org/lenny/mpich-shmem-bin)测试过比没有加那个选项的要快一些。LZ可以自己重新编译一个MPICH2测试一下,那个选项是什么有点忘记了。
7楼2009-03-24 20:36:29
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

tjpm

金虫 (正式写手)

http://muchong.com/bbs/viewthread.php?tid=1143865&fpage=2
我在这个帖子的最后回了一点
可以参考一下。

另外,可以运行iotop看一下大概的网络传输速度。
引用回帖:
Originally posted by ustbmars at 2009-3-24 09:56:
集群情况:有8个节点机。每个节点有8个核,4G内存,146G高速SCSI硬盘,千兆网卡。

现在想用来做VASP并行计算,已让厂家换过三款不同型号的千兆交换机,发现交换机对并行性能有很大影响。

交换机1:两个节点 ...

8楼2009-03-24 20:40:32
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

ustbmars

铜虫 (小有名气)

谢谢各位的建议!

PS:7楼的兄弟,我们集群用的是Suse Linux 10.0以及lam_mpi,似乎没有iotop这个命令。
9楼2009-03-25 09:19:21
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

tjpm

金虫 (正式写手)


mingdong(金币+1,VIP+0):继续感谢! 3-25 15:23
iotop不是系统默认带的
需要自己安装
软件包名字在Debian 的源里就叫iotop.
Suse外观好看,似乎是有点慢。

PS:lam_mpi好像只支持F77吧 记得以前自己编译过
引用回帖:
Originally posted by ustbmars at 2009-3-25 09:19:
谢谢各位的建议!

PS:7楼的兄弟,我们集群用的是Suse Linux 10.0以及lam_mpi,似乎没有iotop这个命令。

10楼2009-03-25 12:13:42
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 ustbmars 的主题更新
普通表情 高级回复 (可上传附件)
信息提示
请填处理意见