24小时热门版块排行榜    

Znn3bq.jpeg
北京石油化工学院2026年研究生招生接收调剂公告
查看: 1050  |  回复: 16
当前主题已经存档。

ustbmars

铜虫 (小有名气)

[交流] 【紧急求助】交换机的选择标准

集群情况:有8个节点机。每个节点有8个核,4G内存,146G高速SCSI硬盘,千兆网卡。

现在想用来做VASP并行计算,已让厂家换过三款不同型号的千兆交换机,发现交换机对并行性能有很大影响。

交换机1:两个节点同时并行VASP,速度甚至不如一个节点。

交换机2:两个节点同时并行VASP,速度是一个节点的1.5倍;换成四个节点并行,速度反而比一个节点慢了N(N>10)倍。

交换机3:  两个节点同时并行VASP,速度是一个节点的1.5倍;四个节点并行,速度比一个节点快2倍;再增加节点数速度没有提高,反而在用6-8个节点时会下降。

价格分别是:交换机1-5000元,2-10000元,3-20000元。

目前倾向于选择交换机3,但感觉性能还不是很理想,而且价格有些高。请版上的高手们支支招?你们选择交换机的主要标准是什么(背板带宽?包发速率?)。另外,请推荐几款型号,价格最好在10000左右的。

[ Last edited by mingdong on 2009-3-24 at 10:03 ]
回复此楼

» 猜你喜欢

已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

wgpig

木虫 (小有名气)

IB交换机,即使铜缆的。
2楼2009-03-24 10:17:26
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

ustbmars

铜虫 (小有名气)

InfiniBand的?How much?  需要网卡也支持IB吧?
3楼2009-03-24 11:12:01
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

abbott

金虫 (著名写手)

不要用QQ问我东西

★ ★ ★
mingdong(金币+3,VIP+0):谢谢 3-25 06:53
注意 提供一条参考的信息.

交换机也有这么一个分类:
1 共享端口的;
比如标称是千兆交换机,但是是8个口共享1000MBPS的端口,这个就比较倒霉的;
理论上讲,千兆网卡的理论上限速度是125MB/s, 如果你并行计算中,数据交换量大于这个值, 就会出现数据阻塞, 交换机不畅!

2 独立端口的, 即每一个端口都独享1000兆的速度. 但是,这样的,价格也是极其昂贵的.
去年年底,咨询华为, 8口独立千兆的交换机,25000人民币起价(问题是,8口的少,一般都是24口的)

所以 如果要达到理想的速度,适合采用独立端口的交换机,而非共享的;
Chemistry[]==[]Chem[]is[]try!!!
4楼2009-03-24 11:46:07
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

madonion

金虫 (正式写手)


mingdong(金币+1,VIP+0):谢谢 3-25 06:53
单个节点cpu太多,用以太网并行的话通信瓶颈太大,看来楼主也是不差钱的主,上IB把,必须上ib卡,至于这个具体多少钱你问代理商把,反正不便宜,一根线都要几百
5楼2009-03-24 11:47:32
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

wgpig

木虫 (小有名气)

IB 的要比你第三的交换机要贵,LS有兄弟说了,要有IB的卡搭配的。 不过好处就是,你可以全部使用8台节点并行。
6楼2009-03-24 13:57:34
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

tjpm

金虫 (正式写手)

★ ★
mingdong(金币+2,VIP+0):谢谢 3-25 06:53
交换机对并行影响非常大吧。我们这有个老师买的集群,1个控制节点,4个计算节点。每个节点都是2X4核,4GB内存。
他当时买的交换机好像用了5W左右吧。具体效果我不知道,我们不用那个。
建议LZ就单机内8个核并行吧。不过LZ的内存似乎小了点。计算时每个线程占有的内存用量是相同的,如果体系大点或者网格密点内存就不够了。

Debian的源里有编译好的单机并行(mpich-shmem)用的mpich2,(http://packages.debian.org/lenny/mpich-shmem-bin)测试过比没有加那个选项的要快一些。LZ可以自己重新编译一个MPICH2测试一下,那个选项是什么有点忘记了。
7楼2009-03-24 20:36:29
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

tjpm

金虫 (正式写手)

http://muchong.com/bbs/viewthread.php?tid=1143865&fpage=2
我在这个帖子的最后回了一点
可以参考一下。

另外,可以运行iotop看一下大概的网络传输速度。
引用回帖:
Originally posted by ustbmars at 2009-3-24 09:56:
集群情况:有8个节点机。每个节点有8个核,4G内存,146G高速SCSI硬盘,千兆网卡。

现在想用来做VASP并行计算,已让厂家换过三款不同型号的千兆交换机,发现交换机对并行性能有很大影响。

交换机1:两个节点 ...

8楼2009-03-24 20:40:32
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

ustbmars

铜虫 (小有名气)

谢谢各位的建议!

PS:7楼的兄弟,我们集群用的是Suse Linux 10.0以及lam_mpi,似乎没有iotop这个命令。
9楼2009-03-25 09:19:21
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

tjpm

金虫 (正式写手)


mingdong(金币+1,VIP+0):继续感谢! 3-25 15:23
iotop不是系统默认带的
需要自己安装
软件包名字在Debian 的源里就叫iotop.
Suse外观好看,似乎是有点慢。

PS:lam_mpi好像只支持F77吧 记得以前自己编译过
引用回帖:
Originally posted by ustbmars at 2009-3-25 09:19:
谢谢各位的建议!

PS:7楼的兄弟,我们集群用的是Suse Linux 10.0以及lam_mpi,似乎没有iotop这个命令。

10楼2009-03-25 12:13:42
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 ustbmars 的主题更新
普通表情 高级回复 (可上传附件)
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[考研] 353求调剂 +4 晴空万里air 2026-04-07 4/200 2026-04-07 23:24 by JourneyLucky
[考研] 298求调剂 +5 钉叮咚冬瓜 2026-04-07 7/350 2026-04-07 21:56 by 钉叮咚冬瓜
[考研] 338求调剂 +5 小猪红色 678 2026-04-06 6/300 2026-04-07 21:18 by 乔哒哒哒
[考研] 305求调剂 +4 77Qi 2026-04-06 4/200 2026-04-07 20:06 by shanqishi
[考研] 328求调剂 +4 ghhh88888 2026-04-06 5/250 2026-04-07 14:45 by ghhh88888
[考研] 一志愿武理车辆专硕总分 281 求调剂 +4 上岸研究生. 2026-04-02 4/200 2026-04-07 09:52 by 加油向未来啊
[考研] 312求调剂 +4 LR6 2026-04-06 4/200 2026-04-07 08:42 by jp9609
[考研] 304求调剂 +4 luoye0105 2026-04-05 4/200 2026-04-06 21:05 by 木子君1218
[考研] 本科211,293分请求调剂 +8 莲菜就是藕吧 2026-04-03 9/450 2026-04-05 19:12 by 蓝云思雨
[考研] 11408,335分,本科211,求调剂,可转专业 +5 鳄梨大鳄鱼 2026-04-03 5/250 2026-04-04 22:49 by chongya
[考研] 调剂 +9 19945159693 2026-04-03 10/500 2026-04-04 20:16 by dongzh2009
[考研] 085601,一志愿厦大334复试被刷求调剂 +13 曾仰之 2026-04-03 15/750 2026-04-04 20:13 by dongzh2009
[考研] 11408 一志愿西电,277分求调剂 +4 zhouzhen654 2026-04-03 4/200 2026-04-04 18:10 by 猪会飞
[考研] 291求调剂 +4 迷蒙木木 2026-04-01 5/250 2026-04-04 15:59 by sihailian3
[考研] 325求调剂 +4 春风不借意 2026-04-04 4/200 2026-04-04 14:46 by 湘农储能材料
[考研] 366求调剂 +7 sbdnd 2026-04-03 7/350 2026-04-03 12:40 by cymywx
[考研] 319求调剂 +18 太容易1018 2026-04-01 18/900 2026-04-03 11:18 by linyelide
[考研] 279求调剂 +6 qazplm0852 2026-04-02 6/300 2026-04-03 10:03 by 蓝云思雨
[考研] 279求调剂 +5 傅文秋 2026-04-02 5/250 2026-04-02 18:10 by 笔落锦州
[考研] 【求调剂】新能源材料本科,一志愿211,初试321 +6 求调剂学校, 2026-04-02 6/300 2026-04-02 09:41 by 晴空210210
信息提示
请填处理意见