应《网络安全法》要求，自2017年10月1日起，未进行实名认证将不得使用互联网跟帖服务。为保障您的帐号能够正常使用，请尽快对帐号进行手机号验证，感谢您的理解与支持！

24小时热门版块排行榜    

小木虫论坛-学术科研互动平台 » 计算模拟区 » 计算模拟 » 【原创】买了Infiniband，实际上并没有用到Infiniband你知道吗？
北京石油化工学院2026年研究生招生接收调剂公告
162/2返回列表上一页12
查看: 2337  |  回复: 15
只看楼主 @他人 存档 新回复提醒 (忽略) 收藏    在APP中查看

wangyujia

木虫 (正式写手)
★ ★ ★ ★ ★ ★
小木虫(金币+0.5):给个红包，谢谢回帖交流
mingdong(金币+5):感谢交流！ 2010-09-06 16:29:44
引用回帖:
Originally posted by 风间的记忆 at 2010-09-03 15:30:24:


我想你只明白了一部分
如果你的网页监控系统没有专门针对IB协议的选择
你看到的流量只是TCP/IP的流量
根本看不到IB的流量

也就是说如果如此
如果你真正使用的是IB的协议
在你的流量监控中是看不到任 ...

可能是我没有写清楚。我投了一个2节点的任务，用到了问题节点，结果这两个节点的流量都很高(M级)。若是任务在其他节点间并行，那么显示的流量很低(K级)。
然后工程师过来把IB线拔掉了，任务没有影响，流量依旧，说明这个任务是通过千兆网卡来并行的。然后他把IB线连上，把网线拔掉，结果任务就被终止了，更加说明这个节点的IB卡没有工作。
你的想法是对的，“即使用不到IB 也至少能用到IP OVER IB！”
赞一下(2人) 回复此楼
11楼2010-09-05 14:43:52
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

风间的记忆

铁杆木虫 (著名写手)
引用回帖:
Originally posted by wangyujia at 2010-09-05 14:43:52:



可能是我没有写清楚。我投了一个2节点的任务，用到了问题节点，结果这两个节点的流量都很高(M级)。若是任务在其他节点间并行，那么显示的流量很低(K级)。
然后工程师过来把IB线拔掉了，任务没有影响，流量 ...

现在据我所知
用在科学计算上的IB集群
很少有真正使用IB本身协议的

自己的程序需要修改代码 加入IB协议
商用软件需要做工具开发 使之走IB协议

浙大有个国家重点实验室就搞过这个问题的
应该找一家专门做软件和服务的公司弄的

我写这个帖子无非是觉得很多集群觉得上个IB很有面子 也很有效率
实则根本没利用起来 太过浪费
幸好的是现在IB价格较之几年前低多了
赞一下 回复此楼
九州浩淼，任其东西，明日何在，但随我意。
12楼2010-09-05 22:13:57
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

gromacs

银虫 (正式写手)
★
小木虫: 金币+0.5, 给个红包，谢谢回帖
这是我运行more /proc/net/dev的结果，能看出点什么吗

Inter-|   Receive                                                |  Transmit
face |bytes    packets errs drop fifo frame compressed multicast|bytes    packets errs drop fifo colls carrier compressed
    lo:23421553   93525    0    0    0     0          0         0 23421553   93525    0    0    0     0       0          0
  eth0:154464147427 227320558    0    0    0     0          0      1717 518208978183 381492117    0    0    0     0       0          0
  eth1:       0       0    0    0    0     0          0         0        0       0    0    0    0     0       0          0
  sit0:       0       0    0    0    0     0          0         0        0       0    0    0    0     0       0          0
   ib0: 4298196   74249    0    0    0     0          0         0     3584      17    0    0    0     0       0          0
赞一下 回复此楼
"I was taught at school that you should never start a sentence without knowing the end of it." GROMACS讨论区：http://www.mdbbs.org/forum-39-1.html
13楼2013-06-03 18:40:23
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

bluesxn

银虫 (正式写手)
★
小木虫: 金币+0.5, 给个红包，谢谢回帖
我也是持相同观点。最近组里买了新机器(e5-2670)，配了FDR。想看看实算效果如何，于是用mvapich2重新编译了vasp，配置集群的时候特意关闭IPoIB，hostfile里同时特别指定了MPI数据走HCA接口。某算例单节点（16核）跑了52分钟，用双节点（32核）跑用了34分钟，比单节点仅仅快了1/3，不知道是否正常。看网络接口数据，eth数据没有明显增加，ib为0（因为没配IPoIB）。不知道有什么办法能监控ib接口流量，ibdump管用么？

[ Last edited by bluesxn on 2014-1-13 at 09:25 ]
赞一下 回复此楼
14楼2014-01-13 09:22:21
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

风间的记忆

铁杆木虫 (著名写手)
引用回帖:
14楼: Originally posted by bluesxn at 2014-01-13 09:22:21
我也是持相同观点。最近组里买了新机器(e5-2670)，配了FDR。想看看实算效果如何，于是用mvapich2重新编译了vasp，配置集群的时候特意关闭IPoIB，hostfile里同时特别指定了MPI数据走HCA接口。某算例单节点（16核）跑 ...

CASE是不是足够大
如果足够大 这个效率的确有点低
赞一下 回复此楼
九州浩淼，任其东西，明日何在，但随我意。
15楼2014-01-13 10:10:13
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

chen23547

新虫 (初入文坛)
★
小木虫: 金币+0.5, 给个红包，谢谢回帖
也不能说没有用到infiniband吧，IPoIB还是基于IB的，但是数据压入IP报文确实会损失一定的效率。RDMA得要软件支持才行啊。
赞一下 回复此楼
16楼2014-01-13 11:18:32
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 风间的记忆 的主题更新
162/2返回列表上一页12
普通表情 龙 兔 虎 猫 高级回复 (可上传附件)
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[考研] 求调剂 +6 白QF 2026-03-21 7/350 2026-03-28 00:42 by 白QF
[考研] 266分，求材料冶金能源化工等调剂 +5 哇呼哼呼哼 2026-03-27 7/350 2026-03-27 21:41 by lbsjt
[考研] 286求调剂 +8 PolarBear11 2026-03-26 8/400 2026-03-27 18:05 by yu221
[考研] 316求调剂 +5 Pigcasso 2026-03-24 5/250 2026-03-27 12:10 by zhshch
[考研] 303求调剂 +7 安忆灵 2026-03-22 8/400 2026-03-27 11:46 by sanrepian
[论文投稿] Journal of Mechanical Science and Technology +3 Russ_ss 2026-03-25 5/250 2026-03-27 10:49 by 陆小果画大饼
[考研] 304求调剂 +3 曼殊2266 2026-03-27 3/150 2026-03-27 10:17 by guoweigw
[考研] 284求调剂 +11 junqihahaha 2026-03-26 12/600 2026-03-27 04:37 by wxiongid
[考研] 304材料求调剂 +4 钟llll 2026-03-26 4/200 2026-03-27 03:42 by wxiongid
[考研] 调剂 +4 柚柚yoyo 2026-03-26 4/200 2026-03-26 20:43 by fmesaito
[考研] 中国科学院深圳先进技术研究院-光纤传感课题组招生-中国科学院大学、深圳理工大学联培 +5 YangTyu1 2026-03-26 5/250 2026-03-26 18:27 by 猫咪猫咪呀
[考研] 271求调剂 +6 生如夏花… 2026-03-22 6/300 2026-03-26 16:48 by 张凯十八号
[考研] 284求调剂 +15 Zhao anqi 2026-03-22 15/750 2026-03-25 12:51 by wht0531
[考研] 食品专硕 一志愿双一流 328 +3 xiaom99 2026-03-21 4/200 2026-03-24 21:20 by lailaisimei
[考研] 305分求调剂（食品工程） +5 Sxy112 2026-03-21 7/350 2026-03-24 12:27 by 544594351
[考研] 344求调剂 +3 desto 2026-03-24 3/150 2026-03-24 10:09 by 搏击518
[考研] 284求调剂 +3 yanzhixue111 2026-03-23 6/300 2026-03-23 22:58 by pswait
[考研] 361求调剂 +3 Glack 2026-03-22 3/150 2026-03-23 22:03 by fuyu_
[考研] 276求调剂 +3 YNRYG 2026-03-21 4/200 2026-03-23 08:31 by 醉在风里
[考研] 285求调剂 +6 ytter 2026-03-22 6/300 2026-03-22 12:09 by 星空星月
信息提示
关闭
请填处理意见
关闭