应《网络安全法》要求，自2017年10月1日起，未进行实名认证将不得使用互联网跟帖服务。为保障您的帐号能够正常使用，请尽快对帐号进行手机号验证，感谢您的理解与支持！

24小时热门版块排行榜    

小木虫论坛-学术科研互动平台 » 计算模拟区 » 计算模拟 » 【原创】买了Infiniband，实际上并没有用到Infiniband你知道吗？
162/2返回列表上一页12
查看: 2704  |  回复: 15
只看楼主 @他人 存档 新回复提醒 (忽略) 收藏    在APP中查看

wangyujia

木虫 (正式写手)
★ ★ ★ ★ ★ ★
小木虫(金币+0.5):给个红包，谢谢回帖交流
mingdong(金币+5):感谢交流！ 2010-09-06 16:29:44
引用回帖:
Originally posted by 风间的记忆 at 2010-09-03 15:30:24:


我想你只明白了一部分
如果你的网页监控系统没有专门针对IB协议的选择
你看到的流量只是TCP/IP的流量
根本看不到IB的流量

也就是说如果如此
如果你真正使用的是IB的协议
在你的流量监控中是看不到任 ...

可能是我没有写清楚。我投了一个2节点的任务，用到了问题节点，结果这两个节点的流量都很高(M级)。若是任务在其他节点间并行，那么显示的流量很低(K级)。
然后工程师过来把IB线拔掉了，任务没有影响，流量依旧，说明这个任务是通过千兆网卡来并行的。然后他把IB线连上，把网线拔掉，结果任务就被终止了，更加说明这个节点的IB卡没有工作。
你的想法是对的，“即使用不到IB 也至少能用到IP OVER IB！”
赞一下(2人) 回复此楼
11楼2010-09-05 14:43:52
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

风间的记忆

铁杆木虫 (著名写手)
引用回帖:
Originally posted by wangyujia at 2010-09-05 14:43:52:



可能是我没有写清楚。我投了一个2节点的任务，用到了问题节点，结果这两个节点的流量都很高(M级)。若是任务在其他节点间并行，那么显示的流量很低(K级)。
然后工程师过来把IB线拔掉了，任务没有影响，流量 ...

现在据我所知
用在科学计算上的IB集群
很少有真正使用IB本身协议的

自己的程序需要修改代码 加入IB协议
商用软件需要做工具开发 使之走IB协议

浙大有个国家重点实验室就搞过这个问题的
应该找一家专门做软件和服务的公司弄的

我写这个帖子无非是觉得很多集群觉得上个IB很有面子 也很有效率
实则根本没利用起来 太过浪费
幸好的是现在IB价格较之几年前低多了
赞一下 回复此楼
九州浩淼，任其东西，明日何在，但随我意。
12楼2010-09-05 22:13:57
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

gromacs

银虫 (正式写手)
★
小木虫: 金币+0.5, 给个红包，谢谢回帖
这是我运行more /proc/net/dev的结果，能看出点什么吗

Inter-|   Receive                                                |  Transmit
face |bytes    packets errs drop fifo frame compressed multicast|bytes    packets errs drop fifo colls carrier compressed
    lo:23421553   93525    0    0    0     0          0         0 23421553   93525    0    0    0     0       0          0
  eth0:154464147427 227320558    0    0    0     0          0      1717 518208978183 381492117    0    0    0     0       0          0
  eth1:       0       0    0    0    0     0          0         0        0       0    0    0    0     0       0          0
  sit0:       0       0    0    0    0     0          0         0        0       0    0    0    0     0       0          0
   ib0: 4298196   74249    0    0    0     0          0         0     3584      17    0    0    0     0       0          0
赞一下 回复此楼
"I was taught at school that you should never start a sentence without knowing the end of it." GROMACS讨论区：http://www.mdbbs.org/forum-39-1.html
13楼2013-06-03 18:40:23
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

bluesxn

银虫 (正式写手)
★
小木虫: 金币+0.5, 给个红包，谢谢回帖
我也是持相同观点。最近组里买了新机器(e5-2670)，配了FDR。想看看实算效果如何，于是用mvapich2重新编译了vasp，配置集群的时候特意关闭IPoIB，hostfile里同时特别指定了MPI数据走HCA接口。某算例单节点（16核）跑了52分钟，用双节点（32核）跑用了34分钟，比单节点仅仅快了1/3，不知道是否正常。看网络接口数据，eth数据没有明显增加，ib为0（因为没配IPoIB）。不知道有什么办法能监控ib接口流量，ibdump管用么？

[ Last edited by bluesxn on 2014-1-13 at 09:25 ]
赞一下 回复此楼
14楼2014-01-13 09:22:21
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

风间的记忆

铁杆木虫 (著名写手)
引用回帖:
14楼: Originally posted by bluesxn at 2014-01-13 09:22:21
我也是持相同观点。最近组里买了新机器(e5-2670)，配了FDR。想看看实算效果如何，于是用mvapich2重新编译了vasp，配置集群的时候特意关闭IPoIB，hostfile里同时特别指定了MPI数据走HCA接口。某算例单节点（16核）跑 ...

CASE是不是足够大
如果足够大 这个效率的确有点低
赞一下 回复此楼
九州浩淼，任其东西，明日何在，但随我意。
15楼2014-01-13 10:10:13
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

chen23547

新虫 (初入文坛)
★
小木虫: 金币+0.5, 给个红包，谢谢回帖
也不能说没有用到infiniband吧，IPoIB还是基于IB的，但是数据压入IP报文确实会损失一定的效率。RDMA得要软件支持才行啊。
赞一下 回复此楼
16楼2014-01-13 11:18:32
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 风间的记忆 的主题更新
162/2返回列表上一页12
普通表情 龙 兔 虎 猫 高级回复 (可上传附件)
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[基金申请] 今天放榜吗？ +12 布布和一二 2026-08-19 13/650 2026-08-19 14:33 by 陈晨晨陈啊
[基金申请] filecode，4个jtjc了 +8 ziyangfang 2026-08-19 9/450 2026-08-19 13:08 by blacksandy
[基金申请] 今天基金会出结果吗？20260819 +8 kkkl_v 2026-08-19 8/400 2026-08-19 12:34 by Vivilian
[基金申请] 欢迎发来filecode的Mz6后的代码验证其规律 +52 医学老男孩 2026-08-13 115/5750 2026-08-19 12:09 by 医学老男孩
[基金申请] 2027广东省杰青 +4 奶牛小黑 2026-08-15 10/500 2026-08-19 11:02 by wanfengnew
[基金申请] 朋友圈看到的 +6 wangzilk 2026-08-18 8/400 2026-08-19 10:55 by Haru815
[基金申请] 咱们一起用铁证分析2026国家社科基金中标与否 +8 启萌科技 2026-08-12 30/1500 2026-08-19 10:22 by 启萌科技
[基金申请] 快农历七夕节了，轻松一下，男人悄悄话，女施主请不要进来。 +6 Tide man 2026-08-14 7/350 2026-08-19 09:56 by ZJTJZ
[基金申请] 什么时候开奖？ +6 CrisMessi 2026-08-18 6/300 2026-08-19 08:06 by Equinoxhua
[基金申请] 重要消息，中午系统在维护 +10 yuleib84 2026-08-18 11/550 2026-08-19 07:30 by 羽毛枫f
[教师之家] 为什么余额宝的年化利率越来越低？主要原因有哪些？ +3 瞬息宇宙 2026-08-15 3/150 2026-08-18 21:40 by xiaohuixin
[基金申请] 明天放榜？ +5 Shxjjxjkx 2026-08-18 5/250 2026-08-18 18:14 by -大大大大大-
[论文投稿] 投稿咨询 +4 wwm09 2026-08-17 6/300 2026-08-18 15:36 by wwm09
[基金申请] 时间戳又变了8-15 +14 archvillain 2026-08-15 26/1300 2026-08-18 13:37 by phantomgost
[基金申请] 今天维护系统维护 祝所有人 高中 +8 gjjjzhong 2026-08-18 9/450 2026-08-18 13:01 by 家与远方
[基金申请] 93BebMhtakh前后11位开头都是大写 +4 且听虎啸 2026-08-17 5/250 2026-08-18 00:49 by 蔡棒棒菂
[基金申请] 感觉是下周放榜了 +6 angus9576 2026-08-17 11/550 2026-08-17 23:57 by angus9576
[精细化工] 招聘 金属平磨液，抛光液研发工程师 +3 小天0311 2026-08-14 3/150 2026-08-16 07:31 by H9PLUS
[基金申请] 各位道友，我要去昆明玩几天，回来见。 +7 Tide man 2026-08-14 8/400 2026-08-15 01:11 by arzu_hma
[基金申请] Filecode 又变了，巨变 +3 WH3796 2026-08-12 4/200 2026-08-13 14:13 by 小木虫6752397
信息提示
关闭
请填处理意见
关闭