24小时热门版块排行榜    

CyRhmU.jpeg
查看: 2129  |  回复: 15
当前只显示满足指定条件的回帖,点击这里查看本话题的所有回帖

风间的记忆

铁杆木虫 (著名写手)

[交流] 【原创】买了Infiniband,实际上并没有用到Infiniband你知道吗?已有8人参与

现在的集群建设都喜欢上Infiniband,这代表着专业和高速,但很少有人知道实际

上大多数计算软件并不支持Infiniband的协议,实际上投入了大量资金却没有真正的利

用起来。

       以需要编译的VASP为例,但如果并行环境非支持Infiniband或者编译的时候不加入

Infiniband参数,就无法走Infiniband本身的协议,走的是IP OVER IB的协议。

        那我们再解释下什么是Infiniband协议和IP OVER IB的区别?

         ① Infiniband网络可以看成高速公路,而采用Infiniband协议就好比使用奔驰车运送数据,而采用IP OVER IB 就好比使用QQ运送数据(这个比较可能不太贴切,速度快慢除了和协议有关还和计算机网络中很多底层东西相关,很难一句两句解释清楚)

         ②因为TCP/IP是非可靠协议,所以传输的数据有大量的校验信息,而Infiniband协议是可靠协议,校验信息比较少。这样同样运载能力的一辆车,运输TCP/IP协议的数据包的时候真正数据只有70%,而运输Infiniband协议的数据包的时候真正的数据可以是95%。

         至于如何判断是否走Infiniband本身的协议比较复杂,比较表面化的就是在MPIRUN运行VASP此类程序时是否加入IB的协议或者安装的是否支持Infiniband协议的MPI版本(MPICH肯定是不支持的)。

         而另外一些比如FLUENT等商业软件也同样需要做开发才能支持IB本身的协议。

         抛砖引玉,以待来人!
回复此楼
九州浩淼,任其东西,明日何在,但随我意。
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

风间的记忆

铁杆木虫 (著名写手)

引用回帖:
Originally posted by anionxt at 2010-08-10 20:54:44:
mpich 我记得有专门针对infiniband的版本
http://phase.hpcc.jp/mirrors/mpi/mpich2/index.htm

据我所知应该是MVAPICH和OPENMPI
九州浩淼,任其东西,明日何在,但随我意。
6楼2010-08-11 09:10:35
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
查看全部 16 个回答

yalefield

金虫 (文坛精英)

老汉一枚


小木虫(金币+0.5):给个红包,谢谢回帖交流
找个工作不容易
国内急功又近利
哪有耐心学协议
不如出海打鱼去

(是不是应该用“打渔”?京剧《打渔杀家》,就是“打渔”,不是“打鱼”)



[ Last edited by yalefield on 2010-8-9 at 10:21 ]
2楼2010-08-09 10:19:47
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

wgpig

木虫 (小有名气)


小木虫(金币+0.5):给个红包,谢谢回帖交流
这个....

用watch more /proc/net/dev查看lan和ib的流量不是更加直观么。i
3楼2010-08-09 15:24:23
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

风间的记忆

铁杆木虫 (著名写手)

引用回帖:
Originally posted by wgpig at 2010-08-09 15:24:23:
这个....

用watch more /proc/net/dev查看lan和ib的流量不是更加直观么。i

这个能看的出来我就没必要写这个帖子了

走不走协议不是看流量就可以的
九州浩淼,任其东西,明日何在,但随我意。
4楼2010-08-09 16:40:31
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
普通表情 高级回复(可上传附件)
信息提示
请填处理意见