24小时热门版块排行榜    

查看: 2234  |  回复: 15
当前只显示满足指定条件的回帖,点击这里查看本话题的所有回帖

风间的记忆

铁杆木虫 (著名写手)

[交流] 【原创】买了Infiniband,实际上并没有用到Infiniband你知道吗? 已有8人参与

现在的集群建设都喜欢上Infiniband,这代表着专业和高速,但很少有人知道实际

上大多数计算软件并不支持Infiniband的协议,实际上投入了大量资金却没有真正的利

用起来。

       以需要编译的VASP为例,但如果并行环境非支持Infiniband或者编译的时候不加入

Infiniband参数,就无法走Infiniband本身的协议,走的是IP OVER IB的协议。

        那我们再解释下什么是Infiniband协议和IP OVER IB的区别?

         ① Infiniband网络可以看成高速公路,而采用Infiniband协议就好比使用奔驰车运送数据,而采用IP OVER IB 就好比使用QQ运送数据(这个比较可能不太贴切,速度快慢除了和协议有关还和计算机网络中很多底层东西相关,很难一句两句解释清楚)

         ②因为TCP/IP是非可靠协议,所以传输的数据有大量的校验信息,而Infiniband协议是可靠协议,校验信息比较少。这样同样运载能力的一辆车,运输TCP/IP协议的数据包的时候真正数据只有70%,而运输Infiniband协议的数据包的时候真正的数据可以是95%。

         至于如何判断是否走Infiniband本身的协议比较复杂,比较表面化的就是在MPIRUN运行VASP此类程序时是否加入IB的协议或者安装的是否支持Infiniband协议的MPI版本(MPICH肯定是不支持的)。

         而另外一些比如FLUENT等商业软件也同样需要做开发才能支持IB本身的协议。

         抛砖引玉,以待来人!
回复此楼
九州浩淼,任其东西,明日何在,但随我意。
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

wgpig

木虫 (小有名气)


小木虫(金币+0.5):给个红包,谢谢回帖交流
这个....

用watch more /proc/net/dev查看lan和ib的流量不是更加直观么。i
3楼2010-08-09 15:24:23
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 风间的记忆 的主题更新
普通表情 高级回复 (可上传附件)
信息提示
请填处理意见