24小时热门版块排行榜    

查看: 3052  |  回复: 9

PTT

木虫 (小有名气)

[交流] 任务越大,高斯并行效率越好(任务实测结果) 已有6人参与

测试了两个任务,一个小任务和一个较大的任务。结果显示小任务的并行效率很差,而大任务的并行效率非常好。当任务较小时,本来计算量就很小,还要分配给很多核去计算,核之间的数据交换和进行协调的时间变长,可能出现“核浮于事”的情况,造成并行效率很差。但如果计算量很大,核心根本不够用,每个核都拼命地工作还是算不完的话,核的并行效果就非常好了。
    说一下测试的机器,是学校的超算中心,每个节点2个CPU,共20核心,具体CPU型号不知道,听说是E5的工作站专用核心吧,64G内存。软件为Gaussian09 D0.1版,linux系统。
    因此,如果任务小的话,就2核,4 核,8核并行,如果任务大的话,就8核,12核,16核,20核一起并行计算,效果会很好。当然这个只是在学校的超算电脑上的测试结果,对于其他型号的机器不知道能否通用,仅作为一个参考吧。
    测试实例如下所示:
    一个较小的任务,34个原子(含C,H元素)的分子B3LYP/6-31+G(D,P)水平下优化,basis function 478, 12步优化结束,%mem=1000MW,CPU time: 200分钟,用不同核心来并行,结果如下:
1核CPU time:204分钟,实际用时204分钟
2核CPU time:213分钟,实际用时107分钟
4核CPU time:229分钟,实际用时57分钟
6核CPU time:236分钟,实际用时40分钟
8核CPU time:241分钟,实际用时27分钟
12核CPU time:269分钟,实际用时23分钟
16核CPU time:433分钟,实际用时30分钟
20核CPU time:541分钟,实际用时47分钟

    一个较大的Gaussian的任务,140个原子(含C,H,O,N元素)的分子B3LYP/6-31+G(D,P)水平下优化,basis function 1848,16步优化结束,CPU time14天以上(336小时以上)。%mem=1000MW,分别用不同的核去计算:
4核心,CPU time:351小时,实际用时88小时(88*4=352小时)
8核心,CPU time:342小时,实际用时43小时(43*8=344小时)
12核心,CPU time:336小时,实际用时28.5小时(28.5*12=342小时)
16核心,CPU time:342小时,实际用时21.5小时(21.5*16=344小时)
20核心,CPU time:350小时,实际用时18.7小时(18.7*20=374小时)
回复此楼
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
2楼2015-12-22 08:05:55
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

sandf

木虫 (正式写手)

杀鸡用不了牛刀
努力呀努力,不要成为奴隶。
3楼2015-12-22 17:42:04
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

fmying

银虫 (小有名气)


小木虫: 金币+0.5, 给个红包,谢谢回帖
这个正常。并行任务的启动/结束本身就需要消耗资源,并且并行度越大消耗越大。
如果并行部分的任务足够大,节省的时间相对于多消耗的那一点来说就微不足道了。反过来那就不理想了。
就好像复制文件的时候,同样1GB的文件,一个大文件的传输效率要好于一堆零碎小文件的效率一样。
上善若水
4楼2015-12-23 10:53:55
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

biloba

木虫 (正式写手)


小木虫: 金币+0.5, 给个红包,谢谢回帖
谢谢分享。请问楼主该软件的下载地址。
5楼2015-12-23 11:52:23
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

PTT

木虫 (小有名气)

引用回帖:
5楼: Originally posted by biloba at 2015-12-23 11:52:23
谢谢分享。请问楼主该软件的下载地址。

软件系统是学校超算电脑上安装好的,我们直接登录使用。

发自小木虫IOS客户端
6楼2015-12-23 12:10:54
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

三方石墨

银虫 (小有名气)


小木虫: 金币+0.5, 给个红包,谢谢回帖
支持!顺便说下你们学校cpu该换代了~

发自小木虫Android客户端
7楼2015-12-23 12:43:22
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

矛盾场面

新虫 (初入文坛)


小木虫: 金币+0.5, 给个红包,谢谢回帖
如果多加节点会不会更好一些?
8楼2015-12-23 13:12:04
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

PTT

木虫 (小有名气)

引用回帖:
8楼: Originally posted by 矛盾场面 at 2015-12-23 13:12:04
如果多加节点会不会更好一些?

不好意思,我最多用一个node的20个核并行一个任务。没用过比如2个node的40核算一个任务的情况。据说node和node之间数据交换要慢一些。估计用2个node分别算2个任务,要比用2个node共同算一个任务再算一个任务要快。

发自小木虫IOS客户端
9楼2015-12-23 14:24:57
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

fmying

银虫 (小有名气)


小木虫: 金币+0.5, 给个红包,谢谢回帖
引用回帖:
8楼: Originally posted by 矛盾场面 at 2015-12-23 13:12:04
如果多加节点会不会更好一些?

一般不会。
一则跨节点并行涉及网络传输/同步计算数据,这个效率一般都比不上节点内共享数据形式的并行的。
二则,Gaussian的跨节点并行是出了名的差。
上善若水
10楼2015-12-23 21:21:43
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 PTT 的主题更新
普通表情 高级回复 (可上传附件)
信息提示
请填处理意见