应《网络安全法》要求，自2017年10月1日起，未进行实名认证将不得使用互联网跟帖服务。为保障您的帐号能够正常使用，请尽快对帐号进行手机号验证，感谢您的理解与支持！

24小时热门版块排行榜    

CyRhmU.jpeg
小木虫论坛-学术科研互动平台 » 计算模拟区 » 程序语言 » 其它 » 并行计算没有输出？怎么回事
172/2返回列表上一页12
查看: 1750  |  回复: 16
只看楼主@他人 存档 新回复提醒 (忽略) 收藏    在APP中查看

田山东

捐助贵宾 (著名写手)
引用回帖:
5楼: Originally posted by libralibra at 2012-08-28 17:25:17
4年前搞过的MPI,早都不知道哪儿去了
可以看看这个c的例子,很简单,但是基本的步骤都有

http://hi.baidu.com/xukeke2600/blog/item/dec0d512a15e4a47f2de32fe.html...

问题找到了。我的程序串行的时候最大内存占到48%，并行运算，8个节点，我发现每个节点占内存占到了12%多，妈呀，内存占满了，然后再继续运算的话就退出了。
很奇怪，串行运算内存48%，8个节点同时运算的话每个节点占内存应该在8%吧？怎么会达到12%呢？
赞一下 回复此楼
everythinghasitsseason.enjoyyourlife.
11楼2012-08-29 19:49:49
 已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

libralibra

至尊木虫 (著名写手)

骠骑将军
可能跟你分发数据的代码有关系
赞一下(1人) 回复此楼
matlab/VB/python/c++/Java写程序请发QQ邮件:790404545@qq.com
12楼2012-08-29 19:51:36
 已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

田山东

捐助贵宾 (著名写手)
引用回帖:
12楼: Originally posted by libralibra at 2012-08-29 19:51:36
可能跟你分发数据的代码有关系

我想应该是这样的。我的代码没有进行分发操作，直接在原先串行的基础上加了几个并行需要的调用命令。
如果进行分发代码的话还要根据你给我的那个例子还有你前面讲的进行吗？
赞一下 回复此楼
everythinghasitsseason.enjoyyourlife.
13楼2012-08-29 20:43:24
 已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

libralibra

至尊木虫 (著名写手)

骠骑将军
引用回帖:
13楼: Originally posted by 田山东 at 2012-08-29 20:43:24
我想应该是这样的。我的代码没有进行分发操作，直接在原先串行的基础上加了几个并行需要的调用命令。
如果进行分发代码的话还要根据你给我的那个例子还有你前面讲的进行吗？...

MPI并行的大框架就是

读数据
分发数据 (前面2不不是必须,也可以根据core id号去读取自己需要的那部分数据,反正就是每个core只拿到自己运算需要的数据)
然后运算(如果运算过程有不能并行的部分,需要gather到一个core,计算完不能并行的部分后,继续分发数据,进行后面的运算)
最后输出之前gather数据写出结果(或者每个core独立写自己的那部分数据)

所以数据是否需要分发,跟你的运算过程与数据存放方式有关.中间需要gather同步几次,看运算过程有几个不能并行的阶段
赞一下 回复此楼
matlab/VB/python/c++/Java写程序请发QQ邮件:790404545@qq.com
14楼2012-08-31 18:22:53
 已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

田山东

捐助贵宾 (著名写手)
引用回帖:
14楼: Originally posted by libralibra at 2012-08-31 18:22:53
MPI并行的大框架就是

读数据
分发数据 (前面2不不是必须,也可以根据core id号去读取自己需要的那部分数据,反正就是每个core只拿到自己运算需要的数据)
然后运算(如果运算过程有不能并行的部分,需要gather到一 ...

我发现我的问题是这样的：串行运行的时候，单个程序会产生一个很大的数组，大约60G，服务器总内存只有120G，所以一个程序产生的数组占内存占到了49%左右，我这个服务器最多只能运行两个程序。并行运算之后，比如我分配6个节点，我会发现很快每个节点占内存达到20%多，很奇怪，这样的话加在一起总数据量比原来大很多啊。
是你说的这个原因吗？是数据分配不合理的事吗？
赞一下 回复此楼
everythinghasitsseason.enjoyyourlife.
15楼2012-09-01 21:20:49
 已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

libralibra

至尊木虫 (著名写手)

骠骑将军
引用回帖:
15楼: Originally posted by 田山东 at 2012-09-01 21:20:49
我发现我的问题是这样的：串行运行的时候，单个程序会产生一个很大的数组，大约60G，服务器总内存只有120G，所以一个程序产生的数组占内存占到了49%左右，我这个服务器最多只能运行两个程序。并行运算之后，比如我 ...

按理说数据分配给6个节点,每个节点可以拿到1/6来计算,也就是光数组分配需要10G内存,
不过如果这些节点在计算过程中还有临时变量等大数组,内存使用可能会高于10G,至于会多多少,要看你具体的运算过程
赞一下 回复此楼
matlab/VB/python/c++/Java写程序请发QQ邮件:790404545@qq.com
16楼2012-09-03 21:48:25
 已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

Williamlyd

新虫 (初入文坛)
请教一下楼主，我最近刚刚开始学MPI，不知道怎么把数据输出到txt文件。 我用的是之前串行用的ofstream。
谢谢！
赞一下 回复此楼
17楼2013-04-19 22:29:12
 已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 田山东 的主题更新
172/2返回列表上一页12
普通表情 龙 兔 虎 猫
信息提示
关闭
请填处理意见
关闭