应《网络安全法》要求，自2017年10月1日起，未进行实名认证将不得使用互联网跟帖服务。为保障您的帐号能够正常使用，请尽快对帐号进行手机号验证，感谢您的理解与支持！

24小时热门版块排行榜    

小木虫论坛-学术科研互动平台 » 计算模拟区 » 程序语言 » 其它 » 并行计算没有输出？怎么回事
52/1返回列表
查看: 2278  |  回复: 16
只看楼主 @他人 存档 新回复提醒 (忽略) 收藏    在APP中查看
当前只显示满足指定条件的回帖，点击这里查看本话题的所有回帖

田山东

捐助贵宾 (著名写手)

[求助] 并行计算没有输出？怎么回事

家好。感谢论坛上的各位好友对我的帮助。

昨天并行运算弄好了，速度确实快了很多，以前要30小时算完的程序，现在10小时左右就可以了。但是计算完成之后，我发现输出文件没有数据。这是怎么回事呢？

串行 计算的时候我都是把输出输出到一个文件下，改成并行计算了，语句没有修改，是不是并行情况下要对输出语句修改一下啊？

  

谢谢！
回复此楼

» 猜你喜欢
everythinghasitsseason.enjoyyourlife.
1楼 2012-08-28 08:13:43
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

田山东

捐助贵宾 (著名写手)
引用回帖:
14楼: Originally posted by libralibra at 2012-08-31 18:22:53
MPI并行的大框架就是

读数据
分发数据 (前面2不不是必须,也可以根据core id号去读取自己需要的那部分数据,反正就是每个core只拿到自己运算需要的数据)
然后运算(如果运算过程有不能并行的部分,需要gather到一 ...

我发现我的问题是这样的：串行运行的时候，单个程序会产生一个很大的数组，大约60G，服务器总内存只有120G，所以一个程序产生的数组占内存占到了49%左右，我这个服务器最多只能运行两个程序。并行运算之后，比如我分配6个节点，我会发现很快每个节点占内存达到20%多，很奇怪，这样的话加在一起总数据量比原来大很多啊。
是你说的这个原因吗？是数据分配不合理的事吗？
赞一下 回复此楼
everythinghasitsseason.enjoyyourlife.
15楼2012-09-01 21:20:49
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
查看全部 17 个回答

libralibra

至尊木虫 (著名写手)

骠骑将军

【答案】应助回帖

★ ★ ★ ★ ★
感谢参与，应助指数 +1
田山东: 金币+5, ★★★很有帮助, 谢谢你了。我再摸索下 2012-08-28 17:01:33
并行之前将数据broadcast到每个core,分别计算
你要写文件之前,需要将数据重新collect到同一个core来写文件,因为每个core的运算不可能同时结束,所以需要synchronization
如果涉及文件读写,基本框架是:

master读文件
broadcast/划分数据给children
所有children并行运算
collect数据到master(同步)
master写文件
赞一下(1人) 回复此楼
matlab/VB/python/c++/Java写程序请发QQ邮件:790404545@qq.com
2楼2012-08-28 15:36:16
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

田山东

捐助贵宾 (著名写手)
很奇怪啊，一个小的体系就能把结果输出到文件中，大的体系反而不行了呢。我按照你给我的思路再摸索下。谢谢了
赞一下 回复此楼
everythinghasitsseason.enjoyyourlife.
3楼2012-08-28 17:02:31
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

田山东

捐助贵宾 (著名写手)
引用回帖:
2楼: Originally posted by libralibra at 2012-08-28 15:36:16
并行之前将数据broadcast到每个core,分别计算
你要写文件之前,需要将数据重新collect到同一个core来写文件,因为每个core的运算不可能同时结束,所以需要synchronization
如果涉及文件读写,基本框架是:

master读 ...

可以给个实例吗？或者推荐一本书也行啊、谢谢
赞一下 回复此楼
everythinghasitsseason.enjoyyourlife.
4楼2012-08-28 17:03:17
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
查看全部 17 个回答
普通表情 龙 兔 虎 猫
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[考研] 售SCI-T0P文章，我:8O.5.5.1.O.54,科目齐全,可+急 +3 E4V9bALS54sj 2026-09-19 3/150 2026-09-20 01:39 by 9i7PCSZyMzot
[论文投稿] 售SCI文章，我:8O5.5.1.O.54,科目齐全,可+急 +3 E4V9bALS54sj 2026-09-19 3/150 2026-09-20 01:27 by 9i7PCSZyMzot
[硕博家园] 售SCI文章，我:8O.5.5.1O.54,科目全,可十急 +3 E4V9bALS54sj 2026-09-19 3/150 2026-09-20 01:27 by 9i7PCSZyMzot
[公派出国] 售SCI一区T0P文章，我:8O.55.1.O.5.4,科目齐全,可+急 +3 E4V9bALS54sj 2026-09-19 3/150 2026-09-20 01:15 by 9i7PCSZyMzot
[博后之家] 售SCI一区T0P文章，我:8.O.55.1.O.5.4,科目全,可+急 +3 E4V9bALS54sj 2026-09-19 3/150 2026-09-20 01:15 by 9i7PCSZyMzot
[论文投稿] 售SCI文章，我:8O5.5.1.O.54,科目齐全,可+急 +3 E4V9bALS54sj 2026-09-19 3/150 2026-09-20 00:51 by 9i7PCSZyMzot
[考研] 售SCI一区文章，我:8O5.5.1.O5.4,科目全,可伽急 +3 4pRyVGCVerAA 2026-09-19 3/150 2026-09-20 00:15 by 9i7PCSZyMzot
[找工作] 售SCI一区T0P文章，我:8.O55.1.O.54,科目全,可十急 +4 4pRyVGCVerAA 2026-09-19 4/200 2026-09-20 00:03 by 9i7PCSZyMzot
[基金申请] 售SCI一区T0P文章，我:8.O55.1.O.54,科目全,可十急 +3 4pRyVGCVerAA 2026-09-19 4/200 2026-09-19 23:39 by 9i7PCSZyMzot
[考研] 售SCI一区T0P文章，我:8.O55.1.O.54,科目全,可十急 +3 4pRyVGCVerAA 2026-09-19 4/200 2026-09-19 23:27 by 9i7PCSZyMzot
[论文投稿] 售SCI一区T0P文章，我:8.O.55.1.O54,科目全,可伽急 +3 4pRyVGCVerAA 2026-09-19 4/200 2026-09-19 23:27 by 9i7PCSZyMzot
[公派出国] 售SCI一区T0P文章，我:8.O.55.1.O54,科目全,可伽急 +3 4pRyVGCVerAA 2026-09-19 4/200 2026-09-19 23:03 by 9i7PCSZyMzot
[考博] 售SCI一区T0P文章，我:8.O.55.1.O.54,科目齐全,可+急 +3 4pRyVGCVerAA 2026-09-19 4/200 2026-09-19 23:03 by 9i7PCSZyMzot
[公派出国] 售SCI文章，我:8O5.5.1.O.54,科目齐全,可+急 +3 4pRyVGCVerAA 2026-09-18 7/350 2026-09-19 21:03 by 9i7PCSZyMzot
[教师之家] 现代”学阀”该如何界定 +3 iaeyuan 2026-09-19 3/150 2026-09-19 20:52 by 没昵称呀
[基金申请] 国社科系统bug了，是不是要放榜了？ +7 kynobel 2026-09-16 9/450 2026-09-19 14:52 by 接好运婷
[考博] 申博发邮件 +8 Lmengk 2026-09-15 9/450 2026-09-19 09:27 by 中间体超市
[有机交流] 各位大神，目前国内有哪些比较好用的逆合成软件？ 20+3 zapen 2026-09-15 9/450 2026-09-18 18:17 by zapen
[考博] 上海工程技术大学激光智能制造课题组｜2027级博士研究生招生公告 +7 水士口 2026-09-16 8/400 2026-09-16 13:47 by kkklens
[考博] 上海工程技术大学激光智能制造课题组招收博士研究生 +8 两三岁ss 2026-09-14 8/400 2026-09-16 09:46 by 水士口
信息提示
关闭
请填处理意见
关闭