24小时热门版块排行榜    

Znn3bq.jpeg
查看: 1934  |  回复: 16

田山东

捐助贵宾 (著名写手)

[求助] 并行计算没有输出?怎么回事

家好。感谢论坛上的各位好友对我的帮助。

昨天并行运算弄好了,速度确实快了很多,以前要30小时算完的程序,现在10小时左右就可以了。但是计算完成之后,我发现输出文件没有数据。这是怎么回事呢?

串行 计算的时候我都是把输出输出到一个文件下,改成并行计算了,语句没有修改,是不是并行情况下要对输出语句修改一下啊?

  

谢谢!
回复此楼

» 猜你喜欢

» 本主题相关价值贴推荐,对您同样有帮助:

everythinghasitsseason.enjoyyourlife.
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
回帖支持 ( 显示支持度最高的前 50 名 )

libralibra

至尊木虫 (著名写手)

骠骑将军

【答案】应助回帖

★ ★ ★ ★ ★
感谢参与,应助指数 +1
田山东: 金币+5, ★★★很有帮助, 谢谢你了。我再摸索下 2012-08-28 17:01:33
并行之前将数据broadcast到每个core,分别计算
你要写文件之前,需要将数据重新collect到同一个core来写文件,因为每个core的运算不可能同时结束,所以需要synchronization
如果涉及文件读写,基本框架是:

master读文件
broadcast/划分数据给children
所有children并行运算
collect数据到master(同步)
master写文件
matlab/VB/python/c++/Java写程序请发QQ邮件:790404545@qq.com
2楼2012-08-28 15:36:16
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

libralibra

至尊木虫 (著名写手)

骠骑将军

在中间部分加一些同步,print出数据看看到底在哪里出了问题
大体系有没有内存溢出或者其他问题等等,debug只能一点点试
matlab/VB/python/c++/Java写程序请发QQ邮件:790404545@qq.com
9楼2012-08-29 17:52:37
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

libralibra

至尊木虫 (著名写手)

骠骑将军

可能跟你分发数据的代码有关系
matlab/VB/python/c++/Java写程序请发QQ邮件:790404545@qq.com
12楼2012-08-29 19:51:36
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
普通回帖

田山东

捐助贵宾 (著名写手)

很奇怪啊,一个小的体系就能把结果输出到文件中,大的体系反而不行了呢。我按照你给我的思路再摸索下。谢谢了
everythinghasitsseason.enjoyyourlife.
3楼2012-08-28 17:02:31
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

田山东

捐助贵宾 (著名写手)

引用回帖:
2楼: Originally posted by libralibra at 2012-08-28 15:36:16
并行之前将数据broadcast到每个core,分别计算
你要写文件之前,需要将数据重新collect到同一个core来写文件,因为每个core的运算不可能同时结束,所以需要synchronization
如果涉及文件读写,基本框架是:

master读 ...

可以给个实例吗?或者推荐一本书也行啊、谢谢
everythinghasitsseason.enjoyyourlife.
4楼2012-08-28 17:03:17
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

libralibra

至尊木虫 (著名写手)

骠骑将军

★ ★
xzhdty: 金币+2, 谢谢骠骑将军 2012-08-28 19:10:28
引用回帖:
4楼: Originally posted by 田山东 at 2012-08-28 17:03:17
可以给个实例吗?或者推荐一本书也行啊、谢谢...

4年前搞过的MPI,早都不知道哪儿去了
可以看看这个c的例子,很简单,但是基本的步骤都有

http://hi.baidu.com/xukeke2600/b ... 5e4a47f2de32fe.html
matlab/VB/python/c++/Java写程序请发QQ邮件:790404545@qq.com
5楼2012-08-28 17:25:17
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

田山东

捐助贵宾 (著名写手)

引用回帖:
5楼: Originally posted by libralibra at 2012-08-28 17:25:17
4年前搞过的MPI,早都不知道哪儿去了
可以看看这个c的例子,很简单,但是基本的步骤都有

http://hi.baidu.com/xukeke2600/blog/item/dec0d512a15e4a47f2de32fe.html...

很奇怪,小体系并行运算就可以得到结果,大体系反而不行了。纠结!!还是串行吧,尽管并行运算可以提高速度很多
everythinghasitsseason.enjoyyourlife.
6楼2012-08-29 08:00:42
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

libralibra

至尊木虫 (著名写手)

骠骑将军

引用回帖:
6楼: Originally posted by 田山东 at 2012-08-29 08:00:42
很奇怪,小体系并行运算就可以得到结果,大体系反而不行了。纠结!!还是串行吧,尽管并行运算可以提高速度很多...

那问题应该出在大体系的代码流程,仔细debug一下
matlab/VB/python/c++/Java写程序请发QQ邮件:790404545@qq.com
7楼2012-08-29 16:52:34
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

田山东

捐助贵宾 (著名写手)

引用回帖:
7楼: Originally posted by libralibra at 2012-08-29 16:52:34
那问题应该出在大体系的代码流程,仔细debug一下...

大体系和小体系代码相同的,只是修改了下参数,比如小体系N=101,大体系N=1201,就这点差距,其他都没动。真不知道哪里出问题了。很奇怪的问题
everythinghasitsseason.enjoyyourlife.
8楼2012-08-29 17:11:28
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

田山东

捐助贵宾 (著名写手)

引用回帖:
9楼: Originally posted by libralibra at 2012-08-29 17:52:37
在中间部分加一些同步,print出数据看看到底在哪里出了问题
大体系有没有内存溢出或者其他问题等等,debug只能一点点试

这很有可能。记得以前在系服务器算数据的时候,大体系总要在编译前加个ulimit -s unlimited 防止堆饯溢出。但是现在我用的是老板买的服务器,内存120G,串行时候都没出现堆饯溢出的问题,单核运算不溢出,难道并行运算会溢出吗?按道理讲,并行运算每个核承受的容量应该是串行的1/n吧?n个核并行运算的话,那还能溢出吗?
everythinghasitsseason.enjoyyourlife.
10楼2012-08-29 17:59:08
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 田山东 的主题更新
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[考研] 297,工科调剂? +5 河南农业大学-能 2026-04-14 5/250 2026-04-18 15:17 by Equinoxhua
[考研] 260求调剂 +4 Zyt1314520.. 2026-04-17 5/250 2026-04-18 08:28 by babysonlkd
[考研] 求调剂 +9 小聂爱学习 2026-04-16 11/550 2026-04-17 22:34 by chixmc
[考博] 求博导|生物质基多孔碳/超级电容方向,已有相关成果,寻能源材料/碳材料方向老师 +3 猪猪人Zzz 2026-04-12 3/150 2026-04-17 19:10 by 阳阳阳^_^
[考研] 295分求调剂 +5 ?要上岸? 2026-04-17 5/250 2026-04-17 16:51 by fenglj492
[考研] 一志愿沪9,326求生物学调剂 +11 刘墨墨 2026-04-13 11/550 2026-04-17 15:35 by wanganpin
[考研] 291求调剂 +11 关忆北. 2026-04-14 11/550 2026-04-16 15:18 by jiahl2024
[考博] 申博自荐 +3 Linxia林夏 2026-04-13 3/150 2026-04-16 12:55 by 墨荷之露
[考研] 297,工科调剂? +10 河南农业大学-能 2026-04-14 10/500 2026-04-15 21:50 by noqvsozv
[考研] 药学求调剂 +11 RussHu 2026-04-12 13/650 2026-04-15 19:07 by zhuwenxu
[考研] 生物学调剂 +9 纸扇zhishan 2026-04-13 9/450 2026-04-15 18:28 by AN流800
[考研] 材料工程281还有调剂机会吗 +43 xaw. 2026-04-11 44/2200 2026-04-15 12:46 by 西北望—风沙
[考研] 各位老师好,求调剂,本科211,一志愿天津大学生物与医药学硕,差两名录取。 +11 路六六jjj 2026-04-13 11/550 2026-04-14 16:01 by zs92450
[考研] 考研求调剂 +6 ban班小七 2026-04-11 6/300 2026-04-14 14:06 by 哆啦A梦只是个梦
[考研] 085408光电信息工程专硕355一志愿长春光机所调剂 +6 王ymaa 2026-04-13 13/650 2026-04-14 11:33 by 王ymaa
[考研] 085600材料与化工329分求调剂 +24 叶zilin 2026-04-13 25/1250 2026-04-14 09:20 by 试管破裂
[考研] 考研英一数一338分 +9 长江大学东校区 2026-04-13 10/500 2026-04-14 00:41 by 王珺璞
[考研] B区0809 ,数一英一,290 求调剂 +3 泠潍1111 2026-04-12 4/200 2026-04-13 20:35 by 学员JpLReM
[考研] +10 李多米lee. 2026-04-12 11/550 2026-04-12 22:58 by yuyin1233
[考研] 339求调剂 +8 hanwudada 2026-04-11 9/450 2026-04-12 15:36 by laoshidan
信息提示
请填处理意见