24小时热门版块排行榜    

查看: 2016  |  回复: 9
当前只显示满足指定条件的回帖,点击这里查看本话题的所有回帖

460536813

新虫 (初入文坛)

[求助] MPI文件分发

请问,我在MPI环境下,想把某个文件,比如说计算目标参数文件,分发到各个节点,用什么方法比较好。

如果用my_id =0的节点读文件,my_id!=0节点写文件,感觉有点搓。。。MPI里面有没有文件广播分发的功能?
回复此楼

» 猜你喜欢

» 本主题相关价值贴推荐,对您同样有帮助:

已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

libralibra

至尊木虫 (著名写手)

骠骑将军

【答案】应助回帖

★ ★ ★
感谢参与,应助指数 +1
余泽成: 金币+3, 专家考核, 谢谢参与应助! 2012-03-30 14:07:03
数据并行,你得先读进来,然后分发不同的部分给不同的cpu
你所谓的文件分发是什么,复制多份文件给不同的cpu?那还不如读进来数据,然后分发数据
因为只要有一个cpu打开文件,文件就被锁住了,直到释放资源,其他cpu才会继续读取,
mpi程序要注意的就是同步问题,你这个需求不实际啊
只能:

1.master读,然后分发数据到各个unit,计算完后collect数据,写结果;
2.每个unit都copy一份数据,根据当前unit的id计算offset,然后同时读取各自数据计算,运算结束自己写自己的文件,最后master再copy所有文件,合并.

其实2的方案,所有unit读写一个文件也可以,可是得不断测试文件读写状态,当文件空闲时才能读写,跟1是一样的,而且逻辑还不如1清楚.
matlab/VB/python/c++/Java写程序请发QQ邮件:790404545@qq.com
6楼2012-03-29 03:51:21
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
查看全部 10 个回答

smart0193

木虫 (小有名气)

【答案】应助回帖


感谢参与,应助指数 +1
jjdg: 金币+1, 感谢应助 2012-03-23 02:58:07
我记得MPI-2.0里,有专门进行文件并行读写的函数,你看看他的手册,应该有介绍。好久没用MPI了。
一个奋斗在三流高校的教育界民工
2楼2012-03-22 19:20:40
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

lurencyj

木虫 (著名写手)

【答案】应助回帖


感谢参与,应助指数 +1
jjdg: 金币+1, 感谢应助 2012-03-23 02:58:15
余泽成: 专家考核 2012-03-30 14:06:43
不知道你说的分发是什么意思,我只知道变量是可以广播的。

对于读取文件内容,我一般有两种办法,一种id=0的cpu读取,然后广播;一种是全部cpu都读取。

对于写文件,那只能让一个CPU写,或者各自写进不同名字的文件,然后,手动整合。
很女子很弓虽大
3楼2012-03-22 20:16:05
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

460536813

新虫 (初入文坛)

引用回帖:
2楼: Originally posted by smart0193 at 2012-03-22 19:20:40:
我记得MPI-2.0里,有专门进行文件并行读写的函数,你看看他的手册,应该有介绍。好久没用MPI了。

不想读写 能分发吗
4楼2012-03-28 12:44:43
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[基金申请] 关于filecode,很负责任的告诉大家 +4 爱看书的可乐 2026-08-08 5/250 2026-08-08 19:06 by 超级海虾
[基金申请] 关于豆爷回答的JTJC与%2F数量 +5 yang182083 2026-08-06 7/350 2026-08-08 18:29 by zhanghaozhu
[基金申请] 2026国自然放榜时间 +3 布布和一二 2026-08-08 3/150 2026-08-08 18:15 by Lightingo
[硕博家园] 售SCI文章,我:8O.5.5.1O.54,科目全,可十急 +3 qTvzQBRAHjCi 2026-08-07 4/200 2026-08-08 17:19 by oEVWOejN9taj
[基金申请] 售SCI文章,我:8O.5.5.1O.54,科目全,可十急 +3 Vi50GxzrFcSG 2026-08-07 5/250 2026-08-08 16:27 by oEVWOejN9taj
[公派出国] 售SCI一区T0P文章,我:8O.55.1.O.5.4,科目齐全,可+急 +3 Vi50GxzrFcSG 2026-08-07 5/250 2026-08-08 15:59 by oEVWOejN9taj
[论文投稿] 售SCI一区文章,我:8.O.55.1.O.54,科目齐全,可伽急 +3 Vi50GxzrFcSG 2026-08-07 6/300 2026-08-08 15:07 by oEVWOejN9taj
[论文投稿] 售SCI一区T0P文章,我:8.O.55.1.O.54,科目齐全,可+急 +3 WQyTGMbfH7Cx 2026-08-07 4/200 2026-08-08 15:02 by oEVWOejN9taj
[教师之家] 售SCI一区T0P文章,我:8.O.55.1.O54,科目全,可伽急 +4 HEQlVqMTIA7d 2026-08-07 5/250 2026-08-08 14:27 by oEVWOejN9taj
[论文投稿] 售SCI一区T0P文章,我:8O.55.1.O.5.4,科目齐全,可+急 +3 HEQlVqMTIA7d 2026-08-07 5/250 2026-08-08 14:22 by oEVWOejN9taj
[基金申请] 售SCI-T0P文章,我:8O.5.5.1.O.54,科目齐全,可+急 +4 KXLV3nuBVBY7 2026-08-07 5/250 2026-08-08 14:07 by oEVWOejN9taj
[教师之家] 售SCI一区文章,我:8.O.55.1.O.54,科目齐全,可伽急 +3 KXLV3nuBVBY7 2026-08-07 5/250 2026-08-08 14:07 by oEVWOejN9taj
[论文投稿] 售SCI文章,我:8O.5.5.1O.54,科目全,可十急 +3 KXLV3nuBVBY7 2026-08-07 6/300 2026-08-08 14:01 by oEVWOejN9taj
[考博] 售SCI一区文章,我:8.O.55.1.O.54,科目齐全,可伽急 +3 HEQlVqMTIA7d 2026-08-07 3/150 2026-08-08 03:47 by 6vVgjDL4CnGu
[基金申请] 基金中了 +14 laoda193707 2026-08-06 14/700 2026-08-08 00:23 by 实验小白ha
[基金申请] filecode与中标关系的预测 +3 布布和一二 2026-08-07 3/150 2026-08-07 15:09 by gltch
[基金申请] filecode变化情况 +6 布布和一二 2026-08-07 22/1100 2026-08-07 14:45 by 且听虎啸
[基金申请] 大家散了吧,后缀研究没有意义,别浪费时间了,过好目前的每一天,不要焦虑 +5 Tide man 2026-08-06 7/350 2026-08-07 13:11 by 医学老男孩
[考博] 【2027博士申请】纳米药物递送方向 20+3 13586093586 2026-08-03 4/200 2026-08-05 09:59 by lfy8008
[基金申请] 有没有H口的?有收到消息的吗? +3 超级海虾 2026-08-04 3/150 2026-08-04 17:26 by 学教育滴
信息提示
请填处理意见