24小时热门版块排行榜    

查看: 2035  |  回复: 9

460536813

新虫 (初入文坛)

[求助] MPI文件分发

请问,我在MPI环境下,想把某个文件,比如说计算目标参数文件,分发到各个节点,用什么方法比较好。

如果用my_id =0的节点读文件,my_id!=0节点写文件,感觉有点搓。。。MPI里面有没有文件广播分发的功能?
回复此楼

» 猜你喜欢

» 本主题相关价值贴推荐,对您同样有帮助:

已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

smart0193

木虫 (小有名气)

【答案】应助回帖


感谢参与,应助指数 +1
jjdg: 金币+1, 感谢应助 2012-03-23 02:58:07
我记得MPI-2.0里,有专门进行文件并行读写的函数,你看看他的手册,应该有介绍。好久没用MPI了。
一个奋斗在三流高校的教育界民工
2楼2012-03-22 19:20:40
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

lurencyj

木虫 (著名写手)

【答案】应助回帖


感谢参与,应助指数 +1
jjdg: 金币+1, 感谢应助 2012-03-23 02:58:15
余泽成: 专家考核 2012-03-30 14:06:43
不知道你说的分发是什么意思,我只知道变量是可以广播的。

对于读取文件内容,我一般有两种办法,一种id=0的cpu读取,然后广播;一种是全部cpu都读取。

对于写文件,那只能让一个CPU写,或者各自写进不同名字的文件,然后,手动整合。
很女子很弓虽大
3楼2012-03-22 20:16:05
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

460536813

新虫 (初入文坛)

引用回帖:
2楼: Originally posted by smart0193 at 2012-03-22 19:20:40:
我记得MPI-2.0里,有专门进行文件并行读写的函数,你看看他的手册,应该有介绍。好久没用MPI了。

不想读写 能分发吗
4楼2012-03-28 12:44:43
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

lurencyj

木虫 (著名写手)

【答案】应助回帖

★ ★
jjdg: 金币+1, 感谢参与 2012-03-29 01:00:56
余泽成: 专家考核 2012-03-30 14:06:49
460536813: 金币+1, ★★★很有帮助, 有理 考虑其他东西 不用MPI分发了 2012-04-27 12:58:11
除非有新的接口函数被mpi发布出来,否则没有。


我想,一般也不会发布这样的函数,原因很简单,因为那样的函数死板,没有直接自己分摊来的有效。
很女子很弓虽大
5楼2012-03-28 15:48:15
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

libralibra

至尊木虫 (著名写手)

骠骑将军

【答案】应助回帖

★ ★ ★
感谢参与,应助指数 +1
余泽成: 金币+3, 专家考核, 谢谢参与应助! 2012-03-30 14:07:03
数据并行,你得先读进来,然后分发不同的部分给不同的cpu
你所谓的文件分发是什么,复制多份文件给不同的cpu?那还不如读进来数据,然后分发数据
因为只要有一个cpu打开文件,文件就被锁住了,直到释放资源,其他cpu才会继续读取,
mpi程序要注意的就是同步问题,你这个需求不实际啊
只能:

1.master读,然后分发数据到各个unit,计算完后collect数据,写结果;
2.每个unit都copy一份数据,根据当前unit的id计算offset,然后同时读取各自数据计算,运算结束自己写自己的文件,最后master再copy所有文件,合并.

其实2的方案,所有unit读写一个文件也可以,可是得不断测试文件读写状态,当文件空闲时才能读写,跟1是一样的,而且逻辑还不如1清楚.
matlab/VB/python/c++/Java写程序请发QQ邮件:790404545@qq.com
6楼2012-03-29 03:51:21
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

460536813

新虫 (初入文坛)

引用回帖:
6楼: Originally posted by libralibra at 2012-03-29 03:51:21:
数据并行,你得先读进来,然后分发不同的部分给不同的cpu
你所谓的文件分发是什么,复制多份文件给不同的cpu?那还不如读进来数据,然后分发数据
因为只要有一个cpu打开文件,文件就被锁住了,直到释放资源,其他cpu才会 ...

你说的不就是我题设的那种方法么?
文件分发  保证每个节点都收到文件就可以  要同步干嘛
不要把问题搞复杂~~
7楼2012-04-27 12:56:39
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

460536813

新虫 (初入文坛)

引用回帖:
3楼: Originally posted by lurencyj at 2012-03-22 20:16:05:
不知道你说的分发是什么意思,我只知道变量是可以广播的。

对于读取文件内容,我一般有两种办法,一种id=0的cpu读取,然后广播;一种是全部cpu都读取。

对于写文件,那只能让一个CPU写,或者各自写进不同名 ...

广播 我知道的   就是分发一下么  不需要同步什么的
8楼2012-04-27 12:57:19
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

libralibra

至尊木虫 (著名写手)

骠骑将军

引用回帖:
8楼: Originally posted by 460536813 at 2012-04-27 12:57:19:
广播 我知道的   就是分发一下么  不需要同步什么的

在collect之前最好同步一下,保证能收到所有的数据
matlab/VB/python/c++/Java写程序请发QQ邮件:790404545@qq.com
9楼2012-04-28 17:28:23
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

wangjiang381

铜虫 (初入文坛)

10楼2012-11-08 21:08:49
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 460536813 的主题更新
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[基金申请] 为什么网上很多人说本周 12号出结果 +4 瞬息宇宙 2026-08-10 4/200 2026-08-11 02:02 by 旁观2020
[基金申请] 基金中了 +15 laoda193707 2026-08-06 15/750 2026-08-11 00:11 by jiafei2190
[基金申请] 帮忙看看fileCode +4 wwncly 2026-08-10 8/400 2026-08-10 22:07 by demonstreets
[基金申请] 小木虫上这么多卖论文的,真有人买论文么?感觉没必要啊 +3 Tide man 2026-08-10 3/150 2026-08-10 21:48 by GZUZM
[基金申请] filecode +8 documentary 2026-08-10 8/400 2026-08-10 19:20 by loufangrui
[基金申请] 静等基金结果 +5 gjjjzhong 2026-08-10 16/800 2026-08-10 17:19 by Tide man
[基金申请] 我的国基提前知道中了,可是同事的操作让我实在接受不了,怎么会有这样的人 +8 家与远方 2026-08-10 11/550 2026-08-10 17:09 by 六两废铜
[基金申请] 关于Filecode分析方法 +3 majunge000 2026-08-10 3/150 2026-08-10 15:46 by lch2012
[基金申请] 国自然结果 +4 Vierhys 2026-08-10 8/400 2026-08-10 15:06 by Vierhys
[基金申请] 应该是93bebmhtak前后十一个字符比较关键 +14 Lanmanbaby 2026-08-09 22/1100 2026-08-10 14:57 by wwncly
[基金申请] 奇怪,两个人的filecode固定段从头到尾一模一样 +4 布布和一二 2026-08-10 4/200 2026-08-10 14:50 by 医学老男孩
[基金申请] 8月时间戳变的,举个手。玩一下,释放压力 +11 archvillain 2026-08-04 13/650 2026-08-10 14:41 by seekfind
[基金申请] 据悉今年马上要出结果了 +7 瞬息宇宙 2026-08-10 8/400 2026-08-10 12:42 by Vivilian
[基金申请] 这样的filecode谁见过 +11 布布和一二 2026-08-08 22/1100 2026-08-10 11:10 by wmfsnow
[基金申请] filecode与中标关系的预测 +5 布布和一二 2026-08-07 5/250 2026-08-09 16:15 by 袁向阳007
[基金申请] 固定端突然变了,今天 +6 archvillain 2026-08-06 10/500 2026-08-07 16:03 by 医学老男孩
[基金申请] 听说今天filecode变了 +24 布布和一二 2026-08-06 47/2350 2026-08-07 16:02 by zhiyanjiang
[基金申请] filecode +8 布布和一二 2026-08-06 11/550 2026-08-06 20:41 by tangpu318
[基金申请] 影响面上的因素 +8 布布和一二 2026-08-05 11/550 2026-08-06 10:41 by 宝贝虫子
[基金申请] 纯娱乐,不喜欢勿喷 +7 Tide man 2026-08-04 10/500 2026-08-04 15:10 by loufangrui
信息提示
请填处理意见