应《网络安全法》要求，自2017年10月1日起，未进行实名认证将不得使用互联网跟帖服务。为保障您的帐号能够正常使用，请尽快对帐号进行手机号验证，感谢您的理解与支持！

24小时热门版块排行榜    

Znn3bq.jpeg
小木虫论坛-学术科研互动平台 » 计算模拟区 » 第一性原理 » 【求助】 机群硬盘空间的问题
北京石油化工学院2026年研究生招生接收调剂公告
232/3返回列表上一页123下一页
查看: 988  |  回复: 22
只看楼主 @他人 存档 新回复提醒 (忽略) 收藏    在APP中查看
当前主题已经存档。

wuhanhgf2002

金虫 (正式写手)
不要吵啦，呵呵，大家还是看看有没有办法解决这个问题，我想坛子里还是有很多虫友想知道答案的。
赞一下 回复此楼
11楼2009-02-18 07:58:57
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

thrice

金虫 (小有名气)
我也不懂lz的80%是怎么得出来的。。。。。

按我的理解，如果NFS挂载成功，意味着从节点上的/home文件夹是虚拟的，即/home中数据都存放在主节点的硬盘上，从节点上只是将/home添加到了目录列表而已，并不会占用从节点的硬盘空间。

PS：车老师的书确实是本好书，但考虑到机群与机群之间的差别（如操作系统，硬件环境不同等等），我觉得还是google为主较好。

一家之言，方家指正。
赞一下 回复此楼
12楼2009-02-18 14:32:06
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

ustbmars

铜虫 (小有名气)
其实我的80%也是估计，不过这不是我想表达的重点，具体的是根据是这样的：

主节点和从节点硬盘完相同，大小都是146G。主节点/home分区的大小是80G，/user/local文件夹里面也有20多G，主节点的/home和/usr/local文件被映射到各个从节点机硬盘上的相应位置。

虽说映射的数据实际上是保存在主节点上的，可从节点也必须提供相应大小的硬盘空间来接受映射吧？？？好象与Windows下做虚拟光驱是一个道理？？但这个问题不能靠想象的，希望有实际操作经验的朋友来提供答案，谢谢啦！
赞一下 回复此楼
13楼2009-02-18 18:06:12
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

thrice

金虫 (小有名气)
★
mingdong(金币+1,VIP+0):谢谢！ 2-20 11:10
：虽说映射的数据实际上是保存在主节点上的，可从节点也必须提供相应大小的硬盘空间来接受映射吧

这句不对，我们的机群主节点硬盘1T，从节点硬盘160G。/home都几百g了也没事。

lz既然有时间问问题，为什么不先goolge一下把nfs的基本概念搞懂呢？

虚拟光驱？也太远了。而且拿linux和windows做类比本身就很不明智。。。。。
赞一下(10人) 回复此楼
14楼2009-02-19 15:27:28
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

panda_wendao

金虫 (小有名气)
★
mingdong(金币+1,VIP+0):谢谢！ 2-20 11:10
lustre集群文件系统
赞一下(10人) 回复此楼
15楼2009-02-19 20:37:54
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

小木虫503

金虫 (正式写手)
老大们，集群怎么建啊？能给点提示吗？我现在一头雾水还有点急
赞一下 回复此楼
16楼2009-02-20 13:39:53
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

ustbmars

铜虫 (小有名气)
NFS 当然没事，不会占用从盘空间，可做了mount就是另一回事。不光是我在头疼这个问题，厂家的技术人员也没法解决。你们的主节点硬盘有1T，是SCSI硬盘吧？得好几万啊！相当于我们一个服务器的价格了！我们要是有这么大硬盘也就不用关心这个问题了！

倒是有一个办法：做无盘工作站！这样从节点上就根本不需要硬盘，可以把所有的硬盘都集中在主节点上（一个服务器能挂八块硬盘），但这样一切都得从头再来，得花很多时间，而且不知道过程中还会遇到哪些问题。

我觉得你们没有做mount，你能不能看一下，你们从节点上的/home文件夹与主节点上的/home文件夹中的内容完全一致么？我们在主节点上提交的并行程序必须保证这一点，否则每次计算都要把输入文件拷到节点机的相应位置上，这对集群管理来说简直是恶梦。
赞一下 回复此楼
17楼2009-02-20 14:51:32
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

ustbmars

铜虫 (小有名气)
mingdong(金币+2,VIP+0):感谢！ 2-21 13:25
mingdong(金币-2,VIP+0):不好意思，误操作，见谅！ 2-21 13:26
对不起，我可能有误解的地方，主节点上/home文件夹被mount到了从节点上/home文件夹的位置，导致从节点的/home文件夹不可见，实际上从节点的空间并没有被占用，只是共享了主节点上的文件夹。

我想能不能这么操作？：

节点名：    被所有节点共享文件夹：
node0                 /home/home0
node1                 /home/home1
node2                 /home/home2
........                   ....................
noden                 /home/homen

/home/homen文件夹是建立在节点机noden上的，将这些文件夹通过NFS服务被所有的节点机共享，这样用户（已设置NIS server,主节点上建立的用户能被所有的节点机识别）只需登陆主节点就可以访问到所有节点上的硬盘，充分利用了整个集群的硬盘空间。

[ Last edited by ustbmars on 2009-2-20 at 17:35 ]
赞一下(20人) 回复此楼
18楼2009-02-20 16:57:15
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

wgpig

木虫 (小有名气)
引用回帖:
Originally posted by panda_wendao at 2009-2-19 20:37:
lustre集群文件系统

panda，你的5420的机器用的怎么样阿。
赞一下 回复此楼
19楼2009-02-20 17:16:25
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

panda_wendao

金虫 (小有名气)
在子节点上df，可以看到磁盘挂载情况，估计子节点的硬盘并没有用上。如果图省事的话，就分别挂载上，彼此不可见，只用作备份和存放平时不用的大数据。
如果用lustre，可以得到一个貌似所有集群上的盘总合那么大的一个盘，但是要求每个节点都很稳定，如果一台挂掉，整个文件系统就瘫痪了。(我们由于计算经常会把机器跑死，所以装了lustre后又换回去了)
从稳定性考虑推荐主节点多些硬盘做raid，子节点用小点的硬盘，多余空间不整合。
赞一下 回复此楼
20楼2009-02-21 18:07:02
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 ustbmars 的主题更新
232/3返回列表上一页123下一页
普通表情 龙 兔 虎 猫 高级回复 (可上传附件)
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[考博] 申博 +8 IQwQl 2026-04-04 8/400 2026-04-08 09:43 by 0608104024
[考研] 327求调剂 +7 Xxjc1107. 2026-04-06 8/400 2026-04-08 07:15 by 无际的草原
[考研] 347材料专硕求调剂 +15 zj8215216 2026-04-06 15/750 2026-04-08 00:22 by JourneyLucky
[考研] 材料调剂 +13 汉123456 2026-04-07 14/700 2026-04-07 22:53 by 来看流星雨10
[考研] 一志愿郑州大学材料与化工085600，求调剂 +34 吃的不少 2026-04-02 34/1700 2026-04-07 20:01 by lrll?l
[考研] 求调剂 +4 电气小神童 2026-04-04 6/300 2026-04-07 00:14 by guanxin1001
[考研] 调剂 +5 好好读书。 2026-04-01 5/250 2026-04-05 17:54 by liucky
[考研] 282求调剂 +3 aaa车辆 2026-04-01 3/150 2026-04-05 17:03 by yulian1987
[考研] 一志愿西北农林畜牧专硕336分求调剂 +3 5ourr 2026-04-03 3/150 2026-04-05 10:40 by JOKER0401
[考研] 271分求调剂学校 +12 zph158488！ 2026-04-02 13/650 2026-04-05 10:13 by lqwchd
[考研] 311分 22408 求调剂 +3 bing_bot 2026-04-03 3/150 2026-04-05 00:43 by chongya
[考研] 290求调剂 +7 luoziheng 2026-04-04 7/350 2026-04-04 23:17 by lqwchd
[考研] 286求调剂 +3 草木不言 2026-04-04 3/150 2026-04-04 22:40 by lbsjt
[考研] 一志愿华北电力大学（北京），材料科学与工程学硕265，求调剂 +11 yelck 2026-04-03 12/600 2026-04-04 19:52 by dongzh2009
[考研] 11408 一志愿西电，277分求调剂 +4 zhouzhen654 2026-04-03 4/200 2026-04-04 18:10 by 猪会飞
[考研] 272求调剂 +4 松柏常青5 2026-04-03 4/200 2026-04-04 17:03 by babysonlkd
[考研] 求生物学专业调剂-332分 +5 云朵遛弯指南 2026-04-04 5/250 2026-04-04 10:05 by rzh123456
[考研] 322求调剂 +6 FZAC123 2026-04-03 6/300 2026-04-03 22:23 by 科研小专家
[考研] 285求调剂 +5 AZMK 2026-04-03 8/400 2026-04-03 18:17 by AZMK
[考研] 食品学硕362求调剂 +3 xuanxianxian 2026-04-01 3/150 2026-04-01 21:05 by 啊李999
信息提示
关闭
请填处理意见
关闭