应《网络安全法》要求，自2017年10月1日起，未进行实名认证将不得使用互联网跟帖服务。为保障您的帐号能够正常使用，请尽快对帐号进行手机号验证，感谢您的理解与支持！

24小时热门版块排行榜    

CyRhmU.jpeg
小木虫论坛-学术科研互动平台 » 计算模拟区 » 第一性原理 » 【求助】 机群硬盘空间的问题
232/3返回列表上一页123下一页
查看: 894  |  回复: 22
只看楼主@他人 存档 新回复提醒 (忽略) 收藏    在APP中查看
当前主题已经存档。

wuhanhgf2002

金虫 (正式写手)
不要吵啦，呵呵，大家还是看看有没有办法解决这个问题，我想坛子里还是有很多虫友想知道答案的。
赞一下 回复此楼
11楼2009-02-18 07:58:57
 已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

thrice

金虫 (小有名气)
我也不懂lz的80%是怎么得出来的。。。。。

按我的理解，如果NFS挂载成功，意味着从节点上的/home文件夹是虚拟的，即/home中数据都存放在主节点的硬盘上，从节点上只是将/home添加到了目录列表而已，并不会占用从节点的硬盘空间。

PS：车老师的书确实是本好书，但考虑到机群与机群之间的差别（如操作系统，硬件环境不同等等），我觉得还是google为主较好。

一家之言，方家指正。
赞一下 回复此楼
12楼2009-02-18 14:32:06
 已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

ustbmars

铜虫 (小有名气)
其实我的80%也是估计，不过这不是我想表达的重点，具体的是根据是这样的：

主节点和从节点硬盘完相同，大小都是146G。主节点/home分区的大小是80G，/user/local文件夹里面也有20多G，主节点的/home和/usr/local文件被映射到各个从节点机硬盘上的相应位置。

虽说映射的数据实际上是保存在主节点上的，可从节点也必须提供相应大小的硬盘空间来接受映射吧？？？好象与Windows下做虚拟光驱是一个道理？？但这个问题不能靠想象的，希望有实际操作经验的朋友来提供答案，谢谢啦！
赞一下 回复此楼
13楼2009-02-18 18:06:12
 已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

thrice

金虫 (小有名气)
★
mingdong(金币+1,VIP+0):谢谢！ 2-20 11:10
：虽说映射的数据实际上是保存在主节点上的，可从节点也必须提供相应大小的硬盘空间来接受映射吧

这句不对，我们的机群主节点硬盘1T，从节点硬盘160G。/home都几百g了也没事。

lz既然有时间问问题，为什么不先goolge一下把nfs的基本概念搞懂呢？

虚拟光驱？也太远了。而且拿linux和windows做类比本身就很不明智。。。。。
赞一下(10人) 回复此楼
14楼2009-02-19 15:27:28
 已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

panda_wendao

金虫 (小有名气)
★
mingdong(金币+1,VIP+0):谢谢！ 2-20 11:10
lustre集群文件系统
赞一下(10人) 回复此楼
15楼2009-02-19 20:37:54
 已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

小木虫503

金虫 (正式写手)
老大们，集群怎么建啊？能给点提示吗？我现在一头雾水还有点急
赞一下 回复此楼
16楼2009-02-20 13:39:53
 已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

ustbmars

铜虫 (小有名气)
NFS 当然没事，不会占用从盘空间，可做了mount就是另一回事。不光是我在头疼这个问题，厂家的技术人员也没法解决。你们的主节点硬盘有1T，是SCSI硬盘吧？得好几万啊！相当于我们一个服务器的价格了！我们要是有这么大硬盘也就不用关心这个问题了！

倒是有一个办法：做无盘工作站！这样从节点上就根本不需要硬盘，可以把所有的硬盘都集中在主节点上（一个服务器能挂八块硬盘），但这样一切都得从头再来，得花很多时间，而且不知道过程中还会遇到哪些问题。

我觉得你们没有做mount，你能不能看一下，你们从节点上的/home文件夹与主节点上的/home文件夹中的内容完全一致么？我们在主节点上提交的并行程序必须保证这一点，否则每次计算都要把输入文件拷到节点机的相应位置上，这对集群管理来说简直是恶梦。
赞一下 回复此楼
17楼2009-02-20 14:51:32
 已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

ustbmars

铜虫 (小有名气)
mingdong(金币+2,VIP+0):感谢！ 2-21 13:25
mingdong(金币-2,VIP+0):不好意思，误操作，见谅！ 2-21 13:26
对不起，我可能有误解的地方，主节点上/home文件夹被mount到了从节点上/home文件夹的位置，导致从节点的/home文件夹不可见，实际上从节点的空间并没有被占用，只是共享了主节点上的文件夹。

我想能不能这么操作？：

节点名：    被所有节点共享文件夹：
node0                 /home/home0
node1                 /home/home1
node2                 /home/home2
........                   ....................
noden                 /home/homen

/home/homen文件夹是建立在节点机noden上的，将这些文件夹通过NFS服务被所有的节点机共享，这样用户（已设置NIS server,主节点上建立的用户能被所有的节点机识别）只需登陆主节点就可以访问到所有节点上的硬盘，充分利用了整个集群的硬盘空间。

[ Last edited by ustbmars on 2009-2-20 at 17:35 ]
赞一下(20人) 回复此楼
18楼2009-02-20 16:57:15
 已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

wgpig

木虫 (小有名气)
引用回帖:
Originally posted by panda_wendao at 2009-2-19 20:37:
lustre集群文件系统

panda，你的5420的机器用的怎么样阿。
赞一下 回复此楼
19楼2009-02-20 17:16:25
 已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

panda_wendao

金虫 (小有名气)
在子节点上df，可以看到磁盘挂载情况，估计子节点的硬盘并没有用上。如果图省事的话，就分别挂载上，彼此不可见，只用作备份和存放平时不用的大数据。
如果用lustre，可以得到一个貌似所有集群上的盘总合那么大的一个盘，但是要求每个节点都很稳定，如果一台挂掉，整个文件系统就瘫痪了。(我们由于计算经常会把机器跑死，所以装了lustre后又换回去了)
从稳定性考虑推荐主节点多些硬盘做raid，子节点用小点的硬盘，多余空间不整合。
赞一下 回复此楼
20楼2009-02-21 18:07:02
 已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 ustbmars 的主题更新
232/3返回列表上一页123下一页
普通表情 龙 兔 虎 猫 高级回复(可上传附件)
信息提示
关闭
请填处理意见
关闭