24小时热门版块排行榜    

CyRhmU.jpeg
查看: 894  |  回复: 22
当前主题已经存档。

wuhanhgf2002

金虫 (正式写手)

不要吵啦,呵呵,大家还是看看有没有办法解决这个问题,我想坛子里还是有很多虫友想知道答案的。
11楼2009-02-18 07:58:57
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

thrice

金虫 (小有名气)

我也不懂lz的80%是怎么得出来的。。。。。

按我的理解,如果NFS挂载成功,意味着从节点上的/home文件夹是虚拟的,即/home中数据都存放在主节点的硬盘上,从节点上只是将/home添加到了目录列表而已,并不会占用从节点的硬盘空间。

PS:车老师的书确实是本好书,但考虑到机群与机群之间的差别(如操作系统,硬件环境不同等等),我觉得还是google为主较好。

一家之言,方家指正。
12楼2009-02-18 14:32:06
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

ustbmars

铜虫 (小有名气)

其实我的80%也是估计,不过这不是我想表达的重点,具体的是根据是这样的:

主节点和从节点硬盘完相同,大小都是146G。主节点/home分区的大小是80G,/user/local文件夹里面也有20多G,主节点的/home和/usr/local文件被映射到各个从节点机硬盘上的相应位置。

虽说映射的数据实际上是保存在主节点上的,可从节点也必须提供相应大小的硬盘空间来接受映射吧???好象与Windows下做虚拟光驱是一个道理??但这个问题不能靠想象的,希望有实际操作经验的朋友来提供答案,谢谢啦!
13楼2009-02-18 18:06:12
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

thrice

金虫 (小有名气)


mingdong(金币+1,VIP+0):谢谢! 2-20 11:10
:虽说映射的数据实际上是保存在主节点上的,可从节点也必须提供相应大小的硬盘空间来接受映射吧

这句不对,我们的机群主节点硬盘1T,从节点硬盘160G。/home都几百g了也没事。

lz既然有时间问问题,为什么不先goolge一下把nfs的基本概念搞懂呢?

虚拟光驱?也太远了。而且拿linux和windows做类比本身就很不明智。。。。。
14楼2009-02-19 15:27:28
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

panda_wendao

金虫 (小有名气)


mingdong(金币+1,VIP+0):谢谢! 2-20 11:10
lustre集群文件系统
15楼2009-02-19 20:37:54
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

小木虫503

金虫 (正式写手)

老大们,集群怎么建啊?能给点提示吗?我现在一头雾水还有点急
16楼2009-02-20 13:39:53
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

ustbmars

铜虫 (小有名气)

NFS 当然没事,不会占用从盘空间,可做了mount就是另一回事。不光是我在头疼这个问题,厂家的技术人员也没法解决。你们的主节点硬盘有1T,是SCSI硬盘吧?得好几万啊!相当于我们一个服务器的价格了!我们要是有这么大硬盘也就不用关心这个问题了!

倒是有一个办法:做无盘工作站!这样从节点上就根本不需要硬盘,可以把所有的硬盘都集中在主节点上(一个服务器能挂八块硬盘),但这样一切都得从头再来,得花很多时间,而且不知道过程中还会遇到哪些问题。

我觉得你们没有做mount,你能不能看一下,你们从节点上的/home文件夹与主节点上的/home文件夹中的内容完全一致么?我们在主节点上提交的并行程序必须保证这一点,否则每次计算都要把输入文件拷到节点机的相应位置上,这对集群管理来说简直是恶梦。
17楼2009-02-20 14:51:32
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

ustbmars

铜虫 (小有名气)

mingdong(金币+2,VIP+0):感谢! 2-21 13:25
mingdong(金币-2,VIP+0):不好意思,误操作,见谅! 2-21 13:26
对不起,我可能有误解的地方,主节点上/home文件夹被mount到了从节点上/home文件夹的位置,导致从节点的/home文件夹不可见,实际上从节点的空间并没有被占用,只是共享了主节点上的文件夹。

我想能不能这么操作?:

节点名:    被所有节点共享文件夹:
node0                 /home/home0
node1                 /home/home1
node2                 /home/home2
........                   ....................
noden                 /home/homen

/home/homen文件夹是建立在节点机noden上的,将这些文件夹通过NFS服务被所有的节点机共享,这样用户(已设置NIS server,主节点上建立的用户能被所有的节点机识别)只需登陆主节点就可以访问到所有节点上的硬盘,充分利用了整个集群的硬盘空间。

[ Last edited by ustbmars on 2009-2-20 at 17:35 ]
18楼2009-02-20 16:57:15
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

wgpig

木虫 (小有名气)

引用回帖:
Originally posted by panda_wendao at 2009-2-19 20:37:
lustre集群文件系统

panda,你的5420的机器用的怎么样阿。
19楼2009-02-20 17:16:25
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

panda_wendao

金虫 (小有名气)

在子节点上df,可以看到磁盘挂载情况,估计子节点的硬盘并没有用上。如果图省事的话,就分别挂载上,彼此不可见,只用作备份和存放平时不用的大数据。
如果用lustre,可以得到一个貌似所有集群上的盘总合那么大的一个盘,但是要求每个节点都很稳定,如果一台挂掉,整个文件系统就瘫痪了。(我们由于计算经常会把机器跑死,所以装了lustre后又换回去了)
从稳定性考虑推荐主节点多些硬盘做raid,子节点用小点的硬盘,多余空间不整合。
20楼2009-02-21 18:07:02
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 ustbmars 的主题更新
普通表情 高级回复(可上传附件)
信息提示
请填处理意见