| 查看: 1250 | 回复: 4 | ||
| 本帖产生 1 个 计算强帖 ，点击这里进行查看 | ||
| 当前只显示满足指定条件的回帖，点击这里查看本话题的所有回帖 | ||
04nylxb木虫 (正式写手)
|
[求助]
求助-关于集群共享存储文件系统挂载与集群优化
|
|
|
各位集群的同仁，我在集群搭建的时候（20个节点，其中node-1是控制节点，操作系统是Centos5）遇到一个共享存储配置方面的问题，特来寻求大家的帮助，不胜感激。问题如下： 原来20个节点，每个节点存储空间都很小，只有40G的硬盘空间，我们在配置的时候，用NFS共享了/home /opt /usr/loacl三个目录， [root@node-20 /]# df -h 文件系统 容量 已用 可用 已用% 挂载点 /dev/sda1 38G 3.1G 33G 9% / tmpfs 3.9G 0 3.9G 0% /dev/shm node-1:/opt 38G 33G 3.5G 91% /opt node-1:/home 38G 33G 3.5G 91% /home node-1:/usr/local 38G 33G 3.5G 91% /usr/local 后来集群增加了一个大的存储空间（20T），并且挂载在/mnt/leofs下，每个节点都挂载了。 [root@node-1 ~]# df -h Filesystem Size Used Avail Use% Mounted on /dev/sda1 38G 33G 3.5G 91% / tmpfs 3.9G 0 3.9G 0% /dev/shm none 20T 22G 20T 1% /mnt/leofs/ 我们在每个用户下根目录下建立了一个data目录（/home/user/data），然后通过软连接到/mnt/leofs/user-data。 集群运转顺利，但是却不是最优的方案，存在数据传输慢的问题（除node-1外，计算节点都要先NFS回node-1，然后再由Node-1写数据到data，再软链接到共享存储），这样其它几个节点都没有利用上挂载的共享存储（挂在每个节点的/mnt/leofs下）。 因此，我们想重新配置下集群，方案如超算中心一样：将大容量的共享存储挂载在每个节点的/home目录下，这样/home都不需要NFS了，数据直接在共享存储里读写，能够大大提高运算速度，包括一些计算软件都可以安装在共享存储里了，就可以不用NFS了。因此想请教下大家： 1、大容量共享存储如何挂载到每个节点的/home上？我试了下，将共享存储从node-20的/mnt/leofs卸载，none就没了，这时候想重新挂载的时候，发现不知道该去哪里找这个存储文件了……试了下mount none /mnt/leofs，提示说找不到这个设备。（该如何将存储系统挂载上呢？） 文件系统 容量 已用 可用 已用% 挂载点 /dev/sda1 38G 3.1G 33G 9% / tmpfs 3.9G 0 3.9G 0% /dev/shm node-1:/opt 38G 33G 3.5G 91% /opt node-1:/home 38G 33G 3.5G 91% /home node-1:/usr/local 38G 33G 3.5G 91% /usr/local 超算中心的共享存储挂载情况如下： 控制节点： Filesystem Size Used Avail Use% Mounted on /dev/sda3 271G 125G 133G 49% / udev 27G 164K 27G 1% /dev /dev/sda1 99M 45M 50M 48% /boot imd2@o2ib0:imd1@o2ib0:/lustre 106T 69T 32T 69% /home 计算节点： Filesystem Size Used Avail Use% Mounted on /dev/sda4 131G 13G 112G 11% / udev 32G 148K 32G 1% /dev /dev/sda1 99M 32M 63M 34% /boot imd2@o2ib0:imd1@o2ib0:/lustre 106T 69T 32T 69% /home 大家会发现他们是将共享存储挂载在/home下了，并且没有用到NFS。他们是如何将imd2@o2ib0:imd1@o2ib0:/lustre挂载到/home上呢？ 2、将共享存储挂载到每个节点的/home后，是否要重新添加用户，生成用户的根目录？ 非常感谢。 |
回复此楼» 猜你喜欢
Error in routine lambda (100): wrong # or too many modes
已经有0人回复
-
祈福国自然面上
已经有61人回复
-
物理学I论文润色/翻译怎么收费?
已经有227人回复
-
请问castep计算出的能带图横轴数据缩放因子怎么计算
已经有1人回复
-
Result in Physics 从见刊开始 一般多久可以被SCI收录
已经有26人回复
-
面青地会评时间？？？
已经有8人回复
-
科研求助
已经有1人回复
-
深圳大学高等研究院暑期夏令营
已经有10人回复
-
深圳大学高等研究院暑期夏令营
已经有8人回复
» 本主题相关价值贴推荐，对您同样有帮助:
- 微机集群组建、优化和管理
已经有62人回复
- J1离美日期紧急求助
已经有9人回复
- 集群上的用户管理
已经有34人回复
- wien2k_09集群编译出错
已经有3人回复
- 求助组建高性能计算集群，性能、配置、价格等等
已经有8人回复
- G09集群计算结果的chk文件转换问题
已经有7人回复
- 请教ORCA的并行及集群上的脚本文件
已经有14人回复
- 紧急求助：15-20w左右服务器（集群）配置推荐！！！散金币ing
已经有10人回复
- 【求助】MS4.4在REDHAT5.0集群上安装出错，附步骤，望高手指正
已经有16人回复
zhangguangping
木虫 (著名写手)
- 计算强帖: 6
- 应助: 71 (初中生)
- 贵宾: 0.031
- 金币: 1965.6
- 散金: 9059
- 红花: 79
- 帖子: 2677
- 在线: 2124.5小时
- 虫号: 529624
- 注册: 2008-03-20
- 性别: GG
- 专业: 原子和分子物理
【答案】应助回帖
★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★
感谢参与，应助指数 +1
cenwanglai(金币+5, 计算强帖+1): 谢谢回复~ 2012-03-10 08:35:43
cenwanglai:编辑内容 2012-03-10 08:36
cenwanglai:编辑内容 2012-03-10 08:36
04nylxb(金币+15): ★★★很有帮助 收到，非常感谢 2012-03-10 20:24:11
04nylxb: 金币+8, ★★★很有帮助, 3q very much 2012-04-01 22:06:52
感谢参与，应助指数 +1
cenwanglai(金币+5, 计算强帖+1): 谢谢回复~ 2012-03-10 08:35:43
cenwanglai:编辑内容 2012-03-10 08:36
cenwanglai:编辑内容 2012-03-10 08:36
04nylxb(金币+15): ★★★很有帮助 收到，非常感谢 2012-03-10 20:24:11
04nylxb: 金币+8, ★★★很有帮助, 3q very much 2012-04-01 22:06:52
|
以讨论的态度试着回答一下，不知道你的问题我理解了多少。如果说的或者理解的不对，请指教！ 下面说的还是使用NFS方法挂载的： ①关于怎么把大的存储空间（20T）挂载到每个节点的/home下， 首先，你的这个20T的存储空间应该也是委托在一个节点上吧？或者逻辑上它是一个节点，有自己的ip和目录。这样话，假如它的ip是10.10.10.10，并且假如这个20T所在的目录是/none，那么就在这个节点的/etc/exports文件中添加如下选项： /none 10.10.10.0/255.255.255.0(rw,async,no_root_squash) 表示要把这个20T的空间共享出去。 chkconfig nfsserver on /etc/init.d/nfsserver restart chkconfig nfs on 然后再每一个计算节点挂载这个目录，并且挂载到/home下面， mount 10.10.10.10:/none /home 并且将上面这一行写到每一个计算节点的 /etc/init.d/after.local中去。最好不要写到 /etc/fstab 防止计算节点比控制节点开机快，挂载不上，开不开机。 chkconfig nfsserver on /etc/init.d/nfsserver restart chkconfig nfs on 这个时候每一个计算节点上的/home应该就被覆盖了。也就说原来计算节点上的/home就看不到了。所以最好起个别的名字。 ②可以先挂载成别目录，然后将控制节点的/home内容拷贝到大硬盘，然后再将大硬盘的目录名字修改为/home重新挂载一次。 [ Last edited by cenwanglai on 2012-3-10 at 08:36 ] |
2楼2012-03-10 00:33:29
20