24小时热门版块排行榜    

查看: 12121  |  回复: 54
【奖励】 本帖被评价41次,作者coolrainbow增加金币 32.4

[资源] Linux组建计算化学集群的教程

算是个比较详细的教程吧

下载地址: http://struchem.nankai.edu.cn/software/Cluster.pdf




[ Last edited by coolrainbow on 2011-6-3 at 10:53 ]
回复此楼

» 收录本帖的淘帖专辑推荐

第一性原理 分子模拟 模型 - 模拟 - 统计 - 热力学 下载
各种资料 计算 量化计算

» 猜你喜欢

» 本主题相关价值贴推荐,对您同样有帮助:

已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

★★★★★ 五星级,优秀推荐

下载看了,很强大,谢谢分享!
2楼2011-06-03 11:13:56
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

lihb734

铁杆木虫 (职业作家)


★★★★★ 五星级,优秀推荐

感谢分享。
顺带看到了您的照片,可帅了。
4楼2011-06-03 14:24:04
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

liuy062

金虫 (小有名气)


★★★★★ 五星级,优秀推荐

太强大了
5楼2011-06-03 14:38:30
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

jyzhao1981

木虫 (正式写手)


★★★★★ 五星级,优秀推荐

谢谢楼主
6楼2011-06-03 14:56:27
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

blueybz

木虫 (正式写手)


★★★★★ 五星级,优秀推荐

引用回帖:
Originally posted by gmy1990 at 2011-06-03 11:13:56:
下载看了,很强大,谢谢分享!

顶,很强很暴力
7楼2011-06-03 15:09:50
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

★★★★★ 五星级,优秀推荐

嗯。
只是实验室明显是从化学实验室改装的。
那种厚重的木料,现在国内都没有了吧。
8楼2011-06-03 15:40:54
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

pwzhou

铁杆木虫 (正式写手)


★★★★★ 五星级,优秀推荐

内容已删除
9楼2011-06-03 15:49:01
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

yongma2008

木虫 (著名写手)


★★★★★ 五星级,优秀推荐

很系统,收藏了。。
10楼2011-06-03 16:01:20
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

hanzhang

禁虫 (小有名气)

本帖内容被屏蔽

11楼2011-06-03 17:11:57
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
引用回帖:
Originally posted by yalefield at 2011-06-03 15:40:54:
嗯。
只是实验室明显是从化学实验室改装的。
那种厚重的木料,现在国内都没有了吧。

好眼力!这堆木质家具一直都当宝贝供着,扔了一个红外都没舍得扔这堆木头
12楼2011-06-03 17:12:52
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
引用回帖:
Originally posted by pwzhou at 2011-06-03 15:49:01:
写的很好,赞一个。
再推荐两个工具,expect和pdsh(http://code.google.com/p/pdsh/)。

我简要说一下我安装集群的步骤:
第一步:操作系统的安装,在主节点安装(光盘或者U盘),然后计算 ...

多谢!

其实,我这个东西都是当初摸索集群时候弄得,弄完之后几乎就没学过啥新技术了,还是转回编程和化学了

网络部署安装的东西我不会,因为组建集群时候机器是陆续来的,刚开始就三台,那时候连linux还不会了,本着装完就用的精神,没学过那么高级的东西。等集群稳定了,建好了,也没有地方实验那种技术了,也懒得弄了 见笑了。

第二部我全是用bash shell写的脚本,呵呵,pdsh没用过

NTP我倒是弄了,但是没写,这是个疏忽

ganglia我倒是下了,但是当时本着我老板提出的“集群上的软件越少越好”的原则,这个就没装

如果过些日子集群崩溃了,要重装,我就试试你讲的新技术吧,不过集群已经稳定了一年多了,估计再坏的时候我也该毕业走人了,哈哈

多谢赐教!!
13楼2011-06-03 17:25:20
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

lihb734

铁杆木虫 (职业作家)


引用回帖:
Originally posted by pwzhou at 2011-06-03 15:49:01:
写的很好,赞一个。
再推荐两个工具,expect和pdsh(http://code.google.com/p/pdsh/)。

我简要说一下我安装集群的步骤:
第一步:操作系统的安装,在主节点安装(光盘或者U盘),然后计算 ...

ntp服务,如果两者的时间差异太多,会造成一些问题的——周老师,想请教的这个会造成什么影响了?最严重的是?
有时候一些软件是需要修改系统时间的啊。
14楼2011-06-03 17:55:29
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

pwzhou

铁杆木虫 (正式写手)


引用回帖:
Originally posted by lihb734 at 2011-06-03 17:55:29:
ntp服务,如果两者的时间差异太多,会造成一些问题的——周老师,想请教的这个会造成什么影响了?最严重的是?
有时候一些软件是需要修改系统时间的啊。

如果NFS服务器端和客户端的时间不一致,那么有些程序在共享的NFS文件系统上读写文件的时候会出现问题,我记得有一次编译软件的时候,到最后报错,具体的错误我不记得了,好像就是说有些文件是来自于未来的,没法链接。
15楼2011-06-03 19:18:08
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

liqianjun

木虫 (小有名气)


★★★★★ 五星级,优秀推荐

thanks
16楼2011-06-03 19:36:26
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

guanyongc

至尊木虫 (知名作家)


★★★★★ 五星级,优秀推荐

谢谢分享,很牛
17楼2011-06-03 23:37:52
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

wushidi

木虫 (小有名气)


★★★★★ 五星级,优秀推荐

顶,师兄很赞
18楼2011-06-03 23:39:40
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

androman89

金虫 (著名写手)


★★★★★ 五星级,优秀推荐

很系统,收藏
19楼2011-06-04 04:26:05
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

dirtor

木虫 (正式写手)


集群系统一直用的是oscar,所以安装起来倒是不用费什么功夫。
20楼2011-06-04 06:09:29
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

wuy069

铁杆木虫 (正式写手)


★★★★★ 五星级,优秀推荐

Debian挺强大!但做集群自己每次安装太麻烦,不如Rocks好。
22楼2011-06-04 07:46:54
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

djher

金虫 (小有名气)


★★★★★ 五星级,优秀推荐

Brilliant! Thanks!
23楼2011-06-04 10:09:22
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

cationly

木虫 (正式写手)


★★★★★ 五星级,优秀推荐

★★★★★ 五星级
24楼2011-06-04 15:44:20
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

hnuzhoulin

金虫 (小有名气)


★★★ 三星级,支持鼓励

看来很有针对性啊
呵呵,来看看
25楼2011-06-05 14:25:42
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

llwwwh

至尊木虫 (职业作家)


★★★★★ 五星级,优秀推荐

很好,正在学习
26楼2011-06-07 17:04:25
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

dellus

木虫 (职业作家)


★★★★★ 五星级,优秀推荐

thanks
28楼2011-06-08 00:47:53
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

yanhualu15

金虫 (正式写手)


★★★★★ 五星级,优秀推荐

学习学习,马上用得着。
29楼2011-06-08 07:16:00
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

甲子

新虫 (小有名气)


★★★★★ 五星级,优秀推荐

挺郁闷的,去年弄集群的时候,什么资料都没有找到,现在自己摸索着弄好了,才看到楼主的资料。
30楼2011-06-08 08:13:24
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

agent99

禁虫 (正式写手)


★★★★★ 五星级,优秀推荐

非常好的资源!感谢分享!
31楼2011-06-08 15:18:53
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

bsbpl

金虫 (正式写手)


★★★★★ 五星级,优秀推荐

非常棒!。。收藏了。。感谢楼主!
32楼2011-06-08 22:01:21
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

zhangguangping

木虫 (著名写手)


★★★★★ 五星级,优秀推荐

新手一个,请教一个问题:按照教程里面写的搭建起来的机器群。所有的用户计算储存硬盘就是挂载在控制节点上的那些是吗?每一个节点上自己带的硬盘是不是不能用来储存用户计算的数据?另外,在计算节点上计算过程中产生的临时文件,有些软件不是放到/temp下,而是提交任务的目录下。那这样话,是不是这些临时文件都放到了控制节点的硬盘上了。如果这样,通过网络读写硬盘岂不是很浪费时间啊。如果是计算软件将所有的临时文件都放到/temp目录的话,那么计算的临时文件统统放到计算节点的/temp目录下面,等计算完毕,将最后的计算结果写回控制节点提交任务的目录里面。

我的理解对吗?
如果不对请指教。
有什么办法让计算节点的硬盘也能当成主节点的,用来存储用户的计算结果。哪个节点计算,就放在哪个节点上。同时用户只要登录控制节点,就能看到自己的计算结果。
也就是说计算节点上硬盘分为两个分区,一个分区自己所有,另一个分区大家共享,都能相互看见。计算节点计算的结果就写到这个分区上。逻辑上计算节点的第二个分区都属于控制节点的。

这个可行吗?
34楼2011-06-15 09:36:52
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

hairan

木虫 (著名写手)


★★★★★ 五星级,优秀推荐

批评一下版主:这么好的资源都不给QC强帖
35楼2011-06-15 10:11:09
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
引用回帖:
Originally posted by zhangguangping at 2011-06-15 09:36:52:
新手一个,请教一个问题:按照教程里面写的搭建起来的机器群。所有的用户计算储存硬盘就是挂载在控制节点上的那些是吗?每一个节点上自己带的硬盘是不是不能用来储存用户计算的数据?另外,在计算节点上计算过程中 ...

我明白你的意思,就是说某些软件以“当前目录”作为存储中间文件的目录,但是“当前目录”是控制节点的,通过NFS读取会大量浪费时间,想通过对计算节点进行分解来解决这个问题......

首先,我所知道的所有软件中,这个存储中间文件(特别是比较大的文件时候)的路径都是可以设置的,尽量把它设置到计算节点的本地硬盘上面

其次,如果确实无法设置,你可以在提交作业的脚本中写一些处理过程,比如先把文件拷贝到一个计算节点的/temp上,以这个副本提交,然后把生成的计算结果的文件拷贝回来,就可以了。这个过程可以全部写在提交脚本中。如:

#PBS ...

mkdir /temp/$PBSID
cp foo.inp  /temp/$PBSID
cd /temp/$PBSID
<>
cp foo.out /home/user
rm -rf /temp/$PBSID
引用回帖:
也就是说计算节点上硬盘分为两个分区,一个分区自己所有,另一个分区大家共享,都能相互看见。计算节点计算的结果就写到这个分区上。逻辑上计算节点的第二个分区都属于控制节点的。

这是可以的啊,不过对于小型集群,没有必要。而且可以告诉你,如果集群使用超过一年,这写计算节点很可能会突然坏掉,使得用户文件丢失,但是控制节点坏掉的概率会小的多,有利于系统的稳定和数据安全
36楼2011-06-15 10:18:42
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

zhangguangping

木虫 (著名写手)


引用回帖:
Originally posted by coolrainbow at 2011-06-15 03:18:42:
我明白你的意思,就是说某些软件以“当前目录”作为存储中间文件的目录,但是“当前目录”是控制节点的,通过NFS读取会大量浪费时间,想通过对计算节点进行分解来解决这个问题......

首先,我所知道的所有软 ...

我明白你的意思。那样的话,需要将计算节点的/temp目录分配一个大的空间。给用户足够的临时空间。其实将计算节点的硬盘空间除了系统,全部分给这个目录就可以。

确实是计算节点坏掉的可能性比较大,因为一直在工作。而控制节点是比较轻松的一个机器。如果按照你的建议,需要将控制节点挂载很多硬盘。因为如果一个课题组的人用的话,可能需要很大的空间。因为有些人需要将自己计算的结果暂时在服务其上储存一段时间。等整个任务结束之后再将结果整体拿下来。
37楼2011-06-15 11:15:41
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
引用回帖:
Originally posted by zhangguangping at 2011-06-15 11:15:41:
我明白你的意思。那样的话,需要将计算节点的/temp目录分配一个大的空间。给用户足够的临时空间。其实将计算节点的硬盘空间除了系统,全部分给这个目录就可以。

确实是计算节点坏掉的可能性比较大,因为一直 ...

You got it!

其实,是可以建立一些“存储节点”来专门存储数据的,这种节点要根据存储文件的类型来专门配置(如格式化时候inode的设置等等)来达到最高效率。这可以参考专门的书籍~
38楼2011-06-15 12:08:32
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

zhangguangping

木虫 (著名写手)


引用回帖:
Originally posted by coolrainbow at 2011-06-15 05:08:32:
You got it!

其实,是可以建立一些“存储节点”来专门存储数据的,这种节点要根据存储文件的类型来专门配置(如格式化时候inode的设置等等)来达到最高效率。这可以参考专门的书籍~

谢谢!
39楼2011-06-15 16:04:07
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

caoyiyang

捐助贵宾 (正式写手)


★★★★★ 五星级,优秀推荐

谢谢分享,呵呵
40楼2011-10-26 21:29:36
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

zhangguangping

木虫 (著名写手)


引用回帖:
1楼: Originally posted by coolrainbow at 2011-06-03 10:51:36:
算是个比较详细的教程吧

下载地址: http://struchem.nankai.edu.cn/software/Cluster.pdf



[ Last edited by coolrainbow on 2011-6-3 at 10 ...

我发现,创建完NIS服务之后,再去创建SSH无密码互通,只要在管理节点上运行一下那个生成密钥的命令,就可以节点之间互通了。这个应该归功于NIS的用户信息同步。
41楼2011-12-20 00:11:35
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

sureserver

铜虫 (初入文坛)


并行 文件系统GPFS也是不错的选择。。。。既然都用IBM的XCAT了,用GPFS效果不错
42楼2011-12-31 11:42:02
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

yoghurt117

木虫 (正式写手)


★★★★★ 五星级,优秀推荐

写的很好,赞n下
尤其开头,idea最重要,向作者致敬!
43楼2011-12-31 17:24:07
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

olympicmlj

木虫 (正式写手)


★★★★★ 五星级,优秀推荐

谢谢楼主分享
44楼2012-01-06 14:07:06
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

chenyuchen

木虫 (正式写手)


★★★★★ 五星级,优秀推荐

很强大,多谢分享!
45楼2012-02-13 23:13:05
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

wangwei_maye

新虫 (小有名气)


★★★★★ 五星级,优秀推荐

非常感谢搂着无私奉献
47楼2012-02-28 22:27:22
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

xztjhs

铁虫 (小有名气)


★★★ 三星级,支持鼓励

搜藏了!很好很强大!
48楼2012-04-04 14:09:55
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

wang-yongtao

新虫 (小有名气)


49楼2012-09-13 20:58:15
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

zzr0427

新虫 (初入文坛)


★★★★★ 五星级,优秀推荐

非常好的资源,非常感谢!
50楼2013-04-18 12:03:15
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
简单回复
2011-06-03 12:11   回复  
五星好评  
Quan.21楼
2011-06-04 07:08   回复  
五星好评  谢谢分享!!!!!!!!!!!!!!!
duotojh27楼
2011-06-08 00:19   回复  
五星好评  顶一下,感谢分享!
2011-06-11 20:06   回复  
五星好评  谢谢分享
xiaowu75946楼
2012-02-14 06:36   回复  
五星好评  谢谢分享!
相关版块跳转 我要订阅楼主 coolrainbow 的主题更新
☆ 无星级 ★ 一星级 ★★★ 三星级 ★★★★★ 五星级
普通表情 高级回复 (可上传附件)
信息提示
请填处理意见