| 查看: 12099 | 回复: 54 | |||||||||
| 【奖励】 本帖被评价41次,作者coolrainbow增加金币 32.4 个 | |||||||||
[资源]
Linux组建计算化学集群的教程
|
|||||||||
|
算是个比较详细的教程吧 下载地址: http://struchem.nankai.edu.cn/software/Cluster.pdf [ Last edited by coolrainbow on 2011-6-3 at 10:53 ] |
» 收录本帖的淘帖专辑推荐
第一性原理 | 分子模拟 | 模型 - 模拟 - 统计 - 热力学 | 下载 |
各种资料 | 计算 | 量化计算 |
» 猜你喜欢
东方理-中科大联合博士生招聘
已经有0人回复
电化学基础知识与资源网站
已经有2人回复
物理化学论文润色/翻译怎么收费?
已经有177人回复
宁夏大学国家重点实验室膜分离课题组招收2026级博士生
已经有0人回复
英国贝尔法斯特女王大学招收 2026 年 CSC/BBSRC phd 机器学习 催化剂设计方向
已经有0人回复
法国里昂大学招生CSC 资助博士生
已经有0人回复
法国里昂大学接收CSC 资助访问学者
已经有0人回复
中国科大电池方向任晓迪课题组招收2026级博士生-电解液/电池安全性/人工智能方向
已经有15人回复
26年秋季博士申请
已经有0人回复
推荐给英语教学者的一本单词书《金鱼单词讲义:从26个拉丁字母到106万个英语单词》
已经有23人回复
推荐给教师的一本单词书《金鱼单词讲义:从26个拉丁字母到106万个英语单词》
已经有22人回复
» 本主题相关价值贴推荐,对您同样有帮助:
Linux集群增加新用户的问题
已经有6人回复
怎样在linux系统上提交高斯的输入文件,运算已经查看输出文件
已经有3人回复
SSH登录服务器节点问题!
已经有3人回复
Linux集群rocks的安装和SGE管理调度MS5.5作业
已经有16人回复
BASH脚本的一个小问题
已经有3人回复
Linux下怎样使用批处理让任务一个接一个算?
已经有13人回复
rsh无密码节点间互访
已经有19人回复
最适合科学计算的linux版本
已经有25人回复
集群上的用户管理
已经有34人回复
在linux下提交任务错误
已经有5人回复
求助组建高性能计算集群,性能、配置、价格等等
已经有8人回复
计算集群里什么命令查看所有计算机呢???
已经有5人回复
G09集群计算结果的chk文件转换问题
已经有7人回复
【求助】集群节点之间运行问题
已经有13人回复
【求助】不同的节点数计算的结果差很多
已经有6人回复
【整理】计算化学杂志,系列丛书,教材和参考书,一些网络资源
已经有13人回复
【原创】Ubuntu 9.04下MPICH2集群搭建
已经有8人回复
【原创】MS 5.0 LINUX 版小集群并行安装手记
已经有47人回复
2楼2011-06-03 11:13:56
4楼2011-06-03 14:24:04
5楼2011-06-03 14:38:30
6楼2011-06-03 14:56:27
7楼2011-06-03 15:09:50
8楼2011-06-03 15:40:54
9楼2011-06-03 15:49:01
10楼2011-06-03 16:01:20
|
本帖内容被屏蔽 |
11楼2011-06-03 17:11:57
12楼2011-06-03 17:12:52
|
多谢! 其实,我这个东西都是当初摸索集群时候弄得,弄完之后几乎就没学过啥新技术了,还是转回编程和化学了 网络部署安装的东西我不会,因为组建集群时候机器是陆续来的,刚开始就三台,那时候连linux还不会了,本着装完就用的精神,没学过那么高级的东西。等集群稳定了,建好了,也没有地方实验那种技术了,也懒得弄了 见笑了。 第二部我全是用bash shell写的脚本,呵呵,pdsh没用过 NTP我倒是弄了,但是没写,这是个疏忽 ganglia我倒是下了,但是当时本着我老板提出的“集群上的软件越少越好”的原则,这个就没装 如果过些日子集群崩溃了,要重装,我就试试你讲的新技术吧,不过集群已经稳定了一年多了,估计再坏的时候我也该毕业走人了,哈哈 多谢赐教!! |
13楼2011-06-03 17:25:20
14楼2011-06-03 17:55:29
15楼2011-06-03 19:18:08
16楼2011-06-03 19:36:26
17楼2011-06-03 23:37:52
18楼2011-06-03 23:39:40
19楼2011-06-04 04:26:05
20楼2011-06-04 06:09:29
22楼2011-06-04 07:46:54
23楼2011-06-04 10:09:22
24楼2011-06-04 15:44:20
25楼2011-06-05 14:25:42
26楼2011-06-07 17:04:25
28楼2011-06-08 00:47:53
29楼2011-06-08 07:16:00
30楼2011-06-08 08:13:24
31楼2011-06-08 15:18:53
32楼2011-06-08 22:01:21
★★★★★ 五星级,优秀推荐
|
新手一个,请教一个问题:按照教程里面写的搭建起来的机器群。所有的用户计算储存硬盘就是挂载在控制节点上的那些是吗?每一个节点上自己带的硬盘是不是不能用来储存用户计算的数据?另外,在计算节点上计算过程中产生的临时文件,有些软件不是放到/temp下,而是提交任务的目录下。那这样话,是不是这些临时文件都放到了控制节点的硬盘上了。如果这样,通过网络读写硬盘岂不是很浪费时间啊。如果是计算软件将所有的临时文件都放到/temp目录的话,那么计算的临时文件统统放到计算节点的/temp目录下面,等计算完毕,将最后的计算结果写回控制节点提交任务的目录里面。 我的理解对吗? 如果不对请指教。 有什么办法让计算节点的硬盘也能当成主节点的,用来存储用户的计算结果。哪个节点计算,就放在哪个节点上。同时用户只要登录控制节点,就能看到自己的计算结果。 也就是说计算节点上硬盘分为两个分区,一个分区自己所有,另一个分区大家共享,都能相互看见。计算节点计算的结果就写到这个分区上。逻辑上计算节点的第二个分区都属于控制节点的。 这个可行吗? |
34楼2011-06-15 09:36:52
35楼2011-06-15 10:11:09
|
我明白你的意思,就是说某些软件以“当前目录”作为存储中间文件的目录,但是“当前目录”是控制节点的,通过NFS读取会大量浪费时间,想通过对计算节点进行分解来解决这个问题...... 首先,我所知道的所有软件中,这个存储中间文件(特别是比较大的文件时候)的路径都是可以设置的,尽量把它设置到计算节点的本地硬盘上面 其次,如果确实无法设置,你可以在提交作业的脚本中写一些处理过程,比如先把文件拷贝到一个计算节点的/temp上,以这个副本提交,然后把生成的计算结果的文件拷贝回来,就可以了。这个过程可以全部写在提交脚本中。如: #PBS ... mkdir /temp/$PBSID cp foo.inp /temp/$PBSID cd /temp/$PBSID < cp foo.out /home/user rm -rf /temp/$PBSID 这是可以的啊,不过对于小型集群,没有必要。而且可以告诉你,如果集群使用超过一年,这写计算节点很可能会突然坏掉,使得用户文件丢失,但是控制节点坏掉的概率会小的多,有利于系统的稳定和数据安全 |
36楼2011-06-15 10:18:42
37楼2011-06-15 11:15:41
38楼2011-06-15 12:08:32
39楼2011-06-15 16:04:07
40楼2011-10-26 21:29:36
41楼2011-12-20 00:11:35
42楼2011-12-31 11:42:02
43楼2011-12-31 17:24:07
44楼2012-01-06 14:07:06
45楼2012-02-13 23:13:05
47楼2012-02-28 22:27:22
48楼2012-04-04 14:09:55
49楼2012-09-13 20:58:15
50楼2013-04-18 12:03:15
简单回复
2011-06-03 12:11
回复
五星好评
Quan.21楼
2011-06-04 07:08
回复
五星好评 谢谢分享!!!!!!!!!!!!!!!
duotojh27楼
2011-06-08 00:19
回复
五星好评 顶一下,感谢分享!
zhangfan219233楼
2011-06-11 20:06
回复
五星好评 谢谢分享
xiaowu75946楼
2012-02-14 06:36
回复
五星好评 谢谢分享!













回复此楼