| 查看: 4936 | 回复: 154 | ||||
[交流]
理论化学计算高性能HPC集群的建立
|
||||
|
网上有许多关于建立集群的相关网文，但是感觉都是在虚拟机上实现的，实际操作过程中其实会遇到很多问题，所以在这里写一个我最近建立HPC集群的经验。 这个集群是基于24台全新的DELL OptiPlex7040商务台式机，CPU是I7 6700 3.4GHz 四核八线程，每台机器两条8G DDR4 2133MHz内存，其中3台配置四条用于高水平大体系的计算，这样的配置四核跑高斯简直就是飞起来了，比超算强太多。除此之外，我们更看重的是DELL的三年质保，也就是三年之内随便你折腾，三年之后再把淘汰下来的机子直接办公使用也是很不错的选择。说了他的优点，这个集群的缺点在于很难跨节点并行，虽然我们所用的网线、交换机、网卡都是千兆，但是毕竟不是专业的，要不然要超算有何用。 所需器材：机柜2个（PDU已配好）、24口千兆交换机、网线24根（长度视机器与交换机的距离而定）、24台DELL OptiPlex7040商务台式机、千兆网卡1张、Centos7.0系统盘一张 过程： 1、主节点的安装：24台机器要一台台去装系统实在是太费时，通过了解知道有一个基于centos的Rockcluster系统是专门用集群的建立的，于是我先在虚拟机上尝试成功，发现确实装好一台机器之后就可以以这台机器为主节点直接控制分节点系统的安装。带着这样的思路我以主节点的配置在一台机器（这台机器插入了两张网卡，一张系统自带一张自行购买的）上安装好Rockcluster，然后将主节点和另一台新机器同时插入到一台千兆交换机中，企图用DHCP技术让其控制新机器的安装，结果经过百般调试，发现无法完成。从后来的安装中我发现，Rockcluster安装时必须要有两张网卡，而Rockcluster只能识别我新买的那张网卡而无法识别本机自带的网卡，导致系统无法把消息传递出去。另一方面，在我配置好网卡之后还是没有办法自动完成DHCP安装系统，至于原因，到现在还是没有想明白。但是主节点我还是安装好了，两张网卡，一张用于使用者在实验室登陆，一张用于集群内部通讯。虽然安装的是Rockcluster但是我们实际上在后面的配置中是没有用到任何他作为集群系统的功能。 安装完主节点后设置主机名为Frontend，并在/etc/hosts中将主节点的两张网卡的IP分别写入，如下： 10.1.1.101 Frontend #主节点连接到交换机的网卡IP 192.168.88.12 Frontend #学校内网IP用于从外部访问，直接与学校局域网相连 同时最好此时将分节点需要设置的IP也放进来如下 10.1.1.102 node002 ....... 10.1.1.124 node024 2、分节点的系统安装：给23台机子用光盘装centos7.0，我花了一天的时间装好，centos的安装很简单，需要注意： a、选择安装类型时选择Compute node，并把右边所有的安装包选项都选中； b、安装过程中可以把网卡和主机名在网络设置处配置好，分节点设置IP分别为10.1.1.102~124，主机名分别为node002~nodes024（由于这款机子并不能兼容centos，所以在安装时看不见可用于配置的网卡，我只能待系统安装好之后，在网上下载驱动配置网卡）； c、所有系统都安装好之后，将其通过网线与交换机相连，这时应该可以相互之间ping通的。 d、主节点和分节点都要关闭防火墙 3、SSH无密码访问：其实这个功能对于集群构建可有可无，但是为了之后配置方便需要在root用户下形成ssh无密码访问，具体做法: a、切换到主节点的root用户根目录，执行命令ssh-keygen -t rsa 一直回车，在.ssh下生成id_rsa id_rsa.pub； b、执行cat id_rsa.pub >> authorized_keys c、用scp将authorized_keys传递到分节点node002的/root/.ssh/目录下，命令为scp authorized_keys root@node002:/root/.ssh/authorized_keys； d、通过ssh root@node002命令切换到node002节点上并执行a、b步骤所提到的命令，并将其传至下一节点，以此类推一直到node024； e、这是node024节点中的authorized_keys应该包含了所有节点的公钥，只需将其分别传递到各个节点的/root/.ssh/目录下即可完成ssh的无密码访问。 4、NFS文件共享 相关的博文很多没有必要重复可参考http://www.linuxidc.com/Linux/2015-05/117378.htm 或自行baidu 需要注意的是： a、需要把挂出和挂载信息分别写入主节点的/etc/exports和分节点的/etc/fstab，用于开机启动； b、共享出去的目录名称和路径必须与分节点接收的目录名称和路径完全一致，如果没有，就需要自行创建挂载点（如果不一致，稍后进行NIS时会无法定位到每个用户的根目录）； c、在以后的使用过程中出现开关机的时候，必须先打开主节点，不然分节点无法接收到相关的挂载信息，要想恢复就需要到没有挂载上的分节点上执行mount -a； 5、NIS的配置 a、现在NIS的配置已经十分简单，root下直接执行setup命令进入到Authentication configuration中用空格键选中Use NIS然后用Tab键切换到Next，设置域名和主机名，所有的机器中这两项应该设置为相同，主机名必须为管理节点的主机名，我这里是Frontend，而域名则随便设置； b、root到分节点执行命令时会发现NIS服务的安装包没有安装完整，这时你需要将你下载的Centos-7.0的iso镜像文件解压，在Packages中找到ypbind-1.37.1-7.el7.x86_64.rpm和yp-tools-2.14-3.el7.x86_64.rpm两个安装包将其用SSH传递到主节点中某个挂载出去的目录下，然后以root用户分别在各个分节点上执行 rpm -ivh yp*； c、安装完成后用setup将NIS服务配置好，为了测试NIS是否配置好可以执行yptest测试一下； d、将所有节点的NIS服务配置好之后可以开始在主节点上创建用户，创建的用户的根目录必须设置到挂载出去的目录，将用户和密码都设置好之后需要同步一下在主节点上以root用户分别执行： /usr/lib64/yp/ypinit -m /etc/init.d/ypserv restart /etc/init.d/yppasswdd restart 这是你可以切换到你刚刚创建的普通用户下并可以在该用户下用ssh node002登陆到任何一个节点上，至此NIS服务配置完成。 6、Torque的安装与配置 a、torque的安装很简单就是下载-解压-configure-make-make install具体配置过程可参考 http://wenku.baidu.com/link?url= ... FjUqi6NRx9ZT_tSRyje b、nodes文件中需要指定每一个节点可用的核数，由于这批机器是四核八线程的，所以你如果没有关闭超线程的话可以将每个节点和核数设为8，如果你不想使用超线程而且有懒得一台台机器去关闭超线程，直接在这里设置每个节点的核数为4就好，如下 node002 np=4 ...... node024 np=4 这里没有把主节点写入是为了让它更好的分配任务处理数据，而不用于计算 b、将主节点的服务都Torque都安装好之后就可以开始创建队列，注意由于机器都是四核的你必须设置限制每个任务的最大可用核数（resources_max.ncpus）为4，如果你要用到超线程就把b中np=8并把resources_max.ncpus设置为8 c、至此整个集群的配置就已经完成，你可以用qsub 脚本提交任务了，提交任务时也需要将在脚本和输入文件中限制核数为4节点数为1。 最后重申一下，本文的目的不在于手把手教你如何创建HPC集群，有很多网文已经讲了不想赘述，而是理清整个思路，以及实际安装过程中可能遇到的各种各样的问题。 [ 发自手机版 http://muchong.com/3g ] |
回复此楼» 收录本帖的淘帖专辑推荐
 software |
» 猜你喜欢
【复旦大学】二维材料方向招收2026年博士研究生1名
已经有0人回复
-
北京纳米能源与系统研究所 王中林院士/曹南颖研究员课题组2026级硕/博/博后招生
已经有10人回复
-
物理学I论文润色/翻译怎么收费?
已经有102人回复
-
荷兰Utrecht University超快太赫兹光谱王海教授课题招收2026 CSC博士生
已经有23人回复
-
反铁磁体中的磁性切换：两种不同的机制已成功可视化
已经有0人回复
-
求标准粉末衍射卡号 ICDD 01-076-1802
已经有0人回复
-
新西兰Robinson研究所招收全奖PhD
已经有0人回复
-
石墨烯转移--二氧化硅衬底石墨烯
已经有0人回复
» 抢金币啦！回帖就可以得到:
-
湖北大学食品安全研究团队诚招博士后
+1/186
-
湖南师范大学蒋乐勇教授课题组招收2026届“申请-考核”制博士生
+1/176
-
Analytical Science Advances 持续征稿中
+1/89
-
中国科学院化学研究所招收2026级博士生
+5/85
-
诚聘生物有化学方向博士后
+1/77
-
博士招生
+1/45
-
高端材料科研产品技术顾问-顶尖材料公司诚邀广大科研背景同学加入！
+1/36
-
南京-栖霞区-尧化门附件有房子出租吗？
+1/31
-
玩个游戏吧
+2/26
-
中科大环境系张常勇教授课题组招聘副研/博士后（一人一议）
+1/23
-
湖南师范大学分子识别与荧光传感团队招收2026年“申请-考核” 制博士研究生1名
+1/10
-
招收2026级博士
+1/8
-
中国地质大学（武汉）戴志高课题组诚招2026级硕博研究生
+1/5
-
如何确定博后期间的研究方向？
+1/4
-
中科院和北京工商大学招收2026博士/化学或生物背景
+1/4
-
浙江大学杨林课题组招聘药物化学与有机合成方向博士后
+1/3
-
有没有做核磁共振系统的虫友呢
+1/3
-
南京大学FinTech大模型实验室招募斯坦福国际联培博士生（2026）
+1/2
-
求PDF卡片
+1/2
-
同济大学电信学院，肖李课题组招收2026年统考硕士生1-2名。
+1/1
39楼2016-11-28 15:25:30
★
youyno(金币+1): 谢谢参与
youyno(金币+1): 谢谢参与
|
本帖内容被屏蔽 |
40楼2016-11-28 15:29:19
★
youyno(金币+1): 谢谢参与
youyno(金币+1): 谢谢参与
|
本帖内容被屏蔽 |
41楼2016-11-28 15:29:20
42楼2016-11-28 15:29:21
★
youyno(金币+1): 谢谢参与
youyno(金币+1): 谢谢参与
|
本帖内容被屏蔽 |
45楼2016-11-28 15:29:25
★
youyno(金币+1): 谢谢参与
youyno(金币+1): 谢谢参与
|
本帖内容被屏蔽 |
48楼2016-11-28 15:29:25
★
youyno(金币+1): 谢谢参与
youyno(金币+1): 谢谢参与
|
本帖内容被屏蔽 |
49楼2016-11-28 15:29:25
简单回复
nono20092楼
2016-11-27 23:35
回复
youyno(金币+1): 谢谢参与
假大空3楼
2016-11-28 14:42
回复
youyno(金币+1): 谢谢参与
顶
纳米材料7534楼
2016-11-28 14:48
回复
youyno(金币+1): 谢谢参与
2016-11-28 14:52
回复
youyno(金币+1): 谢谢参与
祝福宝。 发自小木虫Android客户端
2016-11-28 14:54
回复
youyno(金币+1): 谢谢参与
瑞雯风7楼
2016-11-28 14:56
回复
youyno(金币+1): 谢谢参与
祝福
tapurou8楼
2016-11-28 14:56
回复
youyno(金币+1): 谢谢参与
福盖日9楼
2016-11-28 14:57
回复
youyno(金币+1): 谢谢参与
sooloo110楼
2016-11-28 14:57
回复
youyno(金币+1): 谢谢参与
。
统帅部11楼
2016-11-28 14:57
回复
youyno(金币+1): 谢谢参与
tersed12楼
2016-11-28 14:57
回复
youyno(金币+1): 谢谢参与
红豆rt13楼
2016-11-28 14:58
回复
youyno(金币+1): 谢谢参与
祝福
破幽谷14楼
2016-11-28 14:58
回复
youyno(金币+1): 谢谢参与
祝福
欧阳萨尔15楼
2016-11-28 14:58
回复
youyno(金币+1): 谢谢参与
祝福
gfren16楼
2016-11-28 14:58
回复
youyno(金币+1): 谢谢参与
郭海涛17楼
2016-11-28 14:59
回复
youyno(金币+1): 谢谢参与
潘广益18楼
2016-11-28 14:59
回复
youyno(金币+1): 谢谢参与
山东人飘过19楼
2016-11-28 15:00
回复
youyno(金币+1): 谢谢参与
.
2016-11-28 15:00
回复
youyno(金币+1): 谢谢参与
etztbo21楼
2016-11-28 15:00
回复
youyno(金币+1): 谢谢参与
。
瑞雪722楼
2016-11-28 15:00
回复
youyno(金币+1): 谢谢参与
祝福
pyg201623楼
2016-11-28 15:01
回复
youyno(金币+1): 谢谢参与
祝福
拓也124楼
2016-11-28 15:01
回复
youyno(金币+1): 谢谢参与
yuutuu25楼
2016-11-28 15:01
回复
youyno(金币+1): 谢谢参与
窝窝好26楼
2016-11-28 15:02
回复
youyno(金币+1): 谢谢参与
ryugu27楼
2016-11-28 15:02
回复
youyno(金币+1): 谢谢参与
祝福
萌萌哒哒的28楼
2016-11-28 15:02
回复
youyno(金币+1): 谢谢参与
宁基29楼
2016-11-28 15:03
回复
youyno(金币+1): 谢谢参与
quyu199130楼
2016-11-28 15:03
回复
youyno(金币+1): 谢谢参与
呵呵坑31楼
2016-11-28 15:04
回复
youyno(金币+1): 谢谢参与
.
kkplou32楼
2016-11-28 15:04
回复
youyno(金币+1): 谢谢参与
。
mm071533楼
2016-11-28 15:04
回复
youyno(金币+1): 谢谢参与
祝福
哦噢呦34楼
2016-11-28 15:04
回复
youyno(金币+1): 谢谢参与
琵琶花35楼
2016-11-28 15:05
回复
youyno(金币+1): 谢谢参与
阿奥特36楼
2016-11-28 15:05
回复
youyno(金币+1): 谢谢参与
zuluyou37楼
2016-11-28 15:06
回复
youyno(金币+1): 谢谢参与
madezhang38楼
2016-11-28 15:23
回复
youyno(金币+1): 谢谢参与
龙浅43楼
2016-11-28 15:29
回复
youyno(金币+1): 谢谢参与
子龙44楼
2016-11-28 15:29
回复
youyno(金币+1): 谢谢参与
:d:d:d
逗比的蜗牛46楼
2016-11-28 15:29
回复
youyno(金币+1): 谢谢参与
鱼儿辣椒47楼
2016-11-28 15:29
回复
youyno(金币+1): 谢谢参与
:d:d:d
浅语若水50楼
2016-11-28 15:29
回复
youyno(金币+1): 谢谢参与