| 查看: 5087 | 回复: 154 | ||||
[交流]
理论化学计算高性能HPC集群的建立
|
||||
|
网上有许多关于建立集群的相关网文，但是感觉都是在虚拟机上实现的，实际操作过程中其实会遇到很多问题，所以在这里写一个我最近建立HPC集群的经验。 这个集群是基于24台全新的DELL OptiPlex7040商务台式机，CPU是I7 6700 3.4GHz 四核八线程，每台机器两条8G DDR4 2133MHz内存，其中3台配置四条用于高水平大体系的计算，这样的配置四核跑高斯简直就是飞起来了，比超算强太多。除此之外，我们更看重的是DELL的三年质保，也就是三年之内随便你折腾，三年之后再把淘汰下来的机子直接办公使用也是很不错的选择。说了他的优点，这个集群的缺点在于很难跨节点并行，虽然我们所用的网线、交换机、网卡都是千兆，但是毕竟不是专业的，要不然要超算有何用。 所需器材：机柜2个（PDU已配好）、24口千兆交换机、网线24根（长度视机器与交换机的距离而定）、24台DELL OptiPlex7040商务台式机、千兆网卡1张、Centos7.0系统盘一张 过程： 1、主节点的安装：24台机器要一台台去装系统实在是太费时，通过了解知道有一个基于centos的Rockcluster系统是专门用集群的建立的，于是我先在虚拟机上尝试成功，发现确实装好一台机器之后就可以以这台机器为主节点直接控制分节点系统的安装。带着这样的思路我以主节点的配置在一台机器（这台机器插入了两张网卡，一张系统自带一张自行购买的）上安装好Rockcluster，然后将主节点和另一台新机器同时插入到一台千兆交换机中，企图用DHCP技术让其控制新机器的安装，结果经过百般调试，发现无法完成。从后来的安装中我发现，Rockcluster安装时必须要有两张网卡，而Rockcluster只能识别我新买的那张网卡而无法识别本机自带的网卡，导致系统无法把消息传递出去。另一方面，在我配置好网卡之后还是没有办法自动完成DHCP安装系统，至于原因，到现在还是没有想明白。但是主节点我还是安装好了，两张网卡，一张用于使用者在实验室登陆，一张用于集群内部通讯。虽然安装的是Rockcluster但是我们实际上在后面的配置中是没有用到任何他作为集群系统的功能。 安装完主节点后设置主机名为Frontend，并在/etc/hosts中将主节点的两张网卡的IP分别写入，如下： 10.1.1.101 Frontend #主节点连接到交换机的网卡IP 192.168.88.12 Frontend #学校内网IP用于从外部访问，直接与学校局域网相连 同时最好此时将分节点需要设置的IP也放进来如下 10.1.1.102 node002 ....... 10.1.1.124 node024 2、分节点的系统安装：给23台机子用光盘装centos7.0，我花了一天的时间装好，centos的安装很简单，需要注意： a、选择安装类型时选择Compute node，并把右边所有的安装包选项都选中； b、安装过程中可以把网卡和主机名在网络设置处配置好，分节点设置IP分别为10.1.1.102~124，主机名分别为node002~nodes024（由于这款机子并不能兼容centos，所以在安装时看不见可用于配置的网卡，我只能待系统安装好之后，在网上下载驱动配置网卡）； c、所有系统都安装好之后，将其通过网线与交换机相连，这时应该可以相互之间ping通的。 d、主节点和分节点都要关闭防火墙 3、SSH无密码访问：其实这个功能对于集群构建可有可无，但是为了之后配置方便需要在root用户下形成ssh无密码访问，具体做法: a、切换到主节点的root用户根目录，执行命令ssh-keygen -t rsa 一直回车，在.ssh下生成id_rsa id_rsa.pub； b、执行cat id_rsa.pub >> authorized_keys c、用scp将authorized_keys传递到分节点node002的/root/.ssh/目录下，命令为scp authorized_keys root@node002:/root/.ssh/authorized_keys； d、通过ssh root@node002命令切换到node002节点上并执行a、b步骤所提到的命令，并将其传至下一节点，以此类推一直到node024； e、这是node024节点中的authorized_keys应该包含了所有节点的公钥，只需将其分别传递到各个节点的/root/.ssh/目录下即可完成ssh的无密码访问。 4、NFS文件共享 相关的博文很多没有必要重复可参考http://www.linuxidc.com/Linux/2015-05/117378.htm 或自行baidu 需要注意的是： a、需要把挂出和挂载信息分别写入主节点的/etc/exports和分节点的/etc/fstab，用于开机启动； b、共享出去的目录名称和路径必须与分节点接收的目录名称和路径完全一致，如果没有，就需要自行创建挂载点（如果不一致，稍后进行NIS时会无法定位到每个用户的根目录）； c、在以后的使用过程中出现开关机的时候，必须先打开主节点，不然分节点无法接收到相关的挂载信息，要想恢复就需要到没有挂载上的分节点上执行mount -a； 5、NIS的配置 a、现在NIS的配置已经十分简单，root下直接执行setup命令进入到Authentication configuration中用空格键选中Use NIS然后用Tab键切换到Next，设置域名和主机名，所有的机器中这两项应该设置为相同，主机名必须为管理节点的主机名，我这里是Frontend，而域名则随便设置； b、root到分节点执行命令时会发现NIS服务的安装包没有安装完整，这时你需要将你下载的Centos-7.0的iso镜像文件解压，在Packages中找到ypbind-1.37.1-7.el7.x86_64.rpm和yp-tools-2.14-3.el7.x86_64.rpm两个安装包将其用SSH传递到主节点中某个挂载出去的目录下，然后以root用户分别在各个分节点上执行 rpm -ivh yp*； c、安装完成后用setup将NIS服务配置好，为了测试NIS是否配置好可以执行yptest测试一下； d、将所有节点的NIS服务配置好之后可以开始在主节点上创建用户，创建的用户的根目录必须设置到挂载出去的目录，将用户和密码都设置好之后需要同步一下在主节点上以root用户分别执行： /usr/lib64/yp/ypinit -m /etc/init.d/ypserv restart /etc/init.d/yppasswdd restart 这是你可以切换到你刚刚创建的普通用户下并可以在该用户下用ssh node002登陆到任何一个节点上，至此NIS服务配置完成。 6、Torque的安装与配置 a、torque的安装很简单就是下载-解压-configure-make-make install具体配置过程可参考 http://wenku.baidu.com/link?url= ... FjUqi6NRx9ZT_tSRyje b、nodes文件中需要指定每一个节点可用的核数，由于这批机器是四核八线程的，所以你如果没有关闭超线程的话可以将每个节点和核数设为8，如果你不想使用超线程而且有懒得一台台机器去关闭超线程，直接在这里设置每个节点的核数为4就好，如下 node002 np=4 ...... node024 np=4 这里没有把主节点写入是为了让它更好的分配任务处理数据，而不用于计算 b、将主节点的服务都Torque都安装好之后就可以开始创建队列，注意由于机器都是四核的你必须设置限制每个任务的最大可用核数（resources_max.ncpus）为4，如果你要用到超线程就把b中np=8并把resources_max.ncpus设置为8 c、至此整个集群的配置就已经完成，你可以用qsub 脚本提交任务了，提交任务时也需要将在脚本和输入文件中限制核数为4节点数为1。 最后重申一下，本文的目的不在于手把手教你如何创建HPC集群，有很多网文已经讲了不想赘述，而是理清整个思路，以及实际安装过程中可能遇到的各种各样的问题。 [ 发自手机版 http://muchong.com/3g ] |
回复此楼» 收录本帖的淘帖专辑推荐
 software |
» 猜你喜欢
2026年循环经济功能材料国际会议（ICFMCE 2026）
已经有0人回复
-
2026年第五届电气、电子与信息工程国际会议（ISEEIE 2026）
已经有0人回复
-
物理学I论文润色/翻译怎么收费?
已经有285人回复
-
哈尔滨理工大学物理系招收物理学考研调剂
已经有5人回复
-
0702一志愿吉大B区求调剂
已经有5人回复
-
求调剂
已经有0人回复
-
0702一志愿吉大B区求调剂有论文
已经有0人回复
-
请问还有没有用Latex写文章的小伙伴们？
已经有0人回复
-
光学工程学硕调剂信息
已经有29人回复
-
欢迎加入课题组
已经有0人回复
-
散金币，求好运，祝面上顺利！
已经有49人回复
» 抢金币啦！回帖就可以得到:
-
坐标上海，诚征女友，非常 着急，私信必回
+1/469
-
西湖大学工学院智能微型机器人实验室博士后招聘启事
+4/228
-
电力全国重点实验室双一流A类长江学者团队招2026年全日制博士1名（4月3日截止）
+2/110
-
【技术服务】研究所横向技术开发及服务
+1/99
-
专业技术开发及第三方检测
+1/87
-
福建师范大学招收2026年化学、材料硕士3-4名
+1/80
-
天津工业大学航空航天博士招生
+1/33
-
【武汉高校】【新能源材料与器件课题组】 招收优秀硕士调剂生！！！
+5/15
-
南开大学罗景山教授课题组招收2026年入学博士生（光/电催化方向）
+2/14
-
欢迎生物与医药、药学、化学等相关专业的同学
+1/11
-
新加坡国立大学药学系化学生物学课题组招PhD
+1/10
-
河南大学龚和贵教授2026年博士研究生招生
+1/9
-
【博士招生】武汉科技大学招收材料、化工、环境、冶金类2026年“申请-考核”制博士生
+1/8
-
教育部长江学者和创新团队发展计划”入选团队招收 材料，化学与化工博士研究生
+1/7
-
南京林业大学化学工程学院柏惺峰课题组招收2026年申请考核制博士2名
+1/7
-
南方科技大学基础免疫与微生物学系招聘科研助理1-2名，从事微生物与免疫学方向研究
+1/5
-
双一流天津工业大学电信学院李鸿强教授招收2026年申请审核制博士3名
+1/5
-
钯膜破局，聚力氢能——在技术深耕中把握新机遇
+1/4
-
论文投出，祈福，求好运
+1/3
-
085404 270求调剂，b区求导师收留接受跨专业
+1/1
39楼2016-11-28 15:25:30
★
youyno(金币+1): 谢谢参与
youyno(金币+1): 谢谢参与
|
本帖内容被屏蔽 |
40楼2016-11-28 15:29:19
★
youyno(金币+1): 谢谢参与
youyno(金币+1): 谢谢参与
|
本帖内容被屏蔽 |
41楼2016-11-28 15:29:20
42楼2016-11-28 15:29:21
★
youyno(金币+1): 谢谢参与
youyno(金币+1): 谢谢参与
|
本帖内容被屏蔽 |
45楼2016-11-28 15:29:25
★
youyno(金币+1): 谢谢参与
youyno(金币+1): 谢谢参与
|
本帖内容被屏蔽 |
48楼2016-11-28 15:29:25
★
youyno(金币+1): 谢谢参与
youyno(金币+1): 谢谢参与
|
本帖内容被屏蔽 |
49楼2016-11-28 15:29:25
简单回复
nono20092楼
2016-11-27 23:35
回复
youyno(金币+1): 谢谢参与
假大空3楼
2016-11-28 14:42
回复
youyno(金币+1): 谢谢参与
顶
纳米材料7534楼
2016-11-28 14:48
回复
youyno(金币+1): 谢谢参与
2016-11-28 14:52
回复
youyno(金币+1): 谢谢参与
祝福宝。 发自小木虫Android客户端
2016-11-28 14:54
回复
youyno(金币+1): 谢谢参与
瑞雯风7楼
2016-11-28 14:56
回复
youyno(金币+1): 谢谢参与
祝福
tapurou8楼
2016-11-28 14:56
回复
youyno(金币+1): 谢谢参与
福盖日9楼
2016-11-28 14:57
回复
youyno(金币+1): 谢谢参与
sooloo110楼
2016-11-28 14:57
回复
youyno(金币+1): 谢谢参与
。
统帅部11楼
2016-11-28 14:57
回复
youyno(金币+1): 谢谢参与
tersed12楼
2016-11-28 14:57
回复
youyno(金币+1): 谢谢参与
红豆rt13楼
2016-11-28 14:58
回复
youyno(金币+1): 谢谢参与
祝福
破幽谷14楼
2016-11-28 14:58
回复
youyno(金币+1): 谢谢参与
祝福
欧阳萨尔15楼
2016-11-28 14:58
回复
youyno(金币+1): 谢谢参与
祝福
gfren16楼
2016-11-28 14:58
回复
youyno(金币+1): 谢谢参与
郭海涛17楼
2016-11-28 14:59
回复
youyno(金币+1): 谢谢参与
潘广益18楼
2016-11-28 14:59
回复
youyno(金币+1): 谢谢参与
山东人飘过19楼
2016-11-28 15:00
回复
youyno(金币+1): 谢谢参与
.
2016-11-28 15:00
回复
youyno(金币+1): 谢谢参与
etztbo21楼
2016-11-28 15:00
回复
youyno(金币+1): 谢谢参与
。
瑞雪722楼
2016-11-28 15:00
回复
youyno(金币+1): 谢谢参与
祝福
pyg201623楼
2016-11-28 15:01
回复
youyno(金币+1): 谢谢参与
祝福
拓也124楼
2016-11-28 15:01
回复
youyno(金币+1): 谢谢参与
yuutuu25楼
2016-11-28 15:01
回复
youyno(金币+1): 谢谢参与
窝窝好26楼
2016-11-28 15:02
回复
youyno(金币+1): 谢谢参与
ryugu27楼
2016-11-28 15:02
回复
youyno(金币+1): 谢谢参与
祝福
萌萌哒哒的28楼
2016-11-28 15:02
回复
youyno(金币+1): 谢谢参与
宁基29楼
2016-11-28 15:03
回复
youyno(金币+1): 谢谢参与
quyu199130楼
2016-11-28 15:03
回复
youyno(金币+1): 谢谢参与
呵呵坑31楼
2016-11-28 15:04
回复
youyno(金币+1): 谢谢参与
.
kkplou32楼
2016-11-28 15:04
回复
youyno(金币+1): 谢谢参与
。
mm071533楼
2016-11-28 15:04
回复
youyno(金币+1): 谢谢参与
祝福
哦噢呦34楼
2016-11-28 15:04
回复
youyno(金币+1): 谢谢参与
琵琶花35楼
2016-11-28 15:05
回复
youyno(金币+1): 谢谢参与
阿奥特36楼
2016-11-28 15:05
回复
youyno(金币+1): 谢谢参与
zuluyou37楼
2016-11-28 15:06
回复
youyno(金币+1): 谢谢参与
madezhang38楼
2016-11-28 15:23
回复
youyno(金币+1): 谢谢参与
龙浅43楼
2016-11-28 15:29
回复
youyno(金币+1): 谢谢参与
子龙44楼
2016-11-28 15:29
回复
youyno(金币+1): 谢谢参与
:d:d:d
逗比的蜗牛46楼
2016-11-28 15:29
回复
youyno(金币+1): 谢谢参与
鱼儿辣椒47楼
2016-11-28 15:29
回复
youyno(金币+1): 谢谢参与
:d:d:d
浅语若水50楼
2016-11-28 15:29
回复
youyno(金币+1): 谢谢参与
