RedHat MPI SSH科学集群安装指南

RedHat+MPI+SSH科学集群安装指南

赵亮 王忠(感谢中国Linux论坛王忠文章)


1.系统配置
CPU --- AMD athlon 1G；AMD athlon 1.1G
RAM --- SDRAM 768M；DDR 256M
OS --- RedHat linux 7.3，2.4.18
MPI --- mpich 1.2.4，http://www-unix.mcs.anl.gov/mpi/mpich源码下载
网络 --- 100M realtek8139，百兆交换机

2.linux安装
安装过程就不多说了。唯一需要注意的是安装时，要把SSH选为可信赖的服务。安装以后，
应该保证各节点之间能够用ssh相互登录。每个节点的sshd都应该能正常提供服务。Redhat
7.x对各服务的控制其实是通过在ipchains里面对各个端口进行访问控制来实现的，而不是
使用tcp-wrapper的hosts.allow和hosts.deny文件来进行控制。如果安装系统后，别的机器
无法用ssh登录，则可以用ipchains -L命令查看ipchains rules，进行正确的配置，使得ssh
服务正常工作。若你对系统安全不是太在乎，则可以使用ipchains -F命令将所有的规则清空。

主机名：shallow sea
● 修改/etc/hosts文件，将所有节点名称及其ip地址填入。例如：
211.64.128.129 shallow
211.64.128.217 sea

每个节点都进行类似的配置。这样做的目的是使节点之间能够通过shallow和sea的名称相
互访问。你可以通过ping noden 或 ssh noden进行测试。

● 修改(或创建)/etc/hosts.equiv文件
将所有你允许访问本机进行mpi计算的机器名填入，一行一个机器名。这一步是为了使节点
对其它的节点放权。
例如，我的机器shallow的/etc/hosts.equiv文件是这样的：
shallow #给自己放权，这样在只有一台机器时也可以模拟并行计算环境
sea

在sea的/etc/hosts.equiv文件：
shallow #对shallow放权
sea

● 使用nfs共享文件
首先决定一个用于启动集群计算的用户名，不提倡使用root进行集群计算。这里在每个节
点上建立新用户mpi，他们的主目录都是/home/mpi，假设用sea做为计算的服务节点，在sea
上建立~/mirror，修改文件/etc/exports，在其中增加一行：
/home/mpi/mirror shallow(rw) sea(rw)
使得机器shallow和sea的用户可以使用/home/mpi/mirror。
在其他节点shallow也建立/home/mpi/mirror，在/etc/fstab文件中增加一行：
sea:/home/mpi/mirror /home/mpi/mirror nfs rw,bg,soft 0 0
这样节点shallow即可使用mirror与sea共享文件。

● 修改~/.bash_profile文件
建议把将来计算程序放在相同的路径上，当然也可以不放在同一个目录下面，但是用起来比
较麻烦，需要一一指定每个节点程序的路径。譬如你的程序为：fpi.f和a.out，把a.out放在
~/mpi/mirror/下即可。
修改~/.bash_profile文件，主要是加入下列几行脚本：
export PATH=$PATH:/usr/local/mpich/bin
export MPI_USEP4SSPORT=yes
export MPI_P4SSPORT=22
export P4_RSHCOMMAND=ssh
这里我们预定了将来mpich的运行环境安装在目录/usr/local/mpich下面。其余的三个变量是
用来通知mpi运行环境采用ssh来作为远程shell。

linux的运行环境到此就配置完毕了。

3.配置ssh
以设定的用于启动mpi计算的用户登录，运行ssh-keygen -t dsa(SSH2)或是ssh-keygen(SSH1)
-t rsa1，这将生成一个私有/公开密钥对，分别存放在~/.ssh/id_dsa和~/.ssh/id_dsa.pub或是
~/.ssh/identity和~/.ssh/identity.pub文件中。然后进行访问授权，运行：
cp ~/.ssh/identity.pub ~/.ssh/authorized_keys 或是cp ~/.ssh/id-dsa.pub ~/.ssh/authorized_keys2
chmod go-rwx ~/.ssh/authorized_keys或是chmod go-rwx ~/.ssh/authorized_keys2
ssh-agent $SHELL
ssh-add
在每个节点干一遍。
将所有节点的密钥authorized_keys或是authorized_keys2收集起来，放到一个密钥文件中，
然后分发到各个节点。这样做的目的是使各节点相互之间访问无需输入密码。在每个节点登
录其它节点，ssh shallow，则在~/.ssh/下生成一个known_hosts文件，里面记录登录用户密钥。

4.下载、编译、安装mpich 1.2.3
下载最新的mpich 1.2.4：ftp://ftp.mcs.anl.gov/pub/mpi/mpich.tar.gz。拷贝到一个临时目录下，
我放在/home/mpi/mirror下了。
首先，用tar xvfz mpich.tar.gz解压。生成mpich-1.2.4目录。
切换到mpich-1.2.4目录。
运行预处理：./configure -c++=pgCC -cc=pgcc -fc=pgf77 -f90=pgf90 \
-cflags="-Msignextend -tp athlon -DUSE_U_INT_FOR_XDR -DHAVE_RPC_RPC_H=1" \
-fflags="-tp athlon" -c++flags="-tp athlon" -f90flags="-tp athlon"\
-prefix=/usr/local/mpich -opt=-fast -rsh=ssh
我采用了Portland Group的编译器，因此需要在预处理时指定使用的编译器和常用的选项，
-tp athlon为AMD athlon产生代码。mpich的安装位置为/usr/local/mpich，运行环境的远程shell
为ssh。
-DUSE_U_INT_FOR_XDR -DHAVE_RPC_RPC_H=1在有的系统上不需要
有时候需要设置环境变量：
setenv LIBS "-L/usr/local/pgi/linux86/lib -lpgftnrtl -lpgc"

编译：make
安装：make install

修改文件/usr/local/mpich/share/util/machines/machines.LINUX。指定可供集群计算的节点，我
的是这个样子的：
shallow
sea
若是多CPU计算机，需要在节点名称后用:num加以说明。
每个节点都这样干一遍。

5. 测试并行计算
以设定的用户登录(我的是mpi)sea，将mpich-1.2.4/examples/basic/fpi.f文件拷贝到
~/mpi/mirror下，编译：
mpif77 fpi.f，生成a.out文件，运行：
mpirun -np 2 a.out
这里采用2个节点进行计算。进行ssh连接后，程序等待输入，这时可以在节点机上用命令：
ps -A | grep aout
查看进程，应该能看到数个fpi进程，其中第一个是本机所执行的进程，其它的是异地进程
镜像。在sea上输入一个整值，再次在各节点上执行
ps -A | grep a.out
可以发现计算时间在不断增长，表明计算的确是在多台主机上同时进行的。
至此，整个安装配置过程结束，如果有问题，多看看mpich手册都可以解决。


你可以通过这个链接引用该篇文章:http://castep.bokee.com/viewdiary.13145185.html