首页 > 其他分享 >HPL手动安装

HPL手动安装

时间：2024-08-26 14:15:44浏览次数：4  
标签：aarch64 手动 osu inst HPL HOME 安装 dir 

#!/bin/bash

. /etc/profile.d/modules.sh

CDDIR="$(cd "$(dirname "$0")" ; pwd -P)"

#软件安装包
BISHENG="BiSheng-compiler-2.5.0.1-aarch64-linux.tar.gz"
HYPERMPI="Hyper-MPI_1.2.1_Sources.tar.gz"
KML="BoostKit-kml_1.7.0.zip"
OSU="osu-micro-benchmarks-5.9.tar.gz"
HPL="hpl-2.3.tar.gz"

#安装软件主目录
inst_dir="/share/benchmark"
MODULE_HOME="${inst_dir}/modulefiles"
BISHENG_HOME="${inst_dir}/compilers/bisheng/2.5.0"
HPL_HOME="${inst_dir}/hpl"
HMPI_HOME="${inst_dir}/mpi/hmpi/1.2.1/bisheng2.5.0/hmpi"
KML_HOME="${inst_dir}/kml/1.7.0"
OSU_HOME="${inst_dir}/osu"
mkdir -p $MODULE_HOME $BISHENG_HOME $HPL_HOME $HMPI_HOME $KML_HOME $OSU_HOME

#安装依赖软件包
yum install -y install autoconf automake libtool glibc-devel.aarch64 \
    gcc gcc-c++.aarch64 flex numactl binutils systemd-devel \
    valgrind perl-Data-Dumper environment-modules libatomic autoconf automake \
    libtool glibc-devel.aarch64 gcc gcc-c++.aarch64 flex numactl binutils systemd-devel \
    valgrind perl-Data-Dumper &>/dev/null

# 安装编译器
cat>${BISHENG_HOME}/bisheng_modulefile<<EOF
#%Module
set             version                 2.5.0
set             prefix                  ${BISHENG_HOME}
setenv          CC                      clang
setenv          CXX                     clang++
setenv          FC                      flang
prepend-path    PATH                    \${prefix}/compilers/bisheng/2.5.0/bin
prepend-path    INCLUDE                 \${prefix}/compilers/bisheng/2.5.0/include
prepend-path    LD_LIBRARY_PATH         \${prefix}/compilers/bisheng/2.5.0/lib
EOF

ln -s $BISHENG_HOME/bisheng_modulefile $MODULE_HOME/
tar --no-same-owner -xf ${CDDIR}/${BISHENG} --strip 1 -C ${BISHENG_HOME}
find ${inst_dir}/compilers/bisheng/2.5.0/ -type f -perm 440 -exec chmod 444 {} \;
find ${inst_dir}/compilers/bisheng/2.5.0/ -type f -perm 550 -exec chmod 555 {} \;


module load ${BISHENG_HOME}/bisheng_modulefile
clang -v


# 安装HyperMPI
cat>$HMPI_HOME/hmpi_modulefile<<EOF
#%Module
set version 1.2.1
set prefix  ${inst_dir}/mpi/hmpi/1.2.1/bisheng2.5.0
setenv MPI_DIR \${prefix}/hmpi
setenv MPI_INC \${prefix}/hmpi/include
setenv MPI_LIB \${prefix}/hmpi/lib
setenv OPAL_PREFIX \${prefix}/hmpi/
prepend-path PATH \${prefix}/hmpi/bin
prepend-path INCLUDE \${prefix}/hmpi/include
prepend-path LD_LIBRARY_PATH \${prefix}/hmpi/lib
prepend-path PATH \${prefix}/hucx/bin
prepend-path INCLUDE \${prefix}/hucx/include
prepend-path LD_LIBRARY_PATH \${prefix}/hucx/lib
EOF
mkdir -p ${CDDIR}/hmpi/
tar --no-same-owner -xf ${CDDIR}/${HYPERMPI} --strip 1 -C ${CDDIR}/hmpi/

cd ${CDDIR}/hmpi/
sh hmpi-autobuild.sh -c clang -t release -m hmpi.tar.gz -u hucx.tar.gz -g xucg.tar.gz  -p ${inst_dir}/mpi/hmpi/1.2.1/bisheng2.5.0
ln -s $HMPI_HOME/hmpi_modulefile $MODULE_HOME/
rm -rf ${CDDIR}/hmpi

module load $HMPI_HOME/hmpi_modulefile
mpicc -v

#安装KML
mkdir -p ${inst_dir}/kml/1.7.0/
unzip $KML
rpm --force -ivh boostkit-kml-1.7.0-1.aarch64.rpm --nodeps
mv /usr/local/kml/* ${inst_dir}/kml/1.7.0

cat>${KML_HOME}/kml_modulefile<<EOF
#%Module
set version 1.7.0
set prefix   ${KML_HOME}
prepend-path LD_LIBRARY_PATH \${prefix}/lib/kblas/omp
EOF
ln -s ${KML_HOME}/kml_modulefile $MODULE_HOME/

module load $KML_HOME/kml_modulefile

#安装OSU 
tar --no-same-owner -xf ${CDDIR}/${OSU}
cd ${CDDIR}/osu-micro-benchmarks-5.9
./configure --prefix=${inst_dir}/osu CC=`which mpicc` CXX=`which mpicxx` && make && make install
rm -rf ${CDDIR}/osu-micro-benchmarks-5.9
cat>${inst_dir}/osu/osu.sh<<EOF
#1.测试项BW
mpirun --allow-run-as-root -oversubscribe -np 2 -N 1 \\
 --host gpu01,gpu02 \\
-mca pml ucx -mca btl ^vader,tcp,openib,uct -mca io romio321 \\
-x UCX_TLS=self,sm,rc \\
-x UCX_NET_DEVICES=mlx5_0:1 \\
${inst_dir}/osu/libexec/osu-micro-benchmarks/mpi/pt2pt/osu_bw

#2.测试项Latency
mpirun --allow-run-as-root -oversubscribe -np 2 -N 1 \\
--host gpu01,gpu02 -mca pml ucx -mca btl ^vader,tcp,openib,uct -mca io romio321 \\
-x UCX_TLS=self,sm,rc \\
-x UCX_NET_DEVICES=mlx5_0:1 \\
${inst_dir}/osu/libexec/osu-micro-benchmarks/mpi/pt2pt/osu_latency

#3.测试项Bcast
mpirun --allow-run-as-root -oversubscribe -np 2 -N 1 \\
--host gpu01,gpu02 -mca pml ucx -mca btl ^vader,tcp,openib,uct -mca io romio321 \\
-x UCX_TLS=self,sm,rc \\
-x UCX_NET_DEVICES=mlx5_0:1 \\
${inst_dir}/osu/libexec/osu-micro-benchmarks/mpi/collective/osu_bcast

#4.测试项allreduce
mpirun --allow-run-as-root -oversubscribe -np 2 -N 1 \\
--host gpu01,gpu02 \\
-mca pml ucx -mca btl ^vader,tcp,openib,uct -mca io romio321 \\
-x UCX_TLS=self,sm,rc \\
-x UCX_NET_DEVICES=mlx5_0:1 \\
${inst_dir}/osu/libexec/osu-micro-benchmarks/mpi/collective/osu_allreduce

#5.测试项alltoall
mpirun --allow-run-as-root -oversubscribe -np 2 -N 1 \\
--host gpu01,gpu02 \\
-mca pml ucx -mca btl ^vader,tcp,openib,uct -mca io romio321 \\
-x UCX_TLS=self,sm,rc \\
-x UCX_NET_DEVICES=mlx5_0:1 \\
${inst_dir}/osu/libexec/osu-micro-benchmarks/mpi/collective/osu_alltoall
EOF


#安装HPL
tar --no-same-owner -xf ${CDDIR}/${HPL} --strip 1 -C ${HPL_HOME}
cat>${HPL_HOME}/Make.arm<<EOF
SHELL        = /bin/sh
CD           = cd
CP           = cp
LN_S         = ln -s
MKDIR        = mkdir
RM           = /bin/rm -f
TOUCH        = touch
ARCH         = arm
TOPdir       = ${HPL_HOME}
INCdir       = \$(TOPdir)/include
BINdir       = \$(TOPdir)/bin/\$(ARCH)
LIBdir       = \$(TOPdir)/lib/\$(ARCH)
HPLlib       = \$(LIBdir)/libhpl.a
MPdir        = ${HMPI_HOME}
MPinc        = -I\$(MPdir)/include
MPlib        = -L\$(MPdir)/lib/ -lmpi
LAdir        =
LAinc        =
LAlib        = -L${KML_HOME}/lib/kblas/omp/ -lkblas
F2CDEFS      = -DAdd__ -DF77_INTEGER=int -DStringSunStyle
HPL_INCLUDES = -I\$(INCdir) -I\$(INCdir)/\$(ARCH) \$(LAinc) \$(MPinc)
HPL_LIBS     = \$(HPLlib) \$(LAlib) \$(MPlib)
HPL_OPTS     = -DHPL_DETAILED_TIMING  -DHPL_PROGRESS_REPORT
HPL_DEFS     = \$(F2CDEFS) \$(HPL_OPTS) \$(HPL_INCLUDES)
CC           = clang
CCNOOPT      = \$(HPL_DEFS)
CCFLAGS      = \$(HPL_DEFS) -fomit-frame-pointer -Ofast -ffast-math -ftree-vectorize -mcpu=tsv110 -funroll-loops -W -Wall -fopenmp
LINKER       = flang
LINKFLAGS    = \$(CCFLAGS)
ARCHIVER     = ar
ARFLAGS      = r
RANLIB       = echo
EOF
cd ${HPL_HOME}
make arch=arm

cat>${HPL_HOME}/bin/arm/run_hpl_cluster_test.sh<<EOF
#!/bin/bash
. /etc/profile.d/modules.sh
module load ${BISHENG_HOME}/bisheng_modulefile
module load $HMPI_HOME/hmpi_modulefile
module load $KML_HOME/kml_modulefile

TIME="\$(date +%F_%T)"
HOSTFILE="/share/benchmark/hpl/bin/arm/hostfile"
NODE_SUM="\$(cat \$HOSTFILE| wc -l)"

mpirun --allow-run-as-root \\
-x LD_LIBRARY_PATH -x PATH -x PWD \\
-map-by ppr:40:node:pe=4 -x OM_NUM_THREADS=4 \\
-hostfile \$HOSTFILE \\
-mca pml ucx \\
-mca btl ^vader,tcp,openib,uct \\
-mca io romio321 \\
-x UCX_TLS=self,sm,ud \\
-x UCX_NET_DEVICES=mlx5_0:1 \\
-x OMP_PLACES=cores -x OMP_WAIT_POLICY=active -x OMP_PROC_BIND=close \\
-x UCX_REQ_TIMEOUT=30000s \\
${HPL_HOME}/bin/arm/xhpl | tee hpl_\${NODE_SUM}node_\${TIME}.log
EOF

 

标签：aarch64,手动,osu,inst,HPL,HOME,安装,dir
From： https://www.cnblogs.com/vmsysjack/p/18380890

相关文章

  • centos9(linux): 安装clamav
    一，官方网站https://www.clamav.net/如图:二，安装1,开启epel仓库[root@blog~]#yuminstall-yepel-release2,安装clamav[root@blog~]#yuminstallclamav说明：病毒库数据较大，200多M，安装时需要等待较长时间安装完成后查看clamav的版本:[root@blog~]#clamscan-VCla......
  • 【Pycharm2024.1.2安装使用教程】24年教程，小白轻松上手！（附安装包永久机火码+工具）
      今天给大家免费分享一个Pycharm2024.1.2版的安装使用教程，全文通过文字+图片的方式讲解，手把手教你如何安装使用Pycharm,只需要几分钟即可搞定！看之前先看这，所有机火码的机火是谐音（你们知道的谐音！）一、下载安装pycharm（支持mac、window、linux）1、建议直接在官网下载......
  • WIN/MAC 图像处理软件Adobe Photoshop PS2024软件下载安装
    目录一、软件概述1.1基本信息1.2主要功能二、系统要求2.1Windows系统要求2.2macOS系统要求三、下载四、使用教程4.1基本界面介绍4.2常用工具使用4.3进阶操作一、软件概述1.1基本信息AdobePhotoshop（简称PS）是一款由AdobeSystems公司开发并广泛使用的......
  • 专业视频编辑和制作软件Adobe Media Encoder（ME）win/mac下载安装和软件介绍
    一、软件概述1.1软件简介AdobeMediaEncoder（ME）是由Adobe公司开发的一款专业视频编辑和制作软件，全称为MediaEncoder，是CreativeCloud套件中的一个重要组件。AdobeME以其强大的视频编码、转码、调整、剪辑、合成等功能，深受专业视频制作人员、视频制片人和爱好者的喜爱。1.......
  • Adobe Lightroom Classic (LRC) 软件下载安装和软件使用介绍
    一、软件概述1.1软件简介AdobeLightroomClassic（简称LRC）是一款专为数码摄影师、图形设计师及高端用户设计的桌面图像编辑和管理软件。它支持各种RAW图像格式和HDR全景图像，主要用于数码相片的导入整理、编辑处理及后期打印等制作。LRC不仅提供了强大的图像调整功能，还具备高......
  • MacOS安装 Python 和 PyCharm
    MacOS安装Python3.12.5和PyCharm小阿呜有话说一、MacOS安装PythonPython官网下载二、MacOS安装PyCharmPyCharm官网下载叮嘟！这里是小啊呜的学习课程资料整理。好记性不如烂笔头，今天也是努力进步的一天。一起加油进阶吧！小阿呜有话说前不久换了新电脑，需要重新......
  • 001、安装thinkphp8
    01、在目录右键打开powershell，输入composer，能正常显示 02、输入composerconfig-grepo.packagistcomposerhttps://mirrors.aliyun.com/composer/，切换到国内镜像 03、输入composercreate-projecttopthink/thinkPHMTP8创建一个名字叫phmtp8的工程 04、在有composer......
  • 微软常用运行库合集|dll报错必装，Visual C++ 下载安装
    前言MicrosoftVisualC++Redistributable（简称MSVC，VB/VC，系统运行库）是Windows操作系统应用程序的基础类型库组件。此版VisualC++运行库组件合集（微软常用运行库合集）由国内封装爱好者@Dreamcast打包而成，整合VisualC++组件安装包运行库所有版本，提供图形安装界面，可自选更新V......
  • 剪映国际版（CapCut） 软件安装包下载及安装教程！国际版剪映可免费使用所有的特效、转场、
    软件介绍剪映国际版（CapCut）是一款功能强大且完全免费的视频剪辑应用程序，国际版的界面和国内版的界面基本一样，但是相比国内版，国际版剪映可免费使用所有的特效、转场、滤镜等功能，并且无广告。软件：剪映国际版语言：简体中文大小：550M安装环境：Windows7及以上， 32/64位操作系统......
  • 【Win 10/Win 11】【Foxmail】解决Foxmail邮件客户端安装在Windows系统下Program File
    虽然到目前（2024/08）Foxmail邮件客户端已经有一段时间没有更新了，但它仍不失为Windows操作系统下好用的邮件客户端之一。笔者在安装Foxmail时将默认路径设置为了D:\ProgramFiles\，而Windows10和Windows11对于分区根目录下ProgramFiles，ProgramFile(x86)等文件夹有特殊的权限限制，......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99