首页 > 其他分享 >HPC 算力测试

HPC 算力测试

时间:2023-07-20 15:34:27浏览次数:40  
标签:kylin 测试 -- osu mca workspace HPC 算力 software

 

#安装前配置

curl 168.7.10.2:8000/local.repo > /etc/yum.repos.d/kylin_aarch64.repo
yum install -y libatomic environment-modules vim nfs-utils &>/dev/null
mkdir -p /workspace
mount 168.10.1.20:/workspace /workspace

#加载环境变量
cat>/etc/profile.d/hpc.sh<<'EOF'
source /usr/share/Modules/init/bash
module use /workspace/kylin/software/modules/
module load compilers/bisheng/2.5.0/bisheng2.5.0
module load mpi/hmpi/1.2.1/bisheng2.5.0
module load kml/1.7.0/kml_1.7.0.1_aarch64
EOF

grep /usr/share/Modules/init/bash /etc/profile || (echo "source /usr/share/Modules/init/bash">>/etc/profile && source /usr/share/Modules/init/bash)

#####################
# osu 测试
# 测试带宽和延迟
#####################

# 1.测试项BW
mpidir=/workspace/kylin/software/osu/5.9/bisheng2.5.0_mpi1.2.1/libexec/osu-micro-benchmarks/mpi
gpu01=168.10.1.21

mpirun --allow-run-as-root -oversubscribe -np 2 -N 1 \
--host $gpu01 \
-mca pml ucx -mca btl ^vader,tcp,openib,uct \
-mca io romio321 \
${mpidir}/pt2pt/osu_bw


# 2.测试项Latency
mpidir=/workspace/kylin/software/osu/5.9/bisheng2.5.0_mpi1.2.1/libexec/osu-micro-benchmarks/mpi
gpu01=168.10.1.21

mpirun --allow-run-as-root -oversubscribe -np 2 -N 1 \
--host $gpu01 \
-mca pml ucx -mca btl ^vader,tcp,openib,uct \
-mca io romio321 \
${mpidir}/pt2pt/osu_latency

 

# 3.测试项Bcast
mpidir=/workspace/kylin/software/osu/5.9/bisheng2.5.0_mpi1.2.1/libexec/osu-micro-benchmarks/mpi
gpu01=168.10.1.21

mpirun --allow-run-as-root -oversubscribe -np 2 -N 1 \
--host $gpu01 \
-mca pml ucx \
-mca btl ^vader,tcp,openib,uct \
-mca io romio321 \
${mpidir}/collective/osu_bcast

 

# 4.测试项allreduce
mpidir=/workspace/kylin/software/osu/5.9/bisheng2.5.0_mpi1.2.1/libexec/osu-micro-benchmarks/mpi
gpu01=168.10.1.21

mpirun --allow-run-as-root -oversubscribe -np 2 -N 1 \
--host $gpu01 \
-mca pml ucx \
-mca btl ^vader,tcp,openib,uct \
-mca io romio321 \
${mpidir}/collective/osu_allreduce


# 5.测试项alltoall
mpidir=/workspace/kylin/software/osu/5.9/bisheng2.5.0_mpi1.2.1/libexec/osu-micro-benchmarks/mpi
gpu01=168.10.1.21

mpirun --allow-run-as-root -oversubscribe -np 2 -N 1 \
--host $gpu01 \
-mca pml ucx \
-mca btl ^vader,tcp,openib,uct \
-mca io romio321 \
${mpidir}/collective/osu_alltoall

 

###############################
# IMB基准测试
# 测试节点性能,网络延时和吞吐量
###############################


#IMB PingPong测试
IMB_DIR=/workspace/kylin/software/imb/mpi-benchmarks-master/src_c
hostfile_dir=/workspace/kylin/software/imb/hostfile

mpirun --allow-run-as-root \
-x PATH=$PATH -x LD_LIBRARY_PATH=$LD_LIBRARY_PATH \
-mca pml ucx -mca btl ^vader,tcp,openib,uct -mca io romio321 \
-x UCX_TLS=self,sm \
-npernode 2 -hostfile $hostfile_dir \
${IMB_DIR}/IMB-MPI1 PingPong

 

############################################
#
# STREAM内存带宽性能测量
# STREAM支持Copy、Scale、Add、Triad
#
############################################

STREAM_DIR=/workspace/kylin/software/STREAM-master

cd $STREAM_DIR
./stream_c.exe


############################################
#
# HPL 测试
#
############################################

hpl_dir=/workspace/kylin/software/hpl/2.3/bin/kunpeng
hostfile_dir=/workspace/kylin/software/imb/hostfile

cd $hpl_dir
mpirun --allow-run-as-root --oversubscribe \
-x OMP_NUM_THREADS=8 \
-x LD_LIBRARY_PATH -x PATH -x PWD \
-map-by ppr:4:node:pe=2 \
-hostfile $hostfile_dir \
-mca pml ucx \
-mca btl ^vader,tcp,openib,uct \
-mca io romio321 \
-x UCX_TLS=self,sm \
./xhpl

 

############################################
#
# IOR 测试
#
############################################

# 1.单节点单进程读写
mpirun --allow-run-as-root -np 1 -N 1 \
-mca pml ucx \
-mca btl ^vader,tcp,openib,uct \
-mca io romio321 -x UCX_TLS=self,sm,rc \
-x UCX_NET_DEVICES=mlx5_0:1 \
./ior \
-i 3 -w -t 1M -b 1024g -F -e -k -o \
/workspace/kylin/software/apps/IOR/test/ior1M1T1.data

mpirun --allow-run-as-root -np 1 -N 1 \
-mca pml ucx \
-mca btl ^vader,tcp,openib,uct \
-mca io romio321 \
-x UCX_TLS=self,sm,rc \
-x UCX_NET_DEVICES=mlx5_0:1 \
./ior -i 3 -r -t 1M -b 1024g -F -e -k -o \
/workspace/kylin/software/apps/IOR/test/ior1M1T1.data

# 2.单节点多进程读写
mpirun --allow-run-as-root -np 4 -N 1 \
-mca pml ucx \
-mca btl ^vader,tcp,openib,uct \
-mca io romio321 \
-x UCX_TLS=self,sm,rc \
-x UCX_NET_DEVICES=mlx5_0:1 \
./ior -i 3 -w -t 1M -b 1024g -F -e -k -o \
/workspace/kylin/software/apps/IOR/test/ior1M1T1.data

mpirun --allow-run-as-root -np 4 -N 1 \
-mca pml ucx \
-mca btl ^vader,tcp,openib,uct \
-mca io romio321 -x UCX_TLS=self,sm,rc \
-x UCX_NET_DEVICES=mlx5_0:1 \
./ior -i 3 -r -t 1M -b 1024g -F -e -k -o \
/workspace/kylin/software/apps/IOR/test/ior1M1T1.data

# 3.多节点多进程读写
mpirun --allow-run-as-root -np 16 -N 4 \
-hostfile hostfile \
-mca pml ucx -mca btl ^vader,tcp,openib,uct \
-mca io romio321 \
-x UCX_TLS=self,sm,rc \
-x UCX_NET_DEVICES=mlx5_0:1 \
./ior -i 3 -w -t 1M -b 1024g -F -e -k -o \
/workspace/kylin/software/apps/IOR/test/ior1M1T1.data

mpirun --allow-run-as-root -np 16 -N 4 \
-hostfile hostfile \
-mca pml ucx \
-mca btl ^vader,tcp,openib,uct \
-mca io romio321 \
-x UCX_TLS=self,sm,rc \
-x UCX_NET_DEVICES=mlx5_0:1 \
./ior -i 3 -r -t 1M -b 1024g -F -e -k -o \
/workspace/kylin/software/apps/IOR/test/ior1M1T1.data

 

 

 

 

标签:kylin,测试,--,osu,mca,workspace,HPC,算力,software
From: https://www.cnblogs.com/vmsysjack/p/17568567.html

相关文章

  • Test Parameter-批量生成测试用例
    TestParameter-批量生成测试用例_哔哩哔哩_bilibili1.背景:如果涉及多个被测目标,例如基于多个传感器输入值测试,测试环境包括Tester(测试方),ECU(被测对象),Tester发送传感器变量SensorA和SensorB,ECU反馈Force值的过程,根据不同传感器输入值测试Force反馈值,如何结合TestParameter和Tes......
  • Test Parameter-List Parameter批量执行测试
      TestParameter-ListParameter批量执行测试_哔哩哔哩_bilibili1.ListParameter可以理解为多个常量值的集合2.背景:还是一个模拟车速测试的例子,测试序列流程如下图 若被测车速范围值太多,每次重复编写费时且易错3.创建一个ListParameter1)在已创建的Paramete......
  • java正则表达式在线测试工具
    Java正则表达式在线测试工具实现流程在实现"Java正则表达式在线测试工具"的过程中,我们可以采用以下步骤:步骤描述步骤1创建GUI窗口步骤2添加正则表达式输入框和测试字符串输入框步骤3添加测试按钮,用于触发正则表达式测试步骤4对测试结果进行展示我们将......
  • 测试用例设计方法都有哪些
    在测试用例设计中,常用的方法包括等价类划分法、边界值分析法、因果图法、状态转换法、路径覆盖法和决策表法等。等价类划分法(EquivalencePartitioning):将输入值划分为等价类,从每个等价类中选择一个代表性的值作为测试用例。例如,对于一个要求输入1到100之间的数字的程序,可以将输入值......
  • 聚焦于任务调度的测试平台pytestx
    设计理念聚焦于任务调度,接口自动化80%本地编写,20%交由平台管理。如果使用pytest做接口自动化,那么个人认为最好的编写工具是PyCharm,任何低代码测试平台都无法取代。当然不会代码,或者不使用pytest,那低代码测试平台,或者yaml,甚至excel写自动化用例,都是可以接受的。而在使用pytest这......
  • WEB程序的最佳测试数据
    这里有一篇Matthias写的关于转义字符文章-“Theartofescaping”,这篇文章告诉你有一些比较特殊的字符需要你去认真的处理,不然,你的网站程序轻则出错,重则被人黑了。这些物殊的字符是[<"@%'&_\?/:;,>কী€],你可以使用这个字符串到任意一个可以输入的Web程序上去做测试。下面这......
  • 有赞的深度需求功能测试
    序:在《有赞.测试团队介绍(一)》曾经提到过,我们在测试需求项目时,会把需求逐级拆解,直到最小粒度。然后,各业务线的测试小伙伴把任务领走进行细化,同时,确定一位主测分来主导复杂项目的测试工作。在面试过程中,很多小伙伴也会说,我们会根据需求所描述的功能,进行测试。那作为一位应聘者,如......
  • 【腾讯 TMQ】移动 APP 测试用例设计的关注点
    应用的启动和停止1.1首次启动是否出现欢迎界面,欢迎界面的停留时间合理,欢迎界面后是否正常进入应用;首次启动时间是否合理;该拉取的信息是否正确;桌面图标是否创建成功,功能启动快捷键创建是否成功(某些安卓手机会有在桌面创建应用内某个功能的快捷键的需求)1.2二次启动启动时间是......
  • 【腾讯 TMQ】接口测试用例设计
    1接口测试1.1接口测试接口:主要是子模块或者子系统间交互并相互作用的部分。这里说的接口是广义的,客户端与后台服务间的协议;插件间通信的接口;模块间的接口;再小到一个类提供的方法;都可以理解为接口。接口测试:是指针对模块或系统间接口进行的测试。1.2接口测试发现的典型问......
  • docker+jacoco构建接口测试覆盖率
    代码中需要更改的内容Dockerfile1.在文件中引入jacocoagent.jar,引入后需检查是否引入成功ADD./jacocoagent.jar/jacocoagent.jar2.打开jacocoagent监控端口,不能与其他jacocoagent端口重复,此端口也是docker容器启动的必填项EXPOSE99263.加入jacocoagent启动参数,端口号......