首页 > 其他分享 >IOR的脚本化、版本兼容性及常见问题解答

IOR的脚本化、版本兼容性及常见问题解答

时间:2024-11-07 13:30:55浏览次数:1  
标签:选项 文件 兼容性 读取 IOR 问题解答 版本 节点

脚本化

IOR可以使用-f 选项在命令行中使用输入脚本。-f选项之前设置的命令行选项将被视为运行脚本的默认设置。例如:

mpirun ./ior -W -f script

将使用隐式-W运行脚本中的所有测试。脚本本身可以覆盖这些设置,并且可以设置为在一次执行下运行许多不同的IOR测试,重要的是要注意-f 之后指定的任何命令行选项都不会应用于脚本指定的运行。例如:

mpirun ./ior -f script -W

不会运行任何带有隐式-W的测试,因为该参数直到-f选项(及其组成运行)完成后才会应用。

输入脚本使用与每个命令行选项对应的长格式选项名来指定。除了长格式的选项,

  • IOR STARTIOR STOP(不区分大小写)标记脚本的开始和结束。
  • RUN(不区分大小写)使用前面指定的所有选项调度测试。
  • 所有先前设置的参数为下一次测试保持设置。它们不会重置为默认值!默认情况下,必须手动设置剩余部分。
  • 空白在脚本中被忽略,以“#”开头的注释也是如此。
  • 不是所有的测试参数都需要设置。

一个脚本示例:

IOR START
    api=[POSIX|MPIIO|HDF5|HDFS|S3|S3_EMC|NCMPI|RADOS]
    testFile=testFile
    hintsFileName=hintsFile
    repetitions=8
    multiFile=0
    interTestDelay=5
    readFile=1
    writeFile=1
    filePerProc=0
    checkWrite=0
    checkRead=0
    keepFile=1
    quitOnError=0
    segmentCount=1
    blockSize=32k
    outlierThreshold=0
    setAlignment=1
    transferSize=32
    singleXferAttempt=0
    individualDataSets=0
    verbose=0
    numTasks=32
    collective=1
    preallocate=0
    useFileView=0
    keepFileWithError=0
    setTimeStampSignature=0
    useSharedFilePointer=0
    useStridedDatatype=0
    uniqueDir=0
    fsync=0
    storeFileOffset=0
    maxTimeDuration=60
    deadlineForStonewalling=0
    useExistingTestFile=0
    useO_DIRECT=0
    showHints=0
    showHelp=0
RUN
# additional tests are optional
    transferSize=64
    blockSize=64k
    segmentcount=2
RUN
    transferSize=4K
    blockSize=1M
    segmentcount=1024
RUN
IOR STOP

版本兼容性

IOR有很长的历史,目前只支持IOR版本3。但是,有许多基于早期版本的IOR分支,并且已知在主要版本之间存在以下不兼容性。

  1. IOR版本1(c.1996-2002)和IOR版本2(c.2003至今)不兼容。一个输入面板在另一个上不起作用。由于版本1未包含在此版本中,因此不应引起关注。所有后续的兼容性问题都适用于IOR版本2。
  2. 发布2.8之前的IOR版本提供了2次幂的数据大小和速率。例如,1MB/sec表示每秒1048576字节。在IOR 2.8及更高版本中,MB现在定义为1000000字节,MiB为1048576字节。
  3. 在IOR 2.5.3至2.8.7版本中,IOR可以在没有任何命令行选项的情况下运行。这假设如果省略了写和读选项(-w -r),则使用它们的运行都设置为默认值。后来,很明显,在某些情况下(例如数据检查),这会造成困难。在IOR 2.8.8及更高版本中,如果没有设置-w-r-W或-R选项,则隐式设置-w和-r。
  4. IOR版本3(2012年1月至今)在一定程度上改变了IOR的输出,并且“testNum”选项被重命名为“refNum”。

常见问题解答

如何对现有文件执行多个数据检查?

使用下面的命令行:

IOR -k -E -W -i 5 -o file

-k在访问后保留文件而不是删除它,-E使用现有文件而不是先截断它,-W执行写检查,-i检查迭代次数,-o文件名

在2.8.8之前的IOR版本上,还需要-r标志,否则将首先覆盖现有文件。(在早期的版本中,省略-w和-r意味着同时使用这两个词。这个语义后来被修改为省略-w、-r、-W和-R,意味着使用-w和-r。)

如果正在运行新的测试来创建文件,并希望多次重复此文件的数据检查,则有一个未记录的选项。它是-O multiReRead=1,需要使用USE_UNDOC_OPT=1编译IOR版本(在iordef.h中)。命令行看起来像这样:

IOR -k -E -w -W -i 5 -o file -O multiReRead=1

对于第一次迭代,将写入文件(无数据检查)。然后,对于任何额外的迭代(在本例中为4次),将为使用的任何数据检查选项重新读取文件。

IOR如何计算性能?

IOR执行获取时间戳START,然后让所有参与的任务打开共享的或独立的文件,传输数据,关闭文件,然后获取STOP时间。对文件执行stat()MPI_File_get_size(),并与传输的总数据量进行比较。如果此值不匹配,则发出警告,并使用write()计算的传输数据量,例如返回代码。计算出的带宽是传输的数据量除以经过的STOP减去START时间。

IOR还可以获得时间戳来报告打开、转移和关闭时间。这些时间中的每一个都基于任何任务的最早开始时间和任何任务的最近停止时间。如果不在这些操作之间使用屏障(-g),打开、转移和关闭时间的总和可能不等于从第一次打开到最后一次关闭所经过的时间。

如何在IOR中访问多个文件系统?

当使用filePerProc选项时,可以跨多个文件名进行任务循环。与其使用单个文件名-o file,还不如使用其他文件名-o file1@file2@file3。在这种情况下,每个进程的文件将有三个不同的文件名(可能是完整的路径名)来访问。@分隔符是任意的,可以在iordef.h中的FILENAME_DELIMITER定义中设置。

注意,这个多文件名选项只适用于filePerProc -F选项。这对共享文件不起作用。

如何在多个文件系统之间平衡负载?

对于每个文件系统的文件平衡,不同的文件系统提供不同的性能,相同目标路径的附加实例通常可以实现良好的平衡。

例如,如果FS1的性能比FS2好50%,则设置-o标志,以便有更多的FS1目录实例。在这种情况下,-o FS1/file@FS1/file@FS1/file@FS2/file@FS2/file应该根据性能差异进行相应的调整和平衡。

我如何使用屏障?

要使用屏障(-D),通常最好将写测试与读测试分开。首先使用-D 0(禁用屏障)写入文件,以确定写入文件需要多长时间。如果数据传输需要10秒,请以较短的持续时间再次运行,例如-D 7,以便在文件完成之前停止,而不会造成阻碍。对于读取,最好创建一个完整的文件(而不是从屏障运行中写入不完整的文件),然后在这个预先存在的文件上设置屏障运行。如果使用屏障在同一次运行中执行写和读测试,则读取很可能会在遇到EOF时遇到错误。分开运行可以纠正这一点。例如。,

IOR -w -k -o file -D 10 #记录并保存文件,10秒后停止
IOR -r -E -o file -D 7 # 读取现有文件,7秒后停止

此外,当运行只读屏障测试的多次迭代时,可能需要将-D值设置得足够高,以便每次迭代都不会从缓存中读取。否则,在某些情况下,第一次迭代可能会显示100 MB/s,下一次为200 MB/s,第三次为300 MB/s。这些测试中的每一个实际上都是在分配的时间内从硬盘读取相同的数据量,但它们每次都会从上一次测试中读取缓存数据,以获得更高的性能。将-D设置得足够高,以使缓存溢出,这将防止这种情况发生。

在读回刚写的文件时,如何绕过缓存?

测试文件系统的一个问题是处理缓存数据。当写入文件时,该数据可能会本地存储在写入文件的节点上。当同一节点试图从文件系统读取数据以进行性能或数据完整性检查时,它可能是从自己的缓存中读取数据,而不是从文件系统中读取数据。

reorderTasksConstant -C选项试图通过让不同的节点读回数据来解决这个问题。例如,节点N将数据写入文件,节点N+1读回数据以提高读取性能,节点N+2读回数据进行写入数据检查,节点N+3读取数据进行读取数据检查,并将其与节点N+4的重读数据进行比较。目标是确保在文件访问时,数据不会从缓存数据中读取。

Node 0: 写数据

Node 1: 读数据

Node 2: 读取已写入的数据进行写检查

Node 3: 读取已写入的数据进行读检查

Node 4:读取已写入的数据进行读检查,与Node 3进行比较

例如,从N跳到N+1的算法期望节点上的连续任务号(块分配),而不是循环分配的任务号(循环分配)。例如,在3个节点上运行6个任务的测试将期望节点0上的任务0,1;节点1上的任务2、3;以及节点2上的任务4、5。如果以循环方式将任务分配给节点,则节点0上将有任务0,3;节点1上的任务1,4;节点2上的任务2,5。在这种情况下,不会期望任务不会从节点上缓存的数据中读取。

如何使用提示?

可以按照以下形式将提示传递给I/O库或文件系统层:

'setenv IOR_HINT__<layer>__<hint> <value>'
  • 例如::

    setenv IOR_HINT__MPI__IBM_largeblock_io true

    setenv IOR_HINT__GPFS__important_hint true

  • 或者,在以下格式的文件中:

    IOR_HINT__<layer>__<hint>=<value>

  • 注意,HDF5或NCMPI层对MPI的提示是这样的:

    setenv IOR_HINT__MPI__<hint> <value>

如何显式设置文件数据签名?

传输的数据签名包含MPI任务号、传输缓冲区偏移量以及迭代开始的时间戳。由于IOR使用8字节长的长整数,因此写入的偶数长整数包含32位MPI任务号和32位时间戳。奇数长整型包含一个64位的transferbuffer偏移量(如果使用-lstoreFileOffset选项,则为文件偏移量)。要设置时间戳值,请使用-G或setTimeStamp签名。

如何方便地检查或更改输出数据文件中的字节?

可以构建一个简单的实用程序IOR/src/C/cbif /cbiff.c。这是一个独立的串行应用程序,称为cbif (Change Byte In File)。该实用程序允许检查文件偏移量,并以IOR的数据检查格式返回该位置的数据。它还允许更改该位置的一个字节。

如何纠正集群中节点之间的时钟偏差?

为了纠正节点之间的时钟偏差,IOR比较节点之间的时间,然后广播根节点的时间戳,以便所有节点都可以根据差异进行调整。要查看异常异常值,请使用-j 选项。请确保将此值设置得足够高,以便仅显示距离平均值特定时间之外的节点。

标签:选项,文件,兼容性,读取,IOR,问题解答,版本,节点
From: https://www.cnblogs.com/honghu0420/p/18531969

相关文章

  • Introduction_Optimization Models_Giuseppe C. Calafiore, Laurent El Ghaoui
    Balabala我想读完GiuseppeC.Calafiore,LaurentElGhaoui版本的《OptimizationModels》。1.Introduction作者列举了若干个例子,并阐述了优化问题的一般形式,最主要的洞见有:一些具有特定性质的问题是tractable的:Thefocusofthisbookisontractablemodels,andak......
  • 瑞芯微RK3566开发板OpenHarmony标准系统应用兼容性测试指导
    本文OpenHarmony标准系统应用兼容性测试指导,适用鸿蒙系统软件开发测试的新手入门学习课程。设备为触觉智能的瑞芯微RK3566开发板,型号PurplePiOH。是Laval官方社区主荐的一款鸿蒙开发主板。支持Openharmony、安卓Android、Linux的Debian、Ubuntu系统。一、编译兼容性套件举例:以......
  • WPF datagrid implement multi select via behavior selectionchanged event in MVVM
    <DataGridItemsSource="{BindingBooksCollection,Mode=TwoWay,UpdateSourceTrigger=PropertyChanged}"CanUserAddRows="False"AutoGenerateColumns="False"SelectionMode="Extended">......
  • 驰骋软件与多版本麒麟操作系统完成兼容性适配认证
            驰骋软件成功完成了与多版本麒麟操作系统的兼容性适配认证。这一里程碑式的成果标志着驰骋软件在国产操作系统生态建设领域迈出了坚实的步伐,为我国信息化建设注入了新的活力。        麒麟操作系统作为我国自主研发的操作系统,在安全性、稳定性和性能......
  • CATIA许可证常见问题解答
    在使用CATIA软件的过程中,许可证问题常常是用户关心的焦点。为了帮助大家更好地理解和解决这些问题,我们整理了一份CATIA许可证常见问题解答,希望能为您提供便捷的参考。问题一:如何激活CATIA许可证?解答:激活CATIA许可证通常需要访问软件的官方平台或使用特定的许可证管理工具。您需......
  • 全新 PAN211X,创新技术加持。抗干扰强,兼容性好,让工程师的设计如虎添翼
    在当今科技飞速发展的时代,各种先进的电子设备不断涌现,而在众多优秀的产品中,PAN211X以其卓越的性能和独特的优势脱颖而出。一、2.4G无线射频:畅享高速连接PAN211X具备强大的2.4G无线射频功能,为用户带来了高速、稳定的无线连接体验。在这个信息时代,快速的数据传输至关重要,而......
  • 天眼销常见问题解答
    天眼销上线已经有一段时间了,用户在此期间提出了一些问题。经过我们的整理在这里为大家解答。回答问题整理1.你们的数据来源是哪?精确吗?本平台的企业数据来源于全网公开数据,包含全国企业信用信息公示系统,其中企业联系方式主要来源于全国企业信用信息公示系统中的公示的......
  • 【C++】—— priority_queue :平衡效率与秩序的算法利器
    去感受一棵草、一缕风、一场日落,去重新触摸真正的生活。——高盛元目录1、优先级队列1.1什么是优先级队列1.2 priority_queue的使用1.3仿函数2、priority_queue的模拟实现2.1整体框架接口2.2插入&&向上调整2.2删除&&向下调整2.3其他接口2.4优先级队列的应用......
  • C语言和Groovy在JVM兼容性上的区别
    ##C语言和Groovy在JVM兼容性上的区别在探讨C语言和Groovy在JVM(Java虚拟机)兼容性上的差异时,核心观点可以概括为:C语言不直接兼容JVM、Groovy与JVM高度兼容。C语言是一种通用的、过程式的编程语言,它直接编译为机器语言,执行效率高,但它并不直接兼容JVM,这是因为JVM是为运行Java字节码......
  • 如何确保项目计划中的技术兼容性
    确保项目计划中的技术兼容性需要考虑以下几个方面:一、明确技术需求和目标、二、检查现有的技术堆栈、三、选择可互操作的技术、四、建立兼容性测试、五、进行持续监控和维护。其中,明确技术需求和目标是第一步。在开始任何项目时,都需要确定您希望通过技术实现什么。明确目标可以帮......