首页 > 其他分享 >【译】介绍 MSTest Runner – CLI、Visual Studio 等

【译】介绍 MSTest Runner – CLI、Visual Studio 等

时间:2024-02-06 19:23:04浏览次数:45  
标签:CLI Runner 程序 Visual MSTest 测试 dotnet Microsoft 运行

原文 | Amaury Levé, Marco Rossignoli, Jakub Jareš

翻译 | 郑子铭

我们很高兴推出 MSTest runner,这是一个用于 MSTest 测试的新型轻量级运行程序。这个新的运行程序使测试更加便携和可靠,使测试运行得更快,并且可扩展,为您提供点菜测试体验,以添加成功所需的工具。

它是什么?

MSTest 运行程序是一种将 MSTest 测试构建为独立的可移植可执行文件并将其运行的方法。一个简单的控制台应用程序用于托管和运行测试,因此您不需要任何外部工具(例如 vstest.console、dotnet test 或 Visual Studio)来运行测试。使其成为为功率或存储有限的设备编写测试的完美工具。

安装 MSTest 运行程序

所有经验水平和任何规模项目的开发人员都可以利用新 MSTest 运行程序的速度和便携性。我们欢迎您尝试一下!

自版本 3.2.0 起,MSTest 运行程序就与 MSTest.TestAdapter NuGet 包捆绑在一起。

为您的项目启用它就像安装更新的包并设置两个 MSBuild 属性 一样简单:

<Project Sdk="Microsoft.NET.Sdk">

  <PropertyGroup>
    <!-- Enable the MSTest runner, this is an opt-in feature -->
    <EnableMSTestRunner>true</EnableMSTestRunner>
    <!-- We need to produce an executable and not a DLL -->
    <OutputType>Exe</OutputType>

    <TargetFramework>net8.0</TargetFramework>
    <ImplicitUsings>enable</ImplicitUsings>
    <Nullable>enable</Nullable>

    <IsPackable>false</IsPackable>
  </PropertyGroup>

  <ItemGroup>
    <!-- 
      MSTest meta package is the recommended way to reference MSTest.
      It's equivalent to referencing:
          Microsoft.NET.Test.Sdk
          MSTest.TestAdapter
          MSTest.TestFramework
          MSTest.Analyzers
    -->    
    <PackageReference Include="MSTest" Version="3.2.0" />

  </ItemGroup>

</Project>

进行了这些更改后,重建测试项目,您的测试将创建一个直接运行测试的可执行文件:

Full example – Simple1

在上面的屏幕截图中,您可以看到我们不需要运行 dotnet 测试、使用 vstest.console 或在 Visual Studio 中运行来运行我们的测试。我们的测试只是一个发现并运行测试的普通控制台应用程序。

也就是说,运行器确实与 dotnet test、vstest.console、Visual Studio Test Explorer 和 Visual Studio Code Test Explorer 集成,为您提供与您习惯的相同的体验。请参阅我们的文档以了解更多信息

使用 runner 与 VSTest 的优点

可移植性

直接从可执行文件运行测试消除了运行测试通常所需的大量复杂性和基础设施。由于测试项目不再特殊,因此您可以使用现有的 dotnet 工具对测试项目执行有趣的操作,例如将它们构建为独立的:

dotnet publish --runtime win-x64 --self-contained

上面的示例将发布测试项目及其需要运行的运行时。这允许您将项目移动到没有此运行时的计算机,并在多台计算机上运行测试,而无需进行额外的设置。

或者,您可以使用此功能在每次失败的测试运行后创建一个 zip 文件,以与在 CI 服务器上失败的方式相同的方式在本地重现故障,并获得一种简单的方法来交互式调试失败的运行。

下面是针对托管在没有可用 dotnet SDK 的 docker 容器中的 dotnet 应用程序运行测试的另一个示例。对于我们的高级用户来说,这是一个经常遇到问题的场景:

RunInDocker> docker build . -t my-server-tests

RunInDocker> docker run my-server-tests
Microsoft(R) Testing Platform Execution Command Line Tool
Version: 1.0.0-preview.23622.9+fe96e7475 (UTC 2023/12/22)
RuntimeInformation: linux-x64 - .NET 8.0.0
Copyright(c) Microsoft Corporation.  All rights reserved.
info: Microsoft.Hosting.Lifetime[14]
      Now listening on: http://[::]:8080
info: Microsoft.Hosting.Lifetime[0]
      Application started. Press Ctrl+C to shut down.
info: Microsoft.Hosting.Lifetime[0]
      Hosting environment: Production
info: Microsoft.Hosting.Lifetime[0]
      Content root path: /test/test
info: Microsoft.AspNetCore.Hosting.Diagnostics[1]
      Request starting HTTP/1.1 GET http://localhost:8080/hello - - -
info: Microsoft.AspNetCore.Routing.EndpointMiddleware[0]
      Executing endpoint 'HTTP: GET /hello'
info: Microsoft.AspNetCore.Routing.EndpointMiddleware[1]
      Executed endpoint 'HTTP: GET /hello'
info: Microsoft.AspNetCore.Hosting.Diagnostics[2]
      Request finished HTTP/1.1 GET http://localhost:8080/hello - 200 - text/plain;+charset=utf-8 73.5556ms
Passed! - Failed: 0, Passed: 1, Skipped: 0, Total: 1, Duration: 1.7s - MyServer.Tests.dll (linux-x64 - .NET 8.0.0)

Full example – RunInDocker

MSTest 运行程序可移植性的另一个优点是,您现在可以像调试任何常规可执行文件一样轻松调试测试。例如,在 Visual Studio 中,您现在可以简单地:

  1. 在解决方案资源管理器中导航要运行的测试项目,右键选择它并选择设置为启动项目。
  2. 导航到要调试的测试并添加断点
  3. 选择“调试”>“开始调试”(或使用 F5)来运行所选的测试项目。

您还可以使用 --filter 筛选出您想要调试的一个或多个方法,以加快调试速度。例如,--filter MSTestNamespace.UnitTest1.TestMethod2 仅允许运行(调试)命名空间 MSTestNamespace 中的类 UnitTest1 中的测试方法 TestMethod2。您可以在文本中找到有关可用过滤器的更多信息。以下是 launchSettings.json 的示例:

{
  "profiles": {
    "MSTestProject": {
      "commandName": "Project",
      "commandLineArgs": "--filter MSTestNamespace.UnitTest1.TestMethod2"
    }
  }
}

最后,我们正在研究使 MSTest NativeAOT 兼容,以便您在 NativeAOT 模式下测试应用程序。为了能够做到这一点,我们需要显着改变 MSTest 的内部结构,如果您觉得这有用,请在我们的 GitHub 问题上添加评论或点赞

表现

MSTest 运行程序使用较少的一个进程和一个进程跳跃来运行测试(与 dotnet 测试相比),以节省构建服务器上的资源。

它还避免了进程间串行通信的需要,并依赖现代 .NET API 来提高并行性并减少占用空间。

在改用新的 MSTest 运行程序的 Microsoft 内部项目中,我们看到 CPU 和内存都得到了巨大的节省。一些项目在使用 dotnet test 运行时能够以 3 倍的速度完成测试,同时使用的内存减少 4 倍。

尽管这些数字可能令人印象深刻,但当您在测试项目中启用并行测试运行时,可以获得更大的收益。为了解决这个问题,我们添加了一组新的 MSTest 代码分析分析器,以促进良好的实践和正确的测试设置。

可靠性

MSTest 运行程序正在设置新的默认值,这些默认值更安全,并且使您更难意外错过运行任何测试。在做决定时,我们总是倾向于更严格,而当你不需要这种严格时,让你选择。

例如,当项目运行零个测试时,MSTest 运行程序将默认失败,这可以通过 --minimum-expected-tests 控制,默认为 1。您可以将其设置为 0,这样在以下情况下不会失败没有测试,但您可以轻松地将其设置为更高的数字以防止回归:

C:\p\testfx\samples\mstest-runner\Simple1> C:\p\testfx\artifacts\bin\Simple1\Debug\net8.0\Simple1.exe --minimum-expected-tests 10
Microsoft(R) Testing Platform Execution Command Line Tool
Version: 1.0.0-preview.23622.9+fe96e7475 (UTC 2023/12/22)
RuntimeInformation: win-x64 - .NET 8.0.0
Copyright(c) Microsoft Corporation.  All rights reserved.
Minimum expected tests policy violation, tests ran 1, minimum expected 10 - Failed: 0, Passed: 1, Skipped: 0, Total: 1, Duration: 153ms - Simple1.dll (win-x64 - .NET 8.0.0)

但这并不是唯一的可靠性改进。我们从头开始编写 MSTest 运行程序以使其更加可靠。

MSTest 运行程序由于其新架构,不依赖文件夹扫描、动态加载或反射来检测和加载扩展。这使得在本地和 CI 中更容易实现相同的行为,并且显着缩短了启动测试应用程序和运行第一个测试之间的时间。

运行器被设计为异步且可并行,从而防止使用 VSTest 时出现的一些挂起或死锁。

运行程序不会检测目标框架或平台,或任何其他 .NET 配置。它完全依赖 .NET 平台来做到这一点。这避免了逻辑重复,并避免了当规则突然改变时许多会破坏测试的边缘情况。

可扩展性

MSTest 运行程序基于新的准系统测试平台和可扩展性模型,可以轻松扩展或覆盖测试执行的许多方面。

现在可以轻松提供您自己的报告生成器、测试编排、记录器,甚至增加可用的命令行选项。

Microsoft 提供了一系列可选扩展,以便您配备运行测试和排除故障所需的一切。

我们将继续努力提供更多扩展和功能,以丰富您的测试体验。如果您有特定需求或想帮助开发库扩展,请与我们联系。

概括

MSTest 运行程序是一个高性能、可托管、可扩展、可靠且集成的解决方案,用于运行 MSTest 测试。无论您是技术爱好者、遇到 VSTest 的一些问题还是只是好奇,我们都欢迎您尝试并在本文下面分享您的反馈。

特别感谢

我们要感谢团队,他们的不懈努力和坚定不移的承诺使这一功能得以实现。
此外,我们还要对帮助dogfood并支持这一举措的内部团队表示衷心的感谢。

原文链接

Introducing the MSTest Runner – CLI, Visual Studio, & More

知识共享许可协议

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。

欢迎转载、使用、重新发布,但务必保留文章署名 郑子铭 (包含链接: http://www.cnblogs.com/MingsonZheng/ ),不得用于商业目的,基于本文修改后的作品务必以相同的许可发布。

如有任何疑问,请与我联系 ([email protected])

标签:CLI,Runner,程序,Visual,MSTest,测试,dotnet,Microsoft,运行
From: https://www.cnblogs.com/MingsonZheng/p/18010201

相关文章

  • 家用电脑装esxi使用尝试和解决no network Adapters和VMware PowerCLI安装
    因为电脑换了新配置,老的电脑目前就没在用,想着闲置再利用一下的原则,想给他安装一下esxi,正好也可以折腾一下系统。我的主板是技嘉B85M-HD3-A的,查一下 VMwareCompatibilityGuide-I/ODeviceSearch 这个选择对应网卡型号,就能看到他支持的版本。很可惜,我的这个主板上带的这个网......
  • 【译】VisualStudio 17.9预览3带来了令人兴奋的代码搜索改变
    随着VisualStudio17.9预览版3的发布,我们为代码搜索(也称为All-In-OneSearch)带来了一些令人兴奋的增强。自从我们上次更新搜索体验以来,我们一直在努力改进体验,并想出增加体验的方法。现在,您可以在解决方案中搜索任何单词或字符串,补充来自代码库的文件和符号结果。现在可以......
  • client-go http trace分析耗时
    klog.InitFlags(nil)flag.Parse()deferklog.Flush()cfg,err:=clientcmd.BuildConfigFromFlags("","/root/.kube/config")iferr!=nil{ klog.Fatalf("Errorbuildingkubeconfig:%s",err.Error())}kubeClient,err:=kubern......
  • 谷歌新版本跨域错误深度剖析与解决:request client is not a secure context and the
    原文地址:https://blog.csdn.net/Flywithdawn/article/details/128253604 快速解决: ======================================================最近在测试http服务时,谷歌浏览器报了以下错误“Therequestclientisnotasecurecontextandtheresourceisinmore-privat......
  • ERROR [ExceptionHandler] ER_NOT_SUPPORTED_AUTH_MODE: Client does not support aut
    nestjs连接数据库时报错原因:mysql8.0版本的密码加密方式不同了解决办法就是指定加密方式重新设置一下密码。命令行设置:ALTERUSER'root'@'localhost'IDENTIFIEDWITHmysql_native_passwordBY'password1234'刷新命令:FLUSHPRIVILEGESwindows用户可以图形界面从新配置一下......
  • C++CLI 析构函数和终结器理解
    测试类:#pragmaoncerefclassHello{public:Hello();~Hello();!Hello();};/***************/#include"Hello.h"Hello::Hello(){System::Console::WriteLine("构造函数!");}Hello::~Hello(){System::Console::WriteLi......
  • CF235C Cyclical Quest
    更好的阅读体验CF235CCyclicalQuestSAM做法:对于主串建SAM,然后parenttree上DP出\(f_i\)表示节点\(i\)后缀等价类的出现次数。询问先用KMP求最小循环元\(m\),然后接下来需要把\([1,n],[2,n]\dots[m-1,n+m-1]\)扔进SAM里跑。暴力显然过不去,但是跑完一次可以删......
  • UI自动化测试代码不想写脚本不想配?RunnerGo一键录制
    想快速配置可视化UI自动化测试脚本?RunnerGo近期上线脚本录制器,根据你的测试操作直接生成UI自动化测试脚本,下面是使用方法Step1:下载录制器点击RunnerGo上方插件按钮下载录制器Step2:录制器使用将插件文件拖入浏览器扩展程序点击打开录制器,在浏览器中进行操作时录制器会将操作录制为......
  • UI自动化测试代码不想写脚本不想配?RunnerGo一键录制
    想快速配置可视化UI自动化测试脚本?RunnerGo近期上线脚本录制器,根据你的测试操作直接生成UI自动化测试脚本,下面是使用方法Step1:下载录制器点击RunnerGo上方插件按钮下载录制器 Step2:录制器使用将插件文件拖入浏览器扩展程序 点击打开录制器,在浏览器中进行操作时录制器......
  • 通信工具类countdownlatch和cyclicbarrier
    类作用semaphore限制线程数量exchanger两个线程交换数据countdownlatch递减屏障,线程等待直到计数器减为0时开始工作cyclicbarrier循环屏障,等屏障的线程数达到初始化值时,执行自定义的任务phaser增强的cyclicbarriercountdownlatch和cyclicbarrier区......