首页 > 其他分享 >.NET 9 的新亮点:AI就绪 ,拥抱她

.NET 9 的新亮点:AI就绪 ,拥抱她

时间:2024-09-09 23:17:59浏览次数:8  
标签:新亮点 AI ML 模型 应用程序 API NET

.NET 9 即将发布 RC1, 今年初.NET 团队在发布.NET 9 Preview 1版本时写了一篇文章《我们对 .NET 9 的愿景》,其中特别提到了对AI的展望 .NET 9,我们致力于让 .NET 开发人员更轻松地将人工智能集成到他们现有的和新的应用程序中。 开发人员将找到用于使用 OpenAI 和 OSS 模型(托管和本地)的优秀库和文档,我们将继续在Semantic Kernel,、OpenAI 和 Azure SDK 方面进行合作,以确保 .NET 开发人员拥有构建智能应用程序的一流体验 。

在 .NET 9 中,.NET 社区正在大力推动 AI -- 这非常令人震惊......就像 AI 现在很重要。 在过去大数据、移动互联网时代。由于微软的封闭和不够开放,错过了两个时代,不过在云原生和人工智能时代,.NET已经完成脱胎换骨,变得开放又强大,特别是即将到来的.NET 9,帮助开发人员构建更智能的应用程序方面有非常大的改进。下面是我汇总的.NET 社区里这一年在AI 方面的新进展。

1、TensorFlow.NET升级

TensorFlow.NET 正在通过高性能 C# 绑定和自动微分支持进行升级。完整的 Keras API 现在也采用 C# 语言:

  • 使用 cppSharp 生成的新的高性能 C# 绑定
  • 自定义 C# 运算的自动微分支持
  • Keras API 完全用 C# 实现,允许无缝的模型定义和训练

2、OpenAI SDK 集成

OpenAI SDK 使开发人员能够直接访问 OpenAI 最新的公共 AI 模型,包括 GPT-4 及其结构化输出功能。这意味着您将拥有完整的 API 支持,包括同步和异步 API 以满足您的需求 - 甚至是用于实时处理的流式完成。SDK 是可扩展的,因此您可以进一步自定义它。此外,它还与 Azure OpenAI 进行了集成,用于企业级部署,也方便对接各种兼容OpenAI API的各大模型。这为使用对话式 AI、动态内容生成和 AI 驱动功能(如音频转录和文本转语音生成)构建更智能的 .NET 应用程序提供了大量可能性。

3、ONNX 运行时原生支持

无需再费力地进行单独的软件包安装。 我们获得了一个专用命名空间 (Microsoft.ML.OnnxRuntime),其中包含一个 API 来直接加载和运行 ONNX 模型:

  • 直接模型加载: var session = new InferenceSession(“model.onnx”);
  • 使用 Span<T> 和 Memory<T> 对输入/输出张量进行高效的内存管理
  • 通过统一 API 支持硬件加速(CPU、GPU、DirectML)

4、开发人员友好的ML.NET 4.0

AutoML 通过多指标优化和时间序列预测支持变得更加智能:

  • AutoML 增强功能:
    • 用于平衡模型选择的多指标优化
    • 支持 AutoML 中的时间序列预测
  • 用于简化模型部署的新 Infer<T> API
  • 将 TensorFlow 和 ONNX 模型转换为 ML.NET 格式以提高性能
  • 新的Microsoft.ML.GenAI :GenAI包提供一系列流行GenAI模型的torchsharp实现,目标是从相应的Python常规模型加载相同的权重。首先将添加的模型包括Microsoft.ML.GenAI.CoreMicrosoft.ML.GenAI.PhiMicrosoft.ML.GenAI.LLaMAMicrosoft.ML.GenAI.Mistral以及Microsoft.ML.GenAI.StableDiffusion。

5、.NET 9 中的 AI 辅助代码生成

AI 辅助代码生成(代码片段、重构、单元测试)通过 dotnet ai 命令集成到 .NET 9 SDK 中,非常棒:

  • 生成代码片段: dotnet ai snippet “mplement a binary search algorithm”
  • 重构现有代码: dotnet ai refactor --file Program.cs --description “Convert to LINQ query”
  • 生成单元测试:dotnet ai test --file MyClass.cs

6、NLP 工具

.NET 9 提供了一组丰富的 NLP 工具,用于标记化、NER*、情感分析和文本分类:

  • 分词和句子分句:

var tokenizer = new Tokenizer(); var tokens = tokenizer.Tokenize("Hello, world!");

  • 命名实体识别 (NER):

var ner = new NamedEntityRecognizer(); var entities = ner.RecognizeEntities("Microsoft was founded by Bill Gates.");

  • 使用预训练模型进行感知分析和文本分类

7、.NET 9 中的 GPU 加速

.NET 9 中的 GPU 加速比以往任何时候都更容易获得:

  • 用于高效多维数组运算的新 Tensor<T> 类型 :张量是许多数学模型的基本组成部分,包括深度学习算法。它们是用于保存神经网络中的权重、偏差和中间计算的多维数组。这样可以有效的处理数据和信息流,以用于学习和预测目的。 无论是图像识别、语言理解还是趋势预测,张量在AI的各个方面都发挥着至关重要的作用。 此外,它们还可以更轻松地在 ONNX Runtime、TorchSharp 或 ML.NET 等库之间共享数据、创建自己的数学库或使用 AI 模型开发应用程序。
  • CUDA 互操作改进:
  • 与 Nvidia 的 cuDNN 库集成,用于深度学习基元

8、简化的 AI 模型部署

.NET 9 通过新的 ASP.NET Core 集成简化了 AI 模型部署:

  • 新项目模板:dotnet new webapi --ai -model
  • 模型终端节点的自动 OpenAPI/Swagger 文档
  • 内置模型版本控制和 A/B 测试支持
  • 使用 gRPC 集成提供可扩展的模型服务

9、新的数值 API

.NET 9 引入了新的数值 API,以实现高效的张量和矩阵运算:

  • System.Numerics.Tensor<T> 用于高效的张量运算
  • System.Numerics.Matrix<T> 用于矩阵代数
  • SIMD 加速线性代数例程

10、监控和观察您的 LLM 应用程序

大型语言模型 (LLM) 应用程序需要可靠、高性能和高质量的结果。 开发人员需要在开发和生产环境中测量和跟踪LLM 应用程序的结果和行为,并识别和解决任何问题。

  • 性能监控:我们想知道我们的模型运行速度有多快,它们使用了多少内存,以及它们处理负载的情况。这有助于我们发现瓶颈并优化事情。
  • 模型偏差检测:随着世界的变化,模型会随着时间的推移而过时。我们需要工具来捕捉模型的性能何时开始下滑,这样我们就知道是时候进行重新训练了。
  • 可解释性和透明度:AI 不应该是一个黑匣子。我们必须有办法窥探内部并了解模型如何做出决策。这建立了信任并帮助我们捕捉任何无意的偏见。
  • 道德和偏见监控:AI应该是公平和公正的。我们需要工具来积极检查和解决模型中的任何潜在偏差。

11、.NET 的Semantic kernel

Semantic kernel是一种开源 SDK,可在 .NET 应用中启用 AI 集成和业务流程功能。 对于将一个或多个 AI 服务与其他 API 或 Web 服务、数据存储和自定义代码结合使用的 .NET 应用程序,此 SDK 通常是推荐的 AI 编排工具。 语义内核以以下方式使企业开发人员受益:

  • 简化将 AI 功能集成到现有应用程序中的过程,从而为企业产品提供统一的解决方案。
  • 通过可降低复杂性的抽象,最大限度地缩短使用不同 AI 模型或服务的学习曲线。
  • 通过减少 AI 模型提示和响应的不可预测行为来提高可靠性。 可以微调提示并计划任务,以创建可控且可预测的用户体验。

12、比以往任何时候都更强大.NET 社区

.NET 是开源的,包括 GitHub 上提供的所有库、工具和框架,因此一直在进行大量协作。C# 已经在人工智能领域发展并站稳脚跟,.NET社区也在努力建设中。下面我们列出社区中一些资源供大家参考:

13、.NET 9 + 人工智能

Microsoft 正在 AI 方面进行重大投资,并且他们正在推动 .NET 和开发社区的发展。.NET 生态系统提供了许多强大的工具、库和服务来开发 AI 应用程序。 .NET 支持云和本地 AI 模型连接、适用于各种 AI 和矢量数据库服务的许多不同的 SDK 以及其他工具,有助于构建范围和复杂性不同的智能应用。

标签:新亮点,AI,ML,模型,应用程序,API,NET
From: https://www.cnblogs.com/shanyou/p/18405567

相关文章

  • Python与Go在AIGC领域的应用:比较与分析
    1.引言AIGC(ArtificialIntelligenceGeneratedContent,人工智能生成内容)近年来在图像生成、自然语言处理、代码生成等多个领域取得了重大进展。无论是文本生成、图像创作,还是自动代码生成,AIGC都在推动内容创作进入一个全新的高度。Python凭借其简洁的语法和丰富的机器学习、深度学......
  • 小琳AI课堂:多模态模型的训练与应用
    引言大家好,这里是小琳AI课堂。今天我们将探讨一个热门且前沿的话题——多模态模型的训练与应用。让我们一起走进这个复杂而精致的艺术创作过程!训练关键步骤1.数据收集与预处理准备工作:从多种来源和模态收集数据,如文本、图像、音频等。处理细节:每种数据类型需经过特定......
  • 浙大数据结构慕课课后题(03-树3 Tree Traversals Again)
    题目翻译:题解:         #include<bits/stdc++.h>usingnamespacestd;voidCreatTree();voidsolve(intpreL,intinL,intpostL,intn);intPre[35],In[35],Post[35];int N;intmain(){ cin>>N; getchar(); CreatTree(); solve(0,0,0,N); for......
  • AIGC技术打造扫描“黑科技” 合合信息扫描全能王实现在扫描中“博物致知”
    在2024年世界人工智能大会(WAIC)上,合合信息旗下的扫描全能王携手华南理工大学团队展示了他们利用AIGC技术进行的古籍数字化修复成果,为传统文化的传承与保护树立了新的里程碑。现场,《汉书•刑法志》节选章节的修复效果令人叹为观止。这部珍贵的文献,作为研究汉代司法制度的重要......
  • 苹果新品发布会将推出AirPods Max 2头戴式耳机:降噪功能提升 改用USB-C接口
    9月9日消息,古尔曼今日发文称,苹果将在明日的“It'sGlowtime”活动中推出新的AirPodsMax。这是自2020年12月该耳机亮相以来的首次更新,而新的AirPodsMax将在明天的活动中与新的AirPods4一起推出。不过,此前古尔曼预测苹果不会推出新款AirPodsMax,而此次的发布消息打破了这一预测......
  • C#/.NET/.NET Core技术前沿周刊 | 第 4 期(2024年9.1-9.8)
    前言C#/.NET/.NETCore技术前沿周刊,你的每周技术指南针!记录、追踪C#/.NET/.NETCore领域、生态的每周最新、最实用、最有价值的技术文章、社区动态、优质项目和学习资源等。让你时刻站在技术前沿,助力技术成长与视野拓宽。欢迎投稿,推荐或自荐优质文章/项目/学习资源等。每周一......
  • Git Extensions:一个.NET开源的 Git 图形用户界面(GUI)工具
    前言今天大姚给大家分享一个.NET开源、免费的用于管理Git存储库的独立图形用户界面(GUI)工具,它还与Windows资源管理器和 MicrosoftVisualStudio(2015/2017/2019/2022)集成:GitExtensions。Git新手指南:从基础到实践的全方位教程功能介绍图形用户界面:提供一个友好的......
  • 【Qt】解决设置QPlainTextEdit控件的Tab为4个空格
    前言PyQt5是一个用于创建跨平台桌面应用程序的Python绑定集合,它提供了对Qt应用程序框架的访问。用于开发具有图形用户界面(GUI)的应用程序,以及非GUI程序。PyQt5使得Python开发者可以使用Qt的丰富功能来构建应用程序。QPlainTextEdit是Qt框架中的一个纯文本编辑器......
  • AI界的新王者:HyperWrite的Reflection 70B模型横空出世
    在人工智能的世界里,每一天都可能发生惊天动地的变化。就在昨天,我们还在为某个模型的强大性能惊叹不已,今天,一个新的"王者"就已经闪亮登场了。各位看官,请允许我隆重介绍:来自HyperWrite公司的Reflection70B模型!......
  • 合宙4G模组Air780E开发板使用手册
    CORE-AIR780E开发板是基于Air780E模组所开发的,包含电源,SIM卡,USB,天线,音频等必要功能的最小硬件系统。以方便用户在设计前期对Air780E模块进行性能评估,功能调试,软件开发等用途。一、开发板配置 一代IPEX天线连接器(选配)4G弹簧天线一个下载/调试串口,两个通用串口IO口默认电平......