首页 > 其他分享 >ml.net例子笔记2-概念和Widnows AI Studio

ml.net例子笔记2-概念和Widnows AI Studio

时间:2023-12-16 15:11:17浏览次数:32  
标签:AI ml 模型 Python Studio ML NET

一 机器学习和ml.net

1 Python 机器学习库

在Python中,工具和库的生态系统可以分为五个主要领域:

  • 数据处理
  • 数据可视化
  • 数值计算
  • 模型训练
  • 神经网络

这可能不全,因为此外还有其他许多的库,它们负责其他任务,并专注于机器学习的一些特定领域,比如自然语言处理和图像识别。

使用Python时,构建机器学习管道的步骤通常在笔记本的范围内进行。所谓“笔记本”,是在特定Web或本地交互环境中创建的文档,称为Jupyter Notebook(参见 https://jupyter.org )。每个笔记本都包含可执行的Python代码富格式文本数据网格、图表和图片的组合。通过它们,可以建立并分享我们自己的开发故事在某种程度上,“笔记本”相当于 VisualStudio中的一个“解决方案”。在“笔记本”中,可以执行诸如数据操作、绘图和训练等任务,而且可以使用一些预定义的、经过实战检验的库。

1) 神经网络

浅层学习是机器学习的一个领域,涵盖一系列广泛的基本问题,如回归和分类。在浅层学习的领域之外,还有深度学习和神经网络。还有更多专门的库用于在Python中构建神经网络。

TensorFlow可能是训练深度神经网络的最流行的库。它是一个综合框架的一部分,可以在不同层次上进行编程。例如,可以使用高层次的Keras API来构建神经网络,或者手动构建所需要的拓扑结构,并通过代码指定前进和激活步骤、自定义层和训练循环。总的来说,TensorFlow 是一个端到端的机器学习平台,也提供了用于训练和部署的机制。

Keras(https://keras.io)可能是切入令人眼花缭乱的深度学习世界的最简单方法。它提供了一个非常直接的编程界面,至少在快速原型设计时很方便。要注意的是,可以在TensorFlow 中使用 Keras。

还有一个选择是PyTorch,可以从https://pytorch.org 获取。PyTorch基于现有C语言库的 Python 改编,专门用于自然语言处理和计算机视觉。在这三个神经网络选项中,Keras 目前是最理想的切入点。只要它能满足自己的诉求,就可以把它作为一个首选的工具。需要构建复杂的神经网络时,PyTorch 和 TensorFlow则是首选,但它们使用不同的方法来完成任务。TensorFlow 要求在训练神经网络之前先定义好整个网络的拓扑结构。相比之下,PyTorch采用了一种更敏捷的方法并提供了一种更动态的方式来对图进行修改。在某些方面,它们的差异可以概括为“瀑布式与敏捷式”。PyTorch 比较年轻,还不像TensorFlow那样已经建立了一个庞大的社区。

2) Python模型最终使用方式

使用Python,可以很容易地找到建立和训练机器学习模型的方法。模型最终是一个二进制文件,它必须加载到一个客户端应用程序并被调用,通常情况下,是一个Java或.NET应用程序作为ML 模型的客户端应用程序。

使用训练好的模型有三种主要的方式。

1 在Web 服务中托管训练好的模型,并通过 REST或gRPC API访问。

2在应用程序中将训练好的模型作为一个序列化的文件导入,并通过它所基于的基础结构(例如TensorFlow或scikit-learn)所提供的编程接口(API)与之进行交互,前提是基础结构要为客户端应用程序的语言提供绑定。

3 训练好的模型通过新的通用ONNX格式对外公开,客户端应用程序集成一个用于使用ONNX二进制文件的包装器(wrapper)。

虽然 Web 服务选项最常用,但如果只是为了使用训练好的模型,那么最捷的方式似乎应该是客户端语言所特有的一个直接的 API。

2 ML.NET概述

ML.NET首次发布于2019年春季,是一个免费的跨平台和开源的NET框架用于建立和训练机器学习模型并在.NET应用程序中托管这些ML模型。详情可以参考 https://dotnet.microsoft.com/zh-cn/apps/machinelearning-ai/ml-dotnet

ML.NET旨在为数据科学家和开发人员提供Python生态系统中能找到的同一系列功能(参考上面的描述)。

此外,熟悉NET框架和C# 及F# 编程语言的人都非常熟悉所有这些编程步骤MLNET最有趣的地方在于,它提供了一个相当务实的编程平台,围绕预定义学习任务的思路进行布置。即使是机器学习的新手,也可以用它配备的库相对容易处理常见的机器学习场景,比如情感分析、欺诈检测或价格预测,与前面介绍的Python生态系统的支柱相比,ML.NET虽然基本上可以认为是scikit-Learn 模型构建库的对应物,但它另外还包括一些可以在Pandas或NumPy中找到的、用于数据准备和分析的基本设施。ML.NET还允许使用深度学习模型(尤其是TensorFlow和ONNX)。

另外,开发者可以通过模型生成器(ModelBuilder)来训练图像分类和物体检测模型。最值得注意的是,整个 ML.NET库是建立在整个.NETCore 框架强大的功能之上的

整个ML.NET框架以一组NuGet包的形式提供。如果要开始构建模型,不再需要其他更多的东西。从16.6.1版本开始,Visual Studio 还提供了模型生成器向导,可以分析输入数据并选择最佳的可用算法。

二 Windows AI Studio 

微软在北京时间11月16日开幕的Ignite 2023大会中,面向开发者推出了全新的“Windows AI Studio”体验,在Win11系统上可以简化、加速AI应用的开发工作。

Windows AI Studio 通过将 Azure AI Studio 和其他目录(如 Hugging Face)的前沿 AI 开发工具和模型融合到一起,来简化生成式 AI 应用的开发。

Windows AI Studio 使开发人员能够微调、自定义和部署先进的小型语言模型 (SLM),以便在其 Windows 应用本地使用 SLM。 它提供一个端到端引导式工作区设置程序,其中包括模型配置 UI 和引导式演练,以微调常用 SLM(如 Phi)以及 Llama 2 和 Mistral 等先进模型。

开发人员可以使用集成到工作区中的提示流和 Gradio 模板快速测试其微调的模型。

https://github.com/microsoft/windows-ai-studio

vs code中安装

https://marketplace.visualstudio.com/items?itemName=ms-windows-ai-studio.windows-ai-studio

安装的必须条件:

  • Windows AI Studio will run only on NVIDIA GPUs for the preview, so please make sure to check your device spec.
  • WSL Ubuntu distro 18.4 or greater should be installed and is set to default prior to using Windows AI Studio. 

 

看如下的一些GPU需求和性能【GPU至少8G内存】,没有满足需求的GPU 无法使用

 

如下是在vs code中进行数据训练的详细截图和说明

https://github.com/microsoft/windows-ai-studio/blob/main/walkthrough-simple-dataset.md

https://github.com/microsoft/windows-ai-studio/blob/main/walkthrough-hf-dataset.md

 

【本文地址也可参考: ml.net例子笔记2-概念和AIStudio (yuque.com) 】

标签:AI,ml,模型,Python,Studio,ML,NET
From: https://www.cnblogs.com/2018/p/17904860.html

相关文章

  • 将开源免费进行到底,ThreadX开源电脑端GUIBuilder图形开发工具GUIX Studio
    上个月微软刚刚宣布将ThreadXRTOS全家桶贡献给Eclipse基金会,免费供大家商用,宽松的MIT授权方式,就差这个GUIXStudio没有开源了,而且Windows还经常检索不到,并且也不提供离线包。1、软件包有点大,700MB,直接分享到百度云了:链接:https://pan.baidu.com/s/1tS8IDWrIXGiCTbHxwxEkDA  提......
  • 电脑时间不同步导致的上网报错:core/proxy/vmess/encoding: failed to read response h
    报错内容: 2023/12/1614:08:56[Warning][775541588]xxxxx.com/core/app/proxyman/outbound:failedtoprocessoutboundtraffic>xxxxx.com/core/proxy/vmess/outbound:connectionends>xxxxx.com/core/proxy/vmess/outbound:failedtoreadheader>xxxx......
  • Centos中Fail2ban配置
    安装可以使用源码编译官网或者yum安装安装(base)[root@wwwfail2ban]#yum-yinstallfail2ban配置#配置(base)[root@wwwfail2ban]#vimjail.conf加入以下内容42[ssh-iptables]43enabled=true44filter=sshd45action=iptables[name=SSH,port=ssh,pr......
  • 使用ai工具排查问题
    遇到问题源代码:importcsv#定义Excel文件路径excel_file='花生好车还款计划_48期_无本息月供4495_还款日20231110.xls'#定义输出文本文件路径text_file='repayPlan.txt'#读取Excel文件withopen(excel_file,'r',newline='',encoding='utf-8')as......
  • 太极 TAICHI-flet
    如果你在搬砖的过程中,想要看书、听歌、看图、看漫画等等,那么我建议你看下这个软件,之前也有推荐过,目前新的版本功能做了完善。不过有个尴尬的点就是,作者增加了会员功能,但是对于基本使用还是没问题的。纯python写的一个工具,最初版本需要自己初始化python环境,现在有直接打包好的wind......
  • AI PC两年要大卖1亿台!就靠它了
    Intel在中国北京召开了主题为“AI无处不在,创芯无所不及”的2023Intel新品发布会暨AI技术创新派对,正式发布了代号为“MeteorLake”的面向AIPC产品的全新酷睿Ultra处理器,这将是实现于Intel方案的AIPC到2025年出货1亿台目标的关键。Intel酷睿Ultra处理器基于Chiplet架构,采用了全......
  • Intel酷睿Ultra隆重登场:28W能效逆天!AI性能领先竞品5.4倍
    作为Intel1971年首款微处理器4004诞生以来变革幅度最大的产品,代号MeteorLake的第一代酷睿Ultra今天终于正式发布了!相关笔记本、迷你机产品也会陆续发布上市。有关于酷睿Ultra的制造工艺、架构设计、技术特性等,之前我们已经做过深度解析,还参观过酷睿Ultra在马来西亚的封测工厂流......
  • 谷歌 | Imagen 2 正式推出、Gemini Pro 开放、Duet AI 上线...
    【信息来源:GoogleCloud。CloudAce是GoogleCloud全球战略合作伙伴。】上周,谷歌发布的Gemini引起了业界的广泛关注。紧接着,本周谷歌继续在人工智能领域展现其创新实力,在其云平台上推出了一系列备受瞩目的AI大模型。这些模型不仅满足了开发者和企业的广泛需求,还为特定行业......
  • Python——Html(表格)
    <table>,<tr>,和<td>是HTML中用于创建表格的标签。<table>元素:<table>元素用于定义HTML表格。表格是由行和列组成的二维数据结构。<table><!--表格内容将在这里添加--></table><tr>元素:<tr>元素用于定义表格中的行(tablerow)。行包......
  • java解析Xml文件
    iFile=getEditor().getEditorInput().getAdapter(IFile.class); Filefile=newFile(iFile.getLocation().toString()); Map<String,String>columnsMap=newHashMap<>(); if(file.exists()){ SAXReaderreader=newSAXReader(); try{......