• 2024-12-10基于云主机的ModelArts模型训练实践,让开发环境化繁为简
    本文分享自华为云社区《【开发者空间实践】云主机安装Docker并制作自定义镜像在ModelArts平台做模型训练》,作者:开发者空间小蜜蜂。1.1案例介绍在AI业务开发以及运行的过程中,一般都会有复杂的环境依赖需要进行调测并固化。面对开发中的开发环境的脆弱和多轨切换问题,在ModelArts
  • 2024-12-04使用ModelArts VS Code插件调试训练ResNet50图像分类模型
    应用场景Notebook等线上开发工具工程化开发体验不如IDE,但是本地开发服务器等资源有限,运行和调试环境大多使用团队公共搭建的CPU或GPU服务器,并且是多人共用,这带来一定的环境搭建和维护成本。因此使用本地IDE+远程Notebook结合的方式,可以同时享受IDE工程化开发和云上资源的即开
  • 2024-12-04AI开发平台ModelArts/ 将Notebook的Conda环境迁移到SFS磁盘
    前提条件创建一个Notebook,“资源类型”选择“专属资源池”,“存储配置”选择“SFS弹性文件服务器”,打开terminal。创建新的虚拟环境并保存到SFS目录创建新的conda虚拟环境。#shellcondacreate--prefix/home/ma-user/work/envs/user_conda/sfs-new-envpython=3.7.10-
  • 2024-12-04给子账号配置部署上线基本使用权限
    场景描述本文介绍部署上线场景下子账号所需的基本使用权限,您可参考权限清单新增对应业务场景的权限。示例场景为授权子账号权限,使其能够在开发环境Notebook中使用基础镜像构建一个新的推理镜像,并完成AI应用的创建,部署为在线服务。权限清单权限表1管理AI应用所需权限
  • 2024-12-04给子账号配置训练作业基本使用权限
    场景描述本文介绍训练作业场景下子账号所需的基本使用权限,您可参考权限清单新增对应业务场景的权限。示例场景为授权子账号使用自定义镜像训练,数据和代码存放在OBS桶中。以下内容需使用管理账号进行配置。权限清单权限表1训练作业所需权限业务场景依赖的服务
  • 2024-11-30AI开发平台ModelArts-基本配置-在ECS中创建ma-user和ma-group
    在ModelArts训练平台使用的自定义镜像时,默认用户为ma-user、默认用户组为ma-group。如果在训练时调用ECS中的文件,需要修改文件权限改为ma-user可读,否则会出现Permissiondenied错误,因此需要在ECS中提前创建好ma-user和ma-group。在terminal中执行以下命令:default_user=$(gete
  • 2024-11-30AI开发平台ModelArts-run.sh脚本测试ModelArts训练整体流程
    自定义容器在ModelArts上训练和本地训练的区别如下图:图1本地与ModelArts上训练对比ModelArts上进行训练比本地训练多了一步OBS和容器环境的数据迁移工作。增加了和OBS交互工作的整个训练流程如下:说明:建议使用OBSutil作为和OBS交互的工具,如何在本机安装obsutil可以参考ob
  • 2024-11-28在ModelArts Studio基于Llama3-8B模型实现新闻自动分类
    应用场景在数字化时代,新闻的生成与传播速度不断刷新记录。在ModelArtsStudio大模型即服务平台(下面简称为MaaS),使用Llama3-8B模型框架可以实现新闻自动分类,能够高效处理和分类大量新闻内容。该解决方案可以应用于如下场景:新闻门户网站:自动将新闻内容归类到相应板块,如科技、
  • 2024-12-05你能谈谈HashMap怎样解决hash冲突吗?
    HashMap冲突解决方法比较考验一个开发者解决问题的能力。下文给出HashMap冲突的解决方法以及原理分析,无论是在面试问答或者实际使用中,应该都会有所帮助在Java编程语言中,最基本的结构就是两种,一种是数组,一种是模拟指针(引用),所有的数据结构都可以用这两个基本结构构造,HashMa
  • 2024-06-01儿童节变身小小音乐家,用ModelArts制作一张AIGC音乐专辑
    本文分享自华为云社区《儿童节变身小小音乐家,用ModelArts制作一张AIGC音乐专辑》,作者:华为云社区精选。儿童节,如何给小朋友准备一份特别的礼物?这份AIGC音乐专辑制作攻略一定要收下一段文字灵感就能编织出一曲悠扬悦耳的旋律童话、梦幻、探险……任何关键词都可以成为音乐
  • 2024-05-31儿童节变身小小音乐家,用ModelArts制作一张AIGC音乐专辑
    本文分享自华为云社区《儿童节变身小小音乐家,用ModelArts制作一张AIGC音乐专辑》,作者:华为云社区精选。儿童节,如何给小朋友准备一份特别的礼物?这份AIGC音乐专辑制作攻略一定要收下一段文字灵感就能编织出一曲悠扬悦耳的旋律童话、梦幻、探险……任何关键词都可以成为音乐的
  • 2024-04-25HCDG天津站精彩回顾 | AI高效开发, ModelArts技术动手工作坊
    4月20日,HCDG城市行·天津站——“极快至简灵活部署”我想象中的AI高效开发ModelArts技术工作坊圆满举办。活动特邀来自华为云DTSE、华为云云享专家、以及天津软件技术协会的伙伴企业专家们为与会开发者带来一场别开生面的技术交流及动手实践活动。活动伊始,天津市软件行业协会技
  • 2024-04-09物联网中的预测分析:当IoTDA遇上ModelArts
    本文分享自华为云社区《最佳实践:华为云IoTDA结合ModelArts实现预测分析》,作者:华为IoT云服务。场景说明在物联网解决方案中,针对庞大的数据进行自动学习时,需要对海量数据进行标注、训练,按照传统的方式进行标注、训练不仅耗时耗力,而且对资源消耗也是非常庞大的。华为云物联网平台可
  • 2023-12-15大模型那么火,教你一键ModelArts玩转开源LlaMA大模型
     本文分享自华为云社区《大模型那么火,教你一键Modelarts玩转开源LlaMA(羊驼)大模型》,作者:码上开花_Lancer。近日,LlaMA(羊驼)这个大模型再次冲上热搜!LLaMA(LargeLanguageModelMetaAI),由MetaAI发布的一个开放且高效的大型基础语言模型,共有7B、13B、33B、65B(650亿)四种版本。
  • 2023-12-15大模型那么火,教你一键Modelarts玩转开源LlaMA(羊驼)大模型
    本文分享自华为云社区《大模型那么火,教你一键Modelarts玩转开源LlaMA(羊驼)大模型》,作者:码上开花_Lancer。近日, LlaMA(羊驼)这个大模型再次冲上热搜!LLaMA(LargeLanguageModelMetaAI),由MetaAI发布的一个开放且高效的大型基础语言模型,共有7B、13B、33B、65B(650亿)四种版本
  • 2023-11-16告别繁琐,ModelArts一键解决车牌号识别难题
    本文分享自华为云社区《基于ModelArts实现车辆车牌号的目标识别》,作者:屿山岛。前言车辆车牌是车辆的唯一身份标识,能够提供车辆的类型、颜色、归属地等信息,对于交通管理、安全监控、智能出行等领域具有重要的应用价值。随着计算机视觉技术的发展,车辆车牌的自动检测和识别成为了
  • 2023-09-15如何用华为云ModelArts平台玩转Llama2
    本文分享自华为云社区《如何用华为云ModelArts平台玩转Llama2》,作者:码上开花_Lancer。天哪~~Llama2模型开源了拉!! Llama2不仅开源了预训练模型,而且还开源了利用对话数据SFT后的Llama2-Chat模型,并对Llama2-Chat模型的微调进行了详细的介绍。开源模型目前有7B、13B、70B三种尺
  • 2023-06-06云图说|ModelArts开发环境,让AI开发、探索、教学更简单
    摘要:ModelArts开发环境,以云原生的资源使用和开发工具链的集成,目标为不同类型AI开发、探索、教学用户。本文分享自华为云社区《【云图说】|第280期ModelArts开发环境,让AI开发、探索、教学更简单,提升云化AI开发体验~》,作者:阅识风云。ModelArts开发环境,以云原生的资源使用和开发工
  • 2023-05-29基于 Mindspore 框架与 ModelArts 平台的 MNIST 手写体识别实验
    简介实验包含2部分:基于Mindspore框架的模型本地训练及预测基于Modelarts平台和PyTorch框架的模型训练及部署基于Mindspore框架的模型本地训练及预测本例子会实现一个简单的图片分类的功能,整体流程如下:处理需要的数据集,这里使用了MNIST数据集。定义一个网络,这
  • 2023-05-092步打通ModelArts和Astro,实现AI应用快速落地
    摘要:本文以ModelArts的“找云宝”自动学习AI应用为例,结合低代码平台Astro轻应用快速实现一个“找云宝”小应用。本文分享自华为云社区《【我与ModelArts的故事】2步打通ModelArts和Astro实现AI应用落地》,作者:胡琦。引言随着GPT火爆全球,人工智能(AI)逐渐成为当今最
  • 2023-01-02推动企业稳定发现,华为云大数据助力能源企业纾困
      近年来,能源产业从重资产投入的传统生产型业务,加速向低碳、清洁能源、综合能源服务、能源数字化等方向转变,能源科技创新不断涌现。诸多大型能源企业已开始与高科技公司进
  • 2022-12-30推动企业稳定发现,华为云大数据助力能源企业纾困
      近年来,能源产业从重资产投入的传统生产型业务,加速向低碳、清洁能源、综合能源服务、能源数字化等方向转变,能源科技创新不断涌现。诸多大型能源企业已开始与高科技公司进
  • 2022-12-27论文复现丨基于ModelArts实现Text2SQL
    摘要:该论文提出了一种基于预训练BERT的新神经网络架构,称为M-SQL。基于列的值提取分为值提取和值列匹配两个模块。本文分享自华为云社区《​​基于ModelArts实现Text2SQL
  • 2022-12-27论文复现丨基于ModelArts实现Text2SQL
    摘要:该论文提出了一种基于预训练BERT的新神经网络架构,称为M-SQL。基于列的值提取分为值提取和值列匹配两个模块。本文分享自华为云社区《基于ModelArts实现Text2SQL》,