• 2024-08-02mindspore框架实现ckpt模型导出ONNX格式
    mindspore框架保存及加载模型详细流程:昇思-保存及加载模型关键步骤关键代码frommindsporeimportexport,load_checkpoint,load_param_into_netfrommindsporeimportTensorimportnumpyasnpfromMobileNet2GarbageCls.MobileNetv2import*#有了Check
  • 2024-08-01学会如何安装配置开发板Atlas 200I DK A2
    前言学会如何安装配置华为云ModelArts、开发板Atlas200IDKA2。并打通一个Ascend910训练到Ascend310推理的全流程思路。在本篇章,我们首先开始训练阶段!训练阶段A.环境搭建MindSpore华为云模型训练Step1创建OBS并行文件登录华为云->控制台->左侧导航栏选择
  • 2024-05-25昇腾开发全流程 之 MindSpore华为云模型训练
    前言学会如何安装配置华为云ModelArts、开发板Atlas200IDKA2,并打通一个训练到推理的全流程思路。在本篇章,首先我们开始进入训练阶段!训练阶段A.环境搭建MindSpore华为云模型训练Step1创建OBS并行文件登录华为云->控制台->左侧导航栏选择“对象存储服务OBS”
  • 2024-05-05OpenVoice克隆声音
    git地址https://github.com/myshell-ai/OpenVoice安装condacreate-nopenvoicepython=3.9condaactivateopenvoicegitclonegit@github.com:myshell-ai/OpenVoice.gitcdOpenVoicepipinstall-e.checkpoints下载https://myshell-public-repo-hosting.s3.amazonaw
  • 2023-11-15不懂乐理,也能扒谱,基于openvpi将mp3转换为midi乐谱(Python3.10)
    所谓"扒谱"是指通过听歌或观看演奏视频等方式,逐步分析和还原音乐作品的曲谱或乐谱的过程。它是音乐学习和演奏的一种常见方法,通常由音乐爱好者、乐手或学生使用。在扒谱的过程中,人们会仔细聆听音乐作品,辨别和记录出各个音符、和弦、节奏等元素,并通过试错和反复推敲来逐渐还原出准
  • 2023-10-02如何查找Model的state_dict和ckpt的state_dict之间的差距
    参考资料:[自己摸索][chatgpt3.5]众所周知,Huggingface团队的transformers库是一个非常优秀非常方便的库,它使得很多模型实现了“开箱即用”。但是,由于transformers这个库的快速迭代,也导致了很多兼容性上的问题。比如今天我发现一个现象:我使用老板的transformers
  • 2023-07-06开源大语言模型是否可以商用的调查报告
     开源大语言模型是否可以商用的调查报告0.背景1.调查结果1.1基础大模型(LLM)1.2对话大模型(ChatLLM)1.3多模态对话大模型(MultiModal-ChatLLM)2.可商用开源模型总结2.1基础大模型(LLM)2.2对话大模型(ChatLLM) 0.背景ChatGPT火起来了,很多企业
  • 2023-06-19Undo log日志回放
    引言:一个看起来正确的过程系统宕机后需要重启,重启过程中需要对事务涉及到的数据进行“整理”,包括:1.宕机时刻尚未提交的事务对数据的修改需要回滚实现整理的过程称之为“日志回放”。通过从后向前回放UndoLog日志,直到找到commit点为止,这样就保证了数据一致性。上面的过程看起来很
  • 2023-06-12基于Tensorflow的Faster-Rcnn的断点续训
    一、前言最近在学习目标检测,到github上找了一个开源的Faster-RCNN项目(Tensorflow),项目地址是:https://github.com/dBeker/Faster-RCNN-TensorFlow-Python3根据网上的各种教程,模型训练还算顺利,不过这个项目缺少断点续训的功能。也就是中途误操作导致训练中止,就只能从头开始
  • 2023-04-27PyTorch保存模型断点以及加载断点继续训练
       在训练神经网络时,用到的数据量可能很大,训练周期较长,如果半途中断了训练,下次从头训练就会很费时间,这时我们就想断点续训。一、神经网络模型的保存,基本两种方式:1.保存完整模型model, torch.save(model,save_path) 2.只保存模型的参数, torch.save(model.state_dict()
  • 2023-02-27buffer cache实验4-ckptq的工作机制与增量检查点及fast_start_mttr_target参数
    1.检查点概念--chkpoint检查点是一个数据库事件,存在的意义在于减少崩溃恢复crashrecovery时间.检查点事件由后台进程CKPT触发,当检查点发生时,CKPT通知DBWR进程将脏数据库d
  • 2023-01-09TensorFlow模型保存和载入方法汇总
    目录 ​​一、TensorFlow常规模型加载方法​​​​保存模型​​​​加载模型​​​​1.不加载图结构,只加载参数​​​​ 2.加载图结构和参数​​​​ 3.简化版本​​​
  • 2022-12-11TensorFlow模型的保存与恢复加载 ckpt
     我们使用TensorFlow进行模型的训练,训练好的模型需要保存,预测阶段我们需要将模型进行加载还原使用,这就涉及TensorFlow模型的保存与恢复加载。总结一下Tensorflow常用的模型
  • 2022-09-2838、记录使用华为的ModelArts去调用npu训练yolov5模型和推理
    基本思想:有机会使用华为ModelArts云服务,做一下尝试,逐记录一下第一步:登录帐号,查看一下服务配置,镜像自己选择和缴费就行[ma-user~]$npu-smiinfo+--------------------------