• 2025-01-16MindIE+MindFormers推理方案指导
    目录组件介绍CANNMindIEMindFormers版本配套与安装指导版本配套关系安装指导使用指导组件介绍CANNCANN是什么异构计算架构CANN(ComputeArchitectureforNeuralNetworks)是昇腾针对AI场景推出的异构计算架构,向上支持多种AI框架,包括MindSpore、PyTorch、TensorFlow等,向下服务A
  • 2024-12-20mindie-llm 镜像指南
    mindie-llm镜像指南(rc2版)基础镜像:mindie_1.0.rc2:cann_8.0.rc2-py_3.10-ubuntu_22.04基础容器启动命令(后续只做单卡推理):dockerrun-itd--namemindie-llm-eASCEND_VISIBLE_DEVICES=0-v/app:/app-p9000:8900mindie_1.0.rc2:cann_8.0.rc2-py_3.10-ubuntu_22.04b
  • 2024-12-13转载:【AI系统】昇腾推理引擎 MindIE
    本文将介绍华为昇腾推理引擎MindIE的详细内容,包括其基本介绍、关键功能特性以及不同组件的详细描述。本文内容将深入探讨MindIE的三个主要组件:MindIE-Service、MindIE-Torch和MindIE-RT,以及它们在服务化部署、大模型推理和推理运行时方面的功能特性和应用场景。通过本文的
  • 2024-12-13转载:【AI系统】昇腾推理引擎 MindIE
    本文将介绍华为昇腾推理引擎MindIE的详细内容,包括其基本介绍、关键功能特性以及不同组件的详细描述。本文内容将深入探讨MindIE的三个主要组件:MindIE-Service、MindIE-Torch和MindIE-RT,以及它们在服务化部署、大模型推理和推理运行时方面的功能特性和应用场景。通过本文的
  • 2024-12-11转载:【AI系统】昇腾推理引擎 MindIE
    本文将介绍华为昇腾推理引擎MindIE的详细内容,包括其基本介绍、关键功能特性以及不同组件的详细描述。本文内容将深入探讨MindIE的三个主要组件:MindIE-Service、MindIE-Torch和MindIE-RT,以及它们在服务化部署、大模型推理和推理运行时方面的功能特性和应用场景。通过本文的