目前在国产AI芯片，例如昇腾NPU上运行大模型是一项广泛且迫切的需求，然而当前的生态还远未成熟。从底层芯片的算力性能、计算架构的算子优化，到上层推理框架对各种模型的支持及推理加速，仍有很多需要完善的地方。今天带来一篇在昇腾910B上运行Qwen2.5执行推理的操作实践。配

目前在国产AI芯片，例如昇腾NPU上运行大模型是一项广泛且迫切的需求，然而当前的生态还远未成熟。从底层芯片的算力性能、计算架构的算子优化，到上层推理框架对各种模型的支持及推理加速，仍有很多需要完善的地方。今天带来一篇在昇腾910B上运行Qwen2.5执行推理的操作实践。配

1.准备数据集，做好相应尺寸代码中示例为320，从原始大图变成320*320，加上letterbox和坐标变换importosimportshutilfromtqdmimporttqdmimportcv2defmy_letter_box(img,size=(320,320)):#h,w,c=img.shaper=min(size[0]/h,size[1]/w)new_h,new_w

前言    哈喽哈喽，这里是zyll~,北浊.（大家可以亲切的呼唤我叫小北）智慧龙阁的创始人，一个在大数据和全站领域不断深耕的技术创作者。今天，我想和大家分享一些关于华为昇腾CANN训练营以及AI技术创新的最新资讯和实践经验~（初级证书还没拿到的小伙伴，可以先参考小北的这篇技术博

概述课题组最近的项目需要用到华为的昇腾计算卡，和CUDA汗牛充栋的教程和文档相比，作为一款比较新的计算卡产品，昇腾在网上基本没什么教程，可以参考的只有官方文档、官方代码仓库和官方论坛。因此我在使用的过程中，也经过了很多探索，踩了不少坑，所以在这里记录一下我遇到的一些问题和解决

AscendC算子开发（中级）——编写Sinh算子文章目录AscendC算子开发（中级）——编写Sinh算子准备工作香橙派与PC连接Add算子调用体验Sinh算子开发（AscendC算子开发中级认证考试内容）准备工作一块香橙派AIpro开发板，一根Type-c口的电源线，一根网线，一个网线转接器，一台

AscendNPU架构&CANN平台入门学习概述昇腾NPU是专门用于AI训练/推理计算的AI专用处理器，其中的AICore能够在很大程度上提高AI计算的效率。本文将主要介绍ASCENDNPU的硬件架构&工作原理、AICore的计算模式以及异构计算平台CANN等内容。NPU硬件架

该最新的镜像版本为预装了CANN的7.0R1版本的CANN在MIndspore官网进行了相对应的CANN和MIndspore的版本相关匹配从图中可以看出来7.0仅仅支持Ascend的910而我们的Atlas200IDKA2处理器为Ascend310因此7.0的CANN明显不符合我们的型号于是我决定选择进行降低CANN的版本进

配置昇腾AscendC/C++开发环境flyfish这里以OrangePiAiPro为例先说如何配置MindStudio，然后再说如何查看OrangePiAiPro的一些信息OrangePiAIPro开发板是香橙派联合华为精心打造的高性能AI开发板，其搭载了昇腾AI处理器。Linux桌面系统的默认登录用户为H

AscendC算子开发指南AscendC的特点C/C++原生编程：AscendC原生支持C和C++标准规范。屏蔽硬件差异：编程模型屏蔽了硬件差异，提高了代码的通用性。API封装：类库API封装，既保证易用性，又兼顾高效性。孪生调试：支持在CPU侧模拟NPU侧的行为，便于调试。开发基本流程环境准备：安装CANN开

AscendC的特点C/C++原生编程：AscendC原生支持C和C++标准规范。屏蔽硬件差异：编程模型屏蔽了硬件差异，提高了代码的通用性。API封装：类库API封装，既保证易用性，又兼顾高效性。孪生调试：支持在CPU侧模拟NPU侧的行为，便于调试。开发基本流程环境准备：安装CANN开发套件包，根据机器CPU架

面向训练场景的有Ascend910系列和Ascend310系列 AICORE是昇腾AI处理器的计算核心，采用华为自研究的达芬奇架构。具有矩阵计算单元，向量计算单元，标量计算单元，累加器CANN逻辑架构介绍。是华为针对AI推出的异构计算架构。 服务层 计算编译层 

1、 驱动安装1.1驱动测试输入测试命令：npu-smiinfo 结果如下： 1.2Ascend驱动未安装请参考Ascend驱动的安装文档，进行安装对应显卡的驱动，文档链接如下：https://support.huawei.com/enterprise/zh/doc/EDOC1100368783/2645a51f 2、 Ascend 深度学习套

 一、核函数开发核函数（KernelFunction）是AscendC算子设备侧实现的入口。在核函数中，需要为在一个核上执行的代码规定要进行的数据访问和计算操作，当核函数被调用时，多个核都执行相同的核函数代码，具有相同的参数，并行执行。 核函数的定义为：extern"C"__global____aicore__vo

本文分享自华为云社区《基于AscendC的FlashAttention算子性能优化最佳实践》，作者：昇腾CANN。LLM的Attention部分处理给计算系统带来巨大的计算和访存压力。业界先后出现FlashAttention、FlashAttention2等算法，通过计算等价和切分有效降低HBM数据访问量。昇腾异构计算架构CANN针

一.分布式大模型训练的完整流程及注意事项1.迁移分析模型选取与约束说明：确保模型能在GPU或CPU上运行并获取性能基线，了解不支持场景，如DP模式、APEX库、bmtrain框架等。支持度分析：使用msFmkTransplt工具分析模型算子、三方库、亲和API和动态shape在昇腾平台上的支持情

AscendCanntoolkit是开发昇腾算子、模型的工具。提供了x86和aarch64两个版本。根据不同芯片，如910B训练卡和310推理卡，提供了不同的kernel安装包，同一芯片版本下kernel同时提供了x86和aarch64的驱动版本。Cann包的下载地址在https://www.hiascend.com/developer/download/communi

 {dataIndex:'contractSignDate',key:'contractSignDate',title:'合同签订日期',width:120,ellipsis:true,sorter:(a,b)=>moment(a?.contractSignDate).valueOf()-moment(b?.contractSignD

本文分享自华为云社区《AscendC自定义PRelu算子》，作者：jackwangcumt。1PRelu算子概述PReLU是ParametricRectifiedLinearUnit的缩写，首次由何凯明团队提出，和LeakyReLU非常类似，是Relu的改进版本，在几乎没有增加额外参数的前提下既可以提升模型的拟合能力，又能减小过拟合风险。

并行计算架构抽象指令流、信号流、数据流的基本概念指令流：指令流是指在计算过程中，指令的执行顺序。在并行计算架构中，如何安排指令流以最大化并行度和资源利用率是一个关键的设计问题。信号流：信号流涉及到的是在硬件电路中，信号（数据、控制信号等）如何在不同的组件和模块之间

前言：        使用AscendC编程语言进行算子开发时，因为多核自动并行，以及单核内流水线并行的编程范式（即将单核算子处理逻辑划分为多个流水任务“搬入、计算、搬出”）等特性，可以快速搭建算子实现的代码框架，开发者仅需要把关注点放在数据切分和计算逻辑实现上。固定shape算子切

1.微认证题目：参考tensorflow的Sinh算子，实现AscendC算子Sinh,算子命名为SinhCustom，并完成aclnn算子调用相关算法:sinh(x)=(exp(x)-exp(-x))/2.0要求:1、完成host侧和kernel侧代码实现。2、实现sinh功能，支持float16类型输入，使用内核调试符方式调用算子测试通过。3、使用

1.实操题目：使用AscendC实现Addcdiv算子参考pytorch的Addcdiv算子，实现AscendC算子Addcdiv,算子命名为AddcdivCustom相关算法:out=x+y/z*value要求:1、完成Kernel侧实现代码和host侧调用算子代码，支持fp16类型输入2、完成AcInn方式调用编写好的算子3、根据提供的测试用例，使用

本文分享自华为云社区《一文掌握AscendC孪生调试》，作者：昇腾CANN。1What，什么是孪生调试AscendC提供孪生调试方法，即CPU域模拟NPU域的行为，相同的算子代码可以在CPU域调试精度，NPU域调试性能。孪生调试的整体方案如下：开发者通过调用AscendC类库编写AscendC算子kernel侧源码，kerne

摘要：在学习AscendC算子开发进阶课程的时候，进行AscendC自定义算子工程、算子调用等实验，在开发环境中遇到了一些问题，在这里记录一下。首先如果在启智社区CANN版本为6.3，要进行AscendC算子开发，需要更新CANN版本。在CANN社区根据你的架构，比如我的为CPU架构位aarch64，所以下载Ascend-