• 2024-06-12基于Ascend C的FlashAttention算子性能优化最佳实践
    本文分享自华为云社区《基于AscendC的FlashAttention算子性能优化最佳实践》,作者:昇腾CANN。LLM的Attention部分处理给计算系统带来巨大的计算和访存压力。业界先后出现FlashAttention、FlashAttention2等算法,通过计算等价和切分有效降低HBM数据访问量。昇腾异构计算架构CANN针
  • 2024-06-06Ascend训练软件栈了解
    一.分布式大模型训练的完整流程及注意事项1.迁移分析模型选取与约束说明:确保模型能在GPU或CPU上运行并获取性能基线,了解不支持场景,如DP模式、APEX库、bmtrain框架等。支持度分析:使用msFmkTransplt工具分析模型算子、三方库、亲和API和动态shape在昇腾平台上的支持情
  • 2024-05-26Ascend Cann适用
    AscendCanntoolkit是开发昇腾算子、模型的工具。提供了x86和aarch64两个版本。根据不同芯片,如910B训练卡和310推理卡,提供了不同的kernel安装包,同一芯片版本下kernel同时提供了x86和aarch64的驱动版本。Cann包的下载地址在https://www.hiascend.com/developer/download/communi
  • 2024-05-03antd表格日期排序
     {dataIndex:'contractSignDate',key:'contractSignDate',title:'合同签订日期',width:120,ellipsis:true,sorter:(a,b)=>moment(a?.contractSignDate).valueOf()-moment(b?.contractSignD
  • 2024-04-08Ascend C 自定义PRelu算子
    本文分享自华为云社区《AscendC自定义PRelu算子》,作者:jackwangcumt。1PRelu算子概述PReLU是ParametricRectifiedLinearUnit的缩写,首次由何凯明团队提出,和LeakyReLU非常类似,是Relu的改进版本,在几乎没有增加额外参数的前提下既可以提升模型的拟合能力,又能减小过拟合风险。
  • 2024-04-07Ascend C编程模型与范式
    并行计算架构抽象指令流、信号流、数据流的基本概念指令流:指令流是指在计算过程中,指令的执行顺序。在并行计算架构中,如何安排指令流以最大化并行度和资源利用率是一个关键的设计问题。信号流:信号流涉及到的是在硬件电路中,信号(数据、控制信号等)如何在不同的组件和模块之间
  • 2024-01-012023CANN训练营第2季————Ascend C算子Tiling切分原理与实战
    前言:        使用AscendC编程语言进行算子开发时,因为多核自动并行,以及单核内流水线并行的编程范式(即将单核算子处理逻辑划分为多个流水任务“搬入、计算、搬出”)等特性,可以快速搭建算子实现的代码框架,开发者仅需要把关注点放在数据切分和计算逻辑实现上。固定shape算子切
  • 2023-12-21【2023CANN训练营第二季】——Ascend C算子开发(进阶)微认证
    1.微认证题目:参考tensorflow的Sinh算子,实现AscendC算子Sinh,算子命名为SinhCustom,并完成aclnn算子调用相关算法:sinh(x)=(exp(x)-exp(-x))/2.0要求:1、完成host侧和kernel侧代码实现。2、实现sinh功能,支持float16类型输入,使用内核调试符方式调用算子测试通过。3、使用
  • 2023-12-21【2023CANN训练营第二季】——Ascend C代码实操分享
    1.实操题目:使用AscendC实现Addcdiv算子参考pytorch的Addcdiv算子,实现AscendC算子Addcdiv,算子命名为AddcdivCustom相关算法:out=x+y/z*value要求:1、完成Kernel侧实现代码和host侧调用算子代码,支持fp16类型输入2、完成AcInn方式调用编写好的算子3、根据提供的测试用例,使用
  • 2023-12-12一文掌握Ascend C孪生调试
    本文分享自华为云社区《一文掌握AscendC孪生调试》,作者:昇腾CANN。1What,什么是孪生调试AscendC提供孪生调试方法,即CPU域模拟NPU域的行为,相同的算子代码可以在CPU域调试精度,NPU域调试性能。孪生调试的整体方案如下:开发者通过调用AscendC类库编写AscendC算子kernel侧源码,kerne
  • 2023-11-30Ascend C 算子开发遇到的问题及解决方法
    摘要:在学习AscendC算子开发进阶课程的时候,进行AscendC自定义算子工程、算子调用等实验,在开发环境中遇到了一些问题,在这里记录一下。首先如果在启智社区CANN版本为6.3,要进行AscendC算子开发,需要更新CANN版本。在CANN社区根据你的架构,比如我的为CPU架构位aarch64,所以下载Ascend-
  • 2023-11-28【2023CANN训练营第二季】——Ascend C自定义算子工程介绍及实验
    一、自定义算子工程介绍与创建自定义算子工程是一个包含用户编写的host侧和kerne|侧算子实现文件的,用于编译和安装自定义算子run包的工程框架。CANN软件包中提供了工程创建工具msopgen,开发者可以输入算子原型定义文件生成AscendC算子开发工程。需要编写AddCustom算子的原型定义
  • 2023-10-09手敲,Ascend算子开发入门笔记分享
    本文分享自华为云社区《Ascend算子开发入门笔记》,作者:JeffDing。基础概念什么是AscendCAscendC是CANN针对算子开发场景推出的编程语言,原生支持C和C++标准规范,最大化匹配用户开发习惯;通过多层接口抽象、自动并行计算、孪生调试等关键技术,极大提高算子开发效率,助力AI开发者
  • 2023-09-113天上手Ascend C编程丨通过Ascend C编程范式实现一个算子实例
    本文分享自华为云社区《3天上手AscendC编程|Day2通过AscendC编程范式实现一个算子实例》,作者:昇腾CANN。一、AscendC编程范式AscendC编程范式把算子内部的处理程序,分成多个流水任务(stage),以张量(Tensor)为数据载体,以队列(Queue)进行任务之间的通信与同步,以内存管
  • 2023-09-08mindxdl异构安装k8s
    --------------------------------#关闭安装驱动和固件sed-i.bak's/.*driver.yml/#&/g'/root/ascend-deployer-5.0.RC3.B009/ascend_deployer/playbooks/check.yamlsed-i.bak's/.*npu/#&/g'/root/ascend-deployer-5.0.RC3.B009/ascend_deployer/
  • 2023-09-053天上手Ascend C编程丨带你认识Ascend C基本概念及常用接口
    本文分享自《 【2023·CANN训练营第一季】——AscendC算子开发入门——第一次课(核函数的定义及实现)》,作者:dayao。AscendC是CANN针对算子开发场景推出的编程语言,原生支持C和C++标准规范,最大化匹配用户开发习惯;通过多层接口抽象、自动并行计算、孪生调试等关键技术,极大提高算
  • 2023-09-01纯干货!一文get昇腾Ascend C编程入门全部知识点
    本文分享自华为云社区《昇腾AscendC编程入门教程》,作者:昇腾CANN。2023年5月6日,在昇腾AI开发者峰会上,华为正式发布了面向算子开发场景的昇腾AscendC编程语言。AscendC原生支持C/C++编程规范,通过多层接口抽象、并行编程范式、孪生调试等技术,极大提高了算子的开发效率,帮助AI开发
  • 2023-05-31【2023 · CANN训练营第一季】——Ascend C算子沙箱实验
    前言:CANN训练营的Ascend C算子课程,以在线课程的方式提供了一个沙箱实验环境。这将有助于帮助开发者了解Ascend C算子开发的软、硬件环境;熟悉自定义AscendC算子的开发流程和关键代码;同时也可以了解到自定义算子包的部署路径及部署后的各类文件。在线试验地址:在线实验>基于昇腾CA
  • 2023-05-29【2023 · CANN训练营第一季】——Ascend C算子背后的魔法
    前言:TIKC++,2023年CANN的一个神奇魔法,得益于TIKC++算子的孪生调试技术,我们可以了解到更多的技术细节,本文试图对隐藏在多核并行,流水计算、dobulebuffer背后的CANNAscendC算子魔法进行摸索和理解,是什么样的技术让用户编写的简单代码可以先实现上述神奇的功能。本文没有请专业人士
  • 2023-03-20Ascend CL两种数据预处理的方式:AIPP和DVPP
    摘要:本文介绍了昇腾CANN提供的两种数据预处理的方式:DVPP和AIPP,介绍了两者的功能、差别及联系,并以具体代码示例介绍了如何使用DVPP和AIPP的功能。本文分享自华为云社区《了
  • 2023-01-06【环境部署系列 02】Ascend 310(推理)Atlas 500小站环境部署
    一、登陆环境Atlas500小站与PC直连,Atlas500小站网口1默认IP地址:192.168.2.111网口2默认IP地址:192.168.3.111登陆Web界面后,输入默认用户名及默认密码,即可对小站进行
  • 2023-01-06【环境部署系列 04】Ascend 310(推理)ARM服务器 Ubuntu系统环境部署
    一、推荐基础开发环境配置软件/硬件说明推荐配置/版本获取方式硬件ARMAtlas500Pro/Atlas800-3000/操作系统UbuntuUbuntu18.04/Ubuntu20.04官
  • 2023-01-06【环境部署系列 06】Ascend 310(推理)X86服务器 Ubuntu系统环境部署
    一、推荐基础开发环境配置软件/硬件说明推荐配置/版本获取方式硬件X86_64Atlas800-3010/操作系统UbuntuUbuntu18.04/Ubuntu20.04官网Driver
  • 2022-11-05极智开发 | 多用户共用一张昇腾卡开发教程
     大家好,我是极智视界,本文介绍一下多用户共用一张昇腾卡开发教程。 昇腾计算应该是国产化里的首选了,但是用昇腾卡计算的坑也是很多的。比如这里:多用户不能共用一张卡、
  • 2022-10-24"Ascend.Net" Windows Forms Controls
    在微软的开源网站上http://www.codeplex.com有一个WinformControl项目Ascend.NET,非常不错.做Winform程序的兄弟可以关注一下.在微软的开源网站上