pyasc八大官方示例全解析从Add算子到RMSNorm归一化的推荐学习路径【免费下载链接】pyasc本项目为Python用户提供算子编程接口支持在昇腾AI处理器上加速计算接口与Ascend C一一对应并遵守Python原生语法。项目地址: https://gitcode.com/cann/pyascpyasc 是 CANN 为昇腾 NPU 提供的 Python 算子开发接口与 Ascend C API 一一对应并遵循原生 Python 语法。本文带你逐一走完官方仓库 examples/ 目录下的 8 个端到端算子示例——从最基础的 Add 逐元素加法到 Transformer 标准组件 RMSNorm 归一化为新手规划一条由浅入深的 NPU 算子开发学习路径。一、先认识 pyasc用 Python 写 NPU 算子的架构逻辑 pyasc 把算子开发拆成四层Python 界面与 Ascend C 1:1 对应的 Kernel 开发接口 asc.jit编译运行入口、扩展 Dialect基于 MLIR 定义的 ASC-IR、Ascend C基础 API 与高阶 API、基础组件毕昇编译器、Runtime、Profiling 工具。对新手而言只需记住你用 Python 写的 Kernel 最终会被编译成 Ascend C 二进制在 NPU 上执行。想深入了解架构细节可阅读 docs/architecture_introduction.md 与 docs/pyasc_op_develop_guide.md。二、八大官方示例总览一张表看懂学习地图 ️#示例功能核心知识点0101_addz x y 逐元素加法手动set_flag/wait_flag同步、Global↔Local 搬运、多核切分0202_add_framework框架版 Add 算子TPipe/TQue/TBuf 自动流水同步0303_matmul_mixC A × BMIX 模式Matmul 高阶 API、Tiling 生成、多核偏移计算0404_matmul_cube_onlyC A × B Bias纯 Cube纯 Cube 模式、Workspace 配置、AIC 核判断0505_matmul_leakyrelu矩阵乘 LeakyReLU 融合融合算子开发、结果留在 Local Memory 不回传0606_geluGELU 激活tanh 近似九步向量算子组合、TBuf 复用、adv API0707_swigluSwiGLU 激活LLaMA FFN双路 VECIN 输入、asc.adv.swiglu高阶 API0808_rmsnormRMSNorm 归一化asc.adv.rmsnorm高阶 API、整块/尾块 Tiling三、学习路径详解八个台阶一步步走稳台阶 101_add手动同步流水理解流水线本质 入门首选。示例把数据按block_length切给 8 个核每个核内再分 tile 并采用双缓冲每轮迭代手动插入 3 对同步事件MTE2_V搬入→计算、V_MTE3计算→搬出、MTE3_MTE2搬出→下一轮搬入完整演示了搬运与计算如何流水叠加。Kernel 主体仅几十行推荐逐行精读 examples/01_add/add.py。台阶 202_add_framework框架接管同步代码更简洁 ⚡同样实现 z x y但改用asc.TPipeasc.TQue管理内存与队列同步alloc_tensor→data_copy→enque搬入deque→asc.add→enque计算deque→data_copy搬出。对比 examples/02_add_framework/add_framework.py 与示例 01能直观体会手动同步 vs 框架自动同步的差异——这是 pyasc 日常开发更推荐的写法。台阶 303_matmul_mixMatmul 高阶 API 的 MIX 模式 进入矩阵计算领域。核心套路四步走asc.adv.Matmul创建对象 →asc.adv.register_matmul绑定 TPipe 与 workspace →set_tensor_a/set_tensor_b/set_tail配置矩阵 →matmul.iterate_all(c_global)一次完成全量矩阵乘。关键代码见 examples/03_matmul_mix/matmul_mix.py。MIX 模式下 AIC 负责 Cube 计算、AIV 负责 Vector 计算USE_CORE_NUM需设为 Vector 核数如 910B 设为 48实际启动 24 个 AIC-AIV 组合。Host 侧通过MultiCoreMatmulTiling生成分块参数是另一学习重点。台阶 404_matmul_cube_only纯 Cube 模式与 Workspace 配置 同样是 C A × B但通过matmul_cube_onlyTrue启用纯 Cube 模式只有 AIC 参与计算AIV 空闲。相比 MIX 模式的增量知识是asc.ascend_is_aic()核判断、set_bias偏置配置以及 M/N/K 三方向尾块处理set_tail(tail_m, tail_n, tiling.k_a)。适合想搞懂 Workspace 与 Cube 分块细节的进阶读者。台阶 505_matmul_leakyrelu融合算子性能优化第一课 计算公式 C LeakyReLU(A × B Bias, alpha)。核心技巧把矩阵 C 的输出位置设为TPosition.VECCALC让矩阵乘结果留在 Local Memory被 LeakyReLU 直接消费避免中间数据回传 Global Memory再配合matmul.iterate()逐块迭代与DataCopyParams分块写回。这是 Transformer 模型里算子融合思想的经典落地对理解 NPU 性能优化至关重要。台阶 606_gelu九步向量算子组合实现 GELU GELU 是 BERT/GPT 系列 Transformer 的常用激活函数。示例用 tanh 近似公式将mul → muls → add → adv.tanh → adds → muls等九步向量算子串联中间结果复用同一块 TBuf相邻依赖计算间插入asc.pipe_barrier(asc.PipeID.PIPE_V)同步。它完整展示了复杂激活函数 基础向量算子组合的实现范式见 examples/06_gelu/gelu.py。台阶 707_swiglu双路输入与高阶 API 的平衡之道 ⚖️SwiGLU 是 LLaMA 等现代大模型 FFN 层的标配激活。与 GELU 手动组合不同这里直接调用高阶 APIasc.adv.swiglu(y, up, gate)一行完成计算——gate 和 up 两路数据分别从同一块 Global Memory 的不同偏移搬入两个 VECIN 队列。该示例还附带 Ascend C 手写对标实现与 msprof 性能对比脚本examples/07_swiglu/bench_swiglu.py、examples/07_swiglu/profile_msprof.py实测 PyAsc 与手写 Ascend C 性能基本一致比值 0.979x~1.077x小数据量下快于 torch_npu。台阶 808_rmsnorm一行高阶 API 完成行归一化 RMSNorm 是 LLaMA 的标准归一化层公式为 x / √(mean(x²) ε) · γ。示例通过asc.adv.rmsnorm高阶 API 完成计算配合RmsNormTiling传递分块参数整块按 hidden_size 决定每批 2/4/8 行走asc.range()循环尾块单独处理gamma 权重经 TBuf 一次性加载并用set_flag/wait_flag显式同步。性能测试显示 PyAsc 全 shape 快于手写 Ascend C0.702x~0.921x源于 JIT 将参数特化为编译期常量。源码见 examples/08_rmsnorm/rmsnorm.py。四、两条命令跑通验证Model 仿真与 NPU 上板 ✅所有示例统一支持仿真器模式Model无需 NPU 硬件和上板模式NPU通用命令如下cd pyasc/examples/示例目录 python3 示例文件.py -r [RUN_MODE] -v [SOC_VERSION]RUN_MODEModel仿真或NPU上板SOC_VERSION处理器型号如Ascend910B1、Ascend910C例如新手最友好的第一条命令python3 examples/01_add/add.py -r Model -v Ascend910B1环境配置详见 docs/quick_start.md。五、新手避坑小贴士 先跑通再读码先用 Model 模式跑通验证输出run success再逐行读 Kernel 代码。核数要按平台改Matmul 示例的USE_CORE_NUM需按实际平台核数调整MIX 模式为 Vector 核数纯 Cube 模式为 Cube 核数。对比学习更高效01→02手动 vs 框架同步、03→04MIX vs 纯 Cube、06→07手动组合 vs 高阶 API三组对照阅读理解效率最高。进阶参考API 细节可查 docs/python-api/Python 语法支持范围见 docs/python_syntax_support.md。按 01 → 08 的顺序走完全程你就已经掌握了 NPU 算子开发的数据搬运、流水线同步、多核切分、融合优化四大核心能力——这正是 pyasc 示例库想要传递的完整知识体系。【免费下载链接】pyasc本项目为Python用户提供算子编程接口支持在昇腾AI处理器上加速计算接口与Ascend C一一对应并遵守Python原生语法。项目地址: https://gitcode.com/cann/pyasc创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 pyasc八大官方示例全解析：从Add算子到RMSNorm归一化的推荐学习路径
pyasc八大官方示例全解析从Add算子到RMSNorm归一化的推荐学习路径【免费下载链接】pyasc本项目为Python用户提供算子编程接口支持在昇腾AI处理器上加速计算接口与Ascend C一一对应并遵守Python原生语法。项目地址: https://gitcode.com/cann/pyascpyasc 是 CANN 为昇腾 NPU 提供的 Python 算子开发接口与 Ascend C API 一一对应并遵循原生 Python 语法。本文带你逐一走完官方仓库 examples/ 目录下的 8 个端到端算子示例——从最基础的 Add 逐元素加法到 Transformer 标准组件 RMSNorm 归一化为新手规划一条由浅入深的 NPU 算子开发学习路径。一、先认识 pyasc用 Python 写 NPU 算子的架构逻辑 pyasc 把算子开发拆成四层Python 界面与 Ascend C 1:1 对应的 Kernel 开发接口 asc.jit编译运行入口、扩展 Dialect基于 MLIR 定义的 ASC-IR、Ascend C基础 API 与高阶 API、基础组件毕昇编译器、Runtime、Profiling 工具。对新手而言只需记住你用 Python 写的 Kernel 最终会被编译成 Ascend C 二进制在 NPU 上执行。想深入了解架构细节可阅读 docs/architecture_introduction.md 与 docs/pyasc_op_develop_guide.md。二、八大官方示例总览一张表看懂学习地图 ️#示例功能核心知识点0101_addz x y 逐元素加法手动set_flag/wait_flag同步、Global↔Local 搬运、多核切分0202_add_framework框架版 Add 算子TPipe/TQue/TBuf 自动流水同步0303_matmul_mixC A × BMIX 模式Matmul 高阶 API、Tiling 生成、多核偏移计算0404_matmul_cube_onlyC A × B Bias纯 Cube纯 Cube 模式、Workspace 配置、AIC 核判断0505_matmul_leakyrelu矩阵乘 LeakyReLU 融合融合算子开发、结果留在 Local Memory 不回传0606_geluGELU 激活tanh 近似九步向量算子组合、TBuf 复用、adv API0707_swigluSwiGLU 激活LLaMA FFN双路 VECIN 输入、asc.adv.swiglu高阶 API0808_rmsnormRMSNorm 归一化asc.adv.rmsnorm高阶 API、整块/尾块 Tiling三、学习路径详解八个台阶一步步走稳台阶 101_add手动同步流水理解流水线本质 入门首选。示例把数据按block_length切给 8 个核每个核内再分 tile 并采用双缓冲每轮迭代手动插入 3 对同步事件MTE2_V搬入→计算、V_MTE3计算→搬出、MTE3_MTE2搬出→下一轮搬入完整演示了搬运与计算如何流水叠加。Kernel 主体仅几十行推荐逐行精读 examples/01_add/add.py。台阶 202_add_framework框架接管同步代码更简洁 ⚡同样实现 z x y但改用asc.TPipeasc.TQue管理内存与队列同步alloc_tensor→data_copy→enque搬入deque→asc.add→enque计算deque→data_copy搬出。对比 examples/02_add_framework/add_framework.py 与示例 01能直观体会手动同步 vs 框架自动同步的差异——这是 pyasc 日常开发更推荐的写法。台阶 303_matmul_mixMatmul 高阶 API 的 MIX 模式 进入矩阵计算领域。核心套路四步走asc.adv.Matmul创建对象 →asc.adv.register_matmul绑定 TPipe 与 workspace →set_tensor_a/set_tensor_b/set_tail配置矩阵 →matmul.iterate_all(c_global)一次完成全量矩阵乘。关键代码见 examples/03_matmul_mix/matmul_mix.py。MIX 模式下 AIC 负责 Cube 计算、AIV 负责 Vector 计算USE_CORE_NUM需设为 Vector 核数如 910B 设为 48实际启动 24 个 AIC-AIV 组合。Host 侧通过MultiCoreMatmulTiling生成分块参数是另一学习重点。台阶 404_matmul_cube_only纯 Cube 模式与 Workspace 配置 同样是 C A × B但通过matmul_cube_onlyTrue启用纯 Cube 模式只有 AIC 参与计算AIV 空闲。相比 MIX 模式的增量知识是asc.ascend_is_aic()核判断、set_bias偏置配置以及 M/N/K 三方向尾块处理set_tail(tail_m, tail_n, tiling.k_a)。适合想搞懂 Workspace 与 Cube 分块细节的进阶读者。台阶 505_matmul_leakyrelu融合算子性能优化第一课 计算公式 C LeakyReLU(A × B Bias, alpha)。核心技巧把矩阵 C 的输出位置设为TPosition.VECCALC让矩阵乘结果留在 Local Memory被 LeakyReLU 直接消费避免中间数据回传 Global Memory再配合matmul.iterate()逐块迭代与DataCopyParams分块写回。这是 Transformer 模型里算子融合思想的经典落地对理解 NPU 性能优化至关重要。台阶 606_gelu九步向量算子组合实现 GELU GELU 是 BERT/GPT 系列 Transformer 的常用激活函数。示例用 tanh 近似公式将mul → muls → add → adv.tanh → adds → muls等九步向量算子串联中间结果复用同一块 TBuf相邻依赖计算间插入asc.pipe_barrier(asc.PipeID.PIPE_V)同步。它完整展示了复杂激活函数 基础向量算子组合的实现范式见 examples/06_gelu/gelu.py。台阶 707_swiglu双路输入与高阶 API 的平衡之道 ⚖️SwiGLU 是 LLaMA 等现代大模型 FFN 层的标配激活。与 GELU 手动组合不同这里直接调用高阶 APIasc.adv.swiglu(y, up, gate)一行完成计算——gate 和 up 两路数据分别从同一块 Global Memory 的不同偏移搬入两个 VECIN 队列。该示例还附带 Ascend C 手写对标实现与 msprof 性能对比脚本examples/07_swiglu/bench_swiglu.py、examples/07_swiglu/profile_msprof.py实测 PyAsc 与手写 Ascend C 性能基本一致比值 0.979x~1.077x小数据量下快于 torch_npu。台阶 808_rmsnorm一行高阶 API 完成行归一化 RMSNorm 是 LLaMA 的标准归一化层公式为 x / √(mean(x²) ε) · γ。示例通过asc.adv.rmsnorm高阶 API 完成计算配合RmsNormTiling传递分块参数整块按 hidden_size 决定每批 2/4/8 行走asc.range()循环尾块单独处理gamma 权重经 TBuf 一次性加载并用set_flag/wait_flag显式同步。性能测试显示 PyAsc 全 shape 快于手写 Ascend C0.702x~0.921x源于 JIT 将参数特化为编译期常量。源码见 examples/08_rmsnorm/rmsnorm.py。四、两条命令跑通验证Model 仿真与 NPU 上板 ✅所有示例统一支持仿真器模式Model无需 NPU 硬件和上板模式NPU通用命令如下cd pyasc/examples/示例目录 python3 示例文件.py -r [RUN_MODE] -v [SOC_VERSION]RUN_MODEModel仿真或NPU上板SOC_VERSION处理器型号如Ascend910B1、Ascend910C例如新手最友好的第一条命令python3 examples/01_add/add.py -r Model -v Ascend910B1环境配置详见 docs/quick_start.md。五、新手避坑小贴士 先跑通再读码先用 Model 模式跑通验证输出run success再逐行读 Kernel 代码。核数要按平台改Matmul 示例的USE_CORE_NUM需按实际平台核数调整MIX 模式为 Vector 核数纯 Cube 模式为 Cube 核数。对比学习更高效01→02手动 vs 框架同步、03→04MIX vs 纯 Cube、06→07手动组合 vs 高阶 API三组对照阅读理解效率最高。进阶参考API 细节可查 docs/python-api/Python 语法支持范围见 docs/python_syntax_support.md。按 01 → 08 的顺序走完全程你就已经掌握了 NPU 算子开发的数据搬运、流水线同步、多核切分、融合优化四大核心能力——这正是 pyasc 示例库想要传递的完整知识体系。【免费下载链接】pyasc本项目为Python用户提供算子编程接口支持在昇腾AI处理器上加速计算接口与Ascend C一一对应并遵守Python原生语法。项目地址: https://gitcode.com/cann/pyasc创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考