CANN/docs ACLNN缓存限制

ACLNN_CACHE_LIMIT【免费下载链接】docs该仓库用于维护cann公共文档项目地址: https://gitcode.com/cann/docs功能描述此环境变量用于配置aclnn API在Host侧缓存的算子信息条目个数。缓存的算子信息包含workspace大小、算子计算的执行器、Tiling信息等。单位个取值范围[0,10000000]默认值为10000。当取值为0时表示不开启算子信息缓存功能。一般不建议设置ACLNN_CACHE_LIMIT环境变量保持默认值即可。针对动态shape场景若算子的shape范围较大开发者可结合业务需求适当增加此环境变量取值以增加算子缓存条目从而提升调度性能。但需要注意增加算子信息缓存条目会增加Host内存开销具体请参见使用约束。配置示例export ACLNN_CACHE_LIMIT10000使用约束单算子的缓存按线程管理线程之间使用不同的缓存互不影响。ACLNN_CACHE_LIMIT配置的是每个线程的算子缓存条目个数。因此线程越多算子缓存条目越多。每个算子缓存条目大约占2KB左右的Host内存单算子cache的总内存占用大小为ACLNN_CACHE_LIMIT * 线程数 * 2KB。以10个线程ACLNN_CACHE_LIMIT100000为例这种情况下单算子cache的总内存占用为10*100000*2KB2GB。融合算子大kernel算子的缓存在进程级单独的内存池管理单条cache占约20KB左右的Host内存融合算子cache的总内存占用是ACLNN_CACHE_LIMIT * 20KB。使用者应结合Host的内存总大小、线程数以及每一个算子缓存条目的大小合理地设置ACLNN_CACHE_LIMIT设置过大可能导致Host内存占用过多造成调度性能下降。支持的型号Atlas 推理系列产品Atlas 训练系列产品Atlas A2 训练系列产品/Atlas A2 推理系列产品Atlas A3 训练系列产品/Atlas A3 推理系列产品Ascend 950PR/Ascend 950DT【免费下载链接】docs该仓库用于维护cann公共文档项目地址: https://gitcode.com/cann/docs创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考