aclmdlConfigAttr【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/getypedef enum { ACL_MDL_PRIORITY_INT32 0, ACL_MDL_LOAD_TYPE_SIZET, ACL_MDL_PATH_PTR, ACL_MDL_MEM_ADDR_PTR, ACL_MDL_MEM_SIZET, ACL_MDL_WEIGHT_ADDR_PTR, ACL_MDL_WEIGHT_SIZET, ACL_MDL_WORKSPACE_ADDR_PTR, ACL_MDL_WORKSPACE_SIZET, ACL_MDL_INPUTQ_NUM_SIZET, ACL_MDL_INPUTQ_ADDR_PTR, ACL_MDL_OUTPUTQ_NUM_SIZET, ACL_MDL_OUTPUTQ_ADDR_PTR, ACL_MDL_WORKSPACE_MEM_OPTIMIZE, ACL_MDL_WEIGHT_PATH_PTR, ACL_MDL_MODEL_DESC_PTR, ACL_MDL_MODEL_DESC_SIZET, ACL_MDL_KERNEL_PTR, ACL_MDL_KERNEL_SIZET, ACL_MDL_KERNEL_ARGS_PTR, ACL_MDL_KERNEL_ARGS_SIZET, ACL_MDL_STATIC_TASK_PTR, ACL_MDL_STATIC_TASK_SIZET, ACL_MDL_DYNAMIC_TASK_PTR, ACL_MDL_DYNAMIC_TASK_SIZET, ACL_MDL_MEM_MALLOC_POLICY_SIZET, ACL_MDL_FIFO_PTR, ACL_MDL_FIFO_SIZET, } aclmdlConfigAttr;表 1模型加载选项配置选项取值说明ACL_MDL_PRIORITY_INT32模型执行的优先级可选项。该选项对应的值为int32类型。数字越小优先级越高取值[0,7]默认值为0。ACL_MDL_LOAD_TYPE_SIZET模型加载方式必选项。该选项对应的值为size_t类型。ACL_MDL_LOAD_TYPE_SIZET表示模型加载方式的取值如下ACL_MDL_LOAD_FROM_FILE#define ACL_MDL_LOAD_FROM_FILE 1ACL_MDL_LOAD_FROM_FILE_WITH_MEM#define ACL_MDL_LOAD_FROM_FILE_WITH_MEM 2ACL_MDL_LOAD_FROM_MEM#define ACL_MDL_LOAD_FROM_MEM 3ACL_MDL_LOAD_FROM_MEM_WITH_MEM#define ACL_MDL_LOAD_FROM_MEM_WITH_MEM 4ACL_MDL_LOAD_FROM_FILE_WITH_Q#define ACL_MDL_LOAD_FROM_FILE_WITH_Q 5ACL_MDL_LOAD_FROM_MEM_WITH_Q#define ACL_MDL_LOAD_FROM_MEM_WITH_Q 6注意如果将ACL_MDL_LOAD_TYPE_SIZET设置为ACL_MDL_LOAD_FROM_MEM表示从内存加载模型数据还支持使用ACL_MDL_WEIGHT_PATH_PTR选项指定权重文件目录。ACL_MDL_PATH_PTR离线模型文件路径的指针如果选择从文件加载模型则该选项必选。ACL_MDL_MEM_ADDR_PTR模型在内存中的起始地址如果选择从内存加载模型则该选项必选。ACL_MDL_MEM_SIZET模型在内存中的大小如果选择从内存加载模型则该选项必选与ACL_MDL_MEM_ADDR_PTR选项配合使用。该选项对应的值为size_t类型。ACL_MDL_WEIGHT_ADDR_PTRDevice上模型权值内存存放权值数据的指针如果需要由用户管理权值内存则该选项必选。若不配置该选项则表示由系统管理内存。ACL_MDL_WEIGHT_SIZET权值内存大小单位为Byte如果需要由用户管理权值内存则该选项必选与ACL_MDL_WEIGHT_ADDR_PTR选项配合使用。该选项对应的值为size_t类型。ACL_MDL_WORKSPACE_ADDR_PTRDevice上模型所需工作内存存放模型执行过程中的临时数据的指针如果需要由用户管理工作内存则该选项必选。若不配置该选项则表示由系统管理内存。ACL_MDL_WORKSPACE_SIZET模型所需工作内存的大小单位为Byte如果需要由用户管理工作内存则该选项必选与ACL_MDL_WORKSPACE_ADDR_PTR选项配合使用。该选项对应的值为size_t类型。ACL_MDL_INPUTQ_NUM_SIZET模型输入队列大小 ,带队列加载模型时该选项必选与ACL_MDL_INPUTQ_ADDR_PTR选项配合使用。该选项对应的值为size_t类型。ACL_MDL_INPUTQ_ADDR_PTR模型输入队列ID的指针带队列加载模型时该选项必选一个模型输入对应一个队列ID。ACL_MDL_OUTPUTQ_NUM_SIZET模型输出队列大小带队列加载模型时该选项必选与ACL_MDL_OUTPUTQ_ADDR_PTR选项配合使用。该选项对应的值为size_t类型。ACL_MDL_OUTPUTQ_ADDR_PTR模型输出队列ID的指针带队列加载模型时该选项必选一个模型输出对应一个队列ID。ACL_MDL_WORKSPACE_MEM_OPTIMIZE是否开启模型工作内存优化功能1开启0不开启。若关注内存规划或内存资源有限时建议选择由系统管理内存的方式加载模型并开启工作内存优化功能此时工作内存中不包含存放模型输入、输出数据的内存工作内存大小会减小达到节省内存的目的。在模型执行前还需要由用户申请存放模型输入、输出数据的内存因此即使在模型加载时开启工作内存优化功能也不会影响后续的模型执行。ACL_MDL_WEIGHT_PATH_PTR权重文件所在目录的指针。对om模型文件大小有限制的场景下通过本参数可实现权重文件外置功能。如果将ACL_MDL_LOAD_TYPE_SIZET设置为ACL_MDL_LOAD_FROM_MEM表示从内存加载模型数据则支持使用ACL_MDL_WEIGHT_PATH_PTR指定权重文件目录。一般对om模型文件大小有限制或模型文件加密的场景下需单独加载权重文件因此需在构建模型时将权重保存在单独的文件中。例如在使用ATC工具生成om文件时将--external_weight参数设置为11表示将原始网络中的Const/Constant节点的权重保存在单独的文件中。注意事项如下通过ACL_MDL_WEIGHT_PATH_PTR配置权重文件所在目录的指针后在模型加载过程中图引擎Graph Engine简称GE将自行申请一块Device内存读取外置权重文件并将外置权重数据拷贝至该Device内存中模型卸载时会释放该内存。若已调用aclmdlSetExternalWeightAddress接口配置存放外置权重的Device内存由用户自行管理Device内存则无需配置ACL_MDL_WEIGHT_PATH_PTR若针对同一个模型既配置了ACL_MDL_WEIGHT_PATH_PTR也调用了aclmdlSetExternalWeightAddress接口则aclmdlSetExternalWeightAddress接口的优先级更高。ACL_MDL_MODEL_DESC_PTR存放模型描述信息的内存指针。当前版本不支持该配置。ACL_MDL_MODEL_DESC_SIZET存放模型描述信息所需的内存大小单位Byte。该选项对应的值为size_t类型。可提前调用aclmdlQueryExeOMDesc接口获取存放模型描述信息所需的内存大小且本选项需与ACL_MDL_MODEL_DESC_PTR选项配合使用。当前版本不支持该配置。ACL_MDL_KERNEL_PTR存放TBE算子kernel算子的*.o与*.json的内存指针。当前版本不支持该配置。ACL_MDL_KERNEL_SIZET存放TBE算子kernel算子的*.o与*.json所需的内存大小单位Byte。该选项对应的值为size_t类型。可提前调用aclmdlQueryExeOMDesc接口获取存放TBE算子kernel算子的*.o与*.json所需的内存大小且本选项需与ACL_MDL_KERNEL_PTR选项配合使用。当前版本不支持该配置。ACL_MDL_KERNEL_ARGS_PTR存放TBE算子kernel参数的内存指针。当前版本不支持该配置。ACL_MDL_KERNEL_ARGS_SIZET存放TBE算子kernel参数所需的内存大小单位Byte。该选项对应的值为size_t类型。可提前调用aclmdlQueryExeOMDesc接口获取存放TBE算子kernel参数所需的内存大小且本选项需与ACL_MDL_KERNEL_ARGS_PTR选项配合使用。当前版本不支持该配置。ACL_MDL_STATIC_TASK_PTR存放静态shape任务描述信息的内存指针。当前版本不支持该配置。ACL_MDL_STATIC_TASK_SIZET存放静态shape任务描述信息所需的内存大小单位Byte。该选项对应的值为size_t类型。可提前调用aclmdlQueryExeOMDesc接口获取存放静态shape任务描述信息所需的内存大小且本选项需与ACL_MDL_STATIC_TASK_PTR选项配合使用。当前版本不支持该配置。ACL_MDL_DYNAMIC_TASK_PTR存放动态shape任务描述信息的内存指针。当前版本不支持该配置。ACL_MDL_DYNAMIC_TASK_SIZET存放动态shape任务描述信息所需的内存大小单位Byte。该选项对应的值为size_t类型。可提前调用aclmdlQueryExeOMDesc接口获取存放动态shape任务描述信息所需的内存大小且本选项需与ACL_MDL_DYNAMIC_TASK_PTR选项配合使用。当前版本不支持该配置。ACL_MDL_MEM_MALLOC_POLICY_SIZET内存分配规则该选项对应的值为size_t类型。当前版本不支持该配置。ACL_MDL_FIFO_PTR模型级别全局内存的起始地址。此处是指Device上的内存。当前版本不支持该配置。ACL_MDL_FIFO_SIZET模型级别全局内存的大小该选项对应的值为size_t类型。当前版本不支持该配置。关于如何获取om文件请参见《ATC离线模型编译工具用户指南》【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 CANN/GE模型加载配置属性
aclmdlConfigAttr【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/getypedef enum { ACL_MDL_PRIORITY_INT32 0, ACL_MDL_LOAD_TYPE_SIZET, ACL_MDL_PATH_PTR, ACL_MDL_MEM_ADDR_PTR, ACL_MDL_MEM_SIZET, ACL_MDL_WEIGHT_ADDR_PTR, ACL_MDL_WEIGHT_SIZET, ACL_MDL_WORKSPACE_ADDR_PTR, ACL_MDL_WORKSPACE_SIZET, ACL_MDL_INPUTQ_NUM_SIZET, ACL_MDL_INPUTQ_ADDR_PTR, ACL_MDL_OUTPUTQ_NUM_SIZET, ACL_MDL_OUTPUTQ_ADDR_PTR, ACL_MDL_WORKSPACE_MEM_OPTIMIZE, ACL_MDL_WEIGHT_PATH_PTR, ACL_MDL_MODEL_DESC_PTR, ACL_MDL_MODEL_DESC_SIZET, ACL_MDL_KERNEL_PTR, ACL_MDL_KERNEL_SIZET, ACL_MDL_KERNEL_ARGS_PTR, ACL_MDL_KERNEL_ARGS_SIZET, ACL_MDL_STATIC_TASK_PTR, ACL_MDL_STATIC_TASK_SIZET, ACL_MDL_DYNAMIC_TASK_PTR, ACL_MDL_DYNAMIC_TASK_SIZET, ACL_MDL_MEM_MALLOC_POLICY_SIZET, ACL_MDL_FIFO_PTR, ACL_MDL_FIFO_SIZET, } aclmdlConfigAttr;表 1模型加载选项配置选项取值说明ACL_MDL_PRIORITY_INT32模型执行的优先级可选项。该选项对应的值为int32类型。数字越小优先级越高取值[0,7]默认值为0。ACL_MDL_LOAD_TYPE_SIZET模型加载方式必选项。该选项对应的值为size_t类型。ACL_MDL_LOAD_TYPE_SIZET表示模型加载方式的取值如下ACL_MDL_LOAD_FROM_FILE#define ACL_MDL_LOAD_FROM_FILE 1ACL_MDL_LOAD_FROM_FILE_WITH_MEM#define ACL_MDL_LOAD_FROM_FILE_WITH_MEM 2ACL_MDL_LOAD_FROM_MEM#define ACL_MDL_LOAD_FROM_MEM 3ACL_MDL_LOAD_FROM_MEM_WITH_MEM#define ACL_MDL_LOAD_FROM_MEM_WITH_MEM 4ACL_MDL_LOAD_FROM_FILE_WITH_Q#define ACL_MDL_LOAD_FROM_FILE_WITH_Q 5ACL_MDL_LOAD_FROM_MEM_WITH_Q#define ACL_MDL_LOAD_FROM_MEM_WITH_Q 6注意如果将ACL_MDL_LOAD_TYPE_SIZET设置为ACL_MDL_LOAD_FROM_MEM表示从内存加载模型数据还支持使用ACL_MDL_WEIGHT_PATH_PTR选项指定权重文件目录。ACL_MDL_PATH_PTR离线模型文件路径的指针如果选择从文件加载模型则该选项必选。ACL_MDL_MEM_ADDR_PTR模型在内存中的起始地址如果选择从内存加载模型则该选项必选。ACL_MDL_MEM_SIZET模型在内存中的大小如果选择从内存加载模型则该选项必选与ACL_MDL_MEM_ADDR_PTR选项配合使用。该选项对应的值为size_t类型。ACL_MDL_WEIGHT_ADDR_PTRDevice上模型权值内存存放权值数据的指针如果需要由用户管理权值内存则该选项必选。若不配置该选项则表示由系统管理内存。ACL_MDL_WEIGHT_SIZET权值内存大小单位为Byte如果需要由用户管理权值内存则该选项必选与ACL_MDL_WEIGHT_ADDR_PTR选项配合使用。该选项对应的值为size_t类型。ACL_MDL_WORKSPACE_ADDR_PTRDevice上模型所需工作内存存放模型执行过程中的临时数据的指针如果需要由用户管理工作内存则该选项必选。若不配置该选项则表示由系统管理内存。ACL_MDL_WORKSPACE_SIZET模型所需工作内存的大小单位为Byte如果需要由用户管理工作内存则该选项必选与ACL_MDL_WORKSPACE_ADDR_PTR选项配合使用。该选项对应的值为size_t类型。ACL_MDL_INPUTQ_NUM_SIZET模型输入队列大小 ,带队列加载模型时该选项必选与ACL_MDL_INPUTQ_ADDR_PTR选项配合使用。该选项对应的值为size_t类型。ACL_MDL_INPUTQ_ADDR_PTR模型输入队列ID的指针带队列加载模型时该选项必选一个模型输入对应一个队列ID。ACL_MDL_OUTPUTQ_NUM_SIZET模型输出队列大小带队列加载模型时该选项必选与ACL_MDL_OUTPUTQ_ADDR_PTR选项配合使用。该选项对应的值为size_t类型。ACL_MDL_OUTPUTQ_ADDR_PTR模型输出队列ID的指针带队列加载模型时该选项必选一个模型输出对应一个队列ID。ACL_MDL_WORKSPACE_MEM_OPTIMIZE是否开启模型工作内存优化功能1开启0不开启。若关注内存规划或内存资源有限时建议选择由系统管理内存的方式加载模型并开启工作内存优化功能此时工作内存中不包含存放模型输入、输出数据的内存工作内存大小会减小达到节省内存的目的。在模型执行前还需要由用户申请存放模型输入、输出数据的内存因此即使在模型加载时开启工作内存优化功能也不会影响后续的模型执行。ACL_MDL_WEIGHT_PATH_PTR权重文件所在目录的指针。对om模型文件大小有限制的场景下通过本参数可实现权重文件外置功能。如果将ACL_MDL_LOAD_TYPE_SIZET设置为ACL_MDL_LOAD_FROM_MEM表示从内存加载模型数据则支持使用ACL_MDL_WEIGHT_PATH_PTR指定权重文件目录。一般对om模型文件大小有限制或模型文件加密的场景下需单独加载权重文件因此需在构建模型时将权重保存在单独的文件中。例如在使用ATC工具生成om文件时将--external_weight参数设置为11表示将原始网络中的Const/Constant节点的权重保存在单独的文件中。注意事项如下通过ACL_MDL_WEIGHT_PATH_PTR配置权重文件所在目录的指针后在模型加载过程中图引擎Graph Engine简称GE将自行申请一块Device内存读取外置权重文件并将外置权重数据拷贝至该Device内存中模型卸载时会释放该内存。若已调用aclmdlSetExternalWeightAddress接口配置存放外置权重的Device内存由用户自行管理Device内存则无需配置ACL_MDL_WEIGHT_PATH_PTR若针对同一个模型既配置了ACL_MDL_WEIGHT_PATH_PTR也调用了aclmdlSetExternalWeightAddress接口则aclmdlSetExternalWeightAddress接口的优先级更高。ACL_MDL_MODEL_DESC_PTR存放模型描述信息的内存指针。当前版本不支持该配置。ACL_MDL_MODEL_DESC_SIZET存放模型描述信息所需的内存大小单位Byte。该选项对应的值为size_t类型。可提前调用aclmdlQueryExeOMDesc接口获取存放模型描述信息所需的内存大小且本选项需与ACL_MDL_MODEL_DESC_PTR选项配合使用。当前版本不支持该配置。ACL_MDL_KERNEL_PTR存放TBE算子kernel算子的*.o与*.json的内存指针。当前版本不支持该配置。ACL_MDL_KERNEL_SIZET存放TBE算子kernel算子的*.o与*.json所需的内存大小单位Byte。该选项对应的值为size_t类型。可提前调用aclmdlQueryExeOMDesc接口获取存放TBE算子kernel算子的*.o与*.json所需的内存大小且本选项需与ACL_MDL_KERNEL_PTR选项配合使用。当前版本不支持该配置。ACL_MDL_KERNEL_ARGS_PTR存放TBE算子kernel参数的内存指针。当前版本不支持该配置。ACL_MDL_KERNEL_ARGS_SIZET存放TBE算子kernel参数所需的内存大小单位Byte。该选项对应的值为size_t类型。可提前调用aclmdlQueryExeOMDesc接口获取存放TBE算子kernel参数所需的内存大小且本选项需与ACL_MDL_KERNEL_ARGS_PTR选项配合使用。当前版本不支持该配置。ACL_MDL_STATIC_TASK_PTR存放静态shape任务描述信息的内存指针。当前版本不支持该配置。ACL_MDL_STATIC_TASK_SIZET存放静态shape任务描述信息所需的内存大小单位Byte。该选项对应的值为size_t类型。可提前调用aclmdlQueryExeOMDesc接口获取存放静态shape任务描述信息所需的内存大小且本选项需与ACL_MDL_STATIC_TASK_PTR选项配合使用。当前版本不支持该配置。ACL_MDL_DYNAMIC_TASK_PTR存放动态shape任务描述信息的内存指针。当前版本不支持该配置。ACL_MDL_DYNAMIC_TASK_SIZET存放动态shape任务描述信息所需的内存大小单位Byte。该选项对应的值为size_t类型。可提前调用aclmdlQueryExeOMDesc接口获取存放动态shape任务描述信息所需的内存大小且本选项需与ACL_MDL_DYNAMIC_TASK_PTR选项配合使用。当前版本不支持该配置。ACL_MDL_MEM_MALLOC_POLICY_SIZET内存分配规则该选项对应的值为size_t类型。当前版本不支持该配置。ACL_MDL_FIFO_PTR模型级别全局内存的起始地址。此处是指Device上的内存。当前版本不支持该配置。ACL_MDL_FIFO_SIZET模型级别全局内存的大小该选项对应的值为size_t类型。当前版本不支持该配置。关于如何获取om文件请参见《ATC离线模型编译工具用户指南》【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考