昇腾AI模型压缩工具(AMCT)保存压缩重训练模型

save_compressed_retrain_model

【免费下载链接】amctAMCT是CANN提供的昇腾AI处理器亲和的模型压缩工具仓。项目地址: https://gitcode.com/cann/amct

产品支持情况

注：特性中标记“x”的产品，调用接口不会报错，但是获取不到性能收益。

功能说明

静态组合压缩接口，根据用户最终的重训练好的模型，生成最终静态组合压缩精度仿真模型以及部署模型。

函数原型

save_compressed_retrain_model(model, record_file, save_path, input_data, input_names=None, output_names=None, dynamic_axes=None)

参数说明

返回值说明

无

约束说明

若模型只做了稀疏（没有做量化），则通过该接口生成的两个文件为直接使用PyTorch导出的onnx文件，文件内容一致，文件名称分别包括deploy和fake_quant关键字。

调用示例

import amct_pytorch as amct # 建立待压缩的网络图结构 model = build_model() # create compressed model #训练retrain模型，训练量化因子 train(compressed_retrain_model) infer(compressed_retrain_model) input_data = tuple([torch.randn(input_shape)]) save_path = os.path.join(OUTPUTS_DIR, 'custom_name') record_file = os.path.join(TMP, 'compressed_record.txt') #插入保存组合压缩模型的API，转换成ONNX文件 amct.save_compressed_retrain_model( compressed_retrain_model, record_file, save_path, input_data, input_names=['input'], output_names=['output'], dynamic_axes={'input':{0:'batch_size'}, 'output':{0:'batch_size'}})

落盘文件说明：

• 精度仿真模型文件：ONNX格式的模型文件，模型名中包含fake_quant，可以在ONNX Runtime环境进行精度仿真。

• 部署模型文件：ONNX格式的模型文件，模型名中包含deploy，经过ATC转换工具转换后可部署到AI处理器。

• （可选）*.external文件，包括*deploy.external和*fakequant.external：

  只有保存的精度仿真模型以及部署模型文件大小>=2GB才会生成该类文件，且与压缩后的*.onnx模型文件生成在同级目录，用于保存Tensor中的数据，每个Tensor数据单独保存一份*.external文件，文件名与Tensor相同，例如_conv1.weight__deploy.external和_conv1.weight__fakequant.external。

  后续通过ATC工具加载压缩后的*.onnx部署模型文件进行模型转换时，会自动读取同级目录下*.external文件中的Tensor数据。

重新执行静态组合压缩时，该接口输出的上述文件将会被覆盖。

【免费下载链接】amctAMCT是CANN提供的昇腾AI处理器亲和的模型压缩工具仓。项目地址: https://gitcode.com/cann/amct