news 2026/6/10 19:41:18

tensorflow 零基础吃透:SavedModel 与 RaggedTensor 的结合使用

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
tensorflow 零基础吃透:SavedModel 与 RaggedTensor 的结合使用

零基础吃透:SavedModel与RaggedTensor的结合使用

核心背景(先理清)

SavedModel是 TensorFlow 官方的模型序列化格式,能完整保存模型的「权重+计算图+签名」,支持跨平台部署(如TensorFlow Serving、TFLite)、离线复用;
RaggedTensor 与 SavedModel 兼容的核心规则:

  • TF 2.3+:通过「具体函数(Concrete Function)」原生支持 RaggedTensor,无需额外处理;
  • TF 2.3 前:需将 RaggedTensor 拆解为「values(元素值)+ row_splits(行分割点)」两个张量,再保存/加载。

下面结合你提供的两个核心示例(Keras模型、自定义tf.Module模型),逐行解析代码逻辑、原理和关键注意事项。

前置准备(确保代码可运行)

importtensorflowastfimporttempfile# 用于创建临时目录存储SavedModel

示例1:保存/加载支持RaggedTensor的Keras模型

步骤1:先重建之前的Keras模型(衔接上下文)

# 1. 定义数据(复用之前的句子分类任务)sentences=tf.constant(['What makes you think she is a witch?','She turned me into a newt.','A newt?','Well, I got better.'])is_question=tf.constant([True,False,True,False])# 2. 预处理:字符串→RaggedTensor(单词哈希编码)hash_buckets=1000words=tf.strings.split(sentences,' ')hashed_words=tf.strings.to_hash_bucket_fast(words,hash_buckets)# RaggedTensor# 3. 构建适配RaggedTensor的Keras模型(修正后版本,避免LSTM报错)keras_model=tf.keras.Sequential([tf.keras.layers.Input(shape=[None],dtype=tf.int64,ragged=True),# 声明Ragged输入tf.keras.layers.Embedding(hash_buckets,16),tf.keras.layers.LSTM(32,use_bias=False),tf.keras.layers.Dense(32),tf.keras.layers.Activation(tf.nn.relu),tf.keras.layers.Dense(1)])keras_model.compile(loss='binary_crossentropy',optimizer='rmsprop')keras_model.fit(hashed_words.to_tensor(default_value=0),is_question,epochs=1)# 补0后训练

步骤2:保存Keras模型(支持RaggedTensor输入)

# 创建临时目录(避免手动管理路径)keras_module_path=tempfile.mkdtemp()# 保存模型:自动将Keras模型转换为SavedModel格式,包含RaggedTensor的处理逻辑tf.saved_model.save(keras_model,keras_module_path)print(f"Keras模型已保存到:{keras_module_path}")

步骤3:加载SavedModel并调用(传入RaggedTensor)

# 加载保存的模型imported_model=tf.saved_model.load(keras_module_path)# 直接传入RaggedTensor(hashed_words),模型透明处理result=imported_model(hashed_words)print("\n加载后模型的预测结果:")print(result)

运行结果+关键解读

WARNING:absl:Function `_wrapped_model` contains input name(s) args_0 with unsupported characters which will be renamed to args_0_1 in the SavedModel. INFO:tensorflow:Assets written to: /tmp/xxx/assets <tf.Tensor: shape=(4, 1), dtype=float32, numpy= array([[0.05265009], [0.000567 ], [0.03915224], [0.0021234 ]], dtype=float32)>
  1. 警告含义(非错误)
    SavedModel对输入名称的字符有规范,自动将不兼容的名称(如args_0)重命名为args_0_1,不影响模型功能;
  2. 核心兼容逻辑
    Keras模型的Input层声明了ragged=True,保存为SavedModel时,TF会自动生成适配RaggedTensor的具体函数(Concrete Function),加载后可直接传入RaggedTensor;
  3. 结果一致性
    加载后模型的预测结果与原Keras模型完全一致,说明RaggedTensor的处理逻辑被完整保存。

示例2:保存/加载支持RaggedTensor的自定义tf.Module模型

自定义tf.Module是TF原生的模型封装方式(比Keras更灵活),但需手动构建具体函数(指定RaggedTensor的输入签名),否则SavedModel无法正确处理RaggedTensor。

步骤1:定义自定义tf.Module(含RaggedTensor运算)

classCustomModule(tf.Module):def__init__(self,variable_value):super(CustomModule,self).__init__()# 定义可训练变量(会被SavedModel保存)self.v=tf.Variable(variable_value,dtype=tf.float32)# 用@tf.function装饰:编译为计算图,支持RaggedTensor@tf.functiondefgrow(self,x):# 核心逻辑:RaggedTensor的每个元素 × 变量vreturnx*self.v# 实例化模块(变量v=100.0)module=CustomModule(100.0)

步骤2:预构建具体函数(关键!适配RaggedTensor)

# 必须先构建具体函数:指定输入为RaggedTensorSpec(二维、float32、可变长度)# 作用:让SavedModel记录RaggedTensor的输入签名,避免加载后调用报错concrete_func=module.grow.get_concrete_function(tf.RaggedTensorSpec(shape=[None,None],dtype=tf.float32))print("预构建的具体函数:",concrete_func)

步骤3:保存自定义模块

# 创建临时目录custom_module_path=tempfile.mkdtemp()# 保存模块:包含变量v、grow函数的计算图、RaggedTensor的输入签名tf.saved_model.save(module,custom_module_path)print(f"\n自定义模型已保存到:{custom_module_path}")

步骤4:加载并调用(传入RaggedTensor)

# 加载保存的模块imported_module=tf.saved_model.load(custom_module_path)# 传入RaggedTensor调用grow函数ragged_input=tf.ragged.constant([[1.0,4.0,3.0],[2.0]],dtype=tf.float32)result=imported_module.grow(ragged_input)print("\n自定义模型调用结果:")print(result)

运行结果+关键解读

INFO:tensorflow:Assets written to: /tmp/yyy/assets <tf.RaggedTensor [[100.0, 400.0, 300.0], [200.0]]>
  1. 为什么必须预构建具体函数?
    自定义tf.Module@tf.function函数默认是“动态跟踪”的,未指定输入签名时,SavedModel无法确定输入类型(密集张量/RaggedTensor);
    get_concrete_function+tf.RaggedTensorSpec预构建后,SavedModel会固化RaggedTensor的处理逻辑,加载后可直接调用。
  2. 运算逻辑验证
    RaggedTensor的每个元素 × 变量v(100.0),结果保留RaggedTensor结构:
    • [1.0,4.0,3.0] × 100 → [100.0,400.0,300.0]
    • [2.0] × 100 → [200.0]

关键注意事项(避坑核心)

1. 版本要求(重中之重)

  • TF 2.3+:具体函数原生支持RaggedTensor,无需额外处理;
  • TF 2.3 前:SavedModel的签名不支持RaggedTensor,需手动拆解RaggedTensor为两个张量:
    # 低版本兼容:拆解RaggedTensorrt=tf.ragged.constant([[1.0,2.0],[3.0]])rt_values=rt.values# 所有元素值:[1.0,2.0,3.0]rt_row_splits=rt.row_splits# 行分割点:[0,2,3]# 保存/加载时传递values+row_splits,加载后用tf.RaggedTensor.from_row_splits重构

2. 具体函数(Concrete Function)的必要性

  • Keras模型:TF自动为ragged=True的Input层生成具体函数,无需手动构建;
  • 自定义tf.Module:必须用get_concrete_function(tf.RaggedTensorSpec)预构建,否则加载后调用RaggedTensor会报错。

3. tf.RaggedTensorSpec的作用

  • 定义RaggedTensor的输入签名(形状、 dtype),让SavedModel明确输入约束;
  • 示例中shape=[None, None]表示二维RaggedTensor,两个维度长度均可变;
  • 若需固定某一维(如固定批次大小为32),可写shape=[32, None]

4. SavedModel的核心组成(了解即可)

保存后的SavedModel目录包含:

  • assets/:静态资源(如词汇表);
  • variables/:模型权重(如CustomModule的变量v);
  • saved_model.pb:计算图+签名(包含RaggedTensor的处理逻辑)。

核心总结(SavedModel + RaggedTensor)

模型类型保存关键步骤加载后调用方式
Keras模型Input层设置ragged=True,直接tf.saved_model.save直接传入RaggedTensor
自定义tf.Moduleget_concrete_function(tf.RaggedTensorSpec)预构建具体函数,再保存传入符合RaggedTensorSpec的RaggedTensor

核心原则

  1. SavedModel对RaggedTensor的支持依赖「具体函数(Concrete Function)」,需确保保存前生成适配RaggedTensor的具体函数;
  2. TF 2.3+是兼容的最低版本,低版本需拆解RaggedTensor为分量张量;
  3. Keras模型的兼容性更“傻瓜化”(自动处理),自定义tf.Module需手动指定输入签名。

这套方案是生产环境中部署“处理可变长度数据(文本、序列)”模型的标准流程,既保留RaggedTensor无冗余的优势,又能利用SavedModel实现模型的序列化和部署。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/6/10 15:52:21

Remmina远程桌面工具终极指南:一站式解决多协议远程连接需求

Remmina远程桌面工具终极指南&#xff1a;一站式解决多协议远程连接需求 【免费下载链接】Remmina Mirror of https://gitlab.com/Remmina/Remmina The GTK Remmina Remote Desktop Client 项目地址: https://gitcode.com/gh_mirrors/re/Remmina 在数字化工作环境中&…

作者头像 李华
网站建设 2026/6/10 13:39:12

CodeLlama 34B智能编程助手:从入门到精通完整指南

CodeLlama 34B智能编程助手&#xff1a;从入门到精通完整指南 【免费下载链接】CodeLlama-34b-Instruct-hf 项目地址: https://ai.gitcode.com/hf_mirrors/ai-gitcode/CodeLlama-34b-Instruct-hf CodeLlama-34b-Instruct-hf作为当前最先进的代码生成模型&#xff0c;为…

作者头像 李华
网站建设 2026/6/10 1:49:31

Spring Boot 自动配置原理深度解析与实战

一、引言&#xff1a;为什么需要自动配置&#xff1f;在传统 Spring 开发中&#xff0c;开发者需要手动编写大量 XML 配置文件或 Java 配置类&#xff0c;例如配置数据源、事务管理器、视图解析器等。以 Spring MVC 配置为例&#xff0c;至少需要定义DispatcherServlet、Compon…

作者头像 李华
网站建设 2026/6/9 18:12:18

Qwen-Edit多角度控制完整攻略:3步实现专业级视角变换

Qwen-Edit多角度控制完整攻略&#xff1a;3步实现专业级视角变换 【免费下载链接】Qwen-Edit-2509-Multiple-angles 项目地址: https://ai.gitcode.com/hf_mirrors/dx8152/Qwen-Edit-2509-Multiple-angles 你是否遇到过这样的困境&#xff1f;精心设计的图像因为角度单…

作者头像 李华
网站建设 2026/6/9 19:46:31

西门子1200系列PLC自动包装系统及其仿真控制系统设计

作者&#xff0c;西门子1200系列 PLC自动包装系统 自动包装仿真 控制系统设计 自动包装系统仿真 PLC博途仿真 提供:wincc HMI画面&#xff0c;IO分配表&#xff0c;PLC接线图&#xff0c; 基于博图V16编写&#xff0c;v16以上版本都以打开 一、引言 随着工业自动化技术的不断…

作者头像 李华