1. LLM推荐系统的范式转变与挑战
近年来，大型语言模型(LLM)在推荐系统领域的应用正经历着从判别式范式到生成式范式的重大转变。传统推荐系统主要基于协同过滤或点击率预测等判别式方法，而LLM的引入使得系统能够以生成式的方式直接输出推荐结果。这种转变的核心在于将推荐问题重构为序列生成任务——模型根据用户历史交互记录，自回归地生成目标项目的语义标识符(Semantic IDs, SIDs)序列。
1.1 生成式推荐的核心机制
在典型的LLM生成式推荐流程中，每个项目被表示为固定长度的SID令牌序列（如<a_236><b_231><c_226>）。这些SID通常通过向量量化方法（如RQ-VAE）获得，并作为LLM词汇表之外的扩展令牌。整个流程包含三个关键阶段：
- 项目令牌化：将项目转换为SID序列
- 对齐微调(SFT)：使LLM理解这些新增的SID令牌
- 偏好学习：通过强化学习等方法进一步优化推荐质量
这种范式相比传统方法具有显著优势：能够更好地处理冷启动问题，利用LLM的世界知识增强项目理解，并通过序列生成的方式捕捉复杂的用户偏好模式。
1.2 现有方法的根本性挑战
然而，当前LLM生成式推荐在SID建模方面面临两个关键瓶颈：
语义缺失的初始化问题：现有方法通常随机初始化SID令牌的嵌入表示，导致这些令牌从一开始就与LLM的语义空间脱节。如图1(a)所示，随机初始化的SID表示远离LLM的语义空间（灰色点），使得后续对齐变得异常困难。
粗粒度的对齐策略：当前的对齐方法主要关注项目级别的优化（如将整个SID序列翻译为项目标题），而忽略了SID序列中单个令牌的细粒度语义。如图2所示，当询问LLM某个SID令牌（如<a_236>）的语义时，模型只能返回具体项目信息，而无法理解该令牌实际代表的更广泛类别或属性特征。
这两个问题严重限制了LLM对SID的理解深度，进而影响了推荐系统的最终性能。针对这些挑战，我们提出了TS-Rec框架，通过细粒度语义集成来增强LLM对SID的理解能力。
2. TS-Rec框架设计原理
TS-Rec的核心创新在于将细粒度语义信息系统地集成到LLM推荐系统的两个关键环节：SID初始化和对齐过程。框架包含两个相辅相成的组件：语义感知嵌入初始化(SA-Init)和令牌级语义对齐(TS-Align)。
2.1 语义感知嵌入初始化(SA-Init)
SA-Init组件旨在解决SID初始化的语义缺失问题。传统方法使用高斯分布随机初始化SID令牌嵌入，而SA-Init则通过以下步骤为每个SID令牌注入语义先验：
- 令牌特定项目聚类：对于每个唯一SID令牌s，收集所有包含该令牌的项目形成聚类Iₛ
- 语义提取：使用教师LLM（如DeepSeek）分析项目聚类Iₛ，生成描述Dₛ和关键词列表Wₛ
- 关键词聚合初始化：将关键词Wₛ通过LLM的tokenizer转换为子令牌序列Tₛ，然后对预训练嵌入矩阵E进行查找和均值池化，得到s的初始化嵌入eₛ
数学表达为：
eₛ = (1/|Tₛ|) * Σ(v∈Tₛ) E[v]这种方法确保SID令牌在训练开始前就具有语义基础，大幅降低了后续对齐的难度。如图1(c)所示，SA-Init初始化的SID直接位于LLM语义空间内，为后续优化提供了理想的起点。
2.2 令牌级语义对齐(TS-Align)
TS-Align组件则针对粗粒度对齐问题，通过在标准SFT目标基础上增加令牌级对齐任务，使LLM能够理解SID序列中每个令牌的独立语义。具体实现包括两种双向任务：
- 语义到令牌对齐：给定令牌描述Dₛ，让模型预测对应的SID令牌s
- 令牌到语义对齐：给定SID令牌s，让模型生成其描述Dₛ
这些任务与主推荐任务进行多任务联合优化，损失函数为：
L = L_SFT + λ*(L_理解 + L_生成)其中λ是平衡超参数，L_SFT是标准的序列生成损失。
通过这种细粒度对齐，TS-Rec使LLM不仅理解完整SID序列对应的项目，还能掌握每个SID令牌的独立语义。如图2右侧所示，模型可以准确回答关于单个令牌语义范围的问题，实现了真正的细粒度理解。
3. 实现细节与技术考量
3.1 项目令牌化流程
在实现TS-Rec时，项目令牌化是首要步骤。我们采用三级层次化编码结构，具体流程如下：
- 文本编码：将项目标题和描述拼接，使用Qwen3-Embedding-4B编码器生成d维嵌入x∈R^d
- 残差量化：
- 初始化残差矩阵R^(1)=[x₁,...,x_N]^T
- 对每层l∈{1,2,3}：
- 运行K-means获取码本C^(l)={c_k^(l)}，k=1..256
- 为每个项目分配最近中心索引s_i^(l)
- 计算残差R^(l+1)=R^(l)-c_(s_i^(l))^(l)
- SID序列生成：每个项目最终表示为{s^(1),s^(2),s^(3)}三元组
这种层次化编码能有效捕捉项目的层级语义特征，同时控制词汇表大小。为避免冲突，我们对最后一级SID令牌进行随机重分配。
3.2 模型架构与训练
我们基于Qwen2.5-1.5B模型实现TS-Rec，关键训练配置包括：
- 优化器：AdamW，学习率3e-4
- 批量大小：1024
- 训练周期：3个epoch
- 硬件：8×NVIDIA H20 96GB GPU
- 早停策略：验证集loss连续3次不下降时停止
训练过程中，我们观察到SA-Init能显著加速收敛。如图4所示，使用SA-Init3（三层全初始化）的方案在100步内就能达到随机初始化方案需完整训练才能达到的性能水平。
3.3 实际部署考量
在实际推荐系统部署TS-Rec时，有几个重要注意事项：
- 冷启动处理：对于新项目，可先通过其文本描述生成近似SID，再利用用户反馈进行迭代优化
- 语义漂移监测：定期检查SID令牌的语义一致性，防止在RL阶段出现语义偏离
- 多模态扩展：当前仅使用文本信息，未来可整合图像等模态进一步丰富SID语义
- 计算成本平衡：SA-Init增加了预处理成本，但大幅减少了训练时间，整体性价比优异
4. 实验评估与结果分析
我们在Amazon Industrial和Office两个真实数据集上评估TS-Rec，对比了传统推荐模型(GRU4Rec、Caser、SASRec)和生成式推荐基线(TIGER、HSTU、LC-Rec)。
4.1 整体性能比较(RQ1)
表2结果显示，TS-Rec在两个数据集上均取得最优性能：
- Industrial数据集：HR@5达到0.1153（相对提升7.17%），NDCG@5达到0.0930
- Office数据集：HR@5达到0.1307（相对提升4.27%），NDCG@5达到0.1100
特别值得注意的是，TS-Rec在更注重排序质量的NDCG指标上优势更为明显，说明其生成结果不仅准确，排序合理性也更优。
4.2 消融实验(RQ2)
表3的消融研究验证了各组件贡献：
- 移除SA-Init：Industrial上HR@5下降1.9%，Office上下降8.33%
- 移除TS-Align：Industrial上HR@5下降3.64%，Office上下降0.53%
- 同时移除两者：性能下降最为显著
图4进一步展示了不同SA-Init深度的影响，证实三层全初始化(SA-Init3)效果最佳，说明深层语义注入的重要性。
4.3 与强化学习的整合(RQ3)
将TS-Rec作为MiniOneRec的SFT骨干后（称为MiniOneRec*），在Industrial数据集上观察到：
- NDCG@3提升15.68%（从0.0860到0.0995）
- HR@5提升11.63%（从0.1160到0.1295）
这表明TS-Rec提供的优质语义基础能使后续RL训练更高效，验证了其作为策略先验的价值。
4.4 SID理解能力测试(RQ4)
图5的生成式检索任务结果显示：
- Title2SID任务：Industrial上准确率从0.3834提升到0.8469（+120.97%）
- SID2Title任务：Office上准确率从0.1547提升到0.3356（+116.79%）
这些结果强有力地证明了TS-Rec对SID的细粒度理解能力，为其在语义搜索等场景的应用奠定了基础。
5. 扩展应用与未来方向
TS-Rec的细粒度语义集成思想可扩展到多个相关领域：
- 跨域推荐：通过共享底层SID语义空间，实现知识迁移
- 可解释推荐：利用令牌级语义生成更细粒度的推荐理由
- 交互式推荐：支持基于自然语言的SID语义修改和引导
- 多模态推荐：将视觉等特征纳入SID生成过程
未来工作可探索：
- 动态SID编码机制，适应项目语义演变
- 结合扩散模型生成更丰富的SID变体
- 开发更高效的令牌级对齐目标函数
- 研究SID语义与用户画像的联合建模
在实际业务场景中应用TS-Rec时，建议从相对稳定的垂直领域（如电子产品、图书等）开始，逐步扩展到更复杂的场景。同时要注意监控SID语义的稳定性，建立定期校准机制。
