Non-Stationary Transformers处理非平稳序列

Non-Stationary Transformers：让模型适应数据，而非改造数据

在金融交易大厅的实时监控屏上，某资产价格曲线突然剧烈波动；电网调度中心的大屏中，用电负荷在午后骤然攀升；电商平台的后台系统里，订单量随着一场直播带货冲破峰值——这些场景背后的时间序列数据都有一个共同特征：它们从不“安分”。

传统的预测模型喜欢平稳、规律的数据，但现实世界偏偏充满突变、趋势漂移和周期性扰动。当标准Transformer遇上这种非平稳序列时，往往表现乏力：注意力机制被异常值干扰，长期预测逐渐发散，节假日或突发事件下的误差成倍放大。于是，研究者开始反思一个根本问题：我们是否一直在强迫数据去适应模型？能不能反过来，让模型学会适应数据？

这正是Non-Stationary Transformers（NST）的出发点。它不是对Transformer的小修小补，而是一次范式转变——不再依赖差分、去趋势等预处理手段将数据“掰直”，而是构建能够直接理解动态变化的神经网络结构。配合TensorFlow这一工业级框架，NST得以从论文走向产线，在电力、金融、供应链等领域落地生根。

NST的核心思想其实很朴素：既然数据是非平稳的，那就别假装它是平稳的。传统做法是先用ARIMA那一套差分操作把趋势去掉，留下“干净”的残差再建模。可问题是，差分可能抹除重要信息，尤其是突变点附近的动态行为。更麻烦的是，反向还原时稍有不慎就会引入偏差。

Liu等人在2022年提出的NST选择另辟蹊径。它的架构设计处处体现对非平稳性的尊重：

• 它不做全局标准化，而是采用实例归一化（Instance Norm），确保每条时间序列独立处理，避免批统计量污染；
• 它不强求所有变量共享参数，转而推行通道独立建模，让销售额、温度、访问量这类量纲迥异的指标各自为政；
• 它甚至主动拆解输入信号，通过可学习模块分离出趋势成分与残差部分，只在相对稳定的残差上运行自注意力机制。

这套组合拳下来，模型既保留了原始数据的物理意义，又规避了非平稳性对注意力计算的冲击。你可以把它想象成一位经验丰富的分析师：面对一条陡增的销售曲线，他不会粗暴地把它拉平，而是先识别出“这是促销带来的短期跃升”，然后基于历史模式进行合理外推。

为了进一步增强对长期依赖的感知能力，NST还引入了频域视角。通过快速傅里叶变换（FFT），模型能捕捉到时域中难以察觉的隐含周期结构。比如，在电力负荷预测中，除了明显的日周期，还可能存在受天气影响的准周期波动。这类信息在纯时域建模中容易被忽略，但在频域表示下却清晰可见。这种“时频双路”策略，使得NST在超长序列预测任务中表现出更强的边界控制能力，误差累积更慢。

实际效果如何？在Electricity、Traffic等多个公开数据集上的实验表明，NST相较Informer平均降低MSE达15%-30%，尤其在趋势转折点附近更为稳健。更重要的是，它简化了整个建模流程——无需反复调试差分阶数，不必纠结去趋势方式，端到端训练即可获得高质量预测结果。

下面这段基于TensorFlow的实现展示了NST的关键组件：

import tensorflow as tf from tensorflow.keras import layers, Model class TrendExtractor(layers.Layer): def __init__(self, kernel_size=3, **kwargs): super(TrendExtractor, self).__init__(**kwargs) self.kernel_size = kernel_size self.avg_pool = layers.AveragePooling1D(pool_size=kernel_size, strides=1, padding='same') def call(self, x): trend = self.avg_pool(x) return trend class ChannelIndependentEncoder(layers.Layer): def __init__(self, d_model, num_heads, dropout_rate=0.1, **kwargs): super(ChannelIndependentEncoder, self).__init__(**kwargs) self.d_model = d_model self.num_heads = num_heads self.dropout_rate = dropout_rate self.in_norm = layers.LayerNormalization() self.trend_extractor = TrendExtractor() self.attn = layers.MultiHeadAttention(num_heads=num_heads, key_dim=d_model // num_heads) self.ffn = tf.keras.Sequential([ layers.Dense(d_model * 4, activation='gelu'), layers.Dropout(dropout_rate), layers.Dense(d_model) ]) self.dropout = layers.Dropout(dropout_rate) def call(self, x, training=None): res1 = x # 实例级别归一化，逐序列独立处理 x_norm = layers.Normalization(axis=-1)(x) trend = self.trend_extractor(x_norm) residual = x_norm - trend attn_output = self.attn(residual, residual) attn_output = self.dropout(attn_output, training=training) out1 = self.in_norm(res1 + attn_output) res2 = out1 ffn_output = self.ffn(out1) ffn_output = self.dropout(ffn_output, training=training) out2 = self.in_norm(res2 + ffn_output) return out2 class NonStationaryTransformer(Model): def __init__(self, input_dim, seq_len, pred_len, d_model=128, num_heads=8, num_layers=3, dropout_rate=0.1, **kwargs): super(NonStationaryTransformer, self).__init__(**kwargs) self.input_dim = input_dim self.seq_len = seq_len self.pred_len = pred_len self.d_model = d_model self.project_in = layers.Dense(d_model) self.encoders = [ ChannelIndependentEncoder(d_model, num_heads, dropout_rate) for _ in range(num_layers) ] self.project_out = layers.Dense(pred_len) self.flatten = layers.Flatten() self.final_proj = layers.Dense(pred_len * input_dim) self.reshape = layers.Reshape((pred_len, input_dim)) def call(self, x, training=None): x_proj = self.project_in(x) for encoder in self.encoders: x_proj = encoder(x_proj, training=training) x_pooled = tf.reduce_mean(x_proj, axis=1) flat_out = self.flatten(x_pooled) proj_flat = self.final_proj(flat_out) output = self.reshape(proj_flat) return output

这段代码有几个值得细品的设计细节：

• Normalization(axis=-1)实现了真正的实例归一化，每一维特征在单个样本内独立标准化，完美适配变长或分布漂移的序列；
• 趋势提取器使用滑动平均而非固定滤波器，其权重可通过训练微调，更具灵活性；
• 模型省略了解码器结构，直接通过全连接层映射到预测长度，显著提升推理效率，适合高频率在线服务场景。

当我们要将这样的模型投入生产，TensorFlow的价值就凸显出来了。它不只是一个训练工具，更是一个贯穿研发到部署的工程平台。

设想这样一个典型的企业预测系统：数据从Kafka流入，经Flink清洗后存入BigQuery，再由tf.data管道加载并预处理，最终送入NST模型进行推理。整个链路可以在Kubernetes集群中容器化运行，而模型服务则通过TensorFlow Serving暴露REST/gRPC接口，响应延迟稳定在百毫秒以内。

更关键的是分布式训练的支持。对于百万级时间序列的批量预测任务，单卡训练可能耗时数天。借助tf.distribute.MirroredStrategy，我们可以轻松实现多GPU同步训练，梯度聚合由框架自动完成：

strategy = tf.distribute.MirroredStrategy() with strategy.scope(): model = NonStationaryTransformer( input_dim=10, seq_len=168, pred_len=48, d_model=256, num_heads=8, num_layers=4 ) model.compile( optimizer=tf.keras.optimizers.Adam(learning_rate=1e-4), loss='huber', metrics=['mae'] ) train_ds = tf.data.Dataset.from_tensor_slices((x_train, y_train)) train_ds = train_ds.shuffle(1000).batch(512).prefetch(tf.data.AUTOTUNE) history = model.fit(train_ds, epochs=100, verbose=1) tf.saved_model.save(model, "./nst_model/")

这里的prefetch(AUTOTUNE)能有效隐藏I/O延迟，SavedModel格式则保证了跨环境兼容性——无论是在云端服务器、边缘设备还是移动端，都能以一致的方式加载和执行模型。

在真实业务中，NST解决了不少令人头疼的问题。例如，某零售企业每逢大促，销量曲线都会出现断崖式上升，传统模型总是反应迟钝。引入NST后，由于其内置的趋势跟踪机制，能够在趋势启动初期就捕捉到加速信号，提前调整库存策略。又如，在跨区域负荷预测中，不同城市的用电模式差异巨大，统一建模容易相互干扰。NST的通道独立设计恰好应对这一挑战，每个地区作为一个独立通道训练，最终整体性能反而优于集中式建模。

当然，应用过程中也有几点需要特别注意：

• 归一化方式的选择至关重要。Batch Norm在小批量或变长序列中表现不稳定，Layer Norm虽可用，但仍假设序列内部平稳。Instance Norm才是最佳匹配。
• 超长序列需谨慎处理。虽然NST结合稀疏注意力可将复杂度降至$O(N \log N)$，但内存占用仍是瓶颈。建议采用滑动窗口采样或下采样策略，必要时引入记忆压缩机制。
• 冷启动问题不可忽视。新上线的产品或区域缺乏历史数据，此时可考虑迁移学习，借用相似品类的编码器参数作为初始化。
• 更新频率要跟上系统演化速度。非平稳系统的本质就是持续变化，建议设置每周增量训练任务，或探索轻量级在线微调方案。

回过头看，NST的意义不仅在于技术指标的提升，更在于它代表了一种思维方式的转变：过去我们总想把数据变得“规整”，现在我们学会了尊重数据本来的样子。这种“模型适应数据”的理念，正在成为新一代AI系统的设计共识。

在金融风控中，它能更快识别异常交易模式；在智能制造中，它可以精准预测设备退化轨迹；在城市治理中，它有助于应对突发公共事件带来的需求激增。只要存在动态演化，就有NST的用武之地。

而TensorFlow这样的工业级框架，则为这一理念的落地提供了坚实支撑。从Keras的简洁API到XLA的底层优化，从TensorBoard的可视化调试到TF Serving的高性能服务，开发者得以专注于模型创新，而不必深陷工程泥潭。

未来，随着更多非平稳建模技术的涌现，我们或许会看到一个更加“接地气”的AI时代——不再追求理想条件下的极致精度，而是强调在混乱现实中保持稳健。NST只是一个开始，但它已经指明了方向：真正的智能，不是把世界强行纳入已有认知框架，而是学会在不确定性中从容前行。