【信息科学与工程学】计算科学与自动化-第八篇 人工智能05 长上下文大语言模型核心算法

编号：A1

类型：注意力机制

函数名称：attention_forward

函数的子函数列表和互相调用的函数：

• 子函数1: compute_qkv（计算Q、K、V）

• 子函数2: apply_rotary_pos_emb（应用旋转位置编码，与A3关联）

• 子函数3: attention_scores（计算注意力分数）

• 子函数4: attention_weights（计算注意力权重，使用softmax）

• 子函数5: context_layer（计算上下文向量）

  函数中的算法逐步推理思考的数学方程式：

  1. 输入：查询Q，键K，值V，维度为(batch, seq_len, num_heads, head_dim)

  2. 计算注意力分数：S = Q * K^T / sqrt(d_k)

  3. 注意力权重：A = softmax(S, dim=-1)

  4. 输出：O = A * V

     时序数学方程式：无

     参数列表：

• Q: 形状为(batch, seq_len, num_heads, head_dim)的张量

• K: 同Q

• V: 同Q

• mask: 可选，用于屏蔽无效位置

  算