news 2026/4/27 4:45:45

DDTree 深度解析:从 Block Diffusion 到 Diffusion Draft Tree

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
DDTree 深度解析:从 Block Diffusion 到 Diffusion Draft Tree

论文:Accelerating Speculative Decoding with Block Diffusion Draft Trees
作者:Liran Ringel, Yaniv Romano (Technion)
arXiv: 2604.12989 (2026.4.14)
代码:https://github.com/liranringel/ddtree


一、问题意识:DFlash 的"浪费"

DFlash 用 block diffusion 一次前向传播生成整个 token block 的 marginal distributions,但只验证单条轨迹。这意味着:

  • 每个位置 i 的分布 qi 包含大量信息
  • 但 DFlash 只采样一条路径,其余概率质量被丢弃
  • 如果能利用这些 per-position distributions 探索多条候选路径,可能大幅提升接受率

核心挑战:如何在固定计算预算(node budget B)下,从 per-position marginals 中选择最有价值的候选路径集合?


二、核心贡献:DDTree 三步走

2.1 数学框架

设定

  • 当前上下文 c,bonus token b(
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/27 4:40:41

PR曲线绘制超简单

💓 博客主页:瑕疵的CSDN主页 📝 Gitee主页:瑕疵的gitee主页 ⏩ 文章专栏:《热点资讯》 PR曲线绘制超简单:从入门到自动化实战指南 目录 PR曲线绘制超简单:从入门到自动化实战指南 引言&#xff…

作者头像 李华
网站建设 2026/4/27 4:35:35

Python实现进化策略算法:原理与优化实践

1. 进化策略算法核心思想解析进化策略(Evolution Strategies, ES)作为一类基于种群的优化算法,其核心思想源于生物进化中的自然选择机制。与传统遗传算法不同,ES更强调参数向量的直接进化而非基因编码的交叉变异。在Python中实现这类算法,我们…

作者头像 李华
网站建设 2026/4/27 4:34:59

树莓派智能小车PiCar-X 2.0开发指南

1. SunFounder PiCar-X 2.0开箱与硬件解析 作为一名长期从事智能硬件开发的工程师,当我第一次拿到SunFounder PiCar-X 2.0套件时,最吸引我的是它完整的模块化设计。这个基于树莓派3/4的人工智能小车,完美融合了机器人技术、计算机视觉和编程…

作者头像 李华
网站建设 2026/4/27 4:33:57

循环优化设计

一、循环优化说明 1.循环在高层次综合设计中是广泛被应用的,得到全面的综合支持; 2.循环优化包括pipeline流水优化 3.循环优化包括all unroll展开 4.循环优化包括partitial unrool展开 5.循环优化包括loop_flatten扁平化 6.循环优化包括loop_merge合并设…

作者头像 李华
网站建设 2026/4/27 4:32:25

ESP32-S3开发板对比与IoT应用解析

1. Unexpected Maker ESP32-S3系列开发板深度解析作为一名长期从事嵌入式开发的工程师,我最近测试了Unexpected Maker推出的三款ESP32-S3开发板——TinyS3、FeatherS3和ProS3。这些板卡在保持原有S2系列外形尺寸的同时,性能得到了显著提升。最让我印象深…

作者头像 李华