FastMTP: Accelerating LLM Inference with Enhanced Multi-Token Prediction

Meta Data

发表时间：2025-09-16
作者：Yuxuan Cai, Xiaozhuan Liang, Xinghua Wang, Jin Ma, Haijin Liang, Jinwen Luo, Xinyu Zuo, Lisheng Duan, Yuyang Yin, Xi Chen（腾讯）
论文链接：https://arxiv.org/pdf/2509.18362.pdf
arXiv 页面：https://arxiv.org/abs/2509.18362
项目链接：https://github.com/Tencent-BAC/FastMTP

FastMTP：通过增强多词元预测加速大语言模型推理

摘要

随着大语言模型（Large Language Models, LLMs）变得日益强大，自回归生成的顺序特性造成了限制实际部署的根本性吞吐瓶颈。尽管多词元预测（Multi-Token Prediction, MTP）已在模型训练效率与性能方面展现出显著收益，但其在推理加速方面的固有潜力仍大多未被充分探索。本文提出 FastMTP，一种简单而有效的方法：通过将 MTP 训练与其推理模式对齐，提升多步草稿质量，从而显著增强推测解码性能。我们的方法在自蒸馏数据上对单一、位置共享权重的 MTP 头进行微调，使其能够捕获连续未来词元之间的依赖关系，并在多个递归草稿步上保持高接受率。通过将语言感知动态词表压缩集成到 MTP 头中，我们进一步降低了草稿生成过程中的计算开销。在七个多样化基准上的实验结果表明，FastMTP 相对标准下一词元预测平均实现 $2.03\times$ 加速，且输出质量无损，相对 vanilla MTP 提升 82%。FastMTP 仅需轻量训练，并可无缝集成到现有推理框架中，为加速 LLM 推理提供了一种实用且可快速部署的方案。

引言

大语言模型（LLMs）已在自主智能体、代码生成与复杂推理任务等多种应用中展现出卓越能力。然而，其实用部署面临一个根本性效率瓶颈：词元生成的自回归本质。当前 LLM 按顺序生成文本，每次前向传播仅产生一个词元，这意味着整体生成时间随序列长度线性增长。这对需要大量生成的场景尤为棘手，例如最先进的大型推理模型：它们通过在给出最终答案前生成扩展的、类似人类的思维链（Chain-of-Thoughts, CoTs），在解决复杂与逻辑密集任务上取得突破性进展。尽管这些模型展现出强大推理能力，但即使对简单样本也常常产出过长的推理链，不可避免地引入大量计算开销。因此，迫切需要有效的加速手段。

近期研究探索了多种加速 LLM 推理的策略，包括高效注意力机制与模型压缩以降低计算开销。另一些工作则关注减少 CoT 冗余，包括带长度惩罚的强化学习，以及对可变长度 CoT 数据的监督微调。在这些方法中，推测解码已成为一种有前景的技术：它在不损害输出保真度的前提下提升解码效率。其核心思想是使用一个更小的模型（称为草稿模型）预测若干后续词元，再由目标 LLM 并行验证，从而实现每次前向传播的多词元生成。

多词元预测（MTP）模块及其辅助训练最初旨在改进训练，却也为通过推测解码实现推理加速提供了自然机会。MTP 通过训练语言模型同时预测多个未来词元，扩展了传统的下一词元预测范式。该方法鼓励模型提前规划，并利用更丰富的监督信号。在此基础上，DeepSeek-V3 以级联 MTP 模块的序列化实现改进了 MTP 架构，保留完整因果链以维持自回归性质。

尽管 MTP 在训练改进方面的采用日益增多，其在推理加速方面的潜力仍大多未被利用。当前实现要么在推理时完全丢弃 MTP 模块，退回标准下一词元预测；要么仅保留第一个 MTP 模块用于多词元预测。推理中的这种未充分利用可能源于现有 MTP 实现中的两个根本挑战。第一，序列化 MTP 架构需要通过多个 MTP 模块进行级联前向传播，每个模块维护独立权重与键值缓存，带来显著内存开销。此外，尽管许多推理框架现已支持使用单一草稿模型的推测解码，MTP 的设计却需要加载并编排多个草稿模型——每个预测步一个 MTP 模块——从而要求复杂调度，严重损害计算效率。这或许可以解释为何使用多层 MTP 训练的模型在开源时往往只提供单一模块用于推理。第二，试图通过递归复用单一 MTP 模块来规避这一复杂性时，在第一个额外词元之后的接受率较差，因为该模块并未被显式训练用于递归多步预测模式，因而对扩展草稿生成效果不佳。

本文提出 FastMTP，一种增强的多词元预测框架，使 MTP 模块在推理时更有效、更高效、更易部署。我们的方法在所有预测步上对单一共享权重的 MTP 头进行微调，使其在保持因果性的同时执行多词元生成。这使模型能够捕获连续未来词元之间的依赖，从而在初始草稿位置之后获得更高接受率，并确保与 EAGLE 风格推测解码兼容，从而可无缝集成到 SGLang 等现有推理框架。受 FR-Spec 启发，我们集成语言感知动态词表压缩，进一步降低草稿生成的计算成本，同时对多样化任务与语言上的接受率影响可忽略。

我们的主要贡献如下：

我们通过在自蒸馏数据上微调，使单一 MTP 头能够进行有效的递归多步草稿生成，相对 vanilla MTP 复用策略，显著将平均接受率从第一草稿词元的 70% 提升到 81%，第二草稿词元从 11% 提升到 56%，第三词元从 2% 提升到 36%，从而释放其用于推理加速的全部潜力。
我们为 MTP 头采用语言感知动态词表压缩，根据输入上下文降低草稿阶段计算开销。在草稿生成三个额外词元时，它进一步将平均输出吞吐提升约 16%。
我们在 7 个基准上进行了大量实验，在 7B 模型上展示平均 $2.03\times$ 加速且生成质量无损，显著优于 vanilla MTP 复用策略（ $1.21\times$ ）。

方法

本节详细描述 FastMTP 的实现，其专门增强 MTP，以便在 LLM 推理中进行更有效、更高效的推测解码。图 1 展示了其训练与推理流水线。

图 1：FastMTP 训练与推理策略示意图。训练阶段（左）：灰色块表示冻结的主模型模块，橙色块表示权重共享的可训练 MTP 头，蓝色块展示带顺序位置偏移的输入与标签序列。推理阶段（右）：主模型预测下一词元（绿色），再送入 MTP 头递归生成草稿词元（粉色）并并行验证。紫色块表示频率排序（FR）语言感知动态词表压缩，用于加速草稿生成。
图 1

共享 MTP 头的训练

架构设计

FastMTP 采用与 DeepSeek-V3 相同的 MTP 架构。关键区别在于我们在所有预测步使用单一、权重共享的 MTP 头，而非对每个预测深度使用多个独立模块的传统做法。这种共享权重设计不仅降低内存占用，更重要的是迫使模型捕获连续未来词元之间的依赖，以实现因果多词元预测。

训练机制

设 $\mathcal{F}$ 表示主模型的 transformer 层， $\mathcal{M}$ 表示 MTP 头。考虑处理序列中位置 $i$ 的词元。输入词元 $t_{1:i}$ 首先通过嵌入层与 transformer 层 $\mathcal{F}$ 产生隐藏状态 $h_{1:i}$ 。为预测 $K$ 个额外未来词元，MTP 头 $\mathcal{M}$ 递归运行：

在步 $k=1$ ： $\mathcal{M}$ 取自 $\mathcal{F}$ 的隐藏状态 $h_{i}$ ，以及偏移词元 $t_{i+1}$ （偏移 1 个位置）的嵌入，以预测词元 $\hat{t}^{1}_{i+2}$ 。
在步 $k\gt 1$ ： $\mathcal{M}$ 处理其在步 $k-1$ 产生的自身输出隐藏状态 $h^{k-1}_{i+k-1}$ ，并结合偏移词元 $t_{i+k}$ （偏移 $k$ 个位置）的嵌入，以预测词元 $\hat{t}^{k}_{i+k+1}$ 。

训练期间，该过程应用于序列中所有有效位置。对长度为 $T$ 的训练序列，位置 $i$ 的范围为 $1$ 到 $T-K$ ，以确保在 $K$ 个预测步偏移后所有索引仍有效。

训练目标

我们使用带指数衰减的加权交叉熵损失优化 MTP 头，以处理更远词元预测：

\mathcal{L}_{mtp}=\sum_{k=1}^{K}\alpha_{k}\cdot\mathcal{L}_{mtp}^{k}=\sum_{k=1}^{K}\alpha_{k}\cdot\operatorname{CE}\,(\hat{t}^{k}_{1+k\,:\,T+1},\,t_{1+k\,:\,T+1})

其中 $\mathcal{L}_{mtp}^{k}$ 表示第 $k$ 个预测步的损失， $\operatorname{CE}(\cdot,\cdot)$ 表示预测与真值词元之间的交叉熵损失。位置相关权重 $\alpha_{k}$ 遵循指数衰减：

\alpha_{k}=\frac{\beta^{k-1}}{\sum_{j=1}^{K}\beta^{j-1}}

其中 $\beta$ 是衰减因子。该加权策略考虑了预测不确定性随每一步额外预测而累积——更远词元依赖更多中间决策，因此逐步更难预测。指数衰减确保模型优先近程预测，同时仍发展对若干连续未来词元的生成能力。

仅微调 MTP 头 $\mathcal{M}$ ，而所有主模型组件保持冻结，更新参数少于 3%，既保证计算效率，也保留基座模型能力。

MTP 草稿中的语言感知词表空间压缩

为加速草稿阶段，我们将基于频率的词表压缩与 MTP 结合，降低 MTP 输出头的计算开销。遵循 FR-Spec 中的分析，一小部分词元占出现次数的绝大多数，而其余词元频率极稀疏——呈现一致的长尾模式。这一观察促使我们在草稿生成时将 MTP 头的输出空间限制为高频词元。

由于原始词表压缩方法主要在英语语料上分析词元分布，其压缩词表对中文词元表示不佳，我们发现这会严重限制中文下游任务性能。为克服这一点，我们计算语言特定频率统计，并根据生成上下文动态调整高频词表，确保不同语言的高频词元在压缩词表空间中得到充分表示。这种语言感知压缩在保持计算效率的同时，对英文与中文生成都维持高草稿接受率。

设 $\mathcal{V}$ 表示语言模型的完整词表。对每种语言 $l$ ，我们定义 $\mathcal{V}_{high}^{(l)}\subset\mathcal{V}$ 为该语言特定的高频词元子集，通过语料级统计识别。草稿生成期间，MTP 头根据当前上下文动态选择合适词表。换言之，若主模型输出头为 $\mathbf{W}\in\mathbb{R}^{|\mathcal{V}|\times d}$ ，我们提取语言特定子矩阵：

\tilde{\mathbf{W}}^{(l)}[i,:]=\mathbf{W}[\mathcal{V}_{high}^{(l)}[i],\,:],\quad i=1,...,|\mathcal{V}_{high}^{(l)}|

其中语言 $l$ 由输入上下文决定，从而实现针对语言特定高频模式的聚焦压缩。有了提取的 $\tilde{\mathbf{W}}^{(l)}$ ，MTP 头仅对 $\mathcal{V}_{high}^{(l)}$ 中的词元计算输出 logits，而非完整词表，从而在降低计算成本的同时维持不同语言上的高接受率。注意词表压缩技术仅限于草稿阶段；验证阶段保留完整词表空间，保证无损生成质量。

EAGLE 风格 MTP 推理

推理过程与训练不同：使用先前步骤自回归生成的词元，而非 teacher forcing。给定输入词元序列 $t_{1:i}$ ，推理经过两个阶段：草稿生成与并行验证。

草稿阶段

在草稿生成阶段，输入首先通过主模型产生下一词元 $\hat{t}_{i+1}$ ，作为第一个已验证词元。随后 MTP 头 $\mathcal{M}$ 按 EAGLE 方法自回归生成 $K$ 个草稿词元：

在初始草稿步 $k=1$ ： $\mathcal{M}$ 取自 transformer 层 $\mathcal{F}$ 的最后隐藏状态，以及拼接序列 $[t_{2:i};\hat{t}_{i+1}]$ 的嵌入，其中新预测词元被追加到前移一步的输入序列。这产生第一个草稿词元 $\hat{t}_{i+2}$ 。
在后续草稿步 $k\gt 1$ ： $\mathcal{M}$ 自回归运行，处理其在步 $k-1$ 的自身输出隐藏状态 $\hat{h}_{i+k}$ ，并结合先前草稿词元 $\hat{t}_{i+k}$ 的嵌入。

经过 $K$ 个递归步后，我们得到完整草稿序列 $\hat{t}_{i+2:i+K+1}$ 。

验证阶段

主模型随后并行处理所有草稿词元，同时计算位置 $i+2$ 到 $i+K+1$ 的 logits。我们采用标准推测解码接受准则决定接受的草稿词元数量：词元按序被接受，直到第一个草稿词元与主模型本会采样的词元不同的位置。通过不采用近似策略的并行验证，这确保输出分布与原模型保持一致，这一点已被理论证明；同时通过每次前向传播接受多个词元实现加速。

训练数据

我们采用自蒸馏方法进行训练数据生成，由主模型自身生成所有训练响应。受先前工作启发，该策略确保 MTP 头与主模型分布自然对齐，从而在推测解码中带来更高接受率与更有效的草稿生成。

具体而言，我们从跨多个领域与语言的指令微调数据集中收集多样化提示。对每个原始样本 $(x_{n},y_{n})$ （其中 $x_{n}$ 是提示， $y_{n}$ 是源数据集中的对应响应），我们使用主模型生成新响应 $\tilde{y}_{n}$ 。得到的自蒸馏数据集 $\{(x_{n},\tilde{y}_{n})\}$ 捕获主模型的语义特征、生成模式与偏好。在该自蒸馏数据上训练 MTP 头，确保其学习生成与主模型行为一致的草稿词元，而非试图模仿可能具有不同分布的外部来源响应。

我们的最终训练语料包含 389.4K 条中英文样本，覆盖通用知识、数学推理与编程任务。详细领域分布以及数据集整理与过滤流程见附录 A。

实验

实验设置

模型配置

FastMTP 基于预训练的 MiMo-7B-RL 检查点实现：这是一个稠密 7B 参数模型，具有 36 个解码器层、单层 MTP 模块，以及 152K 词表大小（基于 Qwen2 tokenizer）。我们采用计算高效策略：冻结主模型（包括 transformer 层、嵌入层与输出头），仅微调 MTP 头的 210.8M 参数，占总参数 7,833.4M 的不到 3%。

训练细节

MTP 头在 389.4K 条自蒸馏样本上训练 3 个 epoch（数据集细节见附录 A）。训练采用余弦学习率调度，峰值学习率为 $5\times 10^{-5}$ ，warmup 比例为 0.05。AdamW 优化器参数设为 $(\beta_{1},\beta_{2})=(0.9,\,0.95)$ ，全局 batch size 为 64。对 MTP 特定超参数，我们使用损失权重衰减因子 $\beta=0.6$ 与预测深度 $K=3$ 。训练使用 ms-swift 框架完成。整个训练过程在单台 H20 服务器上不到 1 天完成，展示了低训练成本。

评估方法

我们在改编自 Spec-Bench 的七个任务上评估 FastMTP：用于多轮对话的 MT-Bench、用于编程的 LiveCodeBench-v6、用于数学推理的 MATH-500、用于 RAG 与问答的 Natural Questions、用于摘要的 CNN/Daily Mail，以及用于中文知识评估的 C-Eval。这些评估基准的细节见附录 B。所有评估采用严格的推测解码接受准则，确保生成质量无下降。所有实验使用 SGLang 推理框架，采用单 batch 推理、贪心解码（temperature 0），并在所有任务上将最大生成长度设为 1024 词元。

指标

我们使用四个广泛采用的评估指标：（1）平均接受长度 $\tau$ ：主模型每次前向传播平均接受的词元数。（2）接受率：验证期间被接受的草稿词元百分比。（3）平均输出吞吐：平均每秒输出词元数（token/s）。（4）加速比：相对基线（标准自回归解码）的相对加速。

硬件设置

我们在 NVIDIA A10 GPU（24GB）上进行主要实验，这是生产环境中广泛部署的加速器。

需要注意，推测解码在理论上保持主模型的输出分布。由于我们采用严格接受准则且不进行任何放松，输出与标准自回归解码相同，因此无需单独评估生成质量。

主要结果

我们评估三种主要配置：（1）标准自回归解码（基线）；（2）未经微调的原始 MTP 检查点（vanilla MTP）；（3）所提出的 FastMTP。为分析各组件贡献，我们进一步评估 FastMTP 变体：

Fixed-data FT：使用原始数据源中的提示与响应进行微调。
Self-data FT：使用由主模型生成的自蒸馏响应。
Self-data FT + FR：额外引入语言感知词表压缩。

我们在不同草稿深度 $K\in\{0,1,2,3\}$ 上评估性能，其中 $K=0$ 表示无草稿的标准自回归解码， $K=3$ 表示三次递归 MTP 前向传播并生成三个额外草稿词元。

表 1：MiMo-RL-7B 使用不同方法预测 K 个草稿词元时的平均接受长度与解码速度（token/s）。任务包括多轮对话（MT.）、编程（Code）、数学推理（Math）、检索增强生成（RAG）、问答（QA）、摘要（Summ.）与中文知识（ZH.）。
表 1

表 1 与图 2 展示了 FastMTP 在七个多样化任务上的全面加速性能评估。带自蒸馏与词表压缩的 FastMTP（Self-data FT + FR）在所有基准上取得最优性能，在 $K=3$ 时相对标准自回归解码平均实现 $2.03\times$ 加速。性能收益随任务领域变化，反映其不同的生成特性。数学推理表现出最高加速与平均接受长度（词表压缩前在 $K=3$ 时 $\tau=3.16$ ），证明 MTP 头在捕获结构化推理模式方面的有效性。编程任务表现次优，受益于普遍的固定模板与重复编程结构。问答等通用 NLP 任务改进相对较小（ $1.84\times$ – $2.07\times$ ），可能因其更高的语言多样性与更难预测的词元依赖。图 2 可视化的这种任务特定差异确认：FastMTP 在多样化生成场景中保持一致的加速收益。

图 2：不同方法在各子任务上的加速比较，在单张 A10 GPU 上评估。
图 2

进一步分析

我们的进一步分析探索 FastMTP 设计与性能的两个关键方面：

（1）最优草稿长度：实现最大加速的最优 MTP 草稿步数是多少？换言之，单一 MTP 头在保持高接受率的同时能够学习的有效预测距离是多少？

（2）词表压缩权衡：何种程度的词表压缩能在计算效率与接受率之间取得最优平衡？该权衡如何随不同领域与语言变化？

最优草稿长度

为确定最优草稿步数，我们训练了一个能够预测最多 7 个额外词元的 MTP 头，并应用第 2.1 节所述相同的指数衰减损失加权策略。随后我们评估不同草稿步 $K$ 下的解码速度与接受长度。

从图 3 可见，FastMTP 在 $K=3$ 达到峰值加速，达到 140 token/s；而 vanilla MTP 检查点更早在 $K=2$ 达到峰值，且输出吞吐更低。对接受长度而言，带自蒸馏微调的 FastMTP 随 $K$ 增加从 1.0 持续增长到 3.2，表明我们的训练策略成功使模型学会多步预测。相比之下，vanilla MTP 从 $K=2$ 起接受长度几乎平坦地维持在约 1.8，表明在第一位置之后预测质量较差。

图 3：在单张 A100 上，不同 MTP 草稿词元数量下的解码速度与接受长度。
图 3

尽管接受长度单调增加，解码速度在 $K=3$ 达到峰值后逐渐下降。更长草稿序列会提高平均接受长度，但也会带来额外计算开销。超过 $K=3$ 后，接受长度的边际收益无法补偿生成更长草稿的增长计算开销，因为更远词元逐步更难准确预测，从而降低整体效率。因此，FastMTP 在草稿长度 $\mathbf{K=3}$ 时实现最大加速：此时通过训练获得的接受长度提升最优地超过递归草稿的计算开销。

词表压缩权衡

为研究词表压缩对性能的影响，我们评估了四种词表大小： $|\mathcal{V}_{high}|=\{8\text{k},16\text{k},32\text{k},64\text{k}\}$ ，并与完整 152k 词表比较。我们选择两个代表性基准：用于中文知识问答的 C-Eval，以及用于英文多轮对话的 MT-Bench。这一选择有助于我们在多样化语言上下文中分析语言特定压缩效果。

词表频率模式被观察到高度依赖语言，印证了 FR-Spec 的上下文相关加速范式。原始实现使用来自 SlimPajama-627B（以英语为主的语料）的词元统计，由于频率分布不匹配，在真实世界中文任务上接受率低、性能差。为解决这一限制，我们为每个目标领域构建语言特定压缩词表。对中文任务，我们选择 Chinese-DeepSeek-R1-Distill-110k-SFT 数据集——它包含从强大的 DeepSeek-R1 模型蒸馏得到的高质量数学推理与多样化中文指令跟随样例——以识别中文生成模式特有的高频词元。推理期间，FastMTP 根据输入上下文动态切换到合适的压缩词表。

表 2 展示了不同词表配置下的平均接受长度、解码速度与加速比。结果表明，即使激进词表压缩也仅带来接受长度的最小退化，同时带来可观加速收益。值得注意的是，最优压缩比随语言变化。对 MT-Bench，32k 词表配置达到峰值性能，加速 $2.028\times$ ，相对完整词表仅牺牲 0.068 个接受长度词元。这与先前以英语为中心压缩工作的发现一致。相比之下，C-Eval 在更激进的 16k 词表上达到最优性能，加速 $1.990\times$ ，接受长度下降甚至更小，仅为 0.026 个词元。这表明中文文本生成可能呈现更集中的词元使用模式，因而从词表压缩策略中收益更大。总之，最优词表大小因语言而异——中文 16k、英文 32k——揭示了不同的词元分布模式。

表 2：不同 FR-Spec 配置。
表 2

消融实验

我们进行全面消融实验，以验证 FastMTP 中各组件的贡献，并分析训练后每个草稿位置的接受率。

设计选择的影响

为量化设计选择的各自贡献，我们相对 vanilla MTP 基线评估三种配置：固定数据微调、自蒸馏数据微调，以及带词表压缩的完整 FastMTP。如表 1 所示，FastMTP 实现 $2.03\times$ 加速，相对 vanilla MTP（ $1.21\times$ ）提升 82%，相对固定数据微调（ $1.67\times$ ）提升 36%，相对无词表压缩的自蒸馏数据微调（ $1.81\times$ ）提升 22%。这些增量改进验证了各组件的有效性：微调共享权重 MTP 头使推理时多词元草稿更准确、更快；自蒸馏实现草稿与主模型之间更好的分布对齐以获得更高接受长度；词表压缩降低计算开销以提升输出吞吐，同时对接受率影响最小。

接受率分析

图 4(a) 进一步展示微调在实现有效多词元草稿中的关键作用。Vanilla MTP 在第一草稿步之后表现严重退化：接受率从 $k=1$ 时约 70% 急剧下降到 $k=2$ 时仅约 10%，并在 $k=3$ 接近零。这种崩溃暴露了将 vanilla MTP 检查点部署用于推测解码中递归多词元预测的固有局限——它仅被训练用于单步超前预测，因而在应用于更深草稿位置时难以维持高接受率。相比之下，我们微调后的 MTP 在所有草稿步上达到显著更高的接受率：平均在 $k=1$ 为 80%， $k=2$ 为 56%， $k=3$ 为 36%。数学推理收益最高，即使在 $k=3$ 仍保持超过 50% 的接受率，而 vanilla MTP 仅约 3%。在全部七个评估任务上的一致优势验证：使用自蒸馏数据微调有效使 MTP 头具备捕获连续未来词元依赖的能力，而这正是有效多步预测所必需的。图 4(b) 展示训练损失曲线。损失在训练早期阶段（约 0.5 个 epoch）急剧下降，随后缓慢但稳定地改进直至收敛。如预期，预测随词元位置增加而更不准确，更深位置不可避免地显示更高损失，进一步说明更远词元逐步更难准确预测。

图 4：(a) 自蒸馏数据集微调 MTP 相对 vanilla MTP 在不同草稿步上的接受率提升。(b) 不同草稿步上 MTP 的训练损失。
图 4

结论

本文提出 FastMTP，作为对大语言模型推理中推测解码场景下 vanilla 多词元预测的改进。FastMTP 引入两项关键实现。第一，我们通过自蒸馏训练单一共享权重的 MTP 头，消除对多个独立 MTP 模块的需求，同时提升多步预测能力。第二，我们采用语言感知词表压缩以降低草稿生成期间的计算成本。实验结果表明所提方法的优越性：在一系列场景中，草稿词元质量与整体输出加速均可得到提升。

附录 A：训练数据集细节

我们从多种数据源收集用于 MTP 头微调的数据集。为确保分布对齐，我们采用自蒸馏，使所有响应均由主模型自身生成。对从源数据集提取的每个提示 $x_{n}$ ，我们使用主模型生成对应响应 $\tilde{y}_{n}$ ，生成配置为：temperature 0.6、top-k 20、top-p 0.95、最大长度 4096 词元。整个数据蒸馏过程使用 SGLang 推理框架完成。

蒸馏后，我们应用去重、数据清洗与混合策略以整理高质量词元：

去重：我们在单个数据源内部以及整个数据集范围内执行全局 MinHash 去重，以移除近重复样本。
数据清洗：我们开发启发式规则过滤低质量样本。启发式示例包括：（1）推理链不完整或被截断的样本；（2）包含过多重复内容的样本；（3）落在期望长度范围之外的样本。
数据混合：我们的最终数据集包含四个主要类别，并经仔细平衡比例：约 42% 的词元对应通用知识与任务，18% 对应数学与推理内容，13% 对应代码，27% 对应中文文本，最终得到 389.4K 条高质量训练样例。

附录 B：评估基准细节

我们在七个多样化任务上评估 FastMTP，以确保全面覆盖真实世界应用：多轮对话、代码生成、数学推理、检索增强生成（RAG）、问答、摘要与中文知识评估。改编自 Spec-Bench 评估框架，我们仔细选择代表不同生成模式与挑战的基准。为确保公平评估，我们从每个任务随机采样 80 个实例（C-Eval 为 102 个），并避免可能在 MTP 训练期间暴露的基准。

我们的基准套件包括：

MT-Bench：一系列开放式问题，评估聊天机器人的多轮对话与指令跟随能力。MT-bench 也被仔细构造以基于核心能力（如推理与数学）区分聊天机器人。
LiveCodeBench-v6：对 LLM 代码能力的全面且无污染评估，随时间从三个竞赛平台（LeetCode、AtCoder 与 CodeForces）收集新问题。我们选择该数据集的第六版，包含 2023 年 5 月至 2025 年 4 月间发布的 1055 道题目。
MATH-500：包含 500 道挑战性数学问题的数据集，用于测试高级数学推理与解题技能。它包括代数、微积分、几何与数论等领域问题，主要面向高中与本科早期水平。
Natural Questions：大规模问答数据集，包含真实用户查询以及来自 Wikipedia 文档的高质量标注。我们在两个子任务中使用该基准：问答与检索增强生成（RAG）。
CNN/Daily Mail：英语数据集，包含 CNN 与 Daily Mail 记者撰写的逾 30 万篇独特新闻文章，每篇配有 3–4 条总结文章内容的要点。该基准评估模型在保留关键信息的同时对新闻文章生成抽取式与抽象式摘要的能力。
C-Eval：全面的中文评估套件，用于评估基础模型在中文语境下的高级知识与推理能力。C-Eval 包含四个难度级别的选择题：初中、高中、大学与专业。问题覆盖 52 个多样化学科，从人文到科学与工程。