[CL]《MOPD: Multi-Teacher On-Policy Distillation for Capability Integration in LLM Post-Training》W Ma, J Wei, L Zhao, H Zhang… [Xiaomi & Peking University] (2026)

在大规模语言模型（LLM）的后训练阶段，将数学、编程等多种专业能力集成到单一模型中仍是一个零损耗难题。过去的方法如 Mix-RL 或级联 RL 常受困于领域间的信号干扰或灾难性遗忘，本质原因是难以在统一的参数空间内平衡差异巨大的优化目标。

本文的核心洞见是：将能力融合从权重空间的暴力合并转向策略空间的在线蒸馏。通过将学生模型自主生成的采样路径路由至对应的领域专家教师，利用高密度的逐 Token 概率分布取代稀疏的奖励信号，使模型在消除分布偏移的同时实现了认知的精准对齐。

这项工作真正留下的遗产是提供了一套可并行开发的工业级能力集成范式。它证明了在线蒸馏能让模型继承专家教师 90% 以上的性能，为复杂能力的模块化解耦打开了新门，但尚未跨过的门槛是该方法极度依赖同源教师的分布一致性，异源教师仍会导致优化失稳。

arxiv.org/abs/2606.30406 机器学习 人工智能 论文 AI创造营