[LG]《CollabEval: Statistically Efficient Collaborative Model Evaluation via Matrix Completion》A Fisch, D Deutsch, J Maynez, A Agarwal… [Google DeepMind] (2026)

在生成式 AI 评估领域，频繁且大规模的基准测试是一个极度耗费资源的难题。过去的方法受困于高昂的计算成本（推理）和标注成本（人工/大模型评测），本质原因是现有的评估协议将每个模型视作独立个体，完全忽略了不同模型在相同任务上表现出的高度相关性，导致了严重的统计冗余。

本文的核心洞见是：把模型评估重新看作一个协同过滤任务，即填充一个“模型×提示词”的得分矩阵。由此，利用矩阵分解补全缺失得分，并将其作为控制变量引入“跨预测增强推理（Cross-PPI）”框架，这一关键操作使评估者能在仅标注极小比例样本的情况下，通过历史模型数据消除预测偏差，获得无偏的性能估计。

这项工作真正留下的遗产是证明了历史评估数据可以转化为当前评估的统计效力，最高可缩减 30% 的置信区间宽度。它为后来者打开的新门是低成本、高频次的模型持续监控与回归测试，但尚未跨过的门槛是当新模型表现出完全不同于历史锚点模型的独特认知偏差时，矩阵补全的预测精度与增益上限将受到限制。

arxiv.org/abs/2607.05046 机器学习 人工智能 论文 AI创造营