[CV]《Gen4U: Unifying Video Generation and Understanding via Diffusion》M King, A Mahendran, M K Grimes, F Kitashov… [Google DeepMind] (2026)

在视频表征学习领域，如何同时兼顾底层几何细节与高层语义逻辑是一个悬而未决的难题。过去的方法如对比学习（CLIP）或掩码建模（MAE）往往顾此失彼，本质原因是学界普遍认为生成式扩散模型仅能捕捉像素纹理，在处理复杂语义任务时存在天然短板。

本文的核心洞见是：把视频扩散模型重新看作一个分层演化的物理世界模拟器。由此，研究者锁定了模型内部 60% 噪声水平与 75% 网络深度这一“语义瓶颈”位置，通过单次前向传播提取特征。这一操作使冻结的生成模型无需迭代去噪，即可在动作识别和深度估计等对立任务中同时达到顶尖水平。

这项工作真正留下的遗产是证明了大规模生成训练足以驱动完整的感知系统，抹平了视频生成与理解之间的鸿沟。它为后来者打开的新门是构建“创作-分析”一体化的通用视频底座，但尚未跨过的门槛是模型对私有权重的依赖性较强，且在复杂长文本描述精度上仍与专用视觉语言模型存在差距。

arxiv.org/abs/2607.06856 机器学习 人工智能 论文 AI创造营