[RO]《FORGE: Towards Functional Tool-Use Generalization via Keypoint Trajectory Reasoning》C Zhou, L Wang, S Cao, X Chen… [Nanyang Technological University & Georgia Institute of Technology] (2026)
在机器人操纵领域,功能泛化(Functional Generalization)是一个悬而未决的难题。过去的方法受困于对特定工具外观和几何形状的过拟合,本质原因是工具的视觉相似性无法直接转化为动作空间的通用模式,导致机器人难以像人类一样用书本或鞋子代替锤子。
本文的核心洞见是:把功能意图重新看作跨工具通用的 2D 关键点轨迹。由此,FORGE 框架通过两阶段解耦操作,先从无动作数据中推理出具有功能感知力的关键点运动路径,再将其作为中间表征引导机器人完成精确的动作执行,从而跨越了从感知到动作的认知鸿沟。
这项工作真正留下的遗产是证明了结构化轨迹比原始视频或热力图更能平衡功能的表达力与动作的可落地性。它为后来者打开的新门是利用大规模无标注视频学习通用工具使用逻辑,但尚未跨过的门槛是实现三维空间下的精细对齐以及复杂抓取过程与打击动作的自然衔接。
arxiv.org/abs/2607.05780 机器学习 人工智能 论文 AI创造营







