[LG]《TabPack: Efficient Hyperparameter Ensembles for Tabular Deep Learning》Y Gorishniy, A Kotelnikov, I Rubachev, A Babenko [Yandex & HSE University] (2026)

在表格数据深度学习领域，模型性能高度依赖繁琐的超参数调优。过去的方法如 TabM 虽然实现了高效集成，但本质上受困于“同质化集成”——即所有子模型共用同一套超参数，导致开发者仍需在巨大的搜索空间中耗费大量算力来寻找那个唯一的最佳配置。

本文的核心洞见是：将超参数的多样性直接转化为集成的强度，而非调优的负担。通过“打包超参数集成”技术，在单个 GPU 模块内并行训练数十个具有不同深度、宽度和学习率的异构 MLP。配合在线贪婪选择算法，模型能在单次训练中动态筛选出表现最优的子模型组合，变“先调优后集成”为“在集成中自动进化”。

这项工作留下的遗产是证明了“零调优”深度学习在表格任务上具备与精调模型抗衡的实力，极大降低了学术与工业界的算力门槛。它为后来者打开了在消费级硬件上实现工业级性能的新门，但尚未跨过的门槛是高度依赖验证集进行成员筛选，在小样本或存在分布偏移的场景下可能面临过拟合风险。

arxiv.org/abs/2607.05380 机器学习 人工智能 论文 AI创造营