OmniDex让灵巧手抓取覆盖260万个杂乱场景

10月8日，arXiv 上传了一篇题为《OmniDex: Scaling Dexterous Hand Grasping to Diverse Cluttered Scenes》的论文，作者包括 Naiyu Fang、Zhongjin Luo、Yuxin Mo、Siyuan Huang、Jianbo Liu、Yufei Liu、Zheyuan Zhou、Chenkai Jin、Xiaogang Wang 和 Hongsheng Li，提交至计算机科学>机器人学分类。

论文关注灵巧抓取这一具身 AI 的基础原语。训练鲁棒抓取模型需要海量数据，但真实世界数据采集昂贵且缓慢，仿真因此成为可扩展数据生成的主流范式。然而，杂乱场景最能反映真实应用，其中抓取学习仍受制于大规模数据的关键稀缺。

OmniDex 试图填补这一空白，将灵巧手抓取扩展到 260 万个杂乱场景。该方法把抓取学习从孤立物体或简单桌面设置，扩展到多样且杂乱的配置。由于真实数据昂贵，仿真数据的大规模生成成为关键路径；OmniDex 通过程序化生成多样杂乱布局，让抓取策略见到更丰富的物体排列与接触关系。

通过生成大规模仿真场景和不同物体摆放，该框架旨在让灵巧手面对真实环境中常见的空间复杂性与遮挡。由此产生的规模有望支持训练更鲁棒的抓取策略，并提升跨杂乱场景的泛化能力。

对具身 AI 而言，这类资源可减少对昂贵真实数据采集的依赖，并改善仿真到现实的迁移。OmniDex 被定位为迈向通用灵巧操作的一步：一个用于研究杂乱环境下抓取的大规模基准与数据源。作者贡献既凸显仿真的潜力，也说明大规模构建多样、真实杂乱场景数据仍具挑战。这也是该工作强调的核心动机。