Generalist如何利用人类演示数据加速机器人学习

Generalist建立在利用真实世界数据训练机器人的研究之上。该公司的起源可追溯至一篇题为《通用操作接口：无需真实机器人的野外机器人教学》（UMI）的论文，论文作者来自丰田研究所（TRI）、哥伦比亚大学和斯坦福大学。

该论文介绍了一种数据收集平台，使用由人类操作的类似木偶的末端执行器，并通过GoPro摄像头捕捉洗碗、物体抓取等日常任务。这些演示成为机器人基础模型的训练数据，使协作机器人能够更快地学习并接管这些任务。

在六月份的Automate展会上，Generalist演示了其模型如何快速为不同的协作机器人系统生成策略。该公司展示了Universal Robots（UR）机械臂进行折叠和制作纸板箱，同时使用Flexiv机械臂维修扫地机器人。根据公司社交媒体帖子，模型不仅完成任务，还能在出错时实时恢复，这给与会者留下了深刻印象。

随后，公司发布了一篇题为《迈向千手机器》的博客文章，强调其在各种机械臂和夹爪方面的成果。在接受采访时，Generalist的创始机械工程师Samantha Castellanos阐述了公司的理念：“我们的主要目标是打造世界上最好的模型。”她指出，在一个已有Skild AI、Physical Intelligence、Field AI和RLWRLD等竞争对手、合计融资超过40亿美元的空间中，模型是关键差异点。

Castellanos强调，所有数据收集和工具开发都是为了改进模型。“我们做的一切都是为了让模型更好。”她还强调了公司在硬件方面的做法：一个单自由度夹爪，简单而坚固。“简单的东西往往最坚固，”她表示，快速更换手指可以最大限度地减少停机时间。

Generalist从数据收集到可工作的机械臂的转化速度惊人。据Castellanos称，千手演示所用的人类数据是在波士顿和加州办公室收集的，每个任务用时2至80小时不等。机器人数据收集甚至更短，通常只需几分钟。例如，训练一个胶带分发手仅需约50个片段和4分钟的机器人数据。

Castellanos承认，第一次尝试螺丝刀手时并不成功，但经过更多步数的训练后，表现良好。关键在于证明该模型与末端执行器无关，适用于各种工具。

当被问及工业部署时，她说客户既有想要一体化解决方案的，也有已经拥有UR机械臂、只需运行模型的。模型每周都在改进，公司仍在探索最佳商业模式。一个显著的区别是当出现问题时模型能快速重新校准，因为它从大数据集中学习了恢复行为。

关于未来方向，Generalist尚未在人形机器人上运行，但Castellanos认为只要进行适当的集成，这是可行的。公司的模型运行自带的计算机，可以安装在移动平台或人形机器人上。值得注意的是，UMI论文的共同作者Russ Tedrake和Ben Burchfiel成立了Walden Robotics，该公司将大型行为模型应用于工业环境中的移动机械臂。Castellanos对模型的进展表示乐观，称它们可能很快只需几分钟数据即可完成任务，并能处理异常边缘情况。