Runway发布Praxis-1世界动作模型

Runway AI公司本周推出Praxis-1，这是一种开放权重的世界动作模型，可将其视频预训练转化为机器人控制。该公司表示，Praxis-1基于支撑其通用世界模型的大规模视频预训练构建。

Runway称正在多种具身形态和环境中测试Praxis-1，以在全面开放前发现并弥补潜在差距。该模型旨在为机器人开发者和研究人员提供通用策略，可跨不同具身形态和环境工作。Runway计划在未来几个月内公开发布Praxis-1。

Runway首席技术官Kamil Sindi对The Robot Report表示，大多数机器人策略受限于稀缺且采集成本高昂的机器人数据。他说，Praxis-1主要从第三人称视频中学习，基于Runway世界模型背后的大规模预训练，因此它已经理解物体如何运动以及任务如何展开。

Sindi补充说，随着Runway扩展视频规模，性能会相应提升。因此，其上限取决于能学习多少视频，而不是有多少机器人演示数据。

Runway AI成立于2018年，专注于生成式人工智能研究与技术。该公司提供一系列AI模型，包括用于上下文视频编辑的Aleph 2.0、用于动作捕捉的Act-Two，以及用于文本生成视频和图像生成视频的Gen-4.5。

在机器人领域，Runway还提供通用世界模型GWM-1。这家总部位于纽约布鲁克林的公司在纽约、旧金山、西雅图、伦敦、巴黎、特拉维夫和东京设有办公室。

Runway押注视频数据用于机器人训练。虽然训练通用AI模型的真实机器人数据稀缺，但视频数据非常丰富。Runway AI指出，人们每天拍摄和上传的日常生活视频，比任何机器人实验室通过遥操作演示采集的数据都多。

Runway发现，在其世界模型中模拟机器人策略，能以0.95的相关性预测真实世界结果。该公司称，这比更昂贵的基于3D重建的技术更具优势。

Runway还将其大型视频模型预训练工作扩展为交互式实时视频模型，如Solaris和GWM Worlds 2。通过教模型生成准确的物理效果、手部运动方式以及任务进行到中途的样子，该公司表示已为数字和物理世界中的智能体训练创建了动态复杂环境。

Runway称，Praxis-1将同样方法引入机器人领域，为开发者和研究人员提供通用策略模型。Sindi表示，Praxis-1已在多种操作任务上训练，从简单的拾放动作（如举起易拉罐）到涉及可变形物体的更复杂任务（如包装礼品袋）。