AXIS浏览器数据引擎含207任务与50129轨迹

机器人操作数据集的发展速度远慢于基于其训练的模型。收集通常保持封闭和集中，专家操作员在实验室硬件上收集演示并发布静态基准。来自Axis Robotics、UC Berkeley、Georgia Tech和NTU的研究团队提出了另一种方法。他们的系统AXIS将数据收集移至浏览器，利用后端GPU实现数据集的持续扩展。

AXIS部分可部署。训练代码以OpenPI补丁形式公开，遥操作平台可在任何浏览器中运行。然而，数据集大小为2.36 TB，受门控限制，仅限非商业学术用途；未发布策略检查点。

核心设计是浏览器和后端之间的不对称。贡献者使用MuJoCo WebAssembly前端，通过键盘、鼠标、虚拟摇杆或游戏手柄操作Franka Research 3机器人，配备平行夹爪。物理和渲染与UI线程分离，确保状态-动作样本与模拟器对齐。重型任务由8块RTX 4090 GPU负责渲染，8块A100 GPU负责训练。

任务是自动生成而非手工设计。TaskGen将语言指令分解为任务、场景和对象配置，通过图像到3D流水线检索或生成网格，并提出布局，由监督器验证。每个任务包含结构化成功检查器，由后端验证。

发布的数据集包含207项任务、超过5万集和七个场景类别中的6万多个变体。每条轨迹包含丰富元数据、状态、动作、成功标签和RGB-D观测。超过7万名社区成员参与。

数据清洗是生产阶段。关节变化过低的样本被丢弃，运动通过平滑和重采样至更高频率。这降低了加速度和加加速度，但也使重放成功率从100%降至86.2%。清洗后的片段在IsaacSim中重放，禁用物理模拟以随机化场景和相机。

实验中，团队从发布的π0.5检查点开始，该检查点采用PaliGemma主干和Gemma动作专家。他们可选择在模拟语料上预训练，然后在LIBERO上微调。使用完整AXIS数据集，模型在LIBERO-Plus上总体达88.8，高于原始π0.5的83.9和匹配轨迹数的RoboCasa365对照的57.5。在传感器噪声和相机扰动上的增益尤为显著。

然而，各维度的改进不一。传感器噪声和相机增益显著，但光照和语言扰动较基线有所下降。关键要点包括：AXIS提供207项任务和5万多条验证轨迹，持续预训练使性能提升4.9个点，缩放总体积极但有噪声。更多信息可查阅论文、项目页面、数据集和平台。