Memories.ai 打造标准化第一人称视频数据管线

Memories.ai 正在为机器人公司构建一条数据管线，将标准化视频采集与 AI 标注结合起来，把日常的第一人称视频转化为机器人训练数据。该公司的模型会对每个片段进行标注，其中 Memories-H0 负责手部姿态，EgoAction 负责动作片段。

这家总部位于旧金山的公司开发软件和 AI，帮助机器人理解物理世界。它构建视频理解模型和数据基础设施，并采集、标注第一人称视频，为机器人公司提供高质量训练数据。第一人称视频从佩戴者视角拍摄，因能从人的视角展示手、物体和任务，正越来越受机器人学习重视。

更长远的目标是成为机器人与物理 AI 的数据基础设施伙伴，而不仅仅是数据供应商。Memories.ai 称，其视频数据基础设施平台面向物理 AI、机器人、世界模型、视觉-语言-动作模型和人形机器人。

该平台提供精选视频数据湖，包含第一人称视频，并提供定制标注服务和数据集工具，用于训练机器人学习模型。Memories.ai 通过数据采集员和合作伙伴获取第一人称视频，并向他们提供标准化采集硬件——一套模块化相机设置——以及统一流程，以一致的方式采集素材。

随后，Memories.ai 用自己的模型处理和标注数据，并通过其数据基础设施提供这些数据。该公司已在 GitHub 仓库发布多项研究，并在 ICLR、NeurIPS 和 EMNLP 活动中发表成果。

NVIDIA Cosmos 帮助 Memories.ai 实现物理 AI 愿景。联合创始人兼 CEO Shawn Shen 对 The Robot Report 表示，公司的愿景是「加速物理智能」，并「参与机器人竞赛」。他说，Memories.ai 希望把机器人带入真实物理世界，并愿意采用任何能更快实现这一愿景的方法。

Shen 表示，公司专注于处理自身数据，而不是从大量设备和来源采集视频。一旦从合作伙伴处获得数据，Memories.ai 会自行处理和标注这些素材。

该公司上月表示，已使用 NVIDIA Cosmos 解读进入其数据湖的视频。随后它整理这些数据，对 Cosmos 进行后训练，以服务于客户的机器人和工业应用。这一循环将真实世界视频转化为针对客户任务定制的模型。

Memories.ai 称其管线采用模块化设计，以支持多样任务和相机视角。Shen 称，随着 AI 模型在更多机器人应用中成熟，公司希望与行业共同成长。

Shen 表示，Memories.ai 希望成为「长期合作伙伴」，而不只是出售数据。他说，未来公司希望与客户在模型和基础设施上合作，因为客户的资源现在和将来都会受到限制。

对于机器人客户，Memories.ai 计划根据需求定制数据，提供独家或非独家安排，并可能将角色扩展到模型和视频基础设施。