机器人如何与整个房间对话?
机器人能否与整个房间的人对话,而不仅仅是与一个人交流?这是我在7月20日至24日于伦敦帝国理工学院举行的帝国机器人暑期学校中探讨的基本问题之一。这段经历让我开阔了思维,促使我从日常工作中通常不会采用的新角度来思考机器人挑战。
暑期学校汇集了来自机器人学界的新兴研究者、学者和行业专业人士,开展密集的实践活动。我从专家讲座中获益良多,内容涵盖机器人运动学、动力学、传感与控制、机器人学习,以及专门针对空中机器人、机器人智能、手术机器人视觉、仿生传感与控制、个人辅助机器人的专题研讨。
其中亮点之一是深入帝国理工学院的机器人实验室,近距离观察了自适应与智能机器人、空中系统、手术机器人、操控与触觉、辅助技术等领域的前沿研究。与来自英国及其他地区的研究人员一起,我们探讨了四足运动、基于视觉的机器人学习、触觉感知和医疗应用等现实挑战。
我们的小组项目聚焦于让机器人同时与多人互动,而不是像大多数社交机器人那样仅进行一对一交互。我们的目标是实时检测主动说话者,在互动过程中追踪每个人的身份,并生成自然的目光和头部转动行为,使机器人看起来对整个人群表现出真正的关注,而不仅仅是针对某个人。
通过这个项目,我对从语言到动作的完整流程有了全面的理解。我了解到大型语言模型(LLM)如何将自然语言指令转化为结构化命令,这些命令如何映射到高层机器人功能,以及逆运动学如何将其转化为关节轨迹。最后,我看到了这些轨迹如何通过机器人的控制栈到达执行器。
这段动手实践经历展示了多对一人机交互的真正复杂性,强调了跨学科研究的必要性。我离开时对机器人研究所需的协作努力有了更深刻的认识。