SpikingNav:脉冲神经策略提升具身导航鲁棒性
具身导航要求智能体根据物理环境中的自我中心观察做出序列决策。传统的人工神经网络(ANN)模型已取得显著性能,但往往依赖密集计算,在视觉输入受损时性能可能下降。脉冲神经网络(SNN)提供事件驱动计算和内在时间动力学,有望在资源受限平台上实现紧凑且鲁棒的导航。然而,基于脉冲的感知和策略动力学能否真正增强视觉丰富具身导航的鲁棒性,仍是一个开放问题。本文提出SpikingNav,一种面向鲁棒室内具身导航的脉冲框架,以填补这一空白。
SpikingNav包含两个核心组件:脉冲感知编码器(SSE)和脉冲策略网络(SPN)。SSE采用基于脉冲的主干网络,从自我中心观察中提取任务条件视觉特征。SPN通过膜积分、阈值化和脉冲触发重置维持循环策略状态,实现决策中的时间动力学。通过整合这些组件,SpikingNav利用SNN的固有属性——脉冲激活和动态状态——来提升导航性能和鲁棒性。
该框架在PointNav和ObjectNav任务上进行了评估,涵盖干净观察和多种视觉损坏。结果表明,SpikingNav在干净环境下性能竞争力强,在损坏下鲁棒性显著增强,且参数更少、每步计算量更低,优于匹配的ANN基线。例如,在ObjectNav上,SpikingNav将成功率从31.05%提升至34.12%,在视觉损坏下平均成功率从8.45%升至13.71%,凸显了基于脉冲的感知和策略动力学的优势。
为确认实际部署可行性,脉冲感知方法在Thruster-V2神经形态芯片上进行了验证。这一物理硬件验证表明,SpikingNav可实例化到真实的神经形态基板上,为需要高效且弹性导航的信息物理系统铺平道路。这项工作为SNN在具身智能体中的应用提供了有力证据,表明基于脉冲的方法能够在保持性能的同时提供鲁棒性优势。