应对论文洪流:机器人学者探讨同行评审与大模型前景
在近期一场名为“应对论文洪流”的ICRA小组讨论中,主持人Aude Billard与多位顶尖机器人学者审视了机器人论文数量的指数级增长,并探讨了领域应如何适应。讨论范围从大语言模型的实用价值,到彻底改革同行评审制度的激进提议。
Billard指出IEEE RAS旗下期刊的论文数量激增,预计2025年将出现约7万篇含有“robotics”一词的论文。她提醒,机器人学本质上是整合性学科,涵盖感知、控制、操作、学习、硬件与部署。若研究者只局限于狭窄领域,将失去跨领域连接思想的核心优势。
在一项由IEEE RAS资助的案例研究中,Kunpeng Yao的团队花了整整一年通读“从示范中学习”这一子领域。他们筛选了IEEE Xplore上2024年的相关论文,共找到347篇,但其中仅有69篇(约20%)被认为具有显著贡献。显著的论文提出新公式、与强基线进行严肃对比,或展示了可信的真实机器人验证,而仅对现有方法重新命名则未达标准。
关于利用大语言模型辅助文献综述,Nadia Figueroa承认LLM能改进搜索、检索、聚类、总结和概念图生成,大幅节约时间。然而,她描述了三种层次的幻觉:第一,伪造参考文献;第二,真实文献但内容被曲解;第三,凭空虚构看似合理的跨论文共性。她指出,当前危险并非虚假引用,而是“虚假理解”。
Greg Dudek批评了“切片式发表”行为,即把研究拆成最薄片段以提高论文数量。激励制度助长了这一现象,却加重了读者负担,使知识碎片化。他提倡发表更少但更完整的论文,同时承认没有简单解法,并比喻小修小补如同在即将到来的海啸前修补沙堡。
Renaud Detry认为论文增长部分源于更多应用系统研究,这些工作应与纯算法论文区别评价。他提出为不同贡献类型设立独立通道,包括基础科学、应用、基础设施、基准测试和技术正确性。Dongheui Lee补充说,arXiv或社交媒体上的可见度并不等同于科学价值;编辑部应推广那些评审优秀但缺乏名校背书的强论文。
Shigeki Sugano提出了最激进的构想:彻底放弃传统同行评审。他建议将稿件连同视频、代码和数据先行上传至开放存档,由实名的社群进行公开评价,再由期刊和会议对高价值成果进行认证,而非决定其能否发表。与会者列举了人气偏见、刷评和垃圾论文等风险,但该提议突显了传统把关模式在量压下难以扩展。
尽管没有明确解决方案,但若干原则浮出水面:LLM仅宜用作机械辅助,研究者仍需亲自进行认知判断;阅读应有选择性并有深度;制度应重质量而非数量;不同贡献类型应获得不同认可。最后,随着论文量持续增长,机器人社群必须思考:洪流是否会使学科更加碎片化,还是将侵蚀维系其整体性的共同基石。