Does Multi-Agent Debate Improve AI Feedback on Research Papers?
多智能体辩论能否改善人工智能对研究论文的反馈?
机构 * Charles University, Faculty of Social Sciences, Institute of Economic Studies(查理大学社会科学学院经济研究所) ; Charles University, Prague Centre for Economic Policy Research, London(查理大学布拉格经济政策研究中心,伦敦) ; Meta-Research Innovation Center at Stanford(斯坦福大学元研究创新中心)
AI总结 研究探讨多智能体辩论能否改善人工智能对研究论文的反馈。通过44篇元分析作者对三篇人工智能报告排名,发现作者更青睐前沿模型单次审阅,且不同评判排序有差异,警示不能用人工智能评判替代作者,还衡量了对已完成论文的有用性。
Comments 29 pages, 1 figure, 6 tables. Pre-registered on OSF; data, code, judge prompts, and blinded reports in the replication package on Zenodo. Project page: https://meta-analysis.cz/debate