University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）

Learning an Efficient Multi-Turn Dialogue Evaluator from Multiple LLM Judges

从多个LLM裁判中学习高效的多轮对话评估器

Yuqi Tang, Kehua Feng, Yunfeng Wang, Zhiwen Chen, Chengfei Lv, Gang Yu, Qiang Zhang, Keyan Ding, Huajun Chen

机构 * ZJU–UIUC Institute（浙大UIUC研究院） ； ZJU–Hangzhou Global Scientific and Technological Innovation Center（浙大杭州全球科技创新中心） ； College of Computer Science and Technology（计算机科学与技术学院） ； Alibaba Group（阿里巴巴集团） 纠错

AI总结 本文提出一种高效多轮对话评估器，通过整合多个LLM裁判的偏好知识，减少计算开销并提升评估效率与鲁棒性。

Comments 20 pages, 4 pages, under review

MIRAGE: A Benchmark for Multimodal Information-Seeking and Reasoning in Agricultural Expert-Guided Conversations

MIRAGE：农业专家引导对话中多模态信息检索与推理的基准

Vardhan Dongre, Chi Gui, Shubham Garg, Hooshang Nayyeri, Gokhan Tur, Dilek Hakkani-Tür, Vikram S. Adve

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Amazon（亚马逊） 纠错

AI总结 MIRAGE是一个用于农业专家引导对话中多模态信息检索与推理的基准，通过真实用户-专家交互数据，提供高保真的多模态推理评估平台。

Comments Accepted to NeurIPS 2025

Aha Moment Revisited: Are VLMs Truly Capable of Self Verification in Inference-time Scaling?

顿悟时刻再审视：VLMs在推理时间缩放中真的能自我验证吗？

Mingyuan Wu, Meitang Li, Jingcheng Yang, Jize Jiang, Kaizhuo Yan, Zhaoheng Li, Hanchao Yu, Minjia Zhang, Klara Nahrstedt

机构 * University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Michigan Ann Arbor（密歇根大学安娜堡分校） ； Meta 纠错

AI总结 本研究发现VLMs在推理时间缩放中自我验证效果有限，生成能力优于验证策略，且视觉信息整合不足。

Comments Neurips 2025 Multimodal Algorithmic Reasoning Workshop Oral. In submission