Meituan（美团）

ViC-Bench: Benchmarking Visual-Interleaved Chain-of-Thought Capability in MLLMs with Free-Style Intermediate State Representations

ViC-Bench: 用自由式中间状态表示法对多模态大语言模型的视觉交错链式思维能力进行基准测试

Xuecheng Wu, Jiaxing Liu, Danlei Huang, Yifan Wang, Yunyun Shi, Kedi Chen, Junxiao Xue, Yang Liu, Chunlin Chen, Hairong Dong, Dingkang Yang

机构 * School of Computer Science and Technology, Xi’an Jiaotong University（西安交通大学计算机科学与技术学院） ； Meituan Inc.（美团公司） ； Institute of Advanced Technology, University of Science and Technology of China（中国科学技术大学先进技术研究院） ； School of Computer Science and Technology, East China Normal University（华东师范大学计算机科学与技术学院） ； Research Center for Space Computing System, Zhejiang Lab（浙江实验室空间计算系统研究中心） ； College of Electronic and Information Engineering, Tongji University（同济大学电子与信息工程学院） ； School of Robotics and Automation, Nanjing University（南京大学机器人与自动化学院） ； College of Intelligent Robotics and Advanced Manufacturing, Fudan University（复旦大学智能机器人与先进制造学院） 纠错

AI总结 ViC-Bench 通过自由式中间状态表示法，系统评估多模态大语言模型的视觉交错链式思维能力，涵盖四个任务并提出新评估指标。