大模型推理能力

MM-CoT:A Benchmark for Probing Visual Chain-of-Thought Reasoning in Multimodal Models

MM-CoT：一种用于探测多模态模型中视觉链式推理的基准测试

Jusheng Zhang, Kaitong Cai, Xiaoyang Guo, Sidi Liu, Qinhan Lv, Ruiqi Chen, Jing Yang, Yijia Fan, Xiaofei Sun, Jian Wang, Ziliang Chen, Liang Lin, Keze Wang

机构 * Sun Yat-sen University（中山大学） ； Alibaba Group（阿里巴巴集团） ； Snap Inc（Snap公司） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(title,abstract)；CoT(title,abstract)；logical reasoning(abstract)

AI总结 MM-CoT是一种用于评估多模态模型视觉链式推理能力的基准测试，通过验证推理链的视觉一致性和逻辑一致性，揭示生成模型在真实推理上的不足。

ChemLabs on ChemO: A Multi-Agent System for Multimodal Reasoning on IChO 2025

ChemLabs on ChemO：一个用于IChO 2025多模态推理的多智能体系统

Qiang Xu, Shengyuan Bai, Leqing Chen, Zijing Liu, Yu Li

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 ChemLabs通过多智能体系统和SVE技术在ChemO基准测试中实现93.6分，推动化学问题自动解决的新进展。

Comments 13 pages, 1 figures

PRO-V-R1: Reasoning Enhanced Programming Agent for RTL Verification

PRO-V-R1：基于推理增强的RTL验证编程代理

Yujie Zhao, Zhijing Wu, Boqin Yuan, Zhongming Yu, Hejia Zhang, Wentao Ni, Chia-Tung Ho, Haoxing Ren, Jishen Zhao

机构 * University of California San Diego（加州大学圣地亚哥分校） ； NVIDIA（NVIDIA公司） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 PRO-V-R1是一种基于推理增强的开源框架，通过结合LLM推理与编程工具，提升RTL验证的功能正确性和故障检测能力。

Using LLMs in Generating Design Rationale for Software Architecture Decisions

在软件架构决策中使用LLMs生成设计理由

Xiyu Zhou, Ruiyin Li, Peng Liang, Beiqi Zhang, Mojtaba Shahin, Zengyang Li, Chen Yang

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） ； RMIT University（皇家墨尔本理工大学） ； School of Computer Science, Central China Normal University（中央师范大学计算机学院） ； School of Artificial Intelligence, Shenzhen Polytechnic University（深圳职业技术学院人工智能学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；CoT(abstract)；分类 cs.AI

AI总结 本研究评估了LLMs在生成软件架构决策设计理由方面的性能，通过实验和访谈探讨了不同提示策略的效果及实际应用的可行性。

Comments Preprint accepted for publication in ACM Transactions on Software Engineering and Methodology (TOSEM), 2025

AraLingBench A Human-Annotated Benchmark for Evaluating Arabic Linguistic Capabilities of Large Language Models

AraLingBench：一个用于评估大型语言模型阿拉伯语语言能力的人工标注基准

Mohammad Zbeeb, Hasan Abed Al Kader Hammoud, Sina Mukalled, Nadine Rizk, Fatima Karnib, Issam Lakkis, Ammar Mohanna, Bernard Ghanem

机构 * King Abdullah University of Science and Technology (KAUST)（卡斯泰克大学） ； American University of Beirut (AUB)（贝鲁特美国大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 AraLingBench通过150道人工标注的多项选择题评估阿拉伯语LLM的语言能力，揭示模型在语法和句法推理上的不足，强调了记忆与模式识别对模型性能的影响。

Automating High Energy Physics Data Analysis with LLM-Powered Agents

利用LLM代理自动化高能物理数据分析

Eli Gendreau-Distler, Joshua Ho, Dongwon Kim, Luc Tomas Le Pottier, Haichen Wang, Chengxi Yang

机构 * Department of Physics, University of California, Berkeley, Berkeley, CA 94720, USA（加州大学伯克利分校物理系） ； Physics Division, Lawrence Berkeley National Laboratory, Berkeley, CA 94720, USA（伯克利国家实验室物理部） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本研究利用LLM代理自动化高能物理数据分析，通过混合系统结合LLM和Snakemake工作流管理器，评估代理在多阶段工作流中的性能。

Comments 16 pages, 6 figures, 2 tables, the 39th Conference on Neural Information Processing Systems (NeurIPS 2025) - Machine Learning and the Physical Sciences (ML4PS) workshop (poster)

SimSUM: Simulated Benchmark with Structured and Unstructured Medical Records

SimSUM: 结构化和非结构化医疗记录的模拟基准

Paloma Rabaey, Stefan Heytens, Thomas Demeester

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 SimSUM通过模拟呼吸系统疾病患者记录，提供结构化与非结构化医疗数据的基准，用于研究临床信息提取及多模态数据生成。

Comments An earlier version of this dataset was published under the name SynSUM. It has since been renamed to SimSUM to avoid confusion with synthetic data generated from real data, and to emphasize the simulated nature of the dataset. The dataset is available at https://github.com/prabaey/SimSUM

Ask, Answer, and Detect: Role-Playing LLMs for Personality Detection with Question-Conditioned Mixture-of-Experts

提问、回答与检测：基于角色扮演的LLM用于带有问题条件的专家混合模型的人格检测

Yifan Lyu, Liang Zhang

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； University of International Business and Economics（国际经济贸易大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 ROME通过角色扮演LLM模拟用户回答心理测量问卷，生成可解释的证据链接语言线索与人格标签，提升人格检测性能。

MARINE: Theoretical Optimization and Design for Multi-Agent Recursive IN-context Enhancement

MARINE：多智能体递归上下文增强的理论优化与设计

Hongwei Zhang, Ji Lu, Yongsheng Du, Yanqin Gao, Lingjun Huang, Baoli Wang, Fang Tan, Peng Zou

机构 * Hongwei Zhang（张宏伟） ； Ji Lu（卢纪） ； Yongsheng Du（杜永生） ； Yanqin Gao（高燕琴） ； Lingjun Huang（黄令军） ； Baoli Wang（王宝利） ； Fang Tan（谭芳） ； Peng Zou（邹鹏） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 MARINE通过理论优化和设计实现多智能体递归上下文增强，显著提升推理性能并减少参数需求。

Semantic-Metric Bayesian Risk Fields: Learning Robot Safety from Human Videos with a VLM Prior

语义-度量贝叶斯风险场：从人类视频中学习机器人安全性的方法

Timothy Chen, Marcus Dominguez-Kuhne, Aiden Swann, Xu Liu, Mac Schwager

机构 * Stanford University（斯坦福大学） ； California Institute of Technology（加州理工学院） 纠错

专题命中 推理评测 ：planning(abstract)

AI总结 本文提出基于贝叶斯框架的语义-度量风险场，通过人类视频学习机器人安全风险模型，实现类人风险评估与规划。

MELLM: A Flow-Guided Large Language Model for Micro-Expression Understanding

MELLM：一种面向微表情理解的流引导大型语言模型

Sirui Zhao, Zhengye Zhang, Shifeng Liu, Xinglong Mao, Shukang Yin, Chaoyou Fu, Tong Xu, Enhong Chen

机构 * University of Science and Technology of China（中国科学技术大学） ； State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室） ； Nanjing University（南京大学） 纠错

专题命中 推理评测 ：reasoning(abstract)

AI总结 MELLM通过结合光学流敏感性与LLM推理能力，首次实现对微表情的全面理解，显著提升微表情识别的准确性和泛化能力。