大模型推理能力

ViDRiP-LLaVA: A Dataset and Benchmark for Diagnostic Reasoning from Pathology Videos

Trinh T. L. Vuong, Jin Tae Kwak

机构 * Korea University（韩国大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.AI

LogiNumSynth: Synthesizing Joint Logical-Numerical Reasoning Problems for Language Models

Yiwei Liu, Yucheng Li, Xiao Li, Gong Cheng

机构 * State Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室） ； Nanjing University（南京大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；logical reasoning(abstract)；分类 cs.CL

Comments 30 pages, 3 figures

A Layered Intuition -- Method Model with Scope Extension for LLM Reasoning

Hong Su

机构 * School of Computer Science, Chengdu University of Information Technology（计算机科学学院，成都信息科技学院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

Retro*: Optimizing LLMs for Reasoning-Intensive Document Retrieval

Junwei Lan, Jianlyu Chen, Zheng Liu, Chaofan Li, Siqi Bao, Defu Lian

机构 * University of Science and Technology of China（中国科学技术大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室） ； Hong Kong Polytechnic University（香港理工大学） ； Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

VLMGuard-R1: Proactive Safety Alignment for VLMs via Reasoning-Driven Prompt Optimization

Menglan Chen, Xianghe Pang, Jingjing Dong, WenHao Wang, Yaxin Du, Siheng Chen

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.LG

MatryoshkaThinking: Recursive Test-Time Scaling Enables Efficient Reasoning

Hongwei Chen, Yishu Lei, Dan Zhang, Bo Ke, Danxiang Zhu, Xuyi Chen, Yuxiang Lu, Zhengjie Huang, Shikun Feng, Jingzhou He, Yu Sun, Hua Wu, Haifeng Wang

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

Simulating Viva Voce Examinations to Evaluate Clinical Reasoning in Large Language Models

Christopher Chiu, Silviu Pitis, Mihaela van der Schaar

机构 * Georgia Institute of Technology（佐治亚理工学院） ； University of Toronto（多伦多大学） ； University of Cambridge（剑桥大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI、cs.LG

Video-STR: Reinforcing MLLMs in Video Spatio-Temporal Reasoning with Relation Graph

Wentao Wang, Heqing Zou, Tianze Luo, Rui Huang, Yutian Zhao, Zhuochen Wang, Hansheng Zhang, Chengwei Qin, Yan Wang, Lin Zhao, Huaijian Zhang

机构 * ByteDance（字节跳动） ； NUS（国立大学新加坡） ； HKUST(GZ)（香港科技大学（珠海）） ； THU（清华大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

Unlocking LLM Safeguards for Low-Resource Languages via Reasoning and Alignment with Minimal Training Data

Zhuowei Chen, Bowei Zhang, Nankai Lin, Tian Hou, Lianxi Wang

机构 * Guangdong University of Foreign Studies（广东外语外贸大学） ； Guangzhou Key Laboratory of Multilingual Intelligent Processing（广州多语智能处理重点实验室） ； University of Pittsburgh（匹兹堡大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

Comments Accepted to MRL Workshop at EMNLP 2025

MFTCXplain: A Multilingual Benchmark Dataset for Evaluating the Moral Reasoning of LLMs through Multi-hop Hate Speech Explanation

Jackson Trager, Francielle Vargas, Diego Alves, Matteo Guida, Mikel K. Ngueajio, Ameeta Agrawal, Yalda Daryani, Farzan Karimi-Malekabadi, Flor Miriam Plaza-del-Arco

机构 * University of Southern California（南加州大学） ； São Paulo State University（圣保罗州立大学） ； Saarland University（萨尔兰大学） ； University of Melbourne（墨尔本大学） ； Howard University（霍华德大学） ； Portland State University（波特兰州立大学） ； Leiden University（莱顿大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

Comments Jackson Trager and Francielle Vargas contributed equally

Journal ref Findings of the Association for Computational Linguistics: EMNLP 2025

DixitWorld: Evaluating Multimodal Abductive Reasoning in Vision-Language Models with Multi-Agent Dixit Gameplay

Yunxiang Mo, Tianshi Zheng, Qing Zong, Jiayu Liu, Baixuan Xu, Yauwai Yim, Chunkit Chan, Jiaxin Bai, Yangqiu Song

机构 * Department of Computer Science and Engineering, HKUST, Hong Kong SAR, China（计算机科学与工程系，香港科技大学，香港特别行政区，中国） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

Comments EMNLP 2025 Wordplay (Spotlight)

Fortifying LLM-Based Code Generation with Graph-Based Reasoning on Secure Coding Practices

Rupam Patir, Keyan Guo, Haipeng Cai, Hongxin Hu

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

Benchmarking and Bridging Emotion Conflicts for Multimodal Emotion Reasoning

Zhiyuan Han, Beier Zhu, Yanlong Xu, Peipei Song, Xun Yang

机构 * University of Science and Technology of China（科学技术大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

Comments ACM Multimedia 2025 Oral Code: https://github.com/ZhiyuanHan-Aaron/MoSEAR Project Page: https://zhiyuanhan-aaron.github.io/MoSEAR-page/

Think in Safety: Unveiling and Mitigating Safety Alignment Collapse in Multimodal Large Reasoning Model

Xinyue Lou, You Li, Jinan Xu, Xiangyu Shi, Chi Chen, Kaiyu Huang

机构 * Key Laboratory of Big Data & Artificial Intelligence in Transportation (Beijing Jiaotong University), Ministry of Education（大数据与人工智能交通联合实验室（北京交通大学）） ； School of Computer Science and Technology, Beijing Jiaotong University（计算机科学与技术学院，北京交通大学） ； Tsinghua University（清华大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

Comments Accepted by EMNLP 2025 (main)

ExpVid: A Benchmark for Experiment Video Understanding & Reasoning

Yicheng Xu, Yue Wu, Jiashuo Yu, Ziang Yan, Tianxiang Jiang, Yinan He, Qingsong Zhao, Kai Chen, Yu Qiao, Limin Wang, Manabu Okumura, Yi Wang

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Institute of Science Tokyo（东京科学研究所） ； Nanjing University（南京大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)

Comments Data & Code: https://github.com/OpenGVLab/ExpVid

Semantic Visual Anomaly Detection and Reasoning in AI-Generated Images

Chuangchuang Tan, Xiang Ming, Jinglu Wang, Renshuai Tao, Bin Li, Yunchao Wei, Yao Zhao, Yan Lu

机构 * Beijing Jiaotong University（北京交通大学） ； Microsoft Research Asia（微软亚洲研究院） ； Shenzhen University（深圳大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)

Comments 27 pages, 7 figures

MM-HELIX: Boosting Multimodal Long-Chain Reflective Reasoning with Holistic Platform and Adaptive Hybrid Policy Optimization

Xiangyu Zhao, Junming Lin, Tianhao Liang, Yifan Zhou, Wenhao Chai, Yuzhe Gu, Weiyun Wang, Kai Chen, Gen Luo, Wenwei Zhang, Junchi Yan, Hua Yang, Haodong Duan, Xue Yang

专题命中 推理评测 ：reasoning(title,abstract)

Towards Secure and Explainable Smart Contract Generation with Security-Aware Group Relative Policy Optimization

Lei Yu, Jingyuan Zhang, Xin Wang, Jiajia Ma, Li Yang, Fengjun Zhang

机构 * Institute for Clarity in Documentation（文档清晰研究所） ； Inria Paris-Rocquencourt（巴黎-罗克琴特研究所） ； Rajiv Gandhi University（拉吉夫·甘地大学） ； Tsinghua University（清华大学） ； Palmer Research Laboratories（帕勒研究中心） ； Institute of Software, Chinese Academy of Sciences（软件研究所，中国科学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.AI

Agentic Systems in Radiology: Design, Applications, Evaluation, and Challenges

Christian Bluethgen, Dave Van Veen, Daniel Truhn, Jakob Nikolas Kather, Michael Moor, Malgorzata Polacin, Akshay Chaudhari, Thomas Frauenfelder, Curtis P. Langlotz, Michael Krauthammer, Farhad Nooralahzadeh

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.AI

Self-Exploring Language Models for Explainable Link Forecasting on Temporal Graphs via Reinforcement Learning

Zifeng Ding, Shenyang Huang, Zeyu Cao, Emma Kondrup, Zachary Yang, Xingyue Huang, Yuan Sui, Zhangdie Yuan, Yuqicheng Zhu, Xianglong Hu, Yuan He, Farimah Poursafaei, Michael Bronstein, Andreas Vlachos

机构 * University of Cambridge（剑桥大学） ； Mila - Quebec AI Institute（魁北克人工智能研究院） ； McGill University（麦吉尔大学） ； University of Oxford（牛津大学） ； National University of Singapore（新加坡国立大学） ； University of Stuttgart（斯图加特大学） ； Amazon（亚马逊公司） ； AITHYRA 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

RefusalBench: Generative Evaluation of Selective Refusal in Grounded Language Models

Aashiq Muhamed, Leonardo F. R. Ribeiro, Markus Dreyer, Virginia Smith, Mona T. Diab

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Amazon AGI（亚马逊人工智能研究院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

Towards Real-Time Fake News Detection under Evidence Scarcity

Guangyu Wei, Ke Han, Yueming Lyu, Yu Luo, Yue Jiang, Caifeng Shan, Nicu Sebe

机构 * Nanjing University（南京大学） ； Ocean University of China（海洋大学） ； University of Trento（特伦托大学） ； Chinese Academy of Sciences（中国科学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

Fairness Metric Design Exploration in Multi-Domain Moral Sentiment Classification using Transformer-Based Models

Battemuulen Naranbat, Seyed Sahand Mohammadi Ziabari, Yousuf Nasser Al Husaini, Ali Mohammed Mansoor Alsahag

机构 * Informatics Institute, University of Amsterdam（阿姆斯特丹大学信息学院） ； Department of Computer Science and Technology, SUNY Empire State University（纽约州立大学奥本大学计算机科学与技术系） ； Faculty of Computer Studies, Arab Open University, Oman（阿曼开放大学计算机研究学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

RL in the Wild: Characterizing RLVR Training in LLM Deployment

Jiecheng Zhou, Qinghao Hu, Yuyang Jin, Zerui Wang, Peng Sun, Yuzhe Gu, Wenwei Zhang, Mingshu Zhai, Xingcheng Zhang, Weiming Zhang

机构 * USTC（中国科学技术大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； NTU（国立台湾大学） ； Tsinghua University（清华大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

Comments 20 pages, 28 figures

AMSbench: A Comprehensive Benchmark for Evaluating MLLM Capabilities in AMS Circuits

Yichen Shi, Ze Zhang, Hongyang Wang, Zhuofu Tao, Zhongyi Li, Bingyu Chen, Yaxin Wang, Zhen huang, Xuhua Liu, Quan Chen, Zhiping Yu, Ting-Jung Lin, Lei He

机构 * Shanghai Jiao Tong University（上海交通大学） ； University of California, Los Angeles（美国加州大学洛杉矶分校） ； Tsinghua University（清华大学） ； Southern University of Science and Technology（南方科技大学） ； Eastern Institute of Technology, Ningbo（宁波东部技术研究所） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

BabyVLM: Data-Efficient Pretraining of VLMs Inspired by Infant Learning

Shengao Wang, Arjun Chandra, Aoming Liu, Venkatesh Saligrama, Boqing Gong

机构 * Boston University（波士顿大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

Comments Accepted to ICCV 2025

MCPVerse: An Expansive, Real-World Benchmark for Agentic Tool Use

Fei Lei, Yibo Yang, Wenxiu Sun, Dahua Lin

机构 * SenseTime Research（商汤科技研究院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

EvoCAD: Evolutionary CAD Code Generation with Vision Language Models

Tobias Preintner, Weixuan Yuan, Adrian König, Thomas Bäck, Elena Raponi, Niki van Stein

机构 * Institute of Advanced Computer Science, Leiden University, Leiden, The Netherlands（先进计算机科学研究所，莱顿大学，莱顿，荷兰） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

Comments Accepted to IEEE ICTAI 2025

A Large-Language-Model Assisted Automated Scale Bar Detection and Extraction Framework for Scanning Electron Microscopic Images

Yuxuan Chen, Ruotong Yang, Zhengyang Zhang, Mehreen Ahmed, Yanming Wang

机构 * Shanghai Jiao Tong Global College（上海交通大学全球学院） ； Shanghai Jiao Tong University（上海交通大学） ； Global Institute of Future Technology（全球未来技术研究院） ； AI Lab, Xiaomi Corporation（小米公司AI实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

Comments 14 pages, 6 figures

A Theorem-Proving-Based Evaluation of Neural Semantic Parsing

Hayate Funakura, Hyunsoo Kim, Koji Mineshima

机构 * Kyoto University（京都大学） ； Keio University（庆应大学） ； Kikagaku Inc.（麒麟株式会社） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

Comments Accepted to BlackboxNLP 2025