大模型推理能力

Normative Reasoning in Large Language Models: A Comparative Benchmark from Logical and Modal Perspectives

Kentaro Ozeki, Risako Ando, Takanobu Morishita, Hirohiko Abe, Koji Mineshima, Mitsuhiro Okada

机构 * Keio University（Keio大学） ； University of Tokyo（东京大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

Comments Accepted to the 8th BlackboxNLP Workshop at EMNLP 2025

A Multi-Stage Framework with Taxonomy-Guided Reasoning for Occupation Classification Using Large Language Models

Palakorn Achananuparp, Ee-Peng Lim, Yao Lu

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

Comments Accepted to ICWSM'26

MM-OPERA: Benchmarking Open-ended Association Reasoning for Large Vision-Language Models

Zimeng Huang, Jinxin Ke, Xiaoxuan Fan, Yufeng Yang, Yang Liu, Liu Zhonghan, Zedi Wang, Junteng Dai, Haoyi Jiang, Yuyu Zhou, Keze Wang, Ziliang Chen

机构 * Sun Yat-sen University（中山大学） ； Peng Cheng Laboratory（鹏城实验室） ； Jinan University（暨南大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.LG

Comments NeurIPS 2025 Datasets and Benchmarks Track poster

PRISM-Physics: Causal DAG-Based Process Evaluation for Physics Reasoning

Wanjia Zhao, Qinwei Ma, Jingzhe Shi, Shirley Wu, Jiaqi Han, Yijia Xiao, Si-Yuan Chen, Xiao Luo, Ludwig Schmidt, James Zou

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.LG

Understanding the Implicit User Intention via Reasoning with Large Language Model for Image Editing

Yijia Wang, Yiqing Shen, Weiming Chen, Zhihai He

机构 * Southern University of Science and Technology, Shenzhen, China（南方科技大学） ； Johns Hopkins University, Baltimore, USA（约翰霍普金斯大学） ； Pengcheng Laboratory, Shenzhen, China（鹏城实验室） 纠错

专题命中 推理评测 ：reasoning(title,abstract)

DRAMA: Unifying Data Retrieval and Analysis for Open-Domain Analytic Queries

Chuxuan Hu, Maxwell Yang, James Weiland, Yeji Lim, Suhas Palawala, Daniel Kang

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

Comments Accepted to SIGMOD 2026

Aeolus: A Multi-structural Flight Delay Dataset

Lin Xu, Xinyun Yuan, Yuxuan Liang, Suwan Yin, Yuankai Wu

机构 * Sichuan University（四川大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

ORGEval: Graph-Theoretic Evaluation of LLMs in Optimization Modeling

Zhuohan Wang, Ziwei Zhu, Ziniu Li, Congliang Chen, Yizhou Han, Yufeng Lin, Zhihang Lin, Angyang Gu, Xinglin Hu, Ruoyu Sun, Tian Ding

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Shenzhen Research Institute of Big Data（深圳大数据研究院） ； Shenzhen Loop Area Institute（深圳河套学院） ； Shenzhen International Center for Industrial and Applied Mathematics（深圳国际工业与应用数学中心） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

PartnerMAS: An LLM Hierarchical Multi-Agent Framework for Business Partner Selection on High-Dimensional Features

Lingyao Li, Haolun Wu, Zhenkun Li, Jiabei Hu, Yu Wang, Xiaoshan Huang, Wenyue Hua, Wenqian Wang

机构 * University of South Florida（佛罗里达州立大学） ； McGill University（麦吉尔大学） ； Purdue University（普渡大学） ； Lingnan University（岭大大学） ； University of California, Santa Barbara（加州大学圣巴巴拉分校） ； Hong Kong Baptist University（香港 Baptist 大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

Curse of Knowledge: When Complex Evaluation Context Benefits yet Biases LLM Judges

Weiyuan Li, Xintao Wang, Siyu Yuan, Rui Xu, Jiangjie Chen, Qingqing Dong, Yanghua Xiao, Deqing Yang

机构 * School of Data Science, Fudan University, 2 Shanghai Key Laboratory of Data Science 3 College of Computer Science and Artificial Intelligence, Fudan University 4 ByteDance Seed, 5 College of Cryptology and Cyber Science, Nankai University（1 数据科学学院，复旦大学 2 上海数据科学实验室 3 计算机科学与人工智能学院，复旦大学 4 字节跳动种子 5 密码学与网络科学学院，南开大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

Comments EMNLP 2025 Findings

RADAR: Benchmarking Language Models on Imperfect Tabular Data

Ken Gu, Zhihan Zhang, Kate Lin, Yuwei Zhang, Akshay Paruchuri, Hong Yu, Mehran Kazemi, Kumar Ayush, A. Ali Heydari, Maxwell A. Xu, Girish Narayanswamy, Yun Liu, Ming-Zher Poh, Yuzhe Yang, Mark Malhotra, Shwetak Patel, Hamid Palangi, Xuhai Xu, Daniel McDuff, Tim Althoff, Xin Liu

机构 * Google Research（谷歌研究） ； Google DeepMind（谷歌DeepMind） ； University of Washington（华盛顿大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

Comments NeurIPS 2025 Dataset and Benchmark Track

A Cloud-Based Spatio-Temporal GNN-Transformer Hybrid Model for Traffic Flow Forecasting with External Feature Integration

Zhuo Zheng, Lingran Meng, Ziyu Lin

专题命中 推理评测 ：planning(abstract)