大模型推理能力

Modeling Motivated Reasoning in Law: Evaluating Strategic Role Conditioning in LLM Summarization

Eunjung Cho, Alexander Hoyle, Yoan Hermstrüwer

机构 * ETH Zurich（苏黎世联邦理工学院） ； University of Zurich（苏黎世大学） ； Max Planck Institute for Research on Collective Goods（集体利益研究所） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

Comments Accepted at NLLP 2025

Forecasting the Buzz: Enriching Hashtag Popularity Prediction with LLM Reasoning

Yifei Xu, Jiaying Wu, Herun Wan, Yang Li, Zhen Hou, Min-Yen Kan

专题命中 推理评测 ：reasoning(title,abstract)

Comments Accepted to CIKM 2025

Seeing, Listening, Remembering, and Reasoning: A Multimodal Agent with Long-Term Memory

Lin Long, Yichen He, Wentao Ye, Yiyuan Pan, Yuan Lin, Hang Li, Junbo Zhao, Wei Li

机构 * Zhejiang University（浙江大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)

Evaluation of LLMs for Process Model Analysis and Optimization

Akhil Kumar, Jianliang Leon Zhao, Om Dobariya

专题命中 推理评测 ：reasoning(abstract,comments)；分类 cs.CL、cs.AI、cs.LG

Comments 15 pages, 5 tables, 4 figures; full research paper currently under review for the Workshop on Information Technologies and Systems (WITS) 2025. The paper presents a comprehensive evaluation of large language models (LLMs) for business process model analysis and optimization, including error detection, reasoning, and scenario-based redesign

ArenaBencher: Automatic Benchmark Evolution via Multi-Model Competitive Evaluation

Qin Liu, Jacob Dineen, Yuxi Huang, Sheng Zhang, Hoifung Poon, Ben Zhou, Muhao Chen

机构 * University of California, Davis（加州大学戴维斯分校） ； Arizona State University（亚利桑那州立大学） ； Microsoft Research（微软研究院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Preprint

Modality-Balancing Preference Optimization of Large Multimodal Models by Adversarial Negative Mining

Chenxi Liu, Tianyi Xiong, Yanshuo Chen, Ruibo Chen, Yihan Wu, Junfeng Guo, Tianyi Zhou, Heng Huang

机构 * University of Maryland, College Park（马里兰大学学院 park） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

Reducing Large Language Model Safety Risks in Women's Health using Semantic Entropy

Jahan C. Penny-Dimri, Magdalena Bachmann, William R. Cooke, Sam Mathewlynn, Samuel Dockree, John Tolladay, Jannik Kossen, Lin Li, Yarin Gal, Gabriel Davis Jones

机构 * Oxford Digital Health Labs, Nuffield Department of Women’s and Reproductive Health（牛津数字健康实验室，女性与生殖健康系） ； University of Oxford（牛津大学） ； Oxford University Hospitals NHS Foundation Trust（牛津大学医院 NHS 基础信托） ； OATML, Department of Computer Science（OATML，计算机科学系） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 15 pages, 6 tables

Towards Human-Like Grading: A Unified LLM-Enhanced Framework for Subjective Question Evaluation

Fanwei Zhua, Jiaxuan He, Xiaoxiao Chen, Zulong Chen, Quan Lu, Chenrui Mei

机构 * Hangzhou City University（杭州市大学） ； Alibaba Group（阿里巴巴集团） ； Zhejiang Hospital（浙江省医院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

Multimodal Safety Evaluation in Generative Agent Social Simulations

Alhim Vera, Karen Sanchez, Carlos Hinojosa, Haidar Bin Hamid, Donghoon Kim, Bernard Ghanem

机构 * University of Cincinnati（辛辛那提大学） ； King Abdullah University of Science and Technology（国王阿卜杜勒·阿齐兹大学科学与技术） 纠错

专题命中 推理评测 ：planning(abstract)；分类 cs.CL、cs.AI

ConCuR: Conciseness Makes State-of-the-Art Kernel Generation

Lingcheng Kong, Jiateng Wei, Hanzhang Shen, Huan Wang

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.LG

AppForge: From Assistant to Independent Developer -- Are GPTs Ready for Software Development?

Dezhi Ran, Yuan Cao, Mengzhou Wu, Simin Chen, Yuzhe Guo, Jun Ren, Zihe Song, Hao Yu, Jialei Wei, Linyi Li, Wei Yang, Baishakhi Ray, Tao Xie

机构 * Key Lab of HCST (PKU), MOE（HCST关键实验室（PKU）） ； School of Computer Science, Peking University, China（北京大学计算机科学学院） ； Columbia University, USA（哥伦比亚大学） ； Beijing Jiaotong University, China（北京交通大学） ； University of Texas at Dallas, USA（德克萨斯大学达拉斯分校） ； Hong Kong University of Science and Technology, Hong Kong SAR, China（香港科技大学） ； Fudan University Institute of Systems for Advanced Computing, Shanghai, China（复旦大学先进计算系统研究所） ； Simon Fraser University, Canada（西蒙弗雷泽大学） ； Shanghai Institute of Systems for Open Computing, Shanghai, China（上海开放计算系统研究所） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

Comments Under Review. Benchmark and leadboards at https://appforge-bench.github.io/

Evaluating LLM-Generated Legal Explanations for Regulatory Compliance in Social Media Influencer Marketing

Haoyang Gui, Thales Bertaglia, Taylor Annabell, Catalina Goanta, Tjomme Dooper, Gerasimos Spanakis

机构 * Utrecht University（乌特雷赫大学） ； Stichting Reclame Code（Reclame Code基金会） ； Maastricht University（马斯特里赫特大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

Comments Accepted for publication at the Natural Legal Language Processing Workshop (NLLP) 2025, co-located with EMNLP

Metric Calculating Benchmark: Code-Verifiable Complicate Instruction Following Benchmark for Large Language Models

Hyeonseok Moon, Seongtae Hong, Jaehyung Seo, Heuiseok Lim

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

Comments Accepted to the EMNLP2025

Understanding DeepResearch via Reports

Tianyu Fan, Xinyao Niu, Yuxiang Zheng, Fengji Zhang, Chengen Huang, Bei Chen, Junyang Lin, Chao Huang

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

Comments 22 pages, 4 figures

TRAVL: A Recipe for Making Video-Language Models Better Judges of Physics Implausibility

Saman Motamed, Minghao Chen, Luc Van Gool, Iro Laina

机构 * Visual Geometry Group, University of Oxford（视觉几何组，牛津大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

WebRenderBench: Enhancing Web Interface Generation through Layout-Style Consistency and Reinforcement Learning

Peichao Lai, Jinhui Zhuang, Kexuan Zhang, Ningchang Xiong, Shengjie Wang, Yanwei Xu, Chong Chen, Yilei Wang, Bin Cui

机构 * Peking University（北京大学） ； Xiamen Huaxia University（厦门华夏大学） ； Fuzhou University（福州市大学） ； City University of Hong Kong（香港城市大学） ； Huawei Cloud BU（华为云业务单元） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

Can LLMs Grasp Implicit Cultural Values? Benchmarking LLMs' Cultural Intelligence with CQ-Bench

Ziyi Liu, Priyanka Dey, Jen-tse Huang, Zhenyu Zhao, Bowen Jiang, Rahul Gupta, Yang Liu, Yao Du, Jieyu Zhao

机构 * University of Southern California（南加州大学） ； Amazon AGI（亚马逊人工智慧） ； John Hopkins University（约翰霍普金斯大学） ； University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

Sherkala-Chat: Building a State-of-the-Art LLM for Kazakh in a Moderately Resourced Setting

Fajri Koto, Rituraj Joshi, Nurdaulet Mukhituly, Yuxia Wang, Zhuohan Xie, Rahul Pal, Daniil Orel, Parvez Mullah, Diana Turmakhan, Maiya Goloburda, Mohammed Kamran, Samujjwal Ghosh, Bokang Jia, Jonibek Mansurov, Mukhammed Togmanov, Debopriyo Banerjee, Nurkhan Laiyk, Akhmed Sakip, Xudong Han, Ekaterina Kochmar, Alham Fikri Aji, Aaryamonvikram Singh, Alok Anil Jadhav, Satheesh Katipomu, Samta Kamboj, Monojit Choudhury, Gurpreet Gosal, Gokulakrishnan Ramakrishnan, Biswajit Mishra, Sarath Chandran, Avraham Sheinin, Natalia Vassilieva, Neha Sengupta, Preslav Nakov

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Inception ； Cerebras Systems（Cerebras系统） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

Comments Accepted at COLM 2025

BixBench: a Comprehensive Benchmark for LLM-based Agents in Computational Biology

Ludovico Mitchener, Jon M Laurent, Alex Andonian, Benjamin Tenmann, Siddharth Narayanan, Geemi P Wellawatte, Andrew White, Lorenzo Sani, Samuel G Rodriques

专题命中 推理评测 ：planning(abstract)；分类 cs.AI

Comments 8 main text pages, 5 main figures

Can Large Language Models Be Trusted as Evolutionary Optimizers for Network-Structured Combinatorial Problems?

Jie Zhao, Tao Wen, Kang Hao Cheong

机构 * Division of Mathematical Sciences, School of Physical and Mathematical Sciences, Nanyang Technological University（数学科学系，物理与数学科学学院，南洋理工大学） ； School of Computer Science and Engineering, Nanyang Technological University（计算机科学与工程学院，南洋理工大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

MoA-VR: A Mixture-of-Agents System Towards All-in-One Video Restoration

Lu Liu, Chunlei Cai, Shaocheng Shen, Jianfeng Liang, Weimin Ouyang, Tianxiao Ye, Jian Mao, Huiyu Duan, Jiangchao Yao, Xiaoyun Zhang, Qiang Hu, Guangtao Zhai

机构 * Shanghai Jiao Tong University（上海交通大学） ； University of Electronic Science and Technology of China（电子科技大学） ； Bilibili Inc.（哔哩哔哩公司） 纠错

专题命中 推理评测 ：reasoning(abstract)

TransMamba: Fast Universal Architecture Adaption from Transformers to Mamba

Xiuwei Chen, Wentao Hu, Xiao Dong, Sihao Lin, Zisheng Chen, Meng Cao, Yina Zhuang, Jianhua Han, Hang Xu, Xiaodan Liang

机构 * Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区） ； Hong Kong Polytechnic University（香港理工大学） ； Zhuhai Campus of Sun Yat-sen University（中山大学珠海校区） ； University of Adelaide（阿德莱德大学） ； Peking University（北京大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)

Empowering Lightweight MLLMs with Reasoning via Long CoT SFT

Linyu Ou, YuYang Yin

机构 * Beijing Institute of Technology（北京理工大学） ； Basic Algorithm Center, PCG, Tencent（腾讯基本算法中心） 纠错

专题命中 其他推理 ：reasoning(title,abstract)；CoT(title,abstract)；chain-of-thought(abstract)

OpenRLHF: An Easy-to-use, Scalable and High-performance RLHF Framework

Jian Hu, Xibin Wu, Wei Shen, Jason Klein Liu, Zilin Zhu, Weixun Wang, Songlin Jiang, Haoran Wang, Hao Chen, Bin Chen, Weikai Fang, Xianyu, Yu Cao, Haotian Xu, Yiming Liu

机构 * Team Project Leader（团队项目负责人） 纠错

专题命中 其他推理 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments update template

Rethinking Reasoning: A Survey on Reasoning-based Backdoors in LLMs

Man Hu, Xinyi Wu, Zuofeng Suo, Jinbo Feng, Linghui Meng, Yanhao Jia, Anh Tuan Luu, Shuai Zhao

机构 * Beijing Electronic Science and Technology Institute, China（北京电子科技研究所） ； Nanyang Technological University, Singapore（南洋理工大学） ； Hainan University, China（海南大学） 纠错

专题命中 其他推理 ：reasoning(title,abstract)；分类 cs.AI

Can Large Reasoning Models Self-Train?

Sheikh Shafayat, Fahim Tajwar, Ruslan Salakhutdinov, Jeff Schneider, Andrea Zanette

机构 * KAIST（韩国科学技术院） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 其他推理 ：reasoning(title,abstract)；分类 cs.LG

Comments Project website: https://self-rewarding-llm-training.github.io/

Med-R$^2$: Crafting Trustworthy LLM Physicians via Retrieval and Reasoning of Evidence-Based Medicine

Keer Lu, Zheng Liang, Da Pan, Shusen Zhang, Guosheng Dong, Zhonghai Wu, Huang Leng, Bin Cui, Wentao Zhang

机构 * Center for Data Science, AAIS Peking University Beijing China（数据科学中心，北京大学北京中国） ； Baichuan Inc. Beijing China（北川公司北京中国） ； School of Computer Science Peking University Beijing China（计算机科学学院，北京大学北京中国） ； Peking University（北京大学） ； Baichuan Inc.（北川公司） 纠错

专题命中 其他推理 ：reasoning(title,abstract)；分类 cs.CL

Enhancing LLM Reliability via Explicit Knowledge Boundary Modeling

Hang Zheng, Hongshen Xu, Yuncong Liu, Lu Chen, Pascale Fung, Kai Yu

机构 * X-LANCE Lab, School of Computer Science MoE Key Lab of Artificial Intelligence, SJTU AI Institute Shanghai Jiao Tong University, Shanghai, China（X-LANCE实验室，计算机科学学院，人工智能关键实验室，上海交通大学人工智能研究院，上海，中国） ； Jiangsu Key Lab of Language Computing, Suzhou, China（语言计算重点实验室，苏州，中国） ； AISpeech Co., Ltd., Suzhou, China（AISpeech公司，苏州，中国） ； Center for Artificial Intelligence Research (CAiRE) Hong Kong University of Science and Technology, Hong Kong, China（人工智能研究中心（CAiRE）香港科技大学，香港，中国） ； Suzhou Laboratory, Suzhou, China（苏州实验室，苏州，中国） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

Memory Retrieval and Consolidation in Large Language Models through Function Tokens

Shaohua Zhang, Yuan Lin, Hang Li

机构 * ByteDance Seed（字节跳动种子） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

CoCoA: Collaborative Chain-of-Agents for Parametric-Retrieved Knowledge Synergy

Yi Jiang, Sendong Zhao, Jianbo Li, Haochun Wang, Lizhe Zhang, Yan Liu, Bing Qin

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； China Mobile Group Heilongjiang Co.,Ltd（中国移动集团黑龙江公司） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

Comments code available at https://github.com/liunian-Jay/CoCoA