大模型推理能力

ChartEdit: How Far Are MLLMs From Automating Chart Analysis? Evaluating MLLMs' Capability via Chart Editing

Xuanle Zhao, Xuexin Liu, Haoyue Yang, Xianzhen Luo, Fanhu Zeng, Jianling Li, Qi Shi, Chi Chen

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Harbin Institute of Technology（哈尔滨工业大学） ； Tianjin University（天津大学） ； Tsinghua University（清华大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

Comments Accepted by ACL2025 Findings, camera-ready version

Advances and Challenges in Foundation Agents: From Brain-Inspired Intelligence to Evolutionary, Collaborative, and Safe Systems

Bang Liu, Xinfeng Li, Jiayi Zhang, Jinlin Wang, Tanjin He, Sirui Hong, Hongzhang Liu, Shaokun Zhang, Kaitao Song, Kunlun Zhu, Yuheng Cheng, Suyuchen Wang, Xiaoqiang Wang, Yuyu Luo, Haibo Jin, Peiyan Zhang, Ollie Liu, Jiaqi Chen, Huan Zhang, Zhaoyang Yu, Haochen Shi, Boyan Li, Dekun Wu, Fengwei Teng, Xiaojun Jia, Jiawei Xu, Jinyu Xiang, Yizhang Lin, Tianming Liu, Tongliang Liu, Yu Su, Huan Sun, Glen Berseth, Jianyun Nie, Ian Foster, Logan Ward, Qingyun Wu, Yu Gu, Mingchen Zhuge, Xinbing Liang, Xiangru Tang, Haohan Wang, Jiaxuan You, Chi Wang, Jian Pei, Qiang Yang, Xiaoliang Qi, Chenglin Wu

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

Fietje: An open, efficient LLM for Dutch

Bram Vanroy

机构 * KU Leuven（库勒芬大学） ； Dutch Language Institute（荷兰语言学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

Journal ref Computational Linguistics in the Netherlands Journal,14 (2025), 473-504

CheXalign: Preference fine-tuning in chest X-ray interpretation models without human feedback

Dennis Hein, Zhihong Chen, Sophie Ostmeier, Justin Xu, Maya Varma, Eduardo Pontes Reis, Arne Edward Michalson, Christian Bluethgen, Hyun Joo Shin, Curtis Langlotz, Akshay S Chaudhari

机构 * Stanford University（斯坦福大学） ； University of Oxford（牛津大学） ； University Hospital Zurich, University of Zurich（苏黎世大学医院、苏黎世大学） ； Yongin Severance Hospital, Yonsei University（永临松医院、延世大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

Comments ACL 2025

Can Tool-augmented Large Language Models be Aware of Incomplete Conditions?

Seungbin Yang, ChaeHun Park, Taehee Kim, Jaegul Choo

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

CLIPTime: Time-Aware Multimodal Representation Learning from Images and Text

Anju Rani, Daniel Ortiz-Arroyo, Petar Durdevic

机构 * Department of Energy Technology（能源技术系） ； Aalborg University（奥尔堡大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

Comments 11 pages, 8 figures

Automated Type Annotation in Python Using Large Language Models

Varun Bharti, Shashwat Jha, Dhruv Kumar, Pankaj Jalote

机构 * IIIT Delhi（印度德里理工学院） ； BITS Pilani（比尔兹-帕利尼理工学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

Comments Under Review

Benchmarking LLMs for Unit Test Generation from Real-World Functions

Dong Huang, Jie M. Zhang, Mark Harman, Qianru Zhang, Mingzhe Du, See-Kiong Ng

机构 * National University of Singapore（新加坡国立大学） ； King's College London（伦敦国王学院） ； University College London（伦敦大学学院） ； The University of Cambridge（剑桥大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

Comments Under Review

Dynamic Knowledge Exchange and Dual-diversity Review: Concisely Unleashing the Potential of a Multi-Agent Research Team

Weilun Yu, Shixiang Tang, Yonggui Huang, Nanqing Dong, Li Fan, Honggang Qi, Wei Liu, Xiaoli Diao, Xi Chen, Wanli Ouyang

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

Chain-of-Trust: A Progressive Trust Evaluation Framework Enabled by Generative AI

Botao Zhu, Xianbin Wang, Lei Zhang, Xuemin, Shen

机构 * Department of Electrical and Computer Engineering, Western University（西方大学电气与计算机工程系） ； James Watt School of Engineering, University of Glasgow（格拉斯哥大学詹姆斯·瓦特工程学院） ； Department of Electrical and Computer Engineering, University of Waterloo（滑铁卢大学电气与计算机工程系） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

Journal ref IEEE Network, 2025

Chatting with your ERP: A Recipe

Jorge Ruiz Gómez, Lidia Andrés Susinos, Jorge Alamo Olivé, Sonia Rey Osorno, Manuel Luis Gonzalez Hernández

机构 * Instituto Tecnológico de Castilla y León（卡斯蒂利亚-莱昂技术学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

Comments 11 pages, includes 3 tables summarizing schema and model performance. Submitted on July 31, 2025. Targets integration of LLM agents with ERP systems using open-weight models and Ollama deployment

LLM4Rail: An LLM-Augmented Railway Service Consulting Platform

Zhuo Li, Xianghuai Deng, Chiwei Feng, Hanmeng Li, Shenjie Wang, Haichao Zhang, Teng Jia, Conlin Chen, Louis Linchun Wu, Jia Wang

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

PRGB Benchmark: A Robust Placeholder-Assisted Algorithm for Benchmarking Retrieval-Augmented Generation

Zhehao Tan, Yihan Jiao, Dan Yang, Lei Liu, Jie Feng, Duolin Sun, Yue Shen, Jian Wang, Peng Wei, Jinjie Gu

机构 * Zhehao Tan（未知） ； Yihan Jiao（未知） ； Dan Yang（未知） ； Lei Liu（未知） ； Jie Feng（未知） ； Duolin Sun（未知） ； Yue Shen（未知） ； Jian Wang（未知） ； Peng Wei（未知） ； Jinjie Gu（未知） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

MuSciClaims: Multimodal Scientific Claim Verification

Yash Kumar Lal, Manikanta Bandham, Mohammad Saqib Hasan, Apoorva Kashi, Mahnaz Koupaee, Niranjan Balasubramanian

机构 * Stony Brook University（石溪大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

Modelling Adjectival Modification Effects on Semantic Plausibility

Anna Golub, Beate Zywietz, Annerose Eichel

机构 * Institute for Natural Language Processing, University of Stuttgart（自然语言处理研究所，斯图加特大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

Comments Accepted at ESSLLI 2025 Student Session

MemTool: Optimizing Short-Term Memory Management for Dynamic Tool Calling in LLM Agent Multi-Turn Conversations

Elias Lumer, Anmol Gulati, Vamse Kumar Subbiah, Pradeep Honaganahalli Basavaraju, James A. Burke

机构 * Commercial Technology and Innovation Office, PricewaterhouseCoopers（普华永道商业技术与创新办公室） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

Comments 23 Pages, 20 Figures

Structured Relevance Assessment for Robust Retrieval-Augmented Language Models

Aryan Raj, Astitva Veer Garg, Anitha D

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

Comments International Conference on ICT for Sustainable Development (ICT4SD)

INTEGRALBENCH: Benchmarking LLMs with Definite Integral Problems

Bintao Tang, Xin Yang, Yuhao Wang, Zixuan Qiu, Zimo Ji, Wenyuan Jiang

机构 * School of Software Engineering, Tongji University, Shanghai, China（同济大学软件工程学院） ； Polytechnic Institute, Zhejiang University, Zhejiang, China（浙江大学 polytechnic 院） ； ETH Zurich, Zurich, Switzerland（苏黎世联邦理工学院） ； Department of Computer Science（计算机科学系） ； Engineering, Hong Kong University of Science（科学大学工程学院） ； School of Mathematics（数学学院） ； Physics, Xi’an Jiaotong Liverpool University, Suzhou, China（西安交通大学利物浦大学物理学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

Comments 19 pages, 5 figures

Journal ref 2nd AI for Math Workshop @ ICML 2025

BIG5-CHAT: Shaping LLM Personalities Through Training on Human-Grounded Data

Wenkai Li, Jiarui Liu, Andy Liu, Xuhui Zhou, Mona Diab, Maarten Sap

机构 * Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

IRASim: A Fine-Grained World Model for Robot Manipulation

Fangqi Zhu, Hongtao Wu, Song Guo, Yuxiao Liu, Chilam Cheang, Tao Kong

机构 * Hong Kong University of Science and Technology（香港科技大学） ； ByteDance Seed（字节跳动种子） 纠错

专题命中 推理评测 ：planning(abstract)；分类 cs.AI

Comments Opensource, project website: https://gen-irasim.github.io

Journal ref ICCV 2025

MazeEval: A Benchmark for Testing Sequential Decision-Making in Language Models

Hafsteinn Einarsson

机构 * University of Iceland（爱沙尼亚大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

Trust the Model: Compact VLMs as In-Context Judges for Image-Text Data Quality

Daulet Toibazar, Kesen Wang, Sherif Mohamed, Abdulaziz Al-Badawi, Abdulrahman Alfulayt, Pedro J. Moreno

机构 * Humain Riyadh, KSA（利雅得人类，沙特阿拉伯） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

Text2Vis: A Challenging and Diverse Benchmark for Generating Multimodal Visualizations from Text

Mizanur Rahman, Md Tahmid Rahman Laskar, Shafiq Joty, Enamul Hoque

机构 * York University（约克大学） ； Dialpad ； Salesforce AI Research（Salesforce人工智能研究） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

Zero-shot Performance of Generative AI in Brazilian Portuguese Medical Exam

Cesar Augusto Madid Truyts, Amanda Gomes Rabelo, Gabriel Mesquita de Souza, Daniel Scaldaferri Lages, Adriano Jose Pereira, Uri Adrian Prync Flato, Eduardo Pontes dos Reis, Joaquim Edson Vieira, Paulo Sergio Panse Silveira, Edson Amaro Junior

机构 * Einstein Global Advanced Technologies for Equity（埃因斯坦全球先进科技以公平为宗旨） ； Hospital Israelita Albert Einstein（埃因斯坦医院） ； Departamento de Pacientes Graves（重症患者部门） ； Stanford Center for Artificial Intelligence in Medicine and Imaging（斯坦福大学医学与成像人工智能中心） ； Departmento de Cirurgia（外科部门） ； Faculdade de Medicina, Universidade de São Paulo（圣保罗大学医学院） ； Faculdade Israelita de Ciências da Saúde Albert Einstein（埃因斯坦以色列健康科学学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

TN-AutoRCA: Benchmark Construction and Agentic Framework for Self-Improving Alarm-Based Root Cause Analysis in Telecommunication Networks

Keyu Wu, Qianjin Yu, Manlin Mei, Ruiting Liu, Jun Wang, Kailai Zhang, Yelun Bao

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

Comments 10 pages

Animation Needs Attention: A Holistic Approach to Slides Animation Comprehension with Visual-Language Models

Yifan Jiang, Yibo Xue, Yukun Kang, Pin Zheng, Jian Peng, Feiran Wu, Changliang Xu

机构 * Hangzhou Institute for Advanced Study（杭州先进研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

Comments Appendix at: https://github.com/PAMPAS-Lab/ANA-PPT-Anamation/blob/main/Appendix.pdf

Agent WARPP: Workflow Adherence via Runtime Parallel Personalization

Maria Emilia Mazzolenis, Ruirui Zhang

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

Comments Accepted at the ICML 2025 Workshop on Multi-Agent Systems in the Era of Foundation Models: Opportunities, Challenges, and Futures. Code repo: https://github.com/emiliamazzo/WARPP/

MindFlow+: A Self-Evolving Agent for E-Commerce Customer Service

Ming Gong, Xucheng Huang, Ziheng Xu, Vijayan K. Asari

机构 * Xiaoduo AI Lab, Shanghai, China（小多AI实验室，上海，中国） ； University of Dayton, Dayton, Ohio, United States（Dayton大学，俄亥俄州，美国） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

Datasets and Recipes for Video Temporal Grounding via Reinforcement Learning

Ruizhe Chen, Zhiting Fan, Tianze Luo, Heqing Zou, Zhaopeng Feng, Guiyang Xie, Hansheng Zhang, Zhuochen Wang, Zuozhu Liu, Huaijian Zhang

机构 * Bytedance（字节跳动） ； Zhejiang University（浙江大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

EVEv2: Improved Baselines for Encoder-Free Vision-Language Models

Haiwen Diao, Xiaotong Li, Yufeng Cui, Yueze Wang, Haoge Deng, Ting Pan, Wenxuan Wang, Huchuan Lu, Xinlong Wang

机构 * DLUT（大连理工大学） ； BAAI（北京人工智能研究院） ； PKU（北京大学） ； BUPT（北京邮电大学） ； UCAS（中国科学院大学） ； CASIA（中国科学院自动化研究所） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

Comments 20 pages, 10 figures, Accepted by ICCV2025 (highlight)