大模型推理能力

EyePCR: A Comprehensive Benchmark for Fine-Grained Perception, Knowledge Comprehension and Clinical Reasoning in Ophthalmic Surgery

Gui Wang, Yang Wennuo, Xusen Ma, Zehao Zhong, Zhuoru Wu, Ende Wu, Rong Qu, Wooi Ping Cheah, Jianfeng Ren, Linlin Shen

机构 * School of Computer Science & Software Engineering, Shenzhen University（深圳大学计算机科学与软件工程学院） ； School of Computer Science, University of Nottingham Ningbo China（诺丁汉大学宁波校区计算机科学学院） ； Wenzhou Medical University（温州医科大学） ； School of Computer Science, University of Nottingham（诺丁汉大学计算机科学学院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)

Comments Strong accept by NeurIPS2025 Reviewers and AC

TAG-EQA: Text-And-Graph for Event Question Answering via Structured Prompting Strategies

Maithili Kadam, Francis Ferraro

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL

Comments Accepted in *sem 2025

SoK: Measuring What Matters for Closed-Loop Security Agents

Mudita Khurana, Raunak Jain

机构 * IEEE 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.CL、cs.AI

Let's Play Across Cultures: A Large Multilingual, Multicultural Benchmark for Assessing Language Models' Understanding of Sports

Punit Kumar Singh, Nishant Kumar, Akash Ghosh, Kunal Pasad, Khushi Soni, Manisha Jaishwal, Sriparna Saha, Syukron Abu Ishaq Alfarozi, Asres Temam Abagissa, Kitsuchart Pasupa, Haiqin Yang, Jose G Moreno

机构 * Indian Institute of Technology Patna（印度理工学院帕纳布分校） ； Sardar Patel Institute of Technology（萨达尔·帕特尔技术学院） ； Universitas Gadjah Mada（加查马大学） ； King Mongkut’s Institute of Technology Ladkrabang（拉差班国王技术学院） ； Shenzhen Technology University（深圳技术大学） ； Université de Toulouse（图卢兹大学） 纠错

专题命中 推理评测 ：chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL、cs.AI

Comments 52 pages, 56 figures; appearing at EMNLP'25

RESTRAIN: From Spurious Votes to Signals -- Self-Driven RL with Self-Penalization

Zhaoning Yu, Will Su, Leitian Tao, Haozhu Wang, Aashu Singh, Hanchao Yu, Jianyu Wang, Hongyang Gao, Weizhe Yuan, Jason Weston, Ping Yu, Jing Xu

机构 * Iowa State University（爱荷华州立大学） ； FAIR at Meta SuperIntelligence Lab（Meta超智能实验室FAIR团队） ； Meta 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL

Benchmark Profiling: Mechanistic Diagnosis of LLM Benchmarks

Dongjun Kim, Gyuho Shim, Yongchan Chun, Minhyuk Kim, Chanjun Park, Heuiseok Lim

机构 * Department of Computer Science and Engineering, Korea University（韩国大学计算机科学与工程系） ； School of Software, Soongsil University（顺天大学软件学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

Comments 16 pages, 5 figures. Accepted to EMNLP 2025 main conference

Deriving Strategic Market Insights with Large Language Models: A Benchmark for Forward Counterfactual Generation

Keane Ong, Rui Mao, Deeksha Varshney, Paul Pu Liang, Erik Cambria, Gianmarco Mengaldo

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

Comments Published at Empirical Methods in Natural Language Processing 2025 (Main Conference) (Oral)

FINCH: Financial Intelligence using Natural language for Contextualized SQL Handling

Avinash Kumar Singh, Bhaskarjit Sarmah, Stefano Pasquali

机构 * Domyn 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

CardioRAG: A Retrieval-Augmented Generation Framework for Multimodal Chagas Disease Detection

Zhengyang Shen, Xuehao Zhai, Hua Tu, Mayue Shi

机构 * Department of Electrical and Electronic Engineering Imperial College London（帝国理工学院电子与电气工程系） ； Department of Civil and Environmental Engineering Imperial College London（帝国理工学院土木与环境工程系） ； Institute of Biomedical Engineering Department of Engineering Science University of Oxford（牛津大学生物医学工程研究所） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

Comments 4 pages, 2 figures. Accepted for oral presentation at the 52nd international Computing in Cardiology Conference (CinC2025)

Automating Data-Driven Modeling and Analysis for Engineering Applications using Large Language Model Agents

Yang Liu, Zaid Abulawi, Abhiram Garimidi, Doyeong Lim

机构 * Department of Nuclear Engineering, Texas A\&M University（核工程系，德克萨斯A&M大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

LOCA: Logical Chain Augmentation for Scientific Corpus Cleaning

You-Le Fang, Dong-Shan Jian, Xiang Li, Ce Meng, Ling-Shi Meng, Chen-Xu Yan, Zhi-Zhang Bian, Yan-Qing Ma

机构 * School of Physics, Peking University（北京大学物理学院） ； Center for High Energy Physics, Peking University（北京大学高等能源物理中心） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

Comments 29 pages, 2 figures

MedQ-Bench: Evaluating and Exploring Medical Image Quality Assessment Abilities in MLLMs

Jiyao Liu, Jinjie Wei, Wanying Qu, Chenglong Ma, Junzhi Ning, Yunheng Li, Ying Chen, Xinzhe Luo, Pengcheng Chen, Xin Gao, Ming Hu, Huihui Xu, Xin Wang, Shujian Gao, Dingkang Yang, Zhongying Deng, Jin Ye, Lihao Liu, Junjun He, Ningsheng Xu

机构 * Fudan University（复旦大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Imperial College London（帝国理工学院） ； University of Cambridge（剑桥大学） 纠错

专题命中 推理评测 ：reasoning(abstract)

Comments 26 pages, 13 figures

Reason to Rote: Rethinking Memorization in Reasoning

Yupei Du, Philipp Mondorf, Silvia Casola, Yuekun Yao, Robert Litschko, Barbara Plank

机构 * Department of ICS, Utrecht University（信息科学与计算系，乌特勒支大学） ； MaiNLP, Center for Information and Language Processing, LMU Munich（MaiNLP，信息与语言处理中心，慕尼黑大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； Saarland Informatics Campus, Saarland University（萨尔兰州信息科学校区，萨尔兰州大学） 纠错

专题命中 其他推理 ：reasoning(title,abstract)；分类 cs.CL、cs.LG

Comments EMNLP 2025 Main. 21 pages, 14 figures

ReSSFormer: A Recursive Sparse Structured Transformer for Scalable and Long-Context Reasoning

Haochen You, Baojing Liu

机构 * Columbia University（哥伦比亚大学） ； Hebei Institute of Communications（河北通信学院） 纠错

专题命中 其他推理 ：reasoning(title,abstract)；分类 cs.CL

Comments Accepted as a short paper at ACM Multimedia Asia 2025

BioVERSE: Representation Alignment of Biomedical Modalities to LLMs for Multi-Modal Reasoning

Ching-Huei Tsou, Michal Ozery-Flato, Ella Barkan, Diwakar Mahajan, Ben Shapira

机构 * IBM T.J. Watson Research Center（IBM T.J. Watson研究所以） ； IBM Research（IBM研究所以） 纠错

专题命中 其他推理 ：reasoning(title,abstract)；分类 cs.AI

ARUQULA -- An LLM based Text2SPARQL Approach using ReAct and Knowledge Graph Exploration Utilities

Felix Brei, Lorenz Bühmann, Johannes Frey, Daniel Gerber, Lars-Peter Meyer, Claus Stadler, Kirill Bulert

机构 * Institute for Applied Informatics at Leipzig University（莱比锡大学应用信息学院） ； Leipzig University（莱比锡大学） ； Chemnitz Technical University（Chemnitz技术大学） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

Comments peer reviewed publication at Text2SPARQL Workshop @ ESWC 2025

Cyber Academia-Chemical Engineering (CA-ChemE): A Living Digital Town for Self-Directed Research Evolution and Emergent Scientific Discovery

Zekun Jiang, Chunming Xu, Tianhang Zhou

机构 * State Key Laboratory of Heavy Oil Processing, College of Carbon Neutrality Future Technology, China University of Petroleum (Beijing), Beijing 102249, China（石油加工国家重点实验室，碳中和未来技术学院，中国石油大学（北京），北京102249） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

MOSS-Speech: Towards True Speech-to-Speech Models Without Text Guidance

Xingjian Zhao, Zhe Xu, Qinyuan Cheng, Zhaoye Fei, Luozhijie Jin, Yang Wang, Hanfu Chen, Yaozhou Jiang, Qinghui Gao, Ke Chen, Ruixiao Li, Mingshu Chen, Ruiming Wang, Wenbo Zhang, Yiyang Zhang, Donghua Yu, Yang Gao, Xiaogui Yang, Yitian Gong, Yuanfan Xu, Yaqian Zhou, Xuanjing Huang, Xipeng Qiu

机构 * SII OpenMOSS Team（SII开放MOSS团队） ； Shanghai Innovation Institute（上海创新研究院） ； Fudan University（复旦大学） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

Defend LLMs Through Self-Consciousness

Boshi Huang, Fabio Nonato de Paula

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

Comments company requests to withdraw

GuruAgents: Emulating Wise Investors with Prompt-Guided LLM Agents

Yejin Kim, Youngbin Lee, Juhyeong Kim, Yongjae Lee

机构 * AI Quant Lab, MODULABS（AI量化实验室，MODULABS） ； Ulsan National Institute of Science and Technology（乌山国立科学与技术研究所） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.AI

Comments 7 Pages, 2 figures

Journal ref CIKM 2025 Workshop on Advances in Financial AI: Innovations, Risk, and Responsibility in the Era of LLMs

SSTAG: Structure-Aware Self-Supervised Learning Method for Text-Attributed Graphs

Ruyue Liu, Rong Yin, Xiangzhen Bo, Xiaoshuai Hao, Yong Liu, Jinwen Zhong, Can Ma, Weiping Wang

机构 * Institute of Information Engineering, CAS（信息工程研究所，中国科学院） ； School of Cyberspace Security, UCAS（网络安全学院，中国科学院大学） ； Wuhan University of Technology（武汉理工大学） ； Xiaomi EV（小米汽车） ； Renmin University of China（中国人民大学） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL

Comments Accepted by NeurIPS 2025

LLMRank: Understanding LLM Strengths for Model Routing

Shubham Agrawal, Prasang Gupta

机构 * Zeno AI 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL

Comments 13 pages, 1 figure

Mol-LLaMA: Towards General Understanding of Molecules in Large Molecular Language Model

Dongki Kim, Wonbin Lee, Sung Ju Hwang

机构 * KAIST（韩国科学技术院） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.LG

Comments NeurIPS 2025

Implementing Agents in JavaScript

Timotheus Kampik

专题命中 其他推理 ：reasoning(abstract)

Comments This chapter will eventually by published in the book "Agents and Multi-Agent Systems Development -- Platforms, Toolkits, Technologies", edited by Collier, Mascardi, and Ricci