大模型推理能力

MANTA: Cross-Modal Semantic Alignment and Information-Theoretic Optimization for Long-form Multimodal Understanding

Ziqi Zhong, Daniel Tang

机构 * London School of Economics（伦敦经济学院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

Beyond Statistical Learning: Exact Learning Is Essential for General Intelligence

András György, Tor Lattimore, Nevena Lazić, Csaba Szepesvári

机构 * Google DeepMind（谷歌DeepMind） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

TTRL: Test-Time Reinforcement Learning

Yuxin Zuo, Kaiyan Zhang, Li Sheng, Shang Qu, Ganqu Cui, Xuekai Zhu, Haozhan Li, Yuchen Zhang, Xinwei Long, Ermo Hua, Biqing Qi, Youbang Sun, Zhiyuan Ma, Lifan Yuan, Ning Ding, Bowen Zhou

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

LoRA-One: One-Step Full Gradient Could Suffice for Fine-Tuning Large Language Models, Provably and Efficiently

Yuanhe Zhang, Fanghui Liu, Yudong Chen

机构 * Department of Statistics, University of Warwick, UK.（威斯敏斯特大学统计学系） ； Department of Computer Science, University of Warwick, UK.（威斯敏斯特大学计算机科学系） ； Centre for Discrete Mathematics and its Applications (DIMAP), University of Warwick, UK.（威斯敏斯特大学离散数学及其应用中心（DIMAP）） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

Comments Accepted by ICML 2025 (Oral)

Drag-and-Drop LLMs: Zero-Shot Prompt-to-Weights

Zhiyuan Liang, Dongwen Tang, Yuhao Zhou, Xuanlei Zhao, Mingjia Shi, Wangbo Zhao, Zekai Li, Peihao Wang, Konstantin Schürholt, Damian Borth, Michael M. Bronstein, Yang You, Zhangyang Wang, Kai Wang

机构 * National University of Singapore（新加坡国立大学） ； UT Austin（德克萨斯大学奥斯汀分校） ； University of St. Gallen（圣加尔登大学） ； Oxford University（牛津大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

Comments We propose a method that can generate LoRA parameters in seconds

Revisiting Multi-Agent Debate as Test-Time Scaling: A Systematic Study of Conditional Effectiveness

Yongjin Yang, Euiin Yi, Jongwoo Ko, Kimin Lee, Zhijing Jin, Se-Young Yun

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

Comments Preprint, under review

Investigating the Potential of Large Language Model-Based Router Multi-Agent Architectures for Foundation Design Automation: A Task Classification and Expert Selection Study

Sompote Youwai, David Phim, Vianne Gayl Murcia, Rianne Clair Onas

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

Steering LLM Thinking with Budget Guidance

Junyan Li, Wenshuo Zhao, Yang Zhang, Chuang Gan

机构 * UMass Amherst（马萨诸塞大学阿默斯特分校） ； Zhejiang University（浙江大学） ； MIT-IBM Watson AI Lab（麻省理工-IBM沃森人工智能实验室） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

Position: Pause Recycling LoRAs and Prioritize Mechanisms to Uncover Limits and Effectiveness

Mei-Yen Chen, Thi Thu Uyen Hoang, Michael Hahn, M. Saquib Sarfraz

机构 * Saarland University（萨尔兰大学） ； Mercedes-Benz Tech Innovation（梅赛德斯-奔驰科技创新） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

MathFusion: Enhancing Mathematical Problem-solving of LLM through Instruction Fusion

Qizhi Pei, Lijun Wu, Zhuoshi Pan, Yu Li, Honglin Lin, Chenlin Ming, Xin Gao, Conghui He, Rui Yan

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学北京校区人工智能学院） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Tsinghua University（清华大学） ； Shanghai Jiao Tong University（上海交通大学） ； Engineering Research Center of Next-Generation Intelligent Search and Recommendation, MOE（教育部下一代智能搜索与推荐工程技术研究中心） ； School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

Comments Accepted by ACL 2025 (main)

NeuralNexus at BEA 2025 Shared Task: Retrieval-Augmented Prompting for Mistake Identification in AI Tutors

Numaan Naeem, Sarfraz Ahmad, Momina Ahsan, Hasan Iqbal

机构 * MBZUAI（穆萨大学人工智能研究所） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

Comments 6 pages, 2 figures, 1 table

Synthesis by Design: Controlled Data Generation via Structural Guidance

Lei Xu, Sirui Chen, Yuxuan Huang, Chaochao Lu

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Tongji University（同济大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

Confidence Is All You Need: Few-Shot RL Fine-Tuning of Language Models

Pengyi Li, Matvey Skripkin, Alexander Zubrey, Andrey Kuznetsov, Ivan Oseledets

机构 * AIRI, Skoltech Moscow（AIRI，斯克里普奇莫斯科学院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

RKEFino1: A Regulation Knowledge-Enhanced Large Language Model

Yan Wang, Yueru He, Ruoyu Xiang, Jeff Zhao

机构 * Yale University（耶鲁大学） ； Columbia University（哥伦比亚大学） ； New York University（纽约大学） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

Simulating LLM-to-LLM Tutoring for Multilingual Math Feedback

Junior Cedric Tonga, KV Aditya Srivatsa, Kaushal Kumar Maurya, Fajri Koto, Ekaterina Kochmar

机构 * Mohamed bin Zayed University of Artificial Intelligence（莫莫德·本·泽德人工智能大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

Comments Preprint, in submission

On-Policy RL with Optimal Reward Baseline

Yaru Hao, Li Dong, Xun Wu, Shaohan Huang, Zewen Chi, Furu Wei

机构 * Microsoft Research（微软研究院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

VinePPO: Refining Credit Assignment in RL Training of LLMs

Amirhossein Kazemnejad, Milad Aghajohari, Eva Portelance, Alessandro Sordoni, Siva Reddy, Aaron Courville, Nicolas Le Roux

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

Comments Accepted at ICML 2025; 12 pages and 22 pages Appendix

Wait, that's not an option: LLMs Robustness with Incorrect Multiple-Choice Options

Gracjan Góral, Emilia Wiśnios, Piotr Sankowski, Paweł Budzianowski

机构 * University of Warsaw（华沙大学） ； Institute of Mathematics, Polish Academy of Sciences（波兰科学院数学研究所） ； MIM Solutions（MIM解决方案） ； K-Scale Labs（K-Scale实验室） ； IDEAS NCBR ； IDEAS Research Institute（IDEAS研究学院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

Comments Accepted for ACL 2025 Main Conference and NeurIPS 2024 FM-EduAssess Workshop

LEMMA: Learning from Errors for MatheMatical Advancement in LLMs

Zhuoshi Pan, Yu Li, Honglin Lin, Qizhi Pei, Zinan Tang, Wei Wu, Chenlin Ming, H. Vicky Zhao, Conghui He, Lijun Wu

机构 * Tsinghua University（清华大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Renmin University of China（中国人民大学） ； University of Science and Technology of China（中国科学技术大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

Comments ACL'25 Findings, Code is available at https://github.com/pzs19/LEMMA

Who Reasons in the Large Language Models?

Jie Shao, Jianxin Wu

机构 * National Key Laboratory for Novel Software Technology, Nanjing University, China（国家新型软件技术实验室，南京大学，中国） ； School of Artificial Intelligence, Nanjing University, China（人工智能学院，南京大学，中国） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

SFT Memorizes, RL Generalizes: A Comparative Study of Foundation Model Post-training

Tianzhe Chu, Yuexiang Zhai, Jihan Yang, Shengbang Tong, Saining Xie, Dale Schuurmans, Quoc V. Le, Sergey Levine, Yi Ma

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

Comments Website at https://tianzhechu.com/SFTvsRL

Why Vision Language Models Struggle with Visual Arithmetic? Towards Enhanced Chart and Geometry Understanding

Kung-Hsiang Huang, Can Qin, Haoyi Qiu, Philippe Laban, Shafiq Joty, Caiming Xiong, Chien-Sheng Wu

机构 * Salesforce AI Research（Salesforce AI研究院） ； UCLA（加州大学洛杉矶分校） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

Comments Code and data are available at https://github.com/SalesforceAIResearch/CogAlign

Assessing Robustness to Spurious Correlations in Post-Training Language Models

Julia Shuieh, Prasann Singhal, Apaar Shanker, John Heyer, George Pu, Samuel Denton

机构 * Scale AI 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

Comments ICLR '25 Workshop on Spurious Correlation and Shortcut Learning

CHORUS: Zero-shot Hierarchical Retrieval and Orchestration for Generating Linear Programming Code

Tasnim Ahmed, Salimur Choudhury

机构 * School of Computing, Queen’s University, Ontario, Canada（计算学院，皇后大学，安大略省，加拿大） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

Comments This paper has been accepted for presentation at the 19th Learning and Intelligent Optimization Conference (LION 19)

BitNet b1.58 2B4T Technical Report

Shuming Ma, Hongyu Wang, Shaohan Huang, Xingxing Zhang, Ying Hu, Ting Song, Yan Xia, Furu Wei

机构 * Microsoft Research（微软研究院） ； University of Chinese Academy of Sciences（中国科学院大学） ； Tsinghua University（清华大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

Comments Work in progress

MIND: Math Informed syNthetic Dialogues for Pretraining LLMs

Syeda Nahida Akter, Shrimai Prabhumoye, John Kamalu, Sanjeev Satheesh, Eric Nyberg, Mostofa Patwary, Mohammad Shoeybi, Bryan Catanzaro

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

Comments 31 pages, 5 figures, 14 tables

A Post-trainer's Guide to Multilingual Training Data: Uncovering Cross-lingual Transfer Dynamics

Luisa Shimabucoro, Ahmet Ustun, Marzieh Fadaee, Sebastian Ruder

机构 * Cohere For AI ； University of São Paulo（圣保罗大学） ； Meta 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

Brains vs. Bytes: Evaluating LLM Proficiency in Olympiad Mathematics

Hamed Mahdavi, Alireza Hashemi, Majid Daliri, Pegah Mohammadipour, Alireza Farhadi, Samira Malek, Yekta Yazdanifard, Amir Khasahmadi, Vasant Honavar

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

From Blind Solvers to Logical Thinkers: Benchmarking LLMs' Logical Integrity on Faulty Mathematical Problems

A M Muntasir Rahman, Junyi Ye, Wei Yao, Sierra S. Liu, Jesse Yu, Jonathan Yu, Wenpeng Yin, Guiling Wang

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

LLM Library Learning Fails: A LEGO-Prover Case Study

Ian Berlot-Attwell, Frank Rudzicz, Xujie Si

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

Comments 24 pages, 5 figures