大模型推理能力

Megrez2 Technical Report

Boxun Li, Yadong Li, Zhiyuan Li, Congyi Liu, Weilin Liu, Guowei Niu, Zheyue Tan, Haiyang Xu, Zhuyu Yao, Tao Yuan, Dong Zhou, Yueqing Zhuang, Bo Zhao, Guohao Dai, Yu Wang

机构 * Infinigence-AI ； Aalto University（Aalto大学） ； Shanghai Jiao Tong University（上海交通大学） ； Tsinghua University（清华大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

Adaptive Graph Pruning for Multi-Agent Communication

Boyi Li, Zhonghan Zhao, Der-Horng Lee, Gaoang Wang

机构 * Zhejiang University - University of Illinois Urbana-Champaign Institute（浙江大学 - 印第安纳大学厄巴纳-香槟分校研究所） ； Zhejiang University, College of Computer Science and Technology（浙江大学计算机科学与技术学院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

Comments ECAI 2025

FMC: Formalization of Natural Language Mathematical Competition Problems

Jiaxuan Xie, Chengwu Liu, Ye Yuan, Siqi Li, Zhiping Xiao, Ming Zhang

机构 * State Key Laboratory for Multimedia Information Processing, School of Computer Science, PKU-Anker LLM Lab, Peking University, Beijing, China（多媒体信息处理国家重点实验室，计算机科学学院，PKU-Anker LLM实验室，北京大学，北京，中国） ； Paul G. Allen School of Computer Science（保罗·G·阿伦计算机科学学校） ； Engineering, University of Washington, U.S.A.（工程，华盛顿大学，美国） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

Comments Accepted in ICML 2025 AI4MATH Workshop

WeGeFT: Weight-Generative Fine-Tuning for Multi-Faceted Efficient Adaptation of Large Models

Chinmay Savadikar, Xi Song, Tianfu Wu

机构 * Department of Electrical and Computer Engineering, North Carolina State University, Raleigh, USA（电气与计算机工程系，北卡罗来纳州立大学，拉leys，美国） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.LG

Comments Accepted to ICML25

The AI Language Proficiency Monitor -- Tracking the Progress of LLMs on Multilingual Benchmarks

David Pomerenke, Jonas Nothnagel, Simon Ostermann

机构 * Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ)（经济合作与发展部） ； Gesellschaft für Internationale Zusammenarbeit (GIZ)（国际发展合作署） ； Deutsches Forschungszentrum für Künstliche Intelligenz (DFKI)（德国人工智能研究中心） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

Skywork-R1V3 Technical Report

Wei Shen, Jiangbo Pei, Yi Peng, Xuchen Song, Yang Liu, Jian Peng, Haofeng Sun, Yunzhuo Hao, Peiyu Wang, Jianhao Zhang, Yahui Zhou

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

First Return, Entropy-Eliciting Explore

Tianyu Zheng, Tianshun Xing, Qingshui Gu, Taoran Liang, Xingwei Qu, Xin Zhou, Yizhi Li, Zhoufutu Wen, Chenghua Lin, Wenhao Huang, Qian Liu, Ge Zhang, Zejun Ma

机构 * The University of Manchester（曼彻斯特大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

Comparing Dialectical Systems: Contradiction and Counterexample in Belief Change (Extended Version)

Uri Andrews, Luca San Mauro

机构 * University of Wiscosin--Madison（威斯康星大学麦迪逊分校） ； University of Bari（巴里大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

Comments 25 pages, accepted at JELIA 2025

Using Large Language Models to Study Mathematical Practice

William D'Alessandro

机构 * William D’Alessandro（独立研究者） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

Exploring Advanced LLM Multi-Agent Systems Based on Blackboard Architecture

Bochen Han, Songmao Zhang

机构 * State Key Laboratory of Mathematical Sciences Academy of Mathematics and Systems Science, CAS（数学科学国家重点实验室，数学与系统科学研究院，中国科学院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

FedEx-LoRA: Exact Aggregation for Federated and Efficient Fine-Tuning of Foundation Models

Raghav Singhal, Kaustubh Ponkshe, Praneeth Vepakomma

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

Comments ACL 2025 - Oral. Raghav Singhal and Kaustubh Ponkshe contributed equally to this work

Training Language Model to Critique for Better Refinement

Tianshu Yu, Chao Xiang, Mingchuan Yang, Pei Ke, Bosi Wen, Cunxiang Wang, Jiale Cheng, Li Zhang, Xinyu Mu, Chuxiong Sun, Minlie Huang

机构 * China Telecom Research Institute（中国电信研究院） ； The Conversational Artificial Intelligence (CoAI) Group, Tsinghua University（清华大学对话人工智能（CoAI）小组） ； University of Electronic Science and Technology of China（电子科技大学） ； The Knowledge Engineering Group (KEG), Tsinghua University（清华大学知识工程小组） ； Zhipu AI（智谱AI） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

Comments Accepted to ACL 2025 Findings

Step-by-Step Unmasking for Parameter-Efficient Fine-tuning of Large Language Models

Aradhye Agarwal, Suhas K Ramesh, Ayan Sengupta, Tanmoy Chakraborty

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

Comments 15 pages, 7 tables, 9 figures

SparseLoRA: Accelerating LLM Fine-Tuning with Contextual Sparsity

Samir Khaki, Xiuyu Li, Junxian Guo, Ligeng Zhu, Chenfeng Xu, Konstantinos N. Plataniotis, Amir Yazdanbakhsh, Kurt Keutzer, Song Han, Zhijian Liu

机构 * University of Toronto（多伦多大学） ； MIT（麻省理工学院） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.LG

Comments ICML 2025. The first three authors contributed equally to this work. Project page: https://z-lab.ai/projects/sparselora

RiOT: Efficient Prompt Refinement with Residual Optimization Tree

Chenyi Zhou, Zhengyan Shi, Yuan Yao, Lei Liang, Huajun Chen, Qiang Zhang

机构 * Zhejiang University（浙江大学） ； University College London（伦敦大学学院） ； Ant Group（蚂蚁集团） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

AgentDistill: Training-Free Agent Distillation with Generalizable MCP Boxes

Jiahao Qiu, Xinzhe Juan, Yimin Wang, Ling Yang, Xuan Qi, Tongcheng Zhang, Jiacheng Guo, Yifu Lu, Zixin Yao, Hongru Wang, Shilong Liu, Xun Jiang, Liu Leqi, Mengdi Wang

机构 * AI Lab, Princeton University（普林斯顿大学人工智能实验室） ； University of Michigan（密歇根大学） ； IIIS, Tsinghua University（清华大学人工智能研究院） ； Shanghai Jiao Tong University（上海交通大学） ； Columbia University（哥伦比亚大学） ； The Chinese University of Hong Kong（香港中文大学） ； Tianqiao and Chrissy Chen Institute（田桥和克里斯蒂·陈研究所） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 数学推理 ：planning(abstract)；分类 cs.AI

Comments 10 pages, 5 figures

Can Large Language Models Invent Algorithms to Improve Themselves?: Algorithm Discovery for Recursive Self-Improvement through Reinforcement Learning

Yoichi Ishibashi, Taro Yano, Masafumi Oyamada

机构 * NEC Corporation（日本电报电话株式会社） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

Comments Accepted at NAACL 2025 (main)

Learning Distribution-Wise Control in Representation Space for Language Models

Chunyuan Deng, Ruidi Chang, Hanjie Chen

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

Comments ICML 2025

CogMath: Assessing LLMs' Authentic Mathematical Ability from a Human Cognitive Perspective

Jiayu Liu, Zhenya Huang, Wei Dai, Cheng Cheng, Jinze Wu, Jing Sha, Song Li, Qi Liu, Shijin Wang, Enhong Chen

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

Deconstructing Obfuscation: A four-dimensional framework for evaluating Large Language Models assembly code deobfuscation capabilities

Anton Tkachenko, Dmitrij Suskevic, Benjamin Adolphi

机构 * Research department Promon AS（Promon AS 研究部门） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

Blink of an eye: a simple theory for feature localization in generative models

Marvin Li, Aayush Karan, Sitan Chen

专题命中 数学推理 ：reasoning(abstract)；分类 cs.LG

An Exploration of Self-Supervised Mutual Information Alignment for Multi-Task Settings

Soham V. Govande

机构 * Stanford University（斯坦福大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

BPO: Revisiting Preference Modeling in Direct Preference Optimization

Lin Sun, Chuang Liu, Peng Liu, Bingyang Li, Weijia Lu, Ning Wu

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

MASTER: Enhancing Large Language Model via Multi-Agent Simulated Teaching

Liang Yue, Yihong Tang, Kehai Chen, Jie Liu, Min Zhang

机构 * Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

STORM-BORN: A Challenging Mathematical Derivations Dataset Curated via a Human-in-the-Loop Multi-Agent Framework

Wenhao Liu, Zhenyi Lu, Xinyu Hu, Jierui Zhang, Dailin Li, Jiacheng Cen, Huilin Cao, Haiteng Wang, Yuhan Li, Kun Xie, Dandan Li, Pei Zhang, Chengbo Zhang, Yuxiang Ren, Xiaohong Huang, Yan Ma

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

Comments accepted by ACL2025

MathMistake Checker: A Comprehensive Demonstration for Step-by-Step Math Problem Mistake Finding by Prompt-Guided LLMs

Tianyang Zhang, Zhuoxuan Jiang, Haotian Zhang, Lin Lin, Shaohua Zhang

专题命中 数学推理 ：chain-of-thought(abstract)；分类 cs.AI

Comments Published in AAAI 2025

Supervised Optimism Correction: Be Confident When LLMs Are Sure

Junjie Zhang, Rushuai Yang, Shunyu Liu, Ting-En Lin, Fei Huang, Yi Chen, Yongbin Li, Dacheng Tao

机构 * Nanyang Technological University（南洋理工大学） ； Hong Kong University of Science and Technology（香港科学与技术大学） ； Tongyi Lab（通义实验室） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

Gödel Agent: A Self-Referential Agent Framework for Recursive Self-Improvement

Xunjian Yin, Xinyi Wang, Liangming Pan, Li Lin, Xiaojun Wan, William Yang Wang

机构 * Peking University（北京大学） ； University of California, Santa Barbara（加州大学圣巴巴拉分校） ； University of Arizona（亚利桑那大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

Comments ACL 2025 main. The code can be found at https://github.com/Arvid-pku/Godel_Agent

RMoA: Optimizing Mixture-of-Agents through Diversity Maximization and Residual Compensation

Zhentao Xie, Chengcheng Han, Jinxin Shi, Wenjun Cui, Xin Zhao, Xingjiao Wu, Jiabao Zhao

机构 * East China Normal University（华东师范大学） ； Meituan Inc.（美团公司） ； Donghua University（东华大学） ； Tsinghua University（清华大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

Comments Accepted by ACL 2025 (Findings)

A Theoretical Framework for OOD Robustness in Transformers using Gevrey Classes

Yu Wang, Fu-Chieh Chang, Pei-Yuan Wu

机构 * Graduate Institute of Communication Engineering, National Taiwan University（国立台湾大学通信工程研究所） 纠错

专题命中 数学推理 ：chain-of-thought(abstract)；分类 cs.LG