大模型推理能力

Nudging Beyond the Comfort Zone: Efficient Strategy-Guided Exploration for RLVR

走出舒适区：为RLVR的高效策略引导探索

Chanuk Lee, Sangwoo Park, Minki Kang, Sung Ju Hwang

机构 * KAIST（韩国科学技术院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出NudgeRL框架，通过策略引导实现结构化和多样性探索，提升RLVR在数学基准上的表现，相比标准GRPO和oracle引导方法更高效。

Comments 28 pages, 7 figures

VSPO: Vector-Steered Policy Optimization for Behavioral Control

VSPO：用于行为控制的向量引导策略优化

Xuechen Zhang, Zijian Huang, Kai Yang, Weijia Zhang, Jiasi Chen, Samet Oymak

机构 * University of Michigan（密歇根大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 VSPO通过引入与目标行为关联的引导向量，控制生成轨迹的行为强度，解决多目标优化中的稀疏奖励问题，提升策略优化效率。

AstraFlow: Dataflow-Oriented Reinforcement Learning for Agentic LLMs

AstraFlow：面向代理大语言模型的数据流强化学习

Haizhong Zheng, Yizhuo Di, Jiahui Wang, Shuowei Jin, Xueshen Liu, Yongji Wu, Z. Morley Mao, Ion Stoica, Jiawei Zhao, Beidi Chen

机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of Michigan（密歇根大学） ； UC Berkeley（加州大学伯克利分校） ； Meta 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 AstraFlow通过数据流导向的强化学习系统，实现复杂多策略协作训练和高效利用异构计算资源，提升代理LLM的推理与工具使用能力。

Neural Activation Patterns Across Language Model Architectures: A Comprehensive Analysis of Cognitive Task Performance

神经激活模式在语言模型架构中的跨分析：对认知任务性能的全面研究

Mahdi Naser-Moghadasi, Faezeh Ghaderi

机构 * Research Division, BrightMind AI（BrightMind AI 研究部） ； Texas Tech University（德克萨斯理工大学） ； University of Texas at Arlington（德克萨斯大学阿灵顿分校） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 本文分析了六种大型语言模型架构在十二种认知任务上的神经激活模式，揭示了编码器和解码器架构在处理不同任务时的差异，发现数学推理产生最高注意力熵，解码器模型在稀疏性上更高。

Comments 8 pages, accepted at IEEE BigData 2025

ActiveDPO: Active Direct Preference Optimization for Sample-Efficient Alignment

ActiveDPO: 用于高效对齐的主动直接偏好优化

Xiaoqiang Lin, Arun Verma, Zhongxiang Dai, Daniela Rus, See-Kiong Ng, Bryan Kian Hsiang Low

机构 * Department of Computer Science, National University of Singapore（新加坡国立大学计算机科学系） ； Singapore-MIT Alliance for Research and Technology Centre（新加坡-麻省理工联盟研究技术中心） ； The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳）） ； CSAIL, Massachusetts Institute of Technology（麻省理工学院计算机科学与人工智能实验室） ； Institute of Data Science, National University of Singapore（新加坡国立大学数据科学研究院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 ActiveDPO通过理论支撑的非线性奖励函数选择方法，利用LLM自身参数化奖励模型，提升对齐效率和数据收集效果。

Comments Accepted at ICLR 2026

GPart: End-to-End Isometric Fine-Tuning via Global Parameter Partitioning

GPart：通过全局参数划分实现端到端等距微调

Paolo Mandica, Michał Brzozowski, Zuzanna Dubanowska, Neo Christopher Chung

机构 * Samsung AI Center（三星人工智能中心） ； University of Warsaw（华沙大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 GPart通过全局参数划分方法实现端到端等距微调，无需低秩结构，仅需一个随机投影即可高效微调模型，实现存储成本低且性能优越。

Beyond Mode-Seeking RL: Trajectory-Balance Post-Training for Diffusion Language Models

超越模式寻求强化学习：扩散语言模型的轨迹平衡后训练

Saba Ahmadi, Prasanna Parthasarathi, Yufei Cui

机构 * Noah’s Ark Lab（Noah’s Ark 实验室） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出TraFL方法，通过轨迹平衡目标提升扩散语言模型的后训练效果，在多个基准测试中均优于基线模型。

RTLC -- Research, Teach-to-Learn, Critique: A three-stage prompting paradigm inspired by the Feynman Learning Technique that lifts LLM-as-judge accuracy on JudgeBench with no fine-tuning

RTLC -- 研究、教以学、批判：一种受费曼学习技术启发的三阶段提示范式，无需微调即可提升LLM-as-judge在JudgeBench上的准确性

Andrea Morandi

机构 * Cisco（思科） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 RTLC通过三阶段提示方法提升LLM在JudgeBench上的准确性，无需微调或外部工具，其核心方法包括研究、教以学和批判三个阶段，显著提升客观正确性评分的准确性。

CANTANTE: Optimizing Agentic Systems via Contrastive Credit Attribution

CANTANTE：通过对比信用分配优化代理系统

Tom Zehle

机构 * University of Freiburg（弗赖堡大学） ； ELLIS Institute（埃里克·林斯研究所） ； Tübingen（图宾根） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出CANTANTE框架，通过对比多个联合配置的rollouts分解系统奖励为单个代理的更新信号，提升多代理系统优化效果，在编程、数学推理和多跳问答任务中均取得最佳排名。

Differentiable Evolutionary Reinforcement Learning

可微分进化强化学习

Sitao Cheng, Tianle Li, Xuhan Huang, Xunjian Yin, Difan Zou

机构 * Department of XXX, University of YYY, Location, Country（XXX系，YYY大学，地点，国家） ； School of ZZZ, Institute of WWW, Location, Country（ZZZ学院，WWW研究所，地点，国家） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出DERL，通过可微分的元优化器自动发现最优奖励结构，实现复杂任务中的高效强化学习，优于传统非可微方法。

Comments Work in Progress. We release our code and model at https://github.com/sitaocheng/DERL

Learning a Continue-Thinking Token for Enhanced Test-Time Scaling

学习一个持续思考标记以增强测试时扩展

Liran Ringel, Elad Tolochinsky, Yaniv Romano

机构 * Department of Computer Science, Technion – Israel Institute of Technology（计算机科学系，技术学院–以色列理工学院） ； Department of Electrical and Computer Engineering, Technion – Israel Institute of Technology（电气与计算机工程系，技术学院–以色列理工学院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 本文研究了通过学习专用持续思考标记来提升测试时扩展性能的方法，实验表明该方法在数学基准测试中优于固定标记方法。

ChatSR: Multimodal Large Language Models for Scientific Formula Discovery

ChatSR：用于科学公式发现的多模态大语言模型

Yanjie Li, Lina Yu, Weijun Li, Min Wu, Liping Zhang, Jingyi Liu, Yusong Deng, Mingzhu Wan, Xin Ning

机构 * AnnLab, Institute of Semiconductors, Chinese Academy of Sciences, Beijing, China（安 lab，半导体研究所，中国科学院，北京，中国） ； School of Electronic, Electrical and Communication Engineering, University of Chinese Academy of Sciences, Beijing, China（电子、电气与通信工程学院，中国科学院大学，北京，中国） ； Zhongguancun Academy, Beijing, China（中关村学院，北京，中国） ； School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences, Beijing 101408, China（先进交叉科学学院，中国科学院大学，北京101408，中国） ； College of Materials Science and Opto-Electronic Technology, University of Chinese Academy of Sciences, Beijing, 100049, China（材料科学与光电技术学院，中国科学院大学，北京100049，中国） ； School of Integrated Circuits, University of Chinese Academy of Sciences, Beijing 100049, China（集成电路学院，中国科学院大学，北京100049，中国） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 ChatSR通过设计专用编码器和模态对齐机制，将科学数据映射到可被大语言模型处理的表示空间，从而生成符合领域先验的数学公式，推动科学发现自动化。

Comments 14 pages,

Understanding and Preventing Entropy Collapse in RLVR with On-Policy Entropy Flow Optimization

理解与防止RLVR中的熵崩溃：基于策略熵流的在线优化

Huimin Xu, Shuai Zhao, Xiaobao Wu, Anh Tuan Luu

机构 * Nanyang Technological University（南洋理工大学） ； Shanghai Jiao Tong University（上海交通大学） ； VinUniversity（文大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出OPEFO方法，通过平衡熵动态缓解RLVR中的熵崩溃问题，提升训练稳定性与性能。

Internalizing Curriculum Judgment for LLM Reinforcement Fine-Tuning

将课程判断内部化以优化大语言模型强化微调

Han Zheng, Yining Ma, Karthick Gunasekaran, Bharathan Balaji, Zheng Du, Shiv Vitaladevuni, Cathy Wu

机构 * MIT（麻省理工学院） ； Amazon AGI（亚马逊人工智能实验室） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出METIS框架，通过内部化课程判断提升LLM强化微调效率与性能，利用训练结果动态分配训练资源，实现闭环优化。

Distributionally Robust Token Optimization in RLHF

强化学习中对抗性令牌优化

Yeping Jin, Jiaming Hu, Ioannis Ch. Paschalidis

机构 * Department of System Engineering（系统工程系） ； Boston University（波士顿大学） ； Department of Math & Statistics（数学与统计学系） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出DRTO方法，结合RLHF与DRO，通过构建f-散度模糊集增强策略优化中的困难响应段，提升多步骤推理任务在分布变化下的一致性。

Breaking Contextual Inertia: Reinforcement Learning with Single-Turn Anchors for Stable Multi-Turn Interaction

打破情境惯性：基于单轮锚点的强化学习用于稳定多轮交互

Xingwu Chen, Zhanqiu Zhang, Yiwen Guo, Difan Zou

机构 * Department of XXX, University of YYY, Location, Country（XXX系，YYY大学，地点，国家） ； School of ZZZ, Institute of WWW, Location, Country（ZZZ学院，WWW研究所，地点，国家） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出RLSTA方法，通过单轮锚点提供奖励信号，帮助模型打破情境惯性，提升多轮交互稳定性，实验显示其在不同领域表现优异。

Entropy-informed Decoding: Adaptive Information-Driven Branching

基于熵的信息解码：自适应信息驱动的分支

Benjamin Patrick Evans, Sumitra Ganesh, Leo Ardon

机构 * Department of XXX, University of YYY, Location, Country（XXX系，YYY大学，地点，国家） ； School of ZZZ, Institute of WWW, Location, Country（ZZZ学院，WWW研究所，地点，国家） ； JP Morgan AI Research, London, UK（摩根大通AI研究，伦敦，英国） ； JP Morgan AI Research, New York, USA（摩根大通AI研究，纽约，美国） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出EDEN解码框架，通过自适应分配计算资源提升生成效率，在数学推理、代码生成等任务中优于传统解码策略。

Comments Accepted at ICML 2026

Can LLMs Estimate Student Struggles? Human-AI Difficulty Alignment with Proficiency Simulation for Item Difficulty Prediction

LLMs能否估计学生困难？人类-人工智能难度对齐用于项目难度预测的 proficiency 模拟

Ming Li, Han Chen, Yunze Xiao, Jian Chen, Hong Jiao, Tianyi Zhou

机构 * University of Maryland（马里兰大学） ； Carnegie Mellon University（卡内基梅隆大学） ； University at Buffalo（布法罗大学） ； MBZUAI 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了LLMs在估计学生困难方面的表现，发现模型规模扩大并不总能提高准确性，且模型倾向于形成机器共识而非与人类对齐，揭示了当前模型在自动难度预测中的挑战。

Comments ACL2026, camera-ready

PAAC: Privacy-Aware Agentic Device-Cloud Collaboration

PAAC：隐私感知的代理设备-云协作

Liangqi Yuan, Wenzhi Fang, Shiqiang Wang, Christopher G. Brinton

机构 * Purdue University（普渡大学） ； University of Exeter（埃克塞特大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 PAAC框架通过设备-云边界对齐规划-执行分解，使角色专业化成为隐私机制，提升隐私与准确性的平衡，平均准确率提升15-36%，泄漏减少2-6倍。

DUET: Optimize Token-Budget Allocation for Reinforcement Learning with Verifiable Rewards

DUET：基于可验证奖励的强化学习中优化令牌预算分配

Haoyu Hu, Xuandong Zhao, Xuhai "Orson'' Xu, Nori Jacoby

机构 * Cornell University（康奈尔大学） ； University of California, Berkeley（加州大学伯克利分校） ； Columbia University（哥伦比亚大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 DUET通过联合调整令牌预算分配的两个维度，提升强化学习的推理质量和训练效率，同时在多个基准测试中表现优异，且在预算减少时性能优势扩大。

Efficient Data Selection for Multimodal Models via Incremental Optimization Utility

通过增量优化效用实现多模态模型的数据选择效率

Jinhao Jing, Qiannian Zhao, Chao Huang, Zhan Su

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出OST框架，将数据选择转化为增量优化效用排名问题，通过轻量代理模拟单步更新估算样本边际效用，实验证明在减少训练成本的同时提升性能，优于现有基线方法。

Rethinking Importance Sampling in LLM Policy Optimization: A Cumulative Token Perspective

重新思考LLM策略优化中的重要性采样：从累积token视角

Yuheng Zhang, Chenlu Ye, Shuowei Jin, Changlong Yu, Wei Xiong, Saurabh Sahu, Nan Jiang

机构 * UIUC（伊利诺伊大学香槟分校） ； University of Michigan（密歇根大学） ； Amazon（亚马逊） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出CTPO，通过累积token重要性采样比解决偏倚-方差困境，结合位置自适应裁剪提升稳定性，实现更一致的正则化，在数学推理基准上表现最佳。

Gradient Extrapolation-Based Policy Optimization

基于梯度外推的策略优化

Ismam Nur Swapnil, Aranya Saha, Tanvir Ahmed Khan, Mohammad Ariful Haque, Ser-Nam Lim

机构 * Bangladesh University of Engineering and Technology（孟加拉工程与技术大学） ； University of Maryland, College Park（马里兰大学学院公园分校） ； Illinois Institute of Technology（伊利诺伊理工学院） ； University of Central Florida（佛罗里达中央大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出GXPO算法，通过三步反向传播模拟多步前瞻，提升强化学习中大语言模型的推理能力，实验显示在数学推理任务中性能优于GRPO和SFPO。

Comments 26 pages, 9 figures

ESSAM: A Novel Competitive Evolution Strategies Approach to Reinforcement Learning for Memory Efficient LLMs Fine-Tuning

ESSAM：一种用于内存高效的LLM微调的强化学习竞争进化策略方法

Zhishen Sun, Sizhe Dang, Guang Dai, Haishan Ye

机构 * Xi’an Jiaotong University（西安交通大学） ； SGIT AI Lab（SGIT人工智能实验室） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出ESSAM，结合进化策略的零阶搜索与SAM提升泛化能力，实现低内存高精度的LLM微调，实验显示其在GSM8K任务中表现优异，内存使用显著降低。

RVPO: Risk-Sensitive Alignment via Variance Regularization

基于方差正则化的风险敏感对齐：RVPO

Ivan Montero, Tomasz Jurczyk, Bhuwan Dhingra

机构 * Apple（苹果公司） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出RVPO框架，通过在优势聚合中惩罚奖励方差，将目标从最大化总和转为最大化一致性，提升多目标对齐的可靠性。

Comments 17 pages, 5 figures

Sample-efficient LLM Optimization with Reset Replay

基于重置回放的高效大语言模型优化

Zichuan Liu, Jinyu Wang, Lei Song, Jiang Bian

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出LoRR方法，通过高重播训练和周期性重置策略提升偏好优化的样本效率，实验表明其在数学和通用推理基准上显著提升性能。

Rethinking Entropy Interventions in RLVR: An Entropy Change Perspective

重新思考RLVR中的熵干预：从熵变化视角

Zhezheng Hao, Hong Wang, Haoyang Liu, Jian Luo, Jiarui Yu, Hande Dong, Qiang Lin, Can Wang, Jiawei Chen

机构 * State Key Laboratory of Blockchain and Data Security（区块链与数据安全国家重点实验室） ； Zhejiang University（浙江大学） ； Tencent（腾讯） ； Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（杭州高新技术区（滨江）区块链与数据安全研究院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文从熵变化角度分析RLVR中的熵崩溃问题，提出STEER方法通过理论估计熵变化来调整token权重，有效缓解熵崩溃并优于现有方法。

Utility-Aware Data Pricing: Token-Level Quality and Empirical Training Gain for LLMs

面向效用的数据定价：LLMs的令牌级质量与经验训练增益

Minghui Xu, Qi Luo, Kun Li

机构 * Shandong University（山东大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出动态数据估值框架，通过令牌级信息密度、经验训练增益测量和加密可验证性三层方法，实现LLM能力的效用定价，优于传统行数和令牌数基准。

Comments 23 pages, 1 figure, 6 tables

Beyond Experience Retrieval: Learning to Generate Utility-Optimized Structured Experience for Frozen LLMs

超越经验检索：学习生成优化的结构化经验以冻结LLM

Xuancheng Li, Haitao Li, Yujia Zhou, Yiqun Liu, Qingyao Ai

机构 * Department of Computer Science and Technology, Tsinghua University, Beijing, China（清华大学计算机科学与技术系，北京，中国） ； Quancheng Laboratory（千晨实验室） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出SEAM模块，通过单次前向传递生成实例定制的经验条目，优化冻结LLM的执行效率，实验显示在数学推理基准上准确率提升显著。

From Optimization to Prediction: Transformer-Based Path-Flow Estimation to the Traffic Assignment Problem

从优化到预测：基于Transformer的路径-流量估计到交通分配问题

Mostafa Ameli, Sulthana Shams, Van Anh Le, Alexander Skabardonis

机构 * Institute of Transportation Studies, University of California, Berkeley, USA（加州大学伯克利分校交通研究学院） 纠错

专题命中 数学推理 ：planning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出基于Transformer的深度学习方法，直接预测交通均衡路径流量，提升大规模网络计算效率和预测精度。