TMLR

The Landscape of Agentic Reinforcement Learning for LLMs: A Survey

代理强化学习用于大语言模型的景观：综述

Guibin Zhang, Hejia Geng, Xiaohang Yu, Zhenfei Yin, Zaibin Zhang, Zelin Tan, Heng Zhou, Zhongzhi Li, Xiangyuan Xue, Yijiang Li, Yifan Zhou, Yang Chen, Chen Zhang, Yutao Fan, Zihu Wang, Songtao Huang, Francisco Piedrahita-Velez, Yue Liao, Hongru Wang, Mengyue Yang, Heng Ji, Jun Wang, Shuicheng Yan, Philip Torr, Lei Bai

机构 * University of Oxford（牛津大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； National University of Singapore（新加坡国立大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Brown University（布朗大学） ； University College London（伦敦大学学院） ； University of Science and Technology of China（中国科学技术大学） ； Imperial College London（伦敦帝国学院） ； Dalian University of Technology（大连理工大学） ； Chinese Academy of Sciences（中国科学院） ； The Chinese University of Hong Kong（香港中文大学） ； University of Georgia（佐治亚大学） ； University of California, San Diego（加州大学圣地亚哥分校） ； University of California, Santa Barbara（加州大学圣塔芭芭拉分校） ； University of Bristol（布里斯托大学） 纠错

AI总结 本文综述了代理强化学习在大语言模型中的应用，提出双分类体系，探讨其核心能力与应用领域，并强调强化学习在使能力转化为适应性行为中的关键作用。

Comments Published on Transactions on Machine Learning Research: https://openreview.net/forum?id=RY19y2RI1O

CI-CBM: Class-Incremental Concept Bottleneck Model for Interpretable Continual Learning

CI-CBM：用于可解释持续学习的类增量概念瓶颈模型

Amirhosein Javadi, Tuomas Oikarinen, Tara Javidi, Tsui-Wei Weng

机构 * Department of Electrical and Computer Engineering, University of California San Diego（加州大学圣地亚哥分校电气与计算机工程系） ； Department of Computer Science and Engineering, University of California San Diego（加州大学圣地亚哥分校计算机科学与工程系） ； Halıcıoğlu Data Science Institute, University of California San Diego（加州大学圣地亚哥分校Halıcıoğlu数据科学研究所） 纠错

AI总结 本文提出CI-CBM模型，通过概念正则化和伪概念生成技术，在持续学习中保持可解释性，实验表明其在七种数据集上性能优异，比现有可解释方法平均提升36%。

Comments 31 pages, 6 figures. Published in Transactions on Machine Learning Research (TMLR), 04/2026

Journal ref Transactions on Machine Learning Research, 2026

Maximal Brain Damage Without Data or Optimization: Disrupting Neural Networks via Sign-Bit Flips

最大脑损伤无数据或优化：通过符号位翻转破坏神经网络

Ido Galil, Moshe Kimhi, Ran El-Yaniv

机构 * NVIDIA ； Technion（技术学院） ； IBM Research（IBM研究院） 纠错

AI总结 研究通过符号位翻转破坏神经网络，展示了在多个领域中的脆弱性，并提出数据和优化无关的DNL方法及改进版本1P-DNL，提出保护关键符号位的防御策略。

Comments 10 pages, 5 figures. Accepted as a Featured Paper at Transactions on Machine Learning Research (TMLR)

Journal ref Transactions on Machine Learning Research (TMLR), 2026

SiLVR: A Simple Language-based Video Reasoning Framework

SiLVR：一种简单的基于语言的视频推理框架

Ce Zhang, Yan-Bo Lin, Ziyang Wang, Mohit Bansal, Gedas Bertasius

机构 * Department of Computer Science（计算机科学系） ； UNC Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

AI总结 SiLVR通过将复杂视频理解分解为两个阶段，利用多感官输入生成语言表示，并通过强大推理LLM解决复杂视频-语言任务，实现了在多个视频评估任务上的最佳表现。

Comments Accepted by TMLR (01/2026)

Poisoning the Inner Prediction Logic of Graph Neural Networks for Clean-Label Backdoor Attacks

污染图神经网络内部预测逻辑以进行干净标签后门攻击

Yuxiang Zhang, Bin Ma, Enyan Dai

机构 * AI Thrust, INFO Hub（人工智能 thrust，信息枢纽） 纠错

AI总结 本文研究了在训练标签不可修改的情况下，通过污染图神经网络内部预测逻辑实现有效的干净标签后门攻击，提出BA-Logic方法以提高攻击成功率。

Comments Under review as TMLR regular paper

Towards Generalized Certified Robustness with Multi-Norm Training

迈向多范数训练的通用认证鲁棒性

Enyi Jiang, David S. Cheung, Gagandeep Singh

机构 * University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

AI总结 本文提出CURE框架，通过多范数训练方法提升模型对多种扰动的鲁棒性，实验显示在多个数据集上提升了联合鲁棒性。

Comments Accepted by TMLR 2026

Socrates Loss: Unifying Confidence Calibration and Classification by Leveraging the Unknown

苏格拉底损失：通过利用未知类统一置信度校准和分类

Sandra Gómez-Gálvez, Tobias Olenyi, Gillian Dobbie, Katerina Taškova

机构 * University of Auckland（奥克兰大学） ； Technical University of Munich（慕尼黑技术大学） 纠错

AI总结 本文提出苏格拉底损失，通过引入辅助未知类统一置信度校准与分类，解决训练稳定性与性能的权衡问题，提升模型的准确性和校准性。

Comments Published at TMLR 2026. https://openreview.net/forum?id=DONqw1KhHq Video: https://youtu.be/7WuSkC-aWW8?si=9fgq5ZN7euIyGZGU Code: https://github.com/sandruskyi/SocratesLoss

Journal ref Published at TMLR 2026

Thought-Retriever: Don't Just Retrieve Raw Data, Retrieve Thoughts for Memory-Augmented Agentic Systems

Thought-Retriever: 不只是检索原始数据，为记忆增强型智能体检索思想

Tao Feng, Pengrui Han, Guanyu Lin, Ge Liu, Jiaxuan You

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

AI总结 本文提出Thought-Retriever，一种无需受上下文长度限制的算法，使LLM能基于任意长外部数据生成输出。通过利用历史查询生成的中间响应，构建长期记忆，提升回答能力。

Journal ref Transactions on Machine Learning Research (TMLR), 04/2026

Quantile Q-Learning: Revisiting Offline Extreme Q-Learning with Quantile Regression

分位数Q学习：重新审视离线极值Q学习与分位数回归

Xinming Gao, Shangzhe Li, Yujin Cai, Wenwu Yu

机构 * School of Mathematics, Southeast University（东南大学数学学院） 纠错

AI总结 本文提出一种基于分位数回归的离线Q学习方法，通过估计温度系数β来改进极值Q学习的稳定性与泛化能力，实验表明其在多个基准任务中表现优异。

Comments Accepted by TMLR 2026; Code available at: https://github.com/yunqianevergarden/Quantile-Q-Learning

deCIFer: Crystal Structure Prediction from Powder Diffraction Data using Autoregressive Language Models

deCIFer：基于粉末衍射数据的晶体结构预测方法

Frederik Lizak Johansen, Ulrik Friis-Jensen, Erik Bjørnager Dam, Kirsten Marie Ørnsbjerg Jensen, Rocío Mercado, Raghavendra Selvan

机构 * Department of Computer Science, University of Copenhagen（哥本哈根大学计算机科学系） ； Department of Chemistry & Nano-Science Center, University of Copenhagen（哥本哈根大学化学系与纳米科学中心） ； Department of Computer Science & Engineering, Chalmers University of Technology（查尔姆斯理工大学计算机科学与工程系） 纠错

AI总结 deCIFer利用自回归语言模型，通过整合粉末X射线衍射数据进行晶体结构预测，实现94%的结构匹配率，为未来复杂实验场景的预测提供基础。

Comments 24 pages, 18 figures, 8 tables. v2: Figure 8 revision. v3: added benchmarks, text revisions. v4: accepted to TMLR (https://openreview.net/forum?id=LftFQ35l47)

Adversarial Robustness of Graph Transformers

图变换器的对抗鲁棒性

Philipp Foth, Lukas Gosch, Simon Geisler, Leo Schwinn, Stephan Günnemann

机构 * Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） 纠错

AI总结 研究图变换器在结构扰动下的对抗鲁棒性，设计了首个自适应攻击方法，评估了多种任务和扰动模型，发现图变换器在许多情况下存在严重脆弱性。

Comments TMLR 2025 (J2C-Certification: Presented @ ICLR 2026). A preliminary version appeared at the Differentiable Almost Everything Workshop at ICML 2024. Code available at https://github.com/isefos/gt_robustness

LoDAdaC: a unified local training-based decentralized framework with adaptive gradients and compressed communication

LoDAdaC: 一种基于局部训练的统一去中心化框架，具有自适应梯度和压缩通信

Wei Liu, Anweshit Panda, Ujwal Pandey, Haven Cook, George M. Slota, Naigang Wang, Jie Chen, Yangyang Xu

机构 * Rensselaer Polytechnic Institute（伦斯勒理工学院） ； IBM T. J. Watson Research Center（IBM T. J. Watson 研究中心） ； MIT-IBM Watson AI Lab, IBM Research（MIT-IBM Watson AI 实验室，IBM 研究院） 纠错

AI总结 LoDAdaC通过结合自适应梯度和压缩通信，在去中心化学习中实现通信成本的大幅降低和快速收敛，实验验证其在图像分类和语言模型训练中的优越性能。

Comments Accepted by TMLR

ECLipsE-Gen-Local: Efficient Compositional Local Lipschitz Estimates for Deep Neural Networks

ECLipsE-Gen-Local：高效的深度神经网络局部Lipschitz估计框架

Yuezhu Xu, S. Sivaranjani

AI总结 本文提出ECLipsE-Gen-Local框架，通过局部信息提升深度神经网络的Lipschitz估计精度与效率，结合灵活的SDP方法和线性复杂度算法，实现快速且紧致的Lipschitz界。

Comments Accepted to Transactions on Machine Learning Research. URL: https://openreview.net/forum?id=CuqnFjeu5a

Journal ref Transactions on Machine Learning Research, 2026

CARINOX: Inference-time Scaling with Category-Aware Reward-based Initial Noise Optimization and Exploration

CARINOX：推理时间缩放与基于类别感知的奖励驱动初始噪声优化与探索

Seyed Amir Kasaei, Ali Aghayari, Arash Marioriyad, Niki Sepasian, Shayan Baghayi Nejad, MohammadAmin Fazli, Mahdieh Soleymani Baghshah, Mohammad Hossein Rohban

机构 * Sharif University of Technology（谢里夫理工大学） 纠错

AI总结 本文提出CARINOX框架，结合噪声优化与探索，通过基于人类判断的奖励选择提升文本到图像扩散模型的对齐性能，在两个基准测试中分别提升16%和11%。

Comments Accepted at TMLR (2026)

Improved Sample Complexity For Diffusion Model Training Without Empirical Risk Minimizer Access

改进的扩散模型训练样本复杂度无需经验风险最小化器访问

Mudit Gaur, Prashant Trivedi, Sasidhar Kunapuli, Amrit Singh Bedi, Vaneet Aggarwal

机构 * Purdue University（普渡大学） ； University of Central Florida（中佛罗里达大学） ； Independent Researcher（独立研究员） 纠错

AI总结 本文提出一种改进的扩散模型训练方法，通过结构化分解分数估计误差，建立样本复杂度界O(ε⁻⁴)，无需假设访问经验风险最小化器。

Journal ref Transactions on Machine Learning Research, Apr 2026

Neurons Speak in Ranges: Breaking Free from Discrete Neuronal Attribution

神经元以范围说话：摆脱离散神经元归因

Muhammad Umair Haider, Hammad Rizwan, Hassan Sajjad, Peizhong Ju, A. B. Siddique

机构 * University of Kentucky（肯塔基大学） ； Dalhousie University（达尔豪斯大学） 纠错

AI总结 研究发现大语言模型中神经元具有多义性，提出NeuronLens框架通过范围归因提升模型可解释性和可控性。

Journal ref Transactions on Machine Learning Research, ISSN 2835-8856, 2026. https://openreview.net/forum?id=AukyIhfBuW

FIT-GNN: Faster Inference Time for GNNs that 'FIT' in Memory Using Coarsening

FIT-GNN: 通过粗化提升内存利用率的GNN更快推理时间

Shubhajit Roy, Hrriday Ruparel, Kishan Ved, Anirban Dasgupta

机构 * Indian Institute of Technology Gandhinagar（印度理工学院甘地讷格尔分校） 纠错

AI总结 本文提出FIT-GNN方法，通过图粗化减少推理阶段计算开销，提升GNN的可扩展性，在多个基准数据集上验证了其在单节点推理时间和内存消耗上的显著改进。

Comments Published in Transactions on Machine Learning Research (TMLR), 2026. Available at https://openreview.net/forum?id=g7r7y2I7Sz

Journal ref Trans.Mach.Learn.Res.(2026)

$\texttt{SEM-CTRL}$: Semantically Controlled Decoding

SEM-CTRL：语义控制解码

Mohammad Albinhassan, Pranava Madhyastha, Alessandra Russo

AI总结 本文提出SEM-CTRL，通过集成基于答案集语法的约束，使LLM在不微调的情况下保证输出的语法和语义正确性，实验显示其在多种任务中优于现有模型。

Comments Published in Transactions on Machine Learning Research (TMLR), 03/2026

Journal ref Transactions on Machine Learning Research, 2026

D-Garment: Physically Grounded Latent Diffusion for Dynamic Garment Deformations

D-Garment：基于物理的潜在扩散模型用于动态服装变形

Antoine Dumoulin, Adnane Boukhayma, Laurence Boissieux, Bharath Bhushan Damodaran, Pierre Hellier, Stefanie Wuhrer

机构 * Inria Centre at the University Grenoble Alpes（格勒诺布尔阿尔卑斯大学Inria研究中心） ； Inria, University of Rennes, CNRS, IRISA-UMR 6074（雷恩大学Inria、CNRS、IRISA-UMR 6074） ； InterDigital Inc.（InterDigital公司） 纠错

AI总结 本文提出D-Garment，通过基于物理的模拟器生成新数据，学习基于物理材料属性的3D生成模型，实现更准确的服装变形和动态皱纹模拟。

Comments 18 pages, 11 figures

Journal ref Transactions on Machine Learning Research (TMLR), 2026

Hypothesis-Driven Feature Manifold Analysis in LLMs via Supervised Multi-Dimensional Scaling

基于监督多维缩放的LLMs特征流形分析假设

Federico Tiblias, Irina Bigoulaeva, Jingcheng Niu, Simone Balloccu, Iryna Gurevych

机构 * Technical University of Darmstadt（达姆施塔特工业大学） ； Ubiquitous Knowledge Processing Lab (UKP Lab)（泛在知识处理实验室 (UKP Lab)） ； National Research Center for Applied Cybersecurity ATHENE（国家应用网络安全研究中心 ATHENE） ； Zuse School ELIZA, Technical University of Darmstadt（Zuse School ELIZA, 达姆施塔特工业大学） 纠错

AI总结 本文提出SMDS方法，通过分析特征流形几何结构揭示语言模型的语义表示机制，发现不同特征呈现不同的几何形态并支持动态推理。

Comments Published in TMLR (March 2026) | OpenReview: https://openreview.net/forum?id=vCKZ40YYPr | Code: https://github.com/UKPLab/tmlr2026-manifold-analysis

Journal ref Transactions on Machine Learning Research (TMLR) 2026

First-Mover Bias in Gradient Boosting Explanations: Mechanism, Detection, and Resolution

梯度提升解释中的首 mover 偏差：机制、检测与解决

Drake Caraker, Bryan Arnold, David Rhoads

AI总结 本文探讨了梯度提升中SHAP特征重要性因序列残差拟合导致的首 mover 偏差机制，提出DASH和随机重训练方法可缓解该问题，提升模型稳定性。

Comments v2: 38 pages, 12 tables, 6 figures, 7 appendices. Major revision for TMLR: 50-rep experiments (was 20), crossed ANOVA with F-statistics, FSI quantitative validation, LIME attribution-agnostic demo, 2-tree analytical example, impossibility theorem cross-references, model governance framing. All results from SageMaker ml.g5.16xlarge (64 vCPU). Code: https://github.com/DrakeCaraker/dash-shap

On The Landscape of Spoken Language Models: A Comprehensive Survey

关于语音语言模型的景观：全面综述

Siddhant Arora, Kai-Wei Chang, Chung-Ming Chien, Yifan Peng, Haibin Wu, Yossi Adi, Emmanuel Dupoux, Hung-Yi Lee, Karen Livescu, Shinji Watanabe

机构 * Carnegie Mellon University（卡内基梅隆大学） ； National Taiwan University（国立台湾大学） ； Toyota Technological Institute at Chicago（丰田芝加哥技术研究所） ； Hebrew University of Jerusalem（耶路撒冷希伯来大学） ； ENS - PSL, EHESS, CNRS（巴黎高等师范学院 - 巴黎文理研究大学、社会科学高等研究院、法国国家科学研究中心） 纠错

AI总结 本文综述了语音语言模型的发展，分析了其架构、训练和评估方法，探讨了关键挑战与未来方向。

Comments Published in Transactions on Machine Learning Research

One Model for All: Multi-Objective Controllable Language Models

一个模型解决所有问题：多目标可控语言模型

Qiang He, Yucheng Yang, Tianyi Zhou, Meng Fang, Mykola Pechenizkiy, Setareh Maghsudi

机构 * Ruhr University Bochum（波鸿鲁尔大学） ； Eindhoven University of Technology（埃因霍温理工大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； University of Liverpool（利物浦大学） 纠错

AI总结 本文提出多目标控制(MOC)，通过引入多目标优化原理训练单个语言模型，使其能根据用户偏好在帕累托前沿生成个性化输出，提升模型可控性、输出质量和泛化能力。

Comments Published in Transactions on Machine Learning Research (03/2026): https://openreview.net/forum?id=qAM5PmvFYY

A Bayesian Approach to Segmentation with Noisy Labels via Spatially Correlated Distributions

通过空间相关分布的贝叶斯方法进行带噪声标签的分割

Ryu Tadokoro, Tsukasa Takagi, Shin-ichi Maeda

机构 * Tohoku University（东北大学） ； Preferred Networks, Inc.（Preferred Networks公司） 纠错

AI总结 本文提出一种基于概率模型的贝叶斯方法，通过空间相关分布处理带噪声标签的分割问题，提升模型性能。

Journal ref Transactions on Machine Learning Research (TMLR) , 2026

BalancedDPO: Adaptive Multi-Metric Alignment

BalancedDPO：适应性多指标对齐

Dipesh Tamboli, Souradip Chakraborty, Aditya Malusare, Biplab Banerjee, Amrit Singh Bedi, Vaneet Aggarwal

机构 * Purdue University（普渡大学） ； University of Maryland（马里兰大学） ； Indian Institute of Technology Bombay（印度理工学院孟买分校） ； University of Central Florida（中佛罗里达大学） 纠错

AI总结 BalancedDPO通过多指标共识和动态参考模型更新，在DPO框架中实现多指标偏好对齐，提升模型在不同评估标准下的稳定性与性能。

Comments Transactions on Machine Learning Research, Apr 2026

Journal ref Transactions on Machine Learning Research, Apr 2026

MissNODAG: Differentiable Cyclic Causal Graph Learning from Incomplete Data

MissNODAG: 从不完整数据中学习可微的循环因果图

Muralikrishnna G. Sethuraman, Razieh Nabi, Faramarz Fekri

AI总结 本文提出MissNODAG，一种可微框架，从不完整数据中学习潜在的循环因果图和缺失机制，通过结合加性噪声模型和期望最大化过程，交替填补缺失值和优化观测数据似然，以揭示循环结构和缺失机制。

Comments To appear in Transactions on Machine Learning Research

Batch Entanglement Detection in Parameterized Qubit States using Classical Bandit Algorithms

使用经典多臂老虎机算法进行参数化量子比特状态的批量纠缠检测

K. Bharati, Vikesh Siddhu, Krishna Jagannathan

机构 * IIT Madras（印度马德拉斯理工学院） ； IBM Research India（IBM印度研究院） 纠错

AI总结 本文提出一种基于经典多臂老虎机算法的批量纠缠检测方法，通过测量单参数纠缠见证者并设置阈值，实现对两量子比特状态集的纠缠识别，展示了其在量子信息处理中的应用。

Comments 29 pages, 8 figures

Journal ref Transactions on Machine Learning Research (2026)

Automated Attention Pattern Discovery at Scale in Large Language Models

在大规模大型语言模型中实现自动化注意力模式发现

Jonathan Katzy, Razvan-Mihai Popescu, Erik Mekkes, Arie van Deursen, Maliheh Izadi

机构 * Delft University of Technology（代尔夫特理工大学） 纠错

AI总结 本文通过分析Java代码数据集中的完成场景，提出了一种在大规模大型语言模型中发现重复行为的方法，展示了注意力模式作为可扩展解释信号的潜力，并引入了AP-MAE模型以高效重建掩码注意力模式。

Comments Accepted to TMLR

Journal ref Transactions on Machine Learning Research 2026

The Paradox of Robustness: Decoupling Rule-Based Logic from Affective Noise in High-Stakes Decision-Making

鲁棒性悖论：在高风险决策中解耦基于规则的逻辑与情感噪声

Jon Chun, Katherine Elkins

机构 * Kenyon College（凯尼恩学院） 纠错

AI总结 研究揭示了大语言模型在高风险决策中对情感噪声的鲁棒性悖论，通过三个领域实验发现模型在逻辑约束下比人类更稳定，但对提示格式敏感。

Comments 47 pages, 14 figures, 23 tables. Substantially revised from v1: added immigration domain extension (14,183 cells), adversarial narrative pilot (2,054 cells), reasoning-trace analysis, scaffolding decomposition. Total: 84,245 valid responses across 13 experiments. Under review at TMLR. Code and data will be released upon publication

Language-Pretraining-Induced Bias: A Strong Foundation for General Vision Tasks

语言预训练引入的偏差：一种强大的基础视觉任务通用性基础

Yaxin Luo, Zhiqiang Shen

机构 * MBZUAI（穆罕默德·本·扎耶德人工智能大学） 纠错

AI总结 本文提出随机标签桥梁训练方法，通过模态适应学习有效对齐大语言模型参数与视觉任务，揭示部分桥梁训练在视觉任务中的优势。

Comments Main manuscript: 13 pages, 9 figures. Appendix: 8 pages, 5 figures. Accepted in Transactions on Machine Learning Research (TMLR) 2026