语言大模型 / LLM

Gradient Regularization Mitigates Reward Hacking in Reinforcement Learning from Human Feedback and Verifiable Rewards

梯度正则化减轻基于人类反馈和可验证奖励的强化学习中的奖励作弊

Johannes Ackermann, Michael Noukhovitch, Takashi Ishida, Masashi Sugiyama

机构 * The University of Tokyo（东京大学） ； RIKEN AIP（理化学研究所AIP） ； Mila（蒙特利尔大学Mila） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；LLM(abstract)；language model(abstract)；post-training(abstract)

AI总结 研究基于人类反馈或可验证奖励的强化学习中奖励作弊问题，提出用梯度正则化使训练偏向奖励更准确区域，理论推导并实证验证，还改进方法，结果显示其比KL惩罚表现更好。

Comments Accepted at ICML 2026, 25 pages, 15 figures

Multi-Objective Exploration and Preference Optimization via Mutual Information

基于互信息的多目标探索与偏好优化

Hongyan Xie, Yikun Ban, Ruiyu Fang, Zixuang Huang, Deqing Wang, Jianxin Li, Shuangyong Song

机构 * School of Computer, Beihang University（北京航空航天大学计算机学院） ； Xingchen AGI Lab, China Telecom Artificial Intelligence Technology (Beijing) Co., Ltd（星辰AGI实验室，中国电信人工智能技术（北京）有限公司） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出MI-EPO框架，通过最大化生成响应、偏好反馈和偏好向量的联合条件互信息，统一多目标探索与对齐，实现可控且稳定的多目标权衡。

Comments Accepted at ECML/PKDD 2026

Adaptive Margin RLHF via Preference over Preferences

通过偏好之上的偏好进行自适应边际基于人类反馈的强化学习

Yaswanth Chittepu, Prasann Singhal, Greg Durrett, Scott Niekum

机构 * University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 后训练与偏好优化 ：RLHF(title,abstract)；preference optimization(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究在基于人类反馈的强化学习中奖励模型学习的边际优化问题，提出利用偏好之上的偏好推断自适应边际，介绍具体实例DPO-PoP，提升判别和生成性能，并给出采样策略。

Safe RLHF Beyond Expectation: Stochastic Dominance for Universal Spectral Risk Control

超越期望的安全基于人类反馈的强化学习：用于通用谱风险控制的随机占优

Yaswanth Chittepu, Ativ Joshi, Rajarshi Bhattacharjee, Scott Niekum

专题命中 后训练与偏好优化 ：RLHF(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究基于人类反馈的安全强化学习，提出用一阶随机占优约束取代标量期望成本约束的框架RAD，通过最优传输框架比较成本分布，引入分位数加权FSD约束，实证显示其提升无害性且增强分布外无害性评估的鲁棒性。

Iterative Visual Thinking and the Self-Correction Mirage in VLM Grounding

迭代视觉思维：通过视觉反馈教会视觉语言模型空间自我修正

Animesh Tripathy, Aswanth Krishnan

机构 * QpiAI India Pvt. Ltd（QpiAI印度私人有限公司） 纠错

专题命中 后训练与偏好优化 ：SFT(summary_cn,abstract_cn)；language model(abstract)；分类 cs.AI

AI总结 提出迭代视觉思维（IVT）框架，通过视觉反馈闭环和两阶段训练（SFT+GRPO），使视觉语言模型具备空间自我修正能力，在三个基准上提升指标2.4-3.2个百分点。

OpenSIR: Open-Ended Self-Improving Reasoner

OpenSIR: 开放式自我改进推理器

Wai-Chung Kwan, Joshua Ong Jun Leang, Pavlos Vougiouklis, Jeff Z. Pan, Marco Valentino, Pasquale Minervini

机构 * University of Edinburgh（爱丁堡大学） ； Imperial College London（伦敦帝国理工学院） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出OpenSIR框架，通过多样性奖励和难度校准实现开放式自我对弈，无需外部验证器或标注数据，在七个数学基准上平均提升指令模型3.6分、推理模型3.1分，且唯一能泛化到通用推理。

When Rubrics Fail: Error Enumeration as Reward in Reference-Free RL Post-Training for Virtual Try-On

当评分标准失效时：在无参考RL后训练中通过错误枚举作为奖励

Wisdom Ikezogwo, Mehmet Saygin Seyfioglu, Ranjay Krishna, Karim Bouyarmane

机构 * University of Washington, Seattle, USA（华盛顿大学（西雅图）） ； Amazon, Seattle, USA（亚马逊（西雅图）） ； Allen Institute for AI（艾伦人工智能研究所） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出隐式错误计数方法，用于解决无参考答案的RL后训练问题，通过计算错误而非正确来生成可靠奖励，在虚拟试穿任务中验证了其有效性。

Incentivizing Vision Language Models to Search for Long Video Question Answering

激励视觉语言模型进行长视频问答搜索

Harsh Goel, S P Sharan, Sahil Shah, Minkyu Choi, Joungbin An, Kristen Grauman, Sandeep P. Chinchali

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 后训练与偏好优化 ：language model(title)；post-training(abstract)；分类 cs.LG

AI总结 研究将长视频问答从被动单流程感知任务转变为多轮检索过程，核心方法是自然语言驱动搜索及强化学习后训练，贡献是提升长视频理解基准测试分数。

Comments To appear at the European Conference on Computer Vision (ECCV 2026)

TACO: TActile World Model as a Self-COrrector forScalable VLA Post-Training

TACO：作为可扩展VLA训练后自校正器的触觉世界模型

Shengbang Liu, Yueru Jia, Yuyang Yan, Jiaming Liu, Xinran Zhang, Qiuxuan Feng, Yandong Guo, Shiji Zhou, Boxin Shi, Shanghang Zhang

机构 * State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（北京大学计算机科学学院多媒体信息处理技术国家重点实验室） ； AI 2 Robotics（人工智能与机器人研究所） ； Sun Yat-sen University（中山大学） ； Beihang University（北京航空航天大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)

AI总结 研究VLA模型在接触丰富任务中的问题，提出TACO框架，通过触觉感知世界模型驱动可扩展VLA训练后校正，结合多种方法提升策略，实验表明其能显著提高成功率。

Evidence for Limited Metacognition in LLMs

对大语言模型有限元认知能力的证据

Christopher Ackerman

专题命中 后训练与偏好优化 ：LLM(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出评估大语言模型元认知能力的新方法，发现前沿模型在事实和推理问题上的自信心评估和预测能力有限，且与人类存在显著差异。

Comments 26 pages, 25 figures

Journal ref The Fourteenth International Conference on Learning Representations (ICLR), 2026

Attention Limited Reward Learning

注意力受限奖励学习

Wenqian Xing

机构 * Stanford University（斯坦福大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；分类 cs.AI

AI总结 研究通过基于理性注意力不集中的简化模型，探讨标准奖励建模中遗漏的内容，分离两种模糊性，指出有限注意力会扭曲成对比较结果，学习受标签携带的关注信息量而非数量影响。

Human-Centric Reflective Architecture for Human-AI Collaborative Decision-Making

用于人类与人工智能协作决策的以人类为中心的反思架构

Andreas Kouridakis, Dimitrios Patiniotis Spyropoulos, George Vouros

机构 * University of Piraeus（比雷埃夫斯大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究人类与人工智能协作决策问题，将其建模为随机博弈，提出以人类为中心的反思架构，整合人类校准模型与强化学习智能体，提升决策有效性并给出高质量建议。

ELVA: Exploring Ranking-Driven Universal Multimodal Retrieval

ELVA：探索排序驱动的通用多模态检索

Yuhan Liu, Pei Fu, Hang Li, Yukun Qi, Chao Jiang, Jingwen Fu, Zhen Liu, Bin Qin, Zhenbo Luo, Jian Luan, Jingmin Xin

机构 * National Key Laboratory of Human-Machine Hybrid Augmented Intelligence（人机混合增强智能国家级重点实验室） ； Institute of Artificial Intelligence and Robotics（人工智能与机器人研究院） ； MiLM Plus ； Xiaomi Inc（小米公司） ； Zhongguancun Academy（中关村学院） ； Beijing, China（北京市） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出ELVA框架，通过基于规则的强化学习缓解对比学习中的粒度盲视问题，在通用多模态检索中实现排序优化，并在新基准MRBench上提升13.1%。

Comments Accepted by ECCV 2026

Starve to Perceive: Taming Lazy Perception in VLMs with Constrained Visual Bandwidth

Starve to Perceive: 通过受限视觉带宽驯服VLMs中的懒惰感知

Yuhuan Wu, Cong Wei, Fangzhen Lin, Wenhu Chen, Haozhe Wang

机构 * Hong Kong University of Science and Technology（香港科学与技术大学） ； Technology University of Waterloo（滑铁卢大学） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；post-training(abstract)

AI总结 本文提出了一种新的训练方法，通过限制视觉带宽迫使视觉语言模型主动感知，从而提升其在高分辨率视觉环境中的表现。

MIND-V: Hierarchical World Model for Long-Horizon Robotic Manipulation with RL-based Physical Alignment

MIND-V：基于强化学习物理对齐的长期机器人操作分层世界模型

Ruicheng Zhang, Mingyang Zhang, Jun Zhou, Xiaofan Liu, Zunnan Xu, Zhizhou Zhong, Puxin Yan, Haocheng Luo, Xiu Li

机构 * Tsinghua University（清华大学） ； X Square Robot（X Square机器人） ； Sun Yat-sen University（中山大学） ； HKUST（香港科技大学） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；post-training(abstract)

AI总结 提出MIND-V分层世界模型，通过语义推理、行为语义桥接和运动视频生成，结合强化学习物理对齐，实现长期机器人操作视频的物理合理合成。

Best-of-Better-$N$: Generating Pre-Aligned Responses with In-Context Learning

最佳中的更优N：通过上下文学习生成预对齐响应

Eric Lei, Hsiang Hsu, Chun-Fu Chen

机构 * JPMorganChase Global Technology Applied Research（摩根大通全球技术应用研究） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；分类 cs.AI、cs.LG

AI总结 提出Best-of-Better-$N$框架应对响应质量限制问题，利用检索高奖励示例及重写步骤，通过上下文学习使预训练模型输出分布向高奖励区域转移，在安全对齐和数学推理基准测试中有更好表现。

Lyapunov-Guided Training for Hardware-Safe Neural Networks Under Fixed-Point Arithmetic

定点运算下硬件安全神经网络的李雅普诺夫引导训练

Anis Hamadouche, Amir Hussain

机构 * The School of Engineering & Physical Sciences（工程与物理科学学院） ； SDAIA-KFUPM Joint Research Centre for Artificial Intelligence（SDAIA-KFUPM人工智能联合研究中心） ； Heriot-Watt University（赫瑞-沃森大学） ； King Fahd University of Petroleum and Minerals（国王法赫德石油大学） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI、cs.LG

AI总结 针对定点运算中低精度神经网络的问题，提出李雅普诺夫稳定量化框架，通过层状李雅普诺夫函数监测隐藏状态能量，应用单调投影确保状态稳定，实验表明该方法可抑制激活溢出并恢复稳定学习。

Coverage-Controlled Preference Mining from Noisy Claim Verification for Evidence-Grounded Generation

基于噪声声明验证的覆盖控制偏好挖掘用于基于证据的生成

Weixin Liu, Congning Ni, Qingyuan Song, Susannah L. Rose, Murat Kantarcioglu, Bradley A. Malin, Zhijun Yin

机构 * Vanderbilt University（范德比大学） ； Vanderbilt University Medical Center（范德比大学医学中心） ； Lirio ； Virginia Tech（弗吉尼亚理工大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(abstract)；分类 cs.CL、cs.LG

AI总结 研究临床简要医院病程总结中基于证据生成的问题，引入VERI-DPO框架，将噪声声明验证转化为覆盖控制的摘要级偏好，经实验验证该框架能降低不支持率，提升模型表现。

Comments 15 pages, 1 figure, 8 tables. Major revision with locked MIMIC-IV transfer evaluation, blinded pairwise human assessment, matched multi-seed ablations, revised title, and revised author list

GIPO: Gaussian Importance Sampling Policy Optimization

GIPO：高斯重要性采样策略优化

Chengxuan Lu, Zhenquan Zhang, Shukuan Wang, Qunzhi Lin, Baigui Sun, Yang Liu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出了一种基于截断重要性采样的策略优化目标GIPO，通过使用基于对数比率的高斯信任权重替代硬裁剪，以软化极端重要性比率同时保持非零梯度，从而提高数据效率，实验表明GIPO在多种回放缓冲区大小下均取得最佳性能，表现出优越的偏差-方差权衡、高训练稳定性及改进的样本效率。

ICR-RL: Deep Reinforcement Learning via In-Context Regression

ICR-RL：通过上下文回归实现深度强化学习

David Schiff, Ofir Lindenbaum, Yonathan Efroni

机构 * Bar-Ilan University（巴伊兰大学） ； Tel Aviv University（特拉维夫大学） 纠错

专题命中 后训练与偏好优化 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 研究探索基于从强化学习到回归的经典简化的新方法，用预训练的回归基础模型作为上下文回归模型直接用于强化学习问题，引入无梯度方法ICR-RL，实验表明其能与常用方法竞争。

Comments Accepted to ICML 2026 Main Track

VLA Grounder: Language-Conditioning Space Optimization for Black-Box VLA Models

VLA 接地器：用于黑盒 VLA 模型的语言条件空间优化

Damir Shodiev, Aleksei Staroverov, Nikita Kachaev, Alexey K. Kovalev, Aleksandr I. Panov

机构 * AXXX ； MIRAI（未来人工智能研究机构） ； MISIS（俄罗斯国立科技大学莫斯科钢铁合金学院） 纠错

专题命中 后训练与偏好优化 ：foundation model(abstract)；分类 cs.AI

AI总结 研究能否通过优化语言空间而非更新动作权重来改进冻结的 VLA 策略，提出语言条件空间策略，用强化学习优化，实验表明该优化能提升特定任务成功率，证明语言可作为机器人基础模型的可优化变量。

Layout-Conditioned Autoregressive Text-to-Image Generation via Structured Masking

通过结构化掩码的布局条件自回归文本到图像生成

Zirui Zheng, Takashi Isobe, Tong Shen, Xu Jia, Jianbin Zhao, Xiaomin Li, Mengmeng Ge, Baolu Li, Qinghe Wang, Haiwen Diao, Dong Li, Dong Zhou, Yunzhi Zhuge, Huchuan Lu, Emad Barsoum

机构 * Advanced Micro Devices Inc.（超威半导体公司） ； Dalian University of Technology（大连理工大学） ； S-Lab, Nanyang Technological University（南洋理工大学S-Lab） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI

AI总结 提出SMARLI框架，通过结构化掩码策略将布局约束注入自回归生成过程，并采用GRPO后训练缓解曝光偏差，实现高质量布局控制图像生成。

Comments ECCV 2026

TokenMizer: Graph-Structured Session Memory for Long-Horizon LLM Context Management

TokenMizer: 面向长程LLM上下文管理的图结构会话记忆

Shweta Mishra

机构 * Independent Researcher（独立研究者） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出TokenMizer，一种将LLM会话历史建模为类型化知识图的开源代理系统，通过混合提取、三级检查点和8层压缩流水线，在显著减少token开销的同时保留结构化决策信息。

Comments 9 pages, 6 figures. Code and benchmark: https://github.com/Shweta-Mishra-ai/tokenmizer

psytechlab at CLPsych 2026: Utilising Natural Language Processing methods and Large Language Models for Social Media Text Analysis

CLPsych 2026 中的心理技术实验室：利用自然语言处理方法和大语言模型进行社交媒体文本分析

Igor Buyanov, Nafisa Valieva, Ekaterina Mazurina

机构 * psytechlab（心理技术实验室） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.CL

AI总结 在 CLPsych 2026 共享任务中，利用自然语言处理方法和大语言模型对社交媒体文本进行自我状态和幸福感分析与总结，为改进心理健康支持系统做贡献。

Comments Accepted by CLPsych2026. CLPsych 2026 will be held at ACL in San Diego July 4th, 2026

IndexMem: Learned KV-Cache Eviction with Latent Memory for Long-Context LLM Inference

IndexMem: 基于潜在记忆的学习型KV缓存驱逐策略用于长上下文LLM推理

Xintong Yang, Hao Gu, Binxing Xu, Lujun Li, Bei Liu, Jiacheng Liu, Qiyuan Zhu, Yike Guo, Sirui Han

机构 * The Hong Kong University of Science（香港科学与技术大学） ； Zhejiang University（浙江大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出一种可学习的索引器预测KV重要性，并结合轻量级潜在记忆模块压缩被驱逐的令牌，以在有限KV预算下实现准确的长上下文推理。

Evaluating Large Language Models for Decision-Making in Agent-Based Urban Mobility Simulations

在基于代理的城市交通模拟中评估用于决策的大语言模型

Bruno Cascaes Alves, Míriam Blank Born, Ulisses Gilioli Francescatto Júnior, Felipe Moura Goulart, Letícia Brandão Caldas, Marilton Sanchotene de Aguiar

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

AI总结 研究在多智能体模拟中集成大语言模型作为决策组件，提出混合架构，通过API连接GAMA平台与外部基于大语言模型的模块，能指导智能体重规划行为，比较不同场景下效果，显示其可丰富行为表示。

Learning When to Attend: Conditional Memory Access for Long-Context LLMs

学习何时关注：为长上下文LLM的条件记忆访问

Sakshi Choudhary, Aditya Chattopadhyay, Luca Zancato, Elvis Nunez, Matthew Trager, Wei Xia, Stefano Soatto

机构 * Department of Electrical and Computer Engineering, Purdue University, USA（电子工程系，普渡大学，美国） 纠错

专题命中 长上下文与记忆 ：LLM(title_cn,summary_cn)；language model(abstract)；pretraining(abstract)；post-training(abstract)

AI总结 本文提出L2A方法，通过条件性长程记忆访问提升长上下文LLM性能，使Qwen 2.5和Qwen 3模型的有效上下文长度从32K扩展到128K，同时提升训练效率并减少内存消耗。

Comments 26 pages, 11 Tables, 18 Figures. Accepted at ICML 2026

QSLM: A Performance- and Memory-aware Quantization Framework with Tiered Search Strategy for Spike-driven Language Models

QSLM：一种性能和内存感知的量化框架，具有分层搜索策略用于脉冲驱动语言模型

Rachmad Vidya Wicaksana Putra, Pasindu Wickramasinghe, Muhammad Shafique

机构 * eBRAIN Lab, New York University (NYU) Abu Dhabi（eBRAIN实验室，纽约大学阿布扎比分校） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；SLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出QSLM框架，通过分层搜索策略和多目标性能-内存权衡函数，实现对预训练脉冲驱动语言模型的自动量化压缩，减少内存占用并降低能耗，同时保持高性能。

Comments Accepted at the Design, Automation and Test in Europe Conference (DATE) 2025 on April 20th-22nd, 2026 in Verona, Italy

MUSE-Autoskill: Self-Evolving Agents via Skill Creation, Memory, Management, and Evaluation

MUSE-Autoskill: 通过技能创建、记忆、管理和评估实现自我进化智能体

Huawei Lin, Peng Li, Jie Song, Fuxin Jiang, Tieying Zhang

机构 * ByteDance Inc.（字节跳动公司） ； Rochester Institute of Technology（罗切斯特理工学院） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出MUSE-Autoskill框架，通过统一的技能生命周期（创建、记忆、管理、评估和优化）使LLM智能体持续提升任务解决能力，实验表明生命周期管理的技能可提高任务成功率、效率、复用性和跨智能体迁移。

Comments 30 pages, 9 figures, 15 tables, Under Review

Your Agent's Memories Are Not Its Own: Forged Reasoning Attacks on LLM Agent Memory and Defenses

你的智能体记忆并非其自身所有：针对大语言模型智能体记忆的伪造推理攻击及防御

Neeraj Karamchandani, Piyush Nagasubramaniam, Sencun Zhu, Dinghao Wu

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究针对大语言模型智能体记忆伪造推理的攻击，提出FARMA攻击方法，通过规避语言伪造推理痕迹并强化，还引入SENTINEL防御管道，实验表明该防御能有效降低攻击成功率。

Comments Preprint. 10 pages, 2 figures, 4 tables