语言大模型 / LLM

Configurable Reward Model for Balanced Safety Alignment

可配置奖励模型用于平衡安全对齐

Zhengping Jiang, Mehran Khodabandeh, Akash Bharadwaj, Manik Bhandari, Mayur Srungarapu, Anqi Liu, Benjamin Van Durme, Li Chen

机构 * Johns Hopkins University（约翰霍普金斯大学） ； Meta Superintelligence Labs（Meta超智能实验室） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出可配置安全奖励模型（CSRM），通过配置目标数据增强和联合优化，实现对细粒度安全配置和对话细微差别的敏感性，在可配置安全基准上达到最优性能，并改善有用性与安全性的权衡。

Pairwise Reference Alignment as a Model-Level Ordinal Observable

成对参考对齐作为模型级序数可观测量

Mujing Li

机构 * Independent Researcher（独立研究者） 纠错

专题命中 后训练与偏好优化 ：instruction tuning(abstract)；preference optimization(abstract)；分类 cs.CL、cs.LG

AI总结 本文定义成对参考对齐为模型评分函数诱导的序数可观测量，提出中心化序参数统计量和基于边界的扩展，并给出有限样本估计和浓度界，通过Qwen2.5和RewardBench实验验证。

Calibrated Preference Learning: The Case of Label Ranking

校准偏好学习：以标签排序为例

Santo M. A. R. Thies, Viktor Bengs, Timo Kaufmann, Sebastian J. Vollmer, Eyke Hüllermeier

机构 * Munich Center for Machine Learning, Munich (MCML), Germany（慕尼黑机器学习中心，慕尼黑（MCML），德国） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 针对概率标签排序问题，形式化定义了校准概念并建立层次体系，通过理论证明和实验验证了不同校准概念的关系及现有模型的校准缺陷。

Learning from Fine-Grained Visual Discrepancies: Mitigating Multimodal Hallucinations via In-Context Visual Contrastive Optimization

从细粒度视觉差异中学习：通过上下文视觉对比优化缓解多模态幻觉

Haolin Deng, Xin Zou, Zhiwei Jin, Chen Chen, Haonan Lu, Xuming Hu

机构 * The Hong Kong University of Science（香港科学与技术大学） ； OPPO AI Center（OPPO AI中心） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；preference optimization(abstract)；分类 cs.CL

AI总结 提出上下文视觉对比优化（IC-VCO）方法，通过共享多图像上下文中的对比图像确保数学严谨的目标，并引入视觉对比蒸馏（VCDist）和对比样本编辑策略，有效缓解多模态幻觉。

Comments ICML 2026

Cost-Aware Learning

成本感知学习

Clara Mohri, Amir Globerson, Haim Kaplan, Tomer Koren, Yishay Mansour

机构 * Kempner Institute（凯姆纳研究所） ； Harvard University（哈佛大学） ； Google Research（谷歌研究） ； Tel Aviv University（特拉维夫大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract_cn)；language model(abstract)；分类 cs.LG

AI总结 针对有限和优化中不同组件采样成本不同的问题，提出基于梯度范数和成本的采样分布算法Cost-Aware SGD，并应用于语言模型强化学习，显著降低策略优化中的token使用量。

Graph-GRPO: Dependency-Aware Credit Assignment for Generative E-commerce Search Relevance

Graph-GRPO：面向生成式电商搜索相关性的依赖感知信用分配

Jiarui Che, Yifei Chen, Zhixing Tian, Chenyang Wang, Ziguang Cheng

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)

AI总结 提出Graph-GRPO，一种基于图结构的GRPO扩展，通过构建推理依赖图并传播结果级奖励实现细粒度信用分配，提升电商搜索相关性建模。

Comments 11 pages, 2 figures, 2 tables. Submitted to CIKM 2026

FOCUS: Forcing In-Context Object Localization through Visual Support Constraints and Policy Optimization

FOCUS: 通过视觉支持约束和策略优化强制上下文目标定位

Mohammed Asad Karim, Vinay Kumar Verma

机构 * Amazon, Seattle, USA（亚马逊（美国西雅图）） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出一种两阶段训练框架，通过优化支持框与查询图像间的上下文注意力并结合GRPO强化学习，实现无类别监督的类别无关上下文目标定位，7B模型性能超越72B模型。

Comments Accepted at ICML 2026. * Equal Contributions

SCOPE: Self-Play via Co-Evolving Policies for Open-Ended Tasks

SCOPE：面向开放式任务的协同演化策略自我对弈

Wai-Chung Kwan, Aryo Pradipta Gema, Joshua Ong Jun Leang, Pasquale Minervini

机构 * University of Edinburgh（爱丁堡大学） ； Imperial College London（伦敦帝国学院） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.CL

AI总结 提出SCOPE框架，通过协同演化挑战者和求解者策略，实现无数据自我对弈，在开放式任务上提升性能并超越依赖人工提示的方法。

SwanVoice: Expressive Long-Form Zero-Shot Speech Synthesis for Both Monologue and Dialogue

SwanVoice: 面向独白与对话的表现力长文本零样本语音合成

Ruiqi Li, Yu Zhang, Changhao Pan, Ke Lei, Xiang Yin, Cheng Yang

专题命中 后训练与偏好优化 ：post-training(abstract)

AI总结 提出SwanVoice零样本TTS模型，通过构建独白与对话语料库、结合VAE、原始文本条件与流匹配DiT，以及两阶段训练和强化学习后训练，在长文本多说话人对话中实现表现力连贯性和可控切换。

Comments Technical Report

ExpGraph: Model-Agnostic Experience Learning with Graph-Structured Memory for LLM Agents

ExpGraph: 面向LLM智能体的模型无关经验学习与图结构记忆

Tao Feng, Chongrui Ye, Tianyang Luo, Jingjun Xu, Xueqiang Xu, Haozhen Zhang, Zhigang Hua, Yan Xie, Shuang Yang, Ge Liu, Jiaxuan You

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Nanyang Technological University（南洋理工大学） ； Meta Monetization AI（Meta 营收人工智能） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出ExpGraph框架，通过图结构记忆和强化学习实现冻结LLM执行器的外部经验复用，在问答、数学推理、代码生成和多步智能体任务上显著提升性能并减少交互步骤。

LIMCA: LLM for Automating Analog In-Memory Computing Architecture Design Exploration

LIMCA: 用于自动化模拟内存计算架构设计探索的LLM

Deepak Vungarala, Md Hasibul Amin, Pietro Mercati, Arnob Ghosh, Arman Roohi, David Z. Pan, Ramtin Zand, Shaahin Angizi

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出一种无需微调的大语言模型驱动框架LIMCA，通过无人工干预的自动化流程生成和验证模拟内存计算交叉阵列的电路网表，实现设计空间探索，在MNIST分类任务中达到≥96%准确率和≤3W功耗。

Comments 4 Figures, 6 Tables

Boundary-Guided Policy Optimization for Memory-efficient RL of Diffusion Large Language Models

边界引导策略优化：面向扩散大语言模型的内存高效强化学习

Nianyi Lin, Jiajie Zhang, Lei Hou, Juanzi Li

机构 * Tsinghua University（清华大学） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对扩散大语言模型中似然函数难以处理导致强化学习内存开销大的问题，提出边界引导策略优化（BGPO），通过构造满足线性和等价性的下界实现内存高效训练，在数学求解、代码生成和规划任务中显著优于现有方法。

ElasticMem: Latent Memory as a Learnable Resource for LLM Agents

ElasticMem: 将潜在记忆作为LLM智能体的可学习资源

Tao Feng, Chongrui Ye, Tianyang Luo, Jingjun Xu, Xueqiang Xu, Haozhen Zhang, Ge Liu, Jiaxuan You

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.CL

AI总结 提出ElasticMem框架，通过可学习的弹性潜在记忆分配策略，在记忆密集型问答和具身智能体控制任务中显著提升准确率并降低token开销。

GRKV: Global Regression for Training-Free KV Cache Compression in Long-Context LLMs

GRKV: 长上下文LLM中免训练的KV缓存压缩的全局回归

Junjie Peng, You Wu, Haoyi Wu, Jialong Han, Xiaohua Xie, Kewei Tu, Jianhuang Lai

机构 * Sun Yat-sen University（中山大学） ； ShanghaiTech University（上海科技大学） ； Guangdong Province Key Laboratory of Information Security Technology（广东省信息安全技术重点实验室） 纠错

专题命中 长上下文与记忆 ：LLM(title_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出GRKV方法，通过岭回归合并步骤最小化压缩缓存与完整缓存注意力输出的差异，解决基于跨度保留的合并模式不平衡导致的过度合并和信息损失问题。

Comments 21 pages, 7 figures

MeMo: Towards Language Models with Associative Memory Mechanisms

MeMo：迈向具有联想记忆机制的语言模型

Fabio Massimo Zanzotto, Elena Sofia Ruzzetti, Giancarlo A. Xompero, Leonardo Ranaldi, Davide Venditti, Federico Ranaldi, Cristina Giannone, Andrea Favalli, Raniero Romagnoli

机构 * Human-centric ART, University of Rome Tor Vergata（人文导向的ART，罗马大学Tor Vergata） ； University of Edinburgh（爱丁堡大学） ； Almawave S.p.A.（Almawave公司） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出MeMo架构，通过分层联想记忆直接记忆文本，实现透明化和模型编辑，实验证明单层和多层配置的记忆能力。

Journal ref Proceedings of Association for Computational Linguistics (Findings), 2025

ParisKV: Fast and Drift-Robust KV-Cache Retrieval for Long-Context LLMs

ParisKV：面向长上下文LLM的快速且漂移鲁棒的KV缓存检索

Yanlin Qi, Xinhang Chen, Huiqiang Jiang, Qitong Wang, Botao Peng, Themis Palpanas

机构 * Xi'an Jiaotong University, Xi'an, China（西安交通大学） ； Qwen Team, Alibaba Group, China（通义实验室） ； Harvard University, Cambridge, MA, USA（哈佛大学） ； Institute of Computing Technology, Chinese Academy of Sciences, Beijing, China（中国科学院计算技术研究所） 纠错

专题命中 长上下文与记忆 ：LLM(title_cn,abstract)；分类 cs.CL、cs.LG

AI总结 提出基于碰撞候选选择和量化内积重排序的GPU原生KV缓存检索框架ParisKV，在百万token上下文中实现低延迟、高吞吐且分布漂移鲁棒的检索，性能优于或持平全注意力。

Comments Accepted to the 43rd International Conference on Machine Learning (ICML 2026)

HetCCL: Enabling Collective Communication For Mixed-Vendor Heterogeneous Clusters

HetCCL：实现混合供应商异构集群的集体通信

Yuejie Wang, Tao Chang, Yuanyuan Zhao, Yulong Ao, Zeyu Gu, Zhiyu Li, Yanmin Jia, Yan Zhang, Mingjun Zhang, He Liu, Yongzhe He, Yonghua Lin, Guyue Liu

机构 * Peking University（北京大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出HetCCL框架，通过高效P2P传输和边界通信器机制，在异构集群中实现跨供应商的集体通信，消除主机-设备内存拷贝开销，并优化带宽利用率。

Learning Agent-Compatible Context Management for Long-Horizon Tasks

面向长时任务的学习智能体兼容上下文管理

Lu Yi, Runlin Lei, Liuyi Yao, Yuexiang Xie, Yuyang Li, Wenhao Zhang, Zhewei Wei, Yaliang Li, Jian-Yun Nie

机构 * Renmin University of China（中国人民大学） ； Tongyi Lab, Alibaba Group（阿里云实验室） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Université de Montréal（蒙特利尔大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 提出AdaCoM方法，通过外部LLM对冻结智能体进行端到端强化学习上下文管理，在长时任务中提升性能并揭示保真度-可靠性权衡。

Eywa: Provenance-Grounded Long-Term Memory for AI Agents

Eywa：基于溯源的人工智能智能体长期记忆

Resham Joshi

机构 * Eywa 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 提出Eywa架构，通过先存储证据再推导事实、验证记忆并采用确定性多路径读取（零LLM调用）实现可审计的长期记忆，在多个基准测试中取得高准确率。

Comments 29 pages, 3 figures, 16 tables. Benchmark artifacts available at https://eywa.to/research

CacheProbe: Auditing Prompt Cache Isolation in Gateway APIs

CacheProbe: 审计网关API中的提示缓存隔离

Ryan Fahey

机构 * Khoury College of Computer Sciences（计算机科学学院） ； Northeastern University（东北大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文通过CacheProbe方法审计OpenRouter API网关架构，发现其共享组织凭证的路由机制可能绕过提供商级别的提示缓存隔离，导致全局缓存共享漏洞。

Comments 11 pages, 8 figures, 2 tables Accepted at SAGAI '26 (Workshop on Secure Agents for Generative AI), co-located with IEEE Symposium on Security and Privacy 2026

LongTraceRL: Learning Long-Context Reasoning from Search Agent Trajectories with Rubric Rewards

LongTraceRL: 基于评分奖励从搜索智能体轨迹中学习长上下文推理

Nianyi Lin, Jiajie Zhang, Lei Hou, Juanzi Li

机构 * Tsinghua University（清华大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出LongTraceRL框架，通过知识图谱随机游走生成多跳问题并利用搜索智能体轨迹构建分层干扰物，结合基于实体链的评分奖励进行过程监督，提升大语言模型在长上下文推理中的表现。

GradMem: Learning to Write Context into Memory with Test-Time Gradient Descent

GradMem: 通过测试时梯度下降将上下文写入记忆

Yuri Kuratov, Matvey Kairov, Aydar Bulatov, Ivan Rodkin, Mikhail Burtsev

机构 * AXXX, Cognitive AI Systems Lab, Moscow, Russia（AXXX认知人工智能系统实验室，莫斯科，俄罗斯） ； London Institute for Mathematical Sciences, London, UK（伦敦数学科学研究所，伦敦，英国） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出GradMem方法，利用测试时梯度下降将上下文写入紧凑记忆状态，通过自监督重构损失优化记忆令牌，在键值检索和自然语言任务上优于前向式记忆写入方法。

Comments International Conference on Machine Learning (ICML) 2026

AutoSci: A Memory-Centric Agentic System for the Full Scientific Research Lifecycle

AutoSci: 面向完整科学生命周期的以记忆为中心的智能体系统

Weitong Qian, Beicheng Xu, Zhongao Xie, Bowen Fan, Guozheng Tang, Jiale Chen, Xinzhe Wu, Mingtian Yang, Chenyang Di, Jiajun Li, Lingching Tung, Peichao Lai, Yifei Xia, Ziyi Guo, Yanwei Xu, Yanzhao Qin, Shaoduo Gan, Xupeng Miao, Bin Cui

机构 * Peking University（北京大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出AutoSci，一个以记忆为中心、支持完整科学生命周期的智能体系统，通过结构化记忆、多阶段流程、有向无环图增强和演化机制实现自动化科研。

Query-focused and Memory-aware Reranker for Long Context Processing

面向长上下文处理的查询聚焦与记忆感知重排序器

Yuqing Li, Jiangnan Li, Mo Yu, Guoxuan Ding, Yanyu Chen, Zheng Lin, Wei Zhang, Jie Zhou

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） ； Pattern Recognition Center, WeChat AI, Tencent（腾讯微信人工智能研究院模式识别中心） ； East China Normal University（华东师范大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出一种基于大语言模型中检索头注意力分数的列表式重排序框架，利用候选列表整体信息估计段落-查询相关性，无需Likert监督，在多个领域取得最优性能。

Comments Add new experiments and compare more baselines

SpaMEM: Benchmarking Dynamic Spatial Reasoning via Perception-Memory Integration in Embodied Environments

SpaMEM：具身环境中通过感知-记忆集成进行动态空间推理的基准测试

Chih-Ting Liao, Xi Xiao, Chunlei Meng, Zhangquan Chen, Yitong Qiao, Weilin Zhou, Tianyang Wang, Xu Zheng, Xin Cao

机构 * The University of New South Wales（新南威尔士大学） ； The University of Alabama at Birmingham（阿拉巴马大学伯明翰分校） ； Fudan University（复旦大学） ； Tsinghua University（清华大学） ； Zhejiang University（浙江大学） ； Xinjiang University（新疆大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)

AI总结 提出SpaMEM基准，通过动作条件场景变换和多模态数据，分层评估多模态大模型在具身环境中的空间信念演化能力，揭示坐标一致性和视觉记忆瓶颈。

Little by Little: Continual Learning via Incremental Mixture of Rank-1 Associative Memory Experts

循序渐进：通过增量混合秩-1联想记忆专家实现持续学习

Haodong Lu, Chongyang Zhao, Minhui Xue, Lina Yao, Kristen Moore, Dong Gong

机构 * University of New South Wales（新南威尔士大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract_cn)；分类 cs.LG

AI总结 针对持续学习中专家粒度粗糙导致的冗余、干扰和遗忘问题，提出MoRAM方法，将秩-1适配器作为细粒度专家和联想记忆单元，通过自激活机制实现增量扩展，显著提升塑性-稳定性权衡和泛化能力。

Comments Accepted at ICML2026. Project page: https://artificer-ai-lab.github.io/MoRAM/

Don't be so Stief! Learning KV Cache low-rank approximation over the Stiefel manifold

不要那么Stief！在Stiefel流形上学习KV缓存低秩近似

Luca Benfenati, Matteo Risso, Andrea Vannozzi, Ahmet Caner Yüzügüler, Lukas Cavigelli, Enrico Macii, Daniele Jahier Pagliari, Alessio Burrello

机构 * Department of Control and Computer Engineering, Politecnico di Torino（控制与计算机工程系，托里诺理工学院） ； Huawei Zurich Research Center（华为苏黎世研究中心） 纠错

专题命中 长上下文与记忆 ：post-training(abstract)；分类 cs.LG

AI总结 提出StiefAttention方法，通过在Stiefel流形上学习正交投影基并最小化解码器层输出重建误差，实现KV缓存压缩，优于现有SVD方法。

$R^3$: 3D Reconstruction via Relative Regression

$R^3$: 通过相对回归进行3D重建

Congrong Xu, Huachen Gao, Xingyu Chen, Yuliang Xiu, Jun Gao, Anpei Chen

机构 * University of Michigan（密歇根大学） ； Westlake University（西雅图大学） ； NVIDIA Research（英伟达研究） 纠错

专题命中 长上下文与记忆 ：foundation model(abstract)

AI总结 提出一种基于相对回归的3D重建方法$R^3$，使用轻量级MLP预测置信度加权的相对约束，以支持全上下文离线重建和因果有界内存流式重建。

DeepImageSearch: Benchmarking Multimodal Agents for Context-Aware Image Retrieval in Visual Histories

DeepImageSearch: 多模态智能体在视觉历史中上下文感知图像检索的基准测试

Chenlong Deng, Mengjie Deng, Junjie Wu, Dun Zeng, Teng Wang, Qingsong Xie, Jiadeng Huang, Shengjie Ma, Changwang Zhang, Zhaoxiang Wang, Jun Wang, Yutao Zhu, Zhicheng Dou

机构 * Gaoling School of Artificial Intelligence, Renmin University of China, Beijing, China（中国人民大学北京校区人工智能学院） ； OPPO Research Institute（OPPO研究院） 纠错

专题命中 长上下文与记忆 ：language model(abstract)

AI总结 提出DeepImageSearch范式，将图像检索重构为自主探索任务，通过构建DISBench基准和模块化智能体框架，验证了在视觉历史中基于隐式上下文线索进行多步推理的必要性。

Comments 18 pages, 6 figures

The Sword, Shield, and Achilles' Heel: Characterizing the Linguistic Inductive Bias of Large Language Models for Spatial Reasoning in Navigation Planning

剑、盾与阿喀琉斯之踵：大型语言模型在导航规划中空间推理的语言归纳偏置特征化

Xudong Zhang, Jian Yang, Shengkai Wang, Jiangpeng Tian, Shaowen Chen, Xian Wei, Ke Li, Xiong You

机构 * East China Normal University（东华大学） ； Information Engineering University（信息工程大学） ； Zhengzhou University（郑州大学） 纠错

专题命中 推理与问题求解 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出双干预框架，通过表示干预和上下文干预分离语言结构与上下文线索，揭示LLM在导航规划中语言归纳偏置的规律：拓扑信息是稳健规划的支柱，语言格式是双刃剑，语义信息是致命弱点。