语言大模型 / LLM

The Computational Basis of Confidence in Large Language Models

大语言模型中置信度的计算基础

Dharshan Kumaran, Viorica Patraucean, Maks Ovsjanikov, Petar Veličković, Nathaniel Daw

机构 * Google DeepMind（谷歌DeepMind） ； École Polytechnique（巴黎综合理工学院） ； Princeton University（普林斯顿大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(title)；分类 cs.AI、cs.LG

AI总结 研究大语言模型中置信度的计算基础，利用统计决策置信度框架，通过答案 - 对数差异测试其预测特征，结果表明在多种任务中答案对数可作潜在决策变量读出，为多模态语言模型置信度提供解释并统一研究框架。

VarRate: Training-Free Variable-Rate KV Cache Compression for Long-Context LLMs

VarRate：用于长上下文语言模型的免训练可变率键值缓存压缩

Shahrzad Esmat, Dhawal Shah, Ali Jannesari

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究长上下文LLM推理中KV缓存内存瓶颈问题，提出免训练的VarRate编解码器，依查询显著性为令牌分配可变低秩预算，无需训练，相比其他方法在准确率和开销上表现出色，是较强的匹配内存压缩器。

Comments 20 pages, 8 figures, 24 tables. Includes appendix with additional experiments and analyses

ParamMute: Suppressing Knowledge-Critical FFNs for Faithful Retrieval-Augmented Generation

ParamMute：抑制知识关键的前馈神经网络以实现忠实的检索增强生成

Pengcheng Huang, Zhenghao Liu, Yukun Yan, Haiyan Zhao, Xiaoyuan Yi, Hao Chen, Zhiyuan Liu, Maosong Sun, Tong Xiao, Ge Yu, Chenyan Xiong

机构 * School of Computer Science and Engineering, Northeastern University, China（东北大学计算机科学与工程学院） ； Department of Computer Science and Technology, Institute for AI, Tsinghua University, China（清华大学人工智能研究院计算机科学与技术系） ； Microsoft Research Asia, Beijing, China（微软亚洲研究院） ； Language Technologies Institute, Carnegie Mellon University, United States（卡内基梅隆大学语言技术研究所） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究RAG中LLMs不忠实生成问题，提出ParamMute框架抑制相关FFNs激活并校准模型，通过CoFaithfulQA基准评估，显著提升忠实性，减少对参数记忆依赖，为提高LLM在RAG中的可信度提供新方向。

Comments 26 pages, 7 figures, 7 tables

When Context Misleads: Surprisal, Energy and Attention Entropy as Metrics of Coherence Illusions in LLMs

当上下文误导：惊讶度、能量和注意力熵作为LLM中连贯性错觉的度量

Ece Takmaz, Nitin Kumar, Li Kloostra, Jakub Dotlacil

机构 * Utrecht University（乌得勒支大学） 纠错

专题命中 长上下文与记忆 ：LLM(title_cn,summary_cn)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究荷兰语LLM在连贯性错觉中的表现，使用惊讶度、注意力熵和能量指标揭示模型受干扰词影响而忽略不连贯的机制。

Post-Launch Capability Expansion of Vision-Language Models via Prompting for On-Orbit Spacecraft Inspection

通过提示实现视觉语言模型发射后能力扩展用于在轨航天器检测

Nicholas A. Welsh, Lennon J. Shikhman, Monty Nehru Attazs, Seemanthini K. Putane, Van Minh Nguyen, Ryan T. White

机构 * Florida Institute of Technology（佛罗里达理工学院） ； University of Florida（佛罗里达大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；prompting(title)；分类 cs.AI、cs.LG

AI总结 研究利用提示驱动的视觉语言模型在轨扩展语义能力，无需修改权重即可通过自然语言提示检测新航天器部件，在129张图像上零样本实例分割达到0.385 mAP@0.5。

Comments 5 pages, 1 figure, 2 tables. Equal contribution by Nicholas A. Welsh and Lennon Shikhman. Published in the CVPR2026 Workshop on AI4Space

From Rigid to Dynamic: Entropy-Guided Adaptive Inference for Long-Context LLMs

从刚性到动态：面向长上下文LLM的熵引导自适应推理

Zhanchao Xu, Haoyang Li, Qingfa Xiao, Fei Teng, Chen Jason Zhang, Lei Chen, Qing Li

机构 * Department of Computing, PolyU（香港理工大学计算学系） ； DSA, HKUST(GZ)（香港科技大学（广州）数据科学与分析学域） ； CSE, HKUST（香港科技大学计算机科学与工程学系） 纠错

专题命中 长上下文与记忆 ：LLM(title_cn,summary_cn)；分类 cs.CL、cs.AI

AI总结 提出EntropyInfer框架，利用注意力熵在预填充阶段自适应分配计算资源，并在解码阶段通过生成令牌压缩KV缓存，实现长上下文LLM的高效推理。

Dense Contexts Are Hard Contexts: Lexical Density Limits Effective Context in LLMs

密集上下文是困难上下文：词汇密度限制LLM的有效上下文

Giovanni Dettori, Matteo Boffa, Danilo Giordano, Idilio Drago, Marco Mellia

机构 * Department of Computer Science Politecnico di Torino（计算机科学系politecnico di torino大学） ； Department of Computer Science University of Turin（计算机科学系都灵大学） 纠错

专题命中 长上下文与记忆 ：LLM(title_cn,summary_cn)；分类 cs.CL、cs.AI

AI总结 本文通过三个“找针”式基准测试，发现词汇密度（上下文引入不同信息的速率）是除输入长度和相关信息位置外，第三个系统性降低LLM有效上下文窗口的因素，并证明降低密度可恢复性能。

Comments 20 pages, 6 figures

Statistical Priors for Implicit Preferences: Decoupling Skill Selection as a Local Harness in Personal Agents

隐式偏好的统计先验：在个人代理中解耦技能选择作为局部调控机制

Zeyu Gan, Huayi Tang, Yong Liu

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对本地部署的个人代理中隐式用户偏好学习问题，提出一种解耦统计偏好学习与语义意图解析的轻量级架构，通过局部统计结果影响远程LLM的选择决策，显著降低累积遗憾并提高测试准确率。

When Search Becomes Memory: Turning Robot Design Trials into Transferable Skills

当搜索成为记忆：将机器人设计试验转化为可迁移技能

Yunfei Wang, Xiaohao Xu, Yang Li, Xiaonan Huang

机构 * University of Michigan（密歇根大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出Auto-Robotist，一种自进化LLM代理，通过将形态搜索轨迹提炼为自然语言技能库，实现可迁移的机器人设计知识，在EvoGym任务中提升冷启动搜索并跨设计空间迁移技能。

Comments 20 pages, 8 figures

AGI Requires a Coordination Layer on Top of Pattern Repositories

AGI 需要在模式存储库之上建立协调层

Edward Y. Chang

机构 * Department of Computer Science, Stanford University（斯坦福大学计算机科学系） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文提出大型语言模型（LLM）并非AGI的死胡同，而是缺少系统2协调层，通过UCCT和RCA实现语义锚定与因果验证，并设计MACI多智能体协调栈，实验表明自适应控制优于静态提示。

Comments 15 pages, 5 figures, 7 tables

The Context Gathering Decision Process: A POMDP Framework for Agentic Search

上下文收集决策过程：一种用于代理搜索的POMDP框架

Chinmaya Kausik, Adith Swaminathan, Nathan Kallus

机构 * University of Michigan（密歇根大学） ； Netflix 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出CGDP框架，通过将LLM行为建模为近似汤普森采样，引入谓词方法分解搜索过程，并设计两种干预措施提升多跳推理能力。

Comments 25 pages

SeaEvo: Advancing Algorithm Discovery with Strategy Space Evolution

SeaEvo：通过策略空间进化推进算法发现

Sichun Luo, Yi Huang, Haochen Luo, Fengyuan Liu, Guanzhi Deng, Lei Li, Qinghua Yao, Zefa Hu, Junlan Feng, Qi Liu

机构 * The University of Hong Kong（香港大学） ； JIUTIAN Research, China Mobile（钧天研究院，中国移动） ； City University of Hong Kong（城市大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 SeaEvo通过策略空间进化层，将语言级策略推理转化为群体级进化状态，提升LLM引导的程序搜索效果，实现算法发现、系统优化和智能体设计任务的性能提升。

MemSearcher: Training LLMs to Reason, Search and Manage Memory via End-to-End Reinforcement Learning

MemSearcher：通过端到端强化学习训练LLM进行推理、搜索和管理内存

Qianhao Yuan, Jie Lou, Zichao Li, Jiawei Chen, Yaojie Lu, Hongyu Lin, Le Sun, Debing Zhang, Xianpei Han

机构 * Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences, Beijing, China（中国科学院软件研究所信息处理实验室，北京，中国） ； University of Chinese Academy of Sciences, Beijing, China（中国科学院大学，北京，中国） ； Xiaohongshu Inc（小红书公司） 纠错

专题命中 长上下文与记忆 ：LLM(title_cn,summary_cn)；分类 cs.CL、cs.AI

AI总结 MemSearcher通过端到端强化学习训练LLM进行推理、搜索和内存管理，通过维护紧凑的记忆在多轮交互中保持上下文长度稳定，优于基于历史拼接的基线方法。

Comments Accepted to ACL 2026

ZeroTuning: Unlocking the Initial Token's Power to Enhance Large Language Models Without Training

ZeroTuning: 解锁初始标记的潜力以无需训练的方式提升大语言模型

Feijiang Han, Xiaodong Yu, Jianheng Tang, Delip Rao, Weihua Du, Lyle Ungar

机构 * University of Pennsylvania（宾夕法尼亚大学） ； AMD（AMD公司） ； Peking University（北京大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 ZeroTuning通过仅调整初始标记的注意力实现无需训练的大语言模型性能提升，适用于多种任务和场景。

Comments ICLR 2026 Accepted Version: proofread, introduction rewritten, additional experiments and appendix material added

Exploring Synaptic Resonance in Large Language Models: A Novel Approach to Contextual Memory Integration

George Applegarth, Christian Weatherstone, Maximilian Hollingsworth, Henry Middlebrook, Marcus Irvin

专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(title)；分类 cs.CL、cs.AI

Comments arXiv admin note: This paper has been withdrawn by arXiv due to disputed and unverifiable authorship

Beyond Prompts: Dynamic Conversational Benchmarking of Large Language Models

David Castillo-Bolado, Joseph Davidson, Finlay Gray, Marek Rosa

专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(title)；分类 cs.CL、cs.AI

Comments Accepted as a poster at NeurIPS D&B Track 2024

Test-Time Training on Nearest Neighbors for Large Language Models

Moritz Hardt, Yu Sun

专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(title)；分类 cs.CL、cs.LG

Comments ICLR final version

Q-First: Most of Attention Needs Only the Query in Disaggregated LLM Decoding

Q-First：在块的最小改动下实现注意力与前馈的并发

WenJie Fan

专题命中 长上下文与记忆 ：LLM(title,summary_cn)

AI总结 该研究提出Q-First协议，通过交换LLM解码器块的注意力与前馈子层顺序消除依赖，实现并发，验证其精度并训练8种变体证明改动影响有界且符合要求。

Comments 21 pages,5 figures

Selective KV Cache Protection for Noise-Resilient LLM Inference on Analog Compute-In-Memory Systems

面向模拟存算一体系统上抗噪声大语言模型推理的选择性键值缓存保护

Yuannuo Feng, Wenyong Zhou, Yuang Ma, Yizhe Chen, Wenshuai Yao, Yuxin Xie, Ngai Wong, Wang Kang

专题命中 长上下文与记忆 ：LLM(title,summary_cn)

AI总结 针对模拟存算一体系统上LLM推理的KV缓存易受硬件噪声影响的问题，本文首次开展相关系统研究，提出分层token保护策略，大幅降低噪声下的困惑度并提升编程行利用率。

Bounded-State Restoration: Decoupling Local Restore Capacity from External LLM State

有界状态恢复：将本地恢复能力与外部大语言模型状态解耦

Zixuan Li

专题命中 长上下文与记忆 ：LLM(title,summary_cn)

AI总结 提出有界状态恢复（BSR）方法，解耦本地恢复能力与外部LLM状态，在DeepSeek-V4-Flash上实现大外部状态下低本地RWS，缩短恢复TTFT。

Comments 16 pages, 8 figures

SoK: Intent-Oriented Systematization of Multi-Turn LLM Jailbreaks

SoK：面向意图的多轮大语言模型越狱系统化研究

Siyuan Li, Aodu Wulianghai, Zehao Liu, Xi Lin, Qinghua Mao, Haoyu Li, Xiang Chen, Siyuan Liang, Jun Wu, Jianhua Li, Dacheng Tao

专题命中 长上下文与记忆 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 本研究提出面向意图的多轮LLM越狱分类法，发现攻击有效性取决于意图组织精细度，推动检测范围升级，表明轮级安全机制不足，需对应层级评估协议。

Insecure Coding Preferences in Long-Term Memory: Security Risks for LLM-based Code Generation

长期记忆中的不安全编码偏好：基于大语言模型的代码生成的安全风险

Yuchen Chen, Wei Cheng, Yuan Xiao, Zhou Yang, Weifeng Sun, Chunrong Fang, Xiang Chen, Baowen Xu, David Lo, Zhenyu Chen

专题命中 长上下文与记忆 ：LLM(title,summary_cn)

AI总结 研究基于LLM的代码生成中，长期记忆里不安全编码偏好带来的安全风险，通过评估四种LLM在五种编程语言上的表现，发现其显著增加生成漏洞代码风险及存在警告差距，还评估了三种缓解策略并给出改进安全性的建议。

Comments Accepted to the 35th ACM SIGSOFT International Symposium on Software Testing and Analysis (ISSTA 2026)

LogicHunter: Testing LLM Agent Frameworks with an Agentic Oracle

LogicHunter：使用智能预言机测试大语言模型代理框架

Minghui Long, Yanjie Zhao, Haoyu Wang

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究针对大语言模型代理框架测试不足问题，提出LogicHunter模糊测试框架。通过规范驱动生成有效极端输入，引入智能预言机解决预言机歧义。在三个框架上评估，发现众多未知错误，智能预言机精度高，远超基线方法。

MOA: A Profiling-Guided LLM Framework for Memory-Optimization Automation at Codebase Scale

MOA：一种基于剖析引导的LLM框架，用于代码库规模的内存优化自动化

Jiaxi Liang, Yuanxiang Shi, Zezhou Yang, Chenxiong Qian

专题命中 长上下文与记忆 ：LLM(title,title_cn)

AI总结 提出MOA框架，通过三个智能体自动检测和修复大规模代码库中的内存低效问题，在OpenHarmony上识别13种反模式，生成769个补丁，平均堆减少42.2%。

When Latent Agents Lie: KV-Cache Integrity in Multi-Agent LLM Collaboration

当潜在智能体说谎时：多智能体LLM协作中的KV缓存完整性

Luís Brito, Carlos Baquero

专题命中 长上下文与记忆 ：LLM(title,title_cn)

AI总结 研究多智能体问答中KV缓存传递的安全问题，发现恶意智能体可通过篡改隐藏状态破坏协作，提出HMAC-SHA256清单保护传输完整性。

Comments 16 pages, 2 figures, 3 tables

PACMS: Submodular Context Selection as a Pluggable Engine for LLM Agents

PACMS: 作为LLM代理可插拔引擎的子模上下文选择

Manu Ghulyani, Arunabh Singh, Karan Bharadwaj, Ankit Nath, Suranjan Goswami

专题命中 长上下文与记忆 ：LLM(title,title_cn)

AI总结 提出PACMS，一种基于子模函数最大化的上下文选择方法，在提示组装时按相关性从会话、记忆和工具输出中挑选内容，替代截断机制，提升长对话中的信息保持能力。

Regression Language Models for Code

代码的回归语言模型

Yash Akhauri, Xingyou Song, Arissa Wongpanich, Bryan Lewandowski, Mohamed S. Abdelfattah

机构 * Cornell University（康奈尔大学） ； Google DeepMind（谷歌DeepMind） ； Google Cloud（谷歌云） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出回归语言模型（RLM），利用冻结的大语言模型编码器直接从文本预测代码执行结果（如内存占用、延迟、神经网络精度等），在多个任务上达到高相关度。

Comments Published in International Conference on Machine Learning (ICML) 2026

LLM-Based Digital Twin Intelligence for Application-Aware Network Selection in 6G Heterogeneous Wireless Networks

基于大语言模型的数字孪生智能：面向6G异构无线网络中应用感知的网络选择

Brahim Mefgouda, Anis Bara, Lina Bariah, Hang Zou, Yuzhi Yang, Merouane Debbah

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 提出一种基于大语言模型的数字孪生框架，通过融合物理传播、分组级QoS仿真和决策记忆，实现候选集演化下的稳定应用感知RAT选择，显著降低秩反转和切换次数。

Comments Submitted to an IEEE venue

RePo: Language Models with Context Re-Positioning

RePo：具有上下文重定位的语言模型

Huayang Li, Tianyu Zhao, Deng Cai, Richard Sproat

机构 * University of Maryland（马里兰大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；LLM(abstract_cn)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出RePo机制，通过可微分模块重新分配token位置以减轻注意力层负担，在噪声上下文、结构化数据和长上下文任务上持续提升性能。

Comments Accepted to ICML 2026

Memory-Efficient Looped Transformer: Decoupling Compute from Memory in Looped Language Models

内存高效的循环变换器：在循环语言模型中解耦计算与内存

Victor Conchello Vendrell, Arnau Padres Masdemont, Niccolò Grillo, Jordi Ros-Giralt, Arash Behboodi, Fabio Valerio Massoli

机构 * Qualcomm AI Research（高通人工智能研究） 纠错

专题命中 长上下文与记忆 ：language model(title)；LLM(abstract,abstract_cn)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出了一种内存高效的循环变换器（MELT），通过解耦推理深度与内存消耗，实现了常数内存的迭代推理，同时保持了LoopLM的性能，仅需轻量级的后训练过程。

Comments 22 pages, 5 figures, 11 tables