语言大模型 / LLM

PABU: Progress-Aware Belief Update for Efficient LLM Agents

PABU：面向高效LLM代理的进度感知信念更新

Haitao Jiang, Lin Ge, Hengrui Cai, Rui Song

机构 * North Carolina State University, Raleigh, NC, USA（北卡罗来纳州立大学） ； University of California, Irvine, CA, USA（加州大学伊市分校） ； Amazon, Seattle, WA, USA（亚马逊公司） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 PABU通过显式建模任务进度和选择性保留历史信息，提升了LLM代理的任务完成效率和性能。

Fast KVzip: Efficient and Accurate LLM Inference with Gated KV Eviction

快速KVzip：基于门控的KV缓存淘汰实现高效且准确的LLM推理

Jang-Hyun Kim, Dongyoon Han, Sangdoo Yun

机构 * NAVER AI Lab（NAVER AI实验室） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 基于门控的KV缓存淘汰方法实现高效且准确的LLM推理，通过轻量级门控模块和任务无关的重建目标，实现高压缩比和低计算开销。

Comments Source code: https://github.com/Janghyun1230/FastKVzip

Your Language Model Secretly Contains Personality Subnetworks

你的语言模型秘密包含个性子网络

Ruimeng Ye, Zihan Wang, Zinan Ling, Yang Xiao, Manling Li, Xiaolong Ma, Bo Hui

机构 * University of Tulsa（图兰大学） ； Northwestern University（西北大学） ； University of Arizona（亚利桑那大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 本研究发现大型语言模型内部已嵌入身份子网络，无需外部知识即可实现身份切换和行为调整。

Comments ICLR 2026

TrailBlazer: History-Guided Reinforcement Learning for Black-Box LLM Jailbreaking

TrailBlazer: 基于历史的强化学习用于黑盒大语言模型劫持

Sung-Hoon Yoon, Ruizhi Qian, Minda Zhao, Weiyue Li, Mengyu Wang

机构 * Daegu Gyeongbuk Institute of Science and Technology（大邱庆 bun 科学技术研究院） ； Harvard University（哈佛大学） ； University of Southern California（南加州大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 TrailBlazer通过历史感知强化学习提升黑盒大语言模型劫持效率，实现更高效的攻击策略和更高的查询效率。

Beyond Prompting: Efficient and Robust Contextual Biasing for Speech LLMs via Logit-Space Integration (LOGIC)

超越提示：通过logit空间整合实现语音大语言模型的高效且鲁棒的上下文偏差（LOGIC）

Peidong Wang

专题命中 效率与部署 ：prompting(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 LOGIC通过logit空间整合实现语音大语言模型的高效且鲁棒的上下文偏差，有效降低实体识别错误率。

Comments This paper is withdrawn temporarily to ensure full compliance with internal institutional publication approval processes

REASONING COMPILER: LLM-Guided Optimizations for Efficient Model Serving

推理编译器：基于大语言模型的高效模型服务优化

Annabelle Sujun Tang, Christopher Priebe, Rohan Mahapatra, Lianhui Qin, Hadi Esmaeilzadeh

机构 * University of California San Diego（加州大学圣地亚哥分校） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 推理编译器利用大语言模型进行编译优化，通过上下文感知决策提升样本效率，实现高效模型服务。

Comments NeurIPS 2025

TraceNAS: Zero-shot LLM Pruning via Gradient Trace Correlation

TraceNAS: 通过梯度轨迹相关性实现零样本LLM剪枝

Prajna G. Malettira, Manish Nagaraj, Arjun Roy, Shubham Negi, Kaushik Roy

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 TraceNAS通过梯度轨迹相关性实现零样本LLM剪枝，高效发现高保真剪枝模型，减少GPU计算成本并提升模型性能。

Comments Preprint

From Task Solving to Robust Real-World Adaptation in LLM Agents

从任务解决到在LLM代理中的鲁棒现实适应

Pouya Pezeshkpour, Estevam Hruschka

机构 * Megagon Labs（梅加戈恩实验室） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文研究了LLM代理在现实环境中的鲁棒适应能力，发现任务解决与实际部署鲁棒性存在显著差距，揭示了在部分可观测性和噪声环境下代理的决策挑战。

Enhancing Post-Training Quantization via Future Activation Awareness

通过未来激活意识增强后训练量化

Zheqi Lv, Zhenxuan Fan, Qi Tian, Wenqiao Zhang, Yueting Zhuang

机构 * Zhejiang University（浙江大学） ； Tencent（腾讯） 纠错

专题命中 效率与部署 ：post-training(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 通过利用未来层激活信息，提出Future-Aware Quantization方法，有效提升后训练量化效果，适用于边缘部署。

Revisiting Adaptive Rounding with Vectorized Reparameterization for LLM Quantization

重新审视基于向量化的重参数化适应性取整用于大语言模型量化

Yuli Zhou, Qingxuan Chen, Luca Benini, Guolei Sun, Yawei Li

机构 * ETH Zurich, Zurich, Switzerland（苏黎世联邦理工学院） ； Nankai University, Tianjin, China（南开大学） ； University of Bologna, Bologna, Italy（博洛尼亚大学） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 VQRound通过向量化的重参数化方法，实现了在大语言模型量化中的高效适应性取整，以提升收敛速度并减少参数使用。

Comments 17 pages, 6 figures, 14 tables

Light Alignment Improves LLM Safety via Model Self-Reflection with a Single Neuron

通过单个神经元的模型自反进行轻量级对齐以提升大语言模型的安全性

Sicheng Shen, Mingyang Lv, Han Shen, Jialin Wu, Binghao Wang, Zhou Yang, Guobin Shen, Dongcheng Zhao, Feifei Zhao, Yi Zeng

机构 * Beijing Institute of AI Safety and Governance（北京人工智能安全与治理研究院） ； Beijing Key Laboratory of Safe AI and Superalignment（北京安全人工智能与超对齐重点实验室） ； Ant Group Co., Ltd.（蚂蚁集团有限公司） ； BrainCog Lab., CASIA（CASIA脑认知实验室） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 通过单个神经元的模型自反实现轻量级对齐，提升大语言模型的安全性和实用性

Comments 21 pages, 3 figures

Probe and Skip: Self-Predictive Token Skipping for Efficient Long-Context LLM Inference

探测与跳过：用于高效长上下文LLM推理的自预测token跳过

Zimeng Wu, Donghao Wang, Chaozhe Jin, Jiaxin Chen, Yunhong Wang

机构 * School of Computer Science and Engineering, Beihang University, Beijing, China（计算机科学与工程学院，北航，北京，中国） ； State Key Laboratory of Virtual Reality Technology and Systems, Beihang University, Beijing, China（虚拟现实技术与系统国家重点实验室，北航，北京，中国） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出自预测token跳过框架，通过两种选择性跳过策略和多阶段延迟剪枝策略，提升长上下文LLM推理效率，实现显著加速与高精度

Multi-LLM Adaptive Conformal Inference for Reliable LLM Responses

多LLM自适应置信推理用于可靠的LLM响应

Kangjun Noh, Seongchan Lee, Ilmun Kim, Kyungwoo Song

机构 * Department of Applied Statistics and Data Science, Yonsei University（应用统计与数据科学系，延世大学） ； Department of Mathematical Sciences, KAIST（数学科学系，韩国科学技术院） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 多LLM自适应置信推理通过集成生成更准确的事实性分数，提升高风险领域中LLM响应的可靠性和准确性。

Comments Accepted to ICLR 2026

LightRetriever: A LLM-based Text Retrieval Architecture with Extremely Faster Query Inference

LightRetriever: 一种基于大语言模型的文本检索架构，具有极快的查询推理速度

Guangyuan Ma, Yongliang Ma, Xuanrui Gou, Zhenpeng Su, Ming Zhou, Songlin Hu

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） ； Langboat Technology（兰舟科技） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 LightRetriever通过轻量级查询编码器显著提升检索效率，实现查询推理速度提升超1000倍，端到端吞吐量提升超10倍，且在多种任务中保持95%的检索性能。

Comments Accepted by ICLR 2026

LLM-based Few-Shot Early Rumor Detection with Imitation Agent

基于大语言模型的少样本早期谣言检测与模仿代理

Fengzhu Zeng, Qian Shao, Ling Cheng, Wei Gao, Shih-Fen Cheng, Jing Ma, Cheng Niu

机构 * Singapore Management University（新加坡管理大学） ； Hong Kong Baptist University（香港 Baptist大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出基于自主代理和大语言模型的少样本早期谣言检测框架，通过轻量级代理提升效率，实现准确性和早熟性的提升。

Comments Accepted at KDD 2026

SAC-GLAM: Improving Online RL for LLM agents with Soft Actor-Critic and Hindsight Relabeling

SAC-GLAM：通过软演员-评论员和回顾重标记改进LLM代理的在线强化学习

Loris Gaven, Clement Romac, Thomas Carta, Sylvain Lamprier, Olivier Sigaud, Pierre-Yves Oudeyer

机构 * Inria (Flowers)（Inria（Flowers）） ； University of Bordeaux（波尔多大学） ； Hugging Face ； Univ Angers（昂热大学） ； LERIA ； SFR MATHSTIC（MATHSTIC联合研究机构） ； Sorbonne Université（索邦大学） ； ISIR 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 SAC-GLAM通过结合软演员-评论员算法和回顾重标记，改进LLM代理的在线强化学习，提升其在复杂环境中的策略学习能力。

Comments This work has been presented at the IMOL workshop at NeurIPS 2025 (https://neurips.cc/virtual/2024/101058)

LLM-Assisted Logic Rule Learning: Scaling Human Expertise for Time Series Anomaly Detection

基于大语言模型的逻辑规则学习：扩展人类专业知识用于时间序列异常检测

Haoting Zhang, Shekhar Jain

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出利用大语言模型学习逻辑规则，用于提升供应链时间序列异常检测的准确性和可解释性，通过三阶段框架实现专家知识的系统编码与自动化优化。

BootSeer: Analyzing and Mitigating Initialization Bottlenecks in Large-Scale LLM Training

BootSeer：分析和缓解大规模大语言模型训练中的初始化瓶颈

Rui Li, Xiaoyun Zhi, Jinxin Chi, Menghan Yu, Lixin Huang, Jia Zhu, Weilun Zhang, Xing Ma, Wenjia Liu, Zhicheng Zhu, Daowen Luo, Zuquan Song, Xin Yin, Chao Xiang, Shuguang Wang, Wencong Xiao, Gene Cooperman

机构 * Northeastern University（东北大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 BootSeer通过优化容器镜像加载、依赖安装和模型检查点恢复，显著减少大规模LLM训练的启动开销。

Comments 18 pages, 14 figures

Learning Grouped Lattice Vector Quantizers for Low-Bit LLM Compression

学习分组晶格向量量化器以实现低比特LLM压缩

Xi Zhang, Xiaolin Wu, Jiamang Wang, Weisi Lin

机构 * Nanyang Technological University（南洋理工大学） ； Alibaba Group（阿里巴巴集团） ； Southwest Jiaotong University（西南交通大学） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文提出分组晶格向量量化器，通过学习生成矩阵优化低比特LLM压缩，实现模型大小与精度的平衡。

Comments NeurIPS 2025 Poster

LLM Jailbreak Detection for (Almost) Free!

几乎免费的LLM劫持检测

Guorui Chen, Yifan Xia, Xiaojun Jia, Zhijiang Li, Philip Torr, Jindong Gu

机构 * School of Information Management, Wuhan University（武汉大学信息管理学院） ； Nanyang Technological University（南洋理工大学） ； Torr Vision Group, University of Oxford（牛津大学Torr视觉组） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种几乎免费的LLM劫持检测方法，通过调整输入指令和logits温度来提高检测性能，无需额外计算成本。

Comments EMNLP 2025 (Findings) https://aclanthology.org/2025.findings-emnlp.309/

Martingale Foresight Sampling: A Principled Approach to Inference-Time LLM Decoding

鞅前瞻性采样：一种推断时间LLM解码的原理性方法

Huayu Li, ZhengXiao He, Siyuan Tian, Jinghao Wen, Ao Li

机构 * University of Arizona（亚利桑那大学） ； Microsoft Research Asia（微软亚洲研究院） ； Villanova University（维拉诺瓦大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出鞅前瞻性采样，通过概率论原理改进LLM解码，提升推理准确性和计算效率。

CoScale-RL: Efficient Post-Training by Co-Scaling Data and Computation

CoScale-RL: 通过协同扩展数据与计算实现高效后期训练

Yutong Chen, Jiandong Gao, Ji Wu

机构 * Department of Electronic Engineering, Tsinghua University, Beijing, China（清华大学电子工程系） ； College of AI, Tsinghua University, Beijing, China（清华大学人工智能学院） ； Beijing National Research Center for Information Science（北京信息科学国家研究中心） 纠错

专题命中 效率与部署 ：post-training(title,abstract)；foundation model(abstract)；SFT(abstract)；分类 cs.AI、cs.LG

AI总结 CoScale-RL通过协同扩展数据与计算，提升大型推理模型的训练效率和推理能力。

Comments preprint

The Slow Drift of Support: Boundary Failures in Multi-Turn Mental Health LLM Dialogues

支持的缓慢漂移：多轮心理健康大语言模型对话中的边界失败

Youyou Cheng, Zhuangwei Kang, Kerry Jiang, Chenyu Sun, Qiyang Pan

机构 * University of Incarnate Word School of Osteopathic Medicine（incarnate Word 学校医学部） ； Independent Researcher（独立研究者） ； Mayo Clinic（梅奥诊所） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出多轮压力测试框架，揭示LLMs在长对话中因安慰和同理心尝试导致的安全边界逐步侵犯问题。

Activation Sensitivity as a Unifying Principle for Post-Training Quantization

激活敏感性作为后训练量化方法的统一原则

Bruce Changlong Xu

专题命中 效率与部署 ：post-training(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出激活敏感性作为后训练量化的统一原则，通过理论框架解释AWQ和GPTQ等方法，并揭示其与经典剪枝技术的关系。

An Efficient Long-Context Ranking Architecture With Calibrated LLM Distillation: Application to Person-Job Fit

一种高效的长上下文排序架构与校准的LLM蒸馏：应用于人-职位匹配

Warren Jouanneau, Emma Jouffroy, Marc Palyart

机构 * Malt 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出一种基于新型晚期交叉注意力架构的高效长上下文排序模型，通过校准的LLM蒸馏技术提升人-职位匹配的准确性和可解释性。

AdaptCache: KV Cache Native Storage Hierarchy for Low-Delay and High-Quality Language Model Serving

AdaptCache: 一种面向低延迟和高质量语言模型服务的KV缓存原生存储层次

Shaoting Feng, Hanchen Li, Kuntai Du, Zhuohan Gu, Yuhan Liu, Jiayi Yao, Siddhant Ray, Samuel Shen, Yihua Cheng, Ganesh Ananthanarayanan, Junchen Jiang

机构 * University of Chicago（芝加哥大学） ； Microsoft（微软） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.AI、cs.LG

AI总结 AdaptCache通过动态压缩KV缓存提升语言模型服务的低延迟和高质量性能。

Comments Accepted at SOSP 2025 - The International Workshop on Big Memory (BigMem)

Queueing-Aware Optimization of Reasoning Tokens for Accuracy-Latency Trade-offs in LLM Servers

面向队列的推理令牌优化：在LLM服务器中准确率与延迟的权衡

Emre Ozbas, Melih Bastopcu

机构 * Department of Electrical and Electronics Engineering（电气与电子工程系） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种面向队列的推理令牌优化方法，通过优化LLM服务器中准确率与延迟的权衡，提升系统性能。

Advancing Model Refinement: Muon-Optimized Distillation and Quantization for LLM Deployment

推进模型精炼：用于LLM部署的μ子优化蒸馏与量化

Jacob Sander, Brian Jalaian, Venkat R. Dasari

机构 * Intelligent Systems and Robotics (ISR) University of West Florida（智能系统与机器人（ISR）大学西部佛罗里达大学） ； DEVCOM Army Research Laboratory (ARL)（陆军研究实验室（ARL）） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出结合量化、LoRA和数据蒸馏的框架，通过μ子优化器实现模型压缩与性能提升，适用于LLM部署。

Comments 12 pages, 5 figures

Online Scheduling for LLM Inference with KV Cache Constraints

在线调度用于具有KV缓存约束的LLM推理

Patrick Jaillet, Jiashuo Jiang, Konstantina Mellou, Marco Molinaro, Chara Podimata, Zijie Zhou

机构 * Department of Electrical Engineering and Computer Science, Massachusetts Institute of Technology（麻省理工学院电子工程与计算机科学系） ； HKUST（香港科技大学） ； Microsoft Research（微软研究院） ； Sloan School of Management, Massachusetts Institute of Technology（斯隆管理学院，麻省理工学院） ； Operations Research Center, Massachusetts Institute of Technology（运营研究中心，麻省理工学院） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种在线调度算法，通过理论建模和实证验证，在管理KV缓存内存的同时最小化LLM推理延迟，显著优于现有基准算法。

AnaFlow: Agentic LLM-based Workflow for Reasoning-Driven Explainable and Sample-Efficient Analog Circuit Sizing

AnaFlow: 基于代理的LLM工作流：以推理驱动的可解释且样本高效的模拟电路尺寸设计

Mohsen Ahmadzadeh, Kaichang Chen, Georges Gielen

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 AnaFlow通过基于代理的LLM工作流实现高效、可解释的模拟电路尺寸设计，利用人类可理解的推理和自适应仿真策略，提升设计效率和透明度。

Comments This article was accepted by 2025 International Conference on Computer-Aided Design (ICCAD 2025) and was presented in Munich, October 2025

Journal ref Proc. 2025 IEEE/ACM International Conference on Computer-Aided Design (ICCAD) 2025