语言大模型 / LLM

Quant Experts: Token-aware Adaptive Error Reconstruction with Mixture of Experts for Large Vision-Language Models Quantization

量化专家：基于专家混合的令牌感知自适应误差重建用于大视觉-语言模型量化

Chenwei Jia, Baoting Li, Xuchong Zhang, Mingzhuo Wei, Bochen Lin, Hongbin Sun

机构 * State Key Laboratory of Human-Machine Hybrid Augmented Intelligence（人机混合增强智能国家重点实验室） ； Institute of Artificial Intelligence and Robotics（人工智能与机器人研究院） ； Xi’an Jiaotong University（西安交通大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；post-training(abstract)；分类 cs.AI

AI总结 本文提出Quant Experts，通过令牌感知的专家混合方法，提升大视觉-语言模型在量化过程中的任务准确性，保持与全精度模型相当的性能。

Comments 13 pages, 6 figures, including appendix, Accepted at CVPR 2026

IMMACULATE: A Practical LLM Auditing Framework via Verifiable Computation

IMMACULATE: 通过可验证计算实现的实用LLM审计框架

Yanpei Guo, Wenjie Qu, Linyu Wu, Shengfang Zhai, Lionel Z. Wang, Ming Xu, Yue Liu, Binhang Yuan, Dawn Song, Jiaheng Zhang

机构 * National University of Singapore（新加坡国立大学） ； Nanyang Technological University（南洋理工大学） ； Independent Researcher（独立研究者） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 IMMACULATE通过可验证计算实现对大语言模型的审计，检测模型替换、量化滥用和令牌过账等经济动机驱动的偏差，具有低吞吐量开销和强检测保证。

RL-Obfuscation: Can Language Models Learn to Evade Latent-Space Monitors?

RL-Obfuscation: 语言模型能否学习逃避潜在空间监控？

Rohan Gupta, Erik Jenner

机构 * ML Alignment and Theory Scholars（机器学习对齐与理论学者） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.LG

AI总结 RL-Obfuscation研究语言模型通过强化学习逃避潜在空间监控的能力，发现基于token的监控易受攻击，而更全面的监控更具鲁棒性。

Compressing Language Models for Specialized Domains

面向专业领域的语言模型压缩

Miles Williams, George Chrysostomou, Vitor Jeronymo, Nikolaos Aletras

机构 * University of Sheffield（谢菲尔德大学） ； Enterprise AI Services, AstraZeneca（AstraZeneca企业人工智能服务） 纠错

专题命中 效率与部署 ：language model(title,abstract)；post-training(abstract)；分类 cs.CL

AI总结 本文提出MixCal方法，通过训练后校准提升压缩语言模型在专业领域任务中的性能，同时降低计算成本。

Comments EACL 2026

OptiLeak: Efficient Prompt Reconstruction via Reinforcement Learning in Multi-tenant LLM Services

OptiLeak: 通过强化学习在多租户LLM服务中高效重建提示

Longxiang Wang, Xiang Zheng, Xuhao Zhang, Yao Zhang, Ye Wu, Cong Wang

机构 * City University of Hong Kong（香港城市大学） ； ByteDance Inc.（字节跳动公司） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；preference optimization(abstract)；分类 cs.AI

AI总结 OptiLeak通过强化学习和两阶段微调，在多租户LLM服务中高效重建提示，减少请求次数达12.48倍，提升隐私保护。

Entropy-Based Data Selection for Language Models

基于熵的数据选择用于语言模型

Hongming Li, Yang Liu, Chao Huang

机构 * School of Computer and Communication Engineering, University of Science and Technology Beijing（计算机与通信工程学院，科学技术大学） ； National Key Laboratory of General Artificial Intelligence, Beijing Institute for General Artificial Intelligence（通用人工智能国家重点实验室，北京通用人工智能研究院） ； Shunde Innovation School, University of Science and Technology Beijing（顺德创新学院，科学技术大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL

AI总结 本文提出基于熵的无监督数据选择框架，通过减少计算成本和数据需求，提升语言模型在计算受限场景下的微调效率。

Comments IEEE Access, 15 pages, 5 figures, 11 tables

FlowPrefill: Decoupling Preemption from Prefill Scheduling Granularity to Mitigate Head-of-Line Blocking in LLM Serving

FlowPrefill: 解耦预emption与prefill调度粒度以缓解LLM服务中的头部阻塞

Chia-chi Hsieh, Zan Zong, Xinyang Chen, Jianjiang Li, Jidong Zhai, Lijie Wen

机构 * Tsinghua University（清华大学） ； University of Science and Technology Beijing（北京科技大学） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 FlowPrefill通过解耦预emption与调度粒度，优化TTFT和吞吐量，缓解LLM服务中的头部阻塞问题。

Comments 13 pages

LACONIC: Length-Aware Constrained Reinforcement Learning for LLM

LACONIC：面向LLM的长度感知约束强化学习

Chang Liu, Yiran Zhao, Lawrence Liu, Yaoqi Ye, Csaba Szepesvári, Lin F. Yang

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； Salesforce AI Research（Salesforce AI研究院） ； National University of Singapore（新加坡国立大学） ； University of Alberta（阿尔伯塔大学） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 LACONIC通过长度感知约束强化学习，在保持任务性能的同时有效控制输出长度，减少50%以上。

Detecting LLM Hallucinations via Embedding Cluster Geometry: A Three-Type Taxonomy with Measurable Signatures

通过嵌入聚类几何检测大语言模型幻觉：一种三类分类法及其可测量特征

Matic Korun

机构 * Independent Researcher（独立研究者） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 通过分析嵌入聚类几何结构，提出三种大语言模型幻觉类型及其可测量特征，揭示了架构对幻觉检测的影响。

Comments 9 pages, 5 figures

Abstractive Red-Teaming of Language Model Character

语言模型特征的抽象式红队测试

Nate Rahn, Allison Qi, Avery Griffin, Jonathan Michala, Henry Sleight, Erik Jones

机构 * Anthropic Fellows Program（Anthropic Fellow计划） ； McGill University（麦吉尔大学） ； Mila – Quebec AI Institute（魁北克AI研究所） ； MATS Program（MATS计划） ； Anthropic 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract)；分类 cs.LG

AI总结 本研究提出抽象式红队测试方法，通过高效算法发现语言模型在部署中可能违反特征规范的查询类别，验证了模型在特定场景下的行为一致性。

Watermarking Discrete Diffusion Language Models

对离散扩散语言模型进行水印标记

Avi Bagchi, Akhil Bhimaraju, Moulik Choraria, Daniel Alabi, Lav R. Varshney

机构 * University of Pennsylvania（宾夕法尼亚大学） ； University of Illinois Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Stony Brook University（石溪大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.AI

AI总结 本文提出了一种针对离散扩散语言模型的水印标记方法，通过保持分布的Gumbel-max采样技巧和序列位置播种随机性，实现了可靠检测和无失真水印。

PrefillShare: A Shared Prefill Module for KV Reuse in Multi-LLM Disaggregated Serving

PrefillShare: 一种用于多语言模型解耦服务中KV重用的共享预填模块

Sunghyeon Woo, Hoseung Kim, Sunghwan Shim, Minjung Jo, Hyunjoon Jeong, Jeongtae Lee, Joonghoon Kim, Sungjae Lee, Baeseong Park, Se Jung Kwon, Dongsoo Lee

专题命中 效率与部署 ：LLM(title,abstract)；language model(abstract)；分类 cs.LG

AI总结 PrefillShare通过共享预填模块和KV缓存，减少多语言模型解耦服务中的冗余计算和延迟，提升吞吐量和准确性。

Comments Preprint. 13 pages, 6 figures

Efficient and Stable Reinforcement Learning for Diffusion Language Models

高效且稳定的扩散语言模型强化学习

Jiawei Liu, Xiting Wang, Yuanyuan Zhong, Defu Lian, Yu Yang

机构 * State Key Laboratory of Cognitive Intelligence, University of Science（认知智能国家重点实验室，科学大学） ； City University of Hong Kong, Hong Kong, China（香港城市大学，香港，中国） ； Gaoling School of Artificial Intelligence, Renmin University of China, Beijing, China（人工智能学院，中国人民大学，北京，中国） ； School of Software and Microelectronics, Peking University, Beijing, China（软件与微电子学院，北京大学，北京，中国） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.AI

AI总结 本文提出STP框架，通过空间和时间剪枝提升扩散语言模型强化学习的效率和稳定性。

Comments 13 pages, 3 figures

VocalNet-MDM: Accelerating Streaming Speech LLM via Self-Distilled Masked Diffusion Modeling

VocalNet-MDM：通过自蒸馏掩码扩散建模加速流式语音大语言模型

Ziyang Cheng, Yuhao Wang, Heyang Liu, Ronghua Wu, Qunshan Gu, Yanfeng Wang, Yu Wang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 VocalNet-MDM通过自蒸馏掩码扩散建模实现流式语音LLM的高效解码与低延迟

Do Prompts Guarantee Safety? Mitigating Toxicity from LLM Generations through Subspace Intervention

提示是否保证安全？通过子空间干预减轻大语言模型生成中的毒性

Himanshu Singh, Ziwei Xu, A. V. Subramanyam, Mohan Kankanhalli

机构 * Department of Computer Science（计算机科学系） ； School of Computing, National University of Singapore（新加坡国立大学计算机学院） ； Department of Electronics and Communications Engineering（电子与通信工程系） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出了一种子空间干预策略，通过减少大语言模型生成中的毒性，同时保持生成文本的流畅性。

GRAB: An LLM-Inspired Sequence-First Click-Through Rate Prediction Modeling Paradigm

GRAB: 一种受大语言模型启发的序列优先点击通过率预测建模范式

Shaopeng Chen, Chuyue Xie, Huimin Ren, Shaozong Zhang, Han Zhang, Ruobing Cheng, Zhiqiang Cao, Zehao Ju, Yu Gao, Jie Ding, Xiaodong Chen, Xuewu Jiao, Shuanglong Li, Liu Lin

机构 * Baidu Inc.（百度公司） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 GRAB通过引入因果动作感知多通道注意力机制，实现了在点击通过率预测上的性能提升，并在实际部署中实现了更高的收入和CTR。

Focus-dLLM: Accelerating Long-Context Diffusion LLM Inference via Confidence-Guided Context Focusing

Focus-dLLM: 通过置信度引导的上下文聚焦加速长上下文扩散语言模型推理

Lingkun Long, Yushi Huang, Shihao Bai, Ruihao Gong, Jun Zhang, Ao Zhou, Jianlei Yang

机构 * Beihang University（北航） ； Hong Kong University of Science and Technology（香港理工大学） ； SenseTime Research（商汤科技研究院） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 Focus-dLLM通过置信度引导的上下文聚焦技术，实现了长上下文扩散语言模型推理的高效加速。

No Generation without Representation: Efficient Causal Protein Language Models Enable Zero-Shot Fitness Estimation

没有表示就没有生成：高效的因果蛋白质语言模型实现零样本适应性估计

Furkan Eris

机构 * Independent researcher（独立研究者） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract)；分类 cs.LG

AI总结 Proust是一种高效的因果蛋白质语言模型，通过创新架构实现零样本适应性估计，同时保留生成能力，优于现有方法。

DreamOn: Diffusion Language Models For Code Infilling Beyond Fixed-size Canvas

DreamOn: 用于代码填充的扩散语言模型超越固定大小画布

Zirui Wu, Lin Zheng, Zhihui Xie, Jiacheng Ye, Jiahui Gao, Shansan Gong, Yansong Feng, Zhenguo Li, Wei Bi, Guorui Zhou, Lingpeng Kong

机构 * The University of Hong Kong（香港大学） ； Kuaishou Technology（快手科技） ； Huawei Noah Ark Lab（华为诺亚实验室） ； Peking University（北京大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；prompting(abstract)；分类 cs.CL

AI总结 DreamOn通过引入动态长度控制机制，解决了扩散语言模型在代码填充中因固定长度限制导致的性能问题，实现了灵活的可变长度生成。

Comments ICLR 2026

VEQ: Modality-Adaptive Quantization for MoE Vision-Language Models

VEQ: 适用于MoE视觉-语言模型的模态自适应量化

Guangshuo Qin, Zhiteng Li, Zheng Chen, Weihang Zhang, Linghe Kong, Yulun Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Tsinghua University（清华大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；post-training(abstract)；分类 cs.AI

AI总结 VEQ通过模态自适应量化方法提升MoE视觉-语言模型的压缩性能，实现更高的准确率和鲁棒性。

Training-Free Test-Time Adaptation with Brownian Distance Covariance in Vision-Language Models

无需训练的测试时适应与布朗距离协方差在视觉-语言模型中

Yi Zhang, Chun-Wun Cheng, Angelica I. Aviles-Rivero, Zhihai He, Liang-Jie Zhang

机构 * College of Computer Science and Software Engineering, Shenzhen University, China（深圳大学计算机科学与软件工程学院） ； University of Cambridge, Cambridge, UK（剑桥大学） ； Yau Mathematical Sciences Center, Tsinghua University, Beijing, China（清华大学尤里伊数学科学中心） ； Southern University of Science and Technology, Shenzhen, China（南方科技大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；prompting(abstract)；分类 cs.LG

AI总结 TaTa通过布朗距离协方差实现无需训练的测试时适应，提升视觉-语言模型在领域偏移下的效率与稳定性，同时在泛化性能上取得突破。

Comments Accepted in ICASSP 2026

Matrix-Driven Identification and Reconstruction of LLM Weight Homology

基于矩阵的LLM权重同源识别与重建

Ruichong Zhang, Daniel Goldstein

机构 * Qiuzhen College, Tsinghua University, Beijing, China（清华大学邱臻学院） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 MDIR是一种通过矩阵分析实现大语言模型权重同源识别与重建的先进方法，无需模型推理即可准确检测权重对应关系并评估其统计显著性。

Language Models That Walk the Talk: A Framework for Formal Fairness Certificates

语言模型言出必行：一个形式公平证书的框架

Danqing Chen, Tobias Ladner, Ahmed Rayen Mhadhbi, Matthias Althoff

机构 * Technical University of Munich, Germany（慕尼黑技术大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.AI

AI总结 本文提出一个框架，用于验证大语言模型的鲁棒性和公平性，特别是在性别公平和毒性检测中的应用。

PTQ4ARVG: Post-Training Quantization for AutoRegressive Visual Generation Models

PTQ4ARVG：后训练量化用于自回归视觉生成模型

Xuewen Liu, Zhikai Li, Jing Zhang, Mengjuan Chen, Qingyi Gu

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） 纠错

专题命中 效率与部署 ：post-training(title,abstract)；language model(abstract)；分类 cs.AI

AI总结 PTQ4ARVG提出一种无需训练的后训练量化框架，解决ARVG模型在通道、令牌和样本层面的量化难题，实现8位和6位高效量化。

Comments ICLR 2026

Adaptive and Robust Cost-Aware Proof of Quality for Decentralized LLM Inference Networks

自适应和稳健的成本感知质量证明用于去中心化大语言模型推理网络

Arther Tian, Alex Ding, Frank Chen, Simon Wu, Aaron Chan

机构 * DGrid AI 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出一种自适应和稳健的成本感知质量证明机制，通过鲁棒聚合规则和动态信任权重提升共识一致性，减少对抗攻击影响。

ChunkWise LoRA: Adaptive Sequence Partitioning for Memory-Efficient Low-Rank Adaptation and Accelerated LLM Inference

ChunkWise LoRA: 适应性序列分块用于内存高效低秩适应和加速大语言模型推理

Ketan Thakkar, Maitreyi Chatterjee, Ramasubramanian Balasubramanian, Achyuthan Jootoo, Rajendra Ugrani

机构 * Bentley University USA（伯克利大学） ； Cornell University USA（康奈尔大学） ； University of California Berkeley USA（加州大学伯克利分校） ； George Mason University USA（乔治·马歇尔大学） ； Georgia Institute of Technology USA（佐治亚理工学院） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 ChunkWise LoRA通过动态分块和适应性配置提升LLM推理效率，实现更低延迟和内存消耗的同时保持性能。

Comments Presented at 13th IEEE International Conference on Intelligent Systems and Embedded Design

Beyond GEMM-Centric NPUs: Enabling Efficient Diffusion LLM Sampling

超越以GEMM为中心的NPUs：使高效的扩散LLM采样成为可能

Binglei Lou, Haoran Wu, Yao Lai, Jiayi Nie, Can Xiao, Xuan Guo, Rika Antonova, Robert Mullins, Aaron Zhao

机构 * Imperial College London（伦敦帝国学院） ； University of Edinburgh（爱丁堡大学） ； University of Cambridge（剑桥大学） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出了一种针对扩散LLM采样的NPU架构优化方案，通过轻量级向量原语、内存重用策略和混合精度内存层次结构，实现了2.53倍的加速性能。

NLPrompt: Noise-Label Prompt Learning for Vision-Language Models

NLPrompt: 噪声标签提示学习用于视觉-语言模型

Bikang Pan, Qun Li, Xiaoying Tang, Wei Huang, Zhen Fang, Feng Liu, Jingya Wang, Jingyi Yu, Ye Shi

机构 * ShanghaiTech University（上海科技大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； RIKEN Center for Advanced Intelligence Project（日本RIKEN高级智能项目中心） ； University of Technology Sydney（悉尼科技大学） ； University of Melbourne（墨尔本大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；foundation model(abstract)；分类 cs.LG

AI总结 NLPrompt通过结合PromptMAE和PromptOT，提升视觉-语言模型在噪声标签下的提示学习鲁棒性与精度。

Algorithmic Prompt-Augmentation for Efficient LLM-Based Heuristic Design for A* Search

算法提示增强用于高效基于LLM的A*搜索启发式设计

Thomas Bömer, Nico Koltermann, Max Disselnmeyer, Bastian Amberg, Anne Meyer

机构 * Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院） ； TU Dortmund University（多特蒙德技术大学） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出A-CEoH算法，通过提示增强策略自动设计A*搜索的启发函数，提升启发式质量并优于专家设计。

Comments accepted at EvoStar conference; Code: https://github.com/tb-git-tud/a-ceoh-evolution-of-heuristics?tab=readme-ov-file

AttenMIA: LLM Membership Inference Attack through Attention Signals

通过注意力信号进行大语言模型成员推断攻击：AttenMIA

Pedram Zaree, Md Abdullah Al Mamun, Yue Dong, Ihsen Alouani, Nael Abu-Ghazaleh

机构 * CSE Department, University of California, Riverside, USA（加州大学河滨分校计算机科学与工程系） ； CSIT, Queen’s University Belfast, UK（贝尔法斯特女王大学计算机科学与信息技术系） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 AttenMIA通过分析Transformer中的注意力信号，提出了一种更有效的成员推断攻击方法，展示了其在提升攻击性能和揭示隐私风险方面的贡献。