语言大模型 / LLM

Kolmogorov--Arnold Networks for Small Language Models

用于小型语言模型的柯尔莫哥洛夫-阿诺德网络

Felippe Alves, Renato Vicente

专题命中 效率与部署 ：language model(title)；small language model(title)；分类 cs.AI、cs.LG

AI总结 研究探讨柯尔莫哥洛夫-阿诺德网络（KANs）能否替代变压器前馈网络。通过在特定KAN中重建边缘、修剪等测试其特性，还评估多种网络在BabyLM等上的表现。结果表明小基KANs可用于审计标量变换，但替代方案未展现优于MLP基线的一致优势。

Comments 30 pages, 11 figures

SLORR: Simple and Efficient In-Training Low-Rank Regularization

SLORR：简单高效的训练中低秩正则化

David González-Martínez, Shiwei Liu

机构 * Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所） ； University of Tübingen（图宾根大学） ； ELLIS Institute Tübingen（图宾根ELLIS研究所） ； Tübingen AI Center（图宾根人工智能中心） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对神经网络低秩正则化难题，提出简单无状态的SLORR框架，基于霍耶尔稀疏性度量和核范数有两个变体，通过GPU友好近似正则化权重矩阵，在ImageNet-1K及LLM预训练中验证其能在低开销下诱导可压缩性并保持性能。

PruneGround: Plug-and-play Spatial Pruning for 3D Visual Grounding

PruneGround: 用于3D视觉定位的即插即用空间剪枝框架

Duc Cao Dinh, Khai Le-Duc, Florent Draye, Chris Ngo, Terry Jingchen Zhang, Bernhard Schölkopf, Zhijing Jin

机构 * Knovel Engineering Lab（Knovel工程实验室） ； University of Toronto（多伦多大学） ； Vector Institute（向量研究所） ； ELLIS Institute（ELLIS研究所） ； Max Planck Institute（马克斯·普朗克研究所） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出PruneGround框架，通过语言引导的空间剪枝、多视角描述重构和LLM定位器，在剪枝区域高效定位目标，在多个基准上取得最优结果。

Comments Preprint

Event-Grounded Question Answering over Long Audio via Structured Retrieval

基于结构化检索的长音频事件问答

Kartik Hegde, Arvind Krishna Sridhar, Naveen Vakada, Yinyi Guo, Erik Visser

机构 * Qualcomm Technologies, Inc., India（印度高通技术公司） ； Qualcomm Technologies, Inc., USA（美国高通技术公司） ； University of Turku, Finland（芬兰图尔库大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出LA-RAG框架，通过音频基础模型将长音频转为带时间戳的事件记录并存入SQL数据库，结合意图感知检索和LLM生成，实现低延迟高精度的长音频问答，在多个基准上提升时间定位F1达11-17%。

Comments Submitted to EMNLP 2026 Industry Track

Haiku to Opus in Just 10 bits: LLMs Unlock Large Compression Gains

仅用10比特从俳句到巨作：LLMs解锁巨大压缩增益

Roy Rinberg, Annabelle Michael Carrell, Simon Henniger, Nicholas Carlini, Keri Warr

机构 * Harvard University（哈佛大学） ； University of Cambridge（剑桥大学） ； Anthropic 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；prompting(abstract)；分类 cs.AI、cs.LG

AI总结 研究LLM生成文本的无损和有损压缩，提出问答压缩（QA）交互协议，用少量二进制问题实现超100倍压缩比，高效传递知识。

Multi-Bitwidth Quantization for LLMs Using Additive Codebooks

使用加性码本的大语言模型多比特宽度量化

Liza Babaoglu, Shuangyi Chen, Ashish Khisti

机构 * University of Toronto（多伦多大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 提出Drop-by-Drop框架，基于信息论和逐次细化理论，利用加性码本和Matryoshka监督实现单个模型在推理时支持多精度权重控制，降低存储开销并保持性能。

Comments 37 pages, 12 figures

Breaking Entropy Bounds: Accelerating RL Training via MTP with Rejection Sampling

打破熵界：通过带拒绝采样的多令牌预测加速强化学习训练

Yucheng Li, Huiqiang Jiang, Yang Xu, Jianxin Yang, Yi Zhang, Yizhong Cao, Yuhao Shen, Fan Zhou, Rui Men, Jianwei Zhang, An Yang, Bowen Yu, Bo Zheng, Fei Huang, Junyang Lin, Dayiheng Liu, Jingren Zhou

机构 * Qwen Team, Alibaba Inc（阿里巴巴集团 Qwen 团队） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 针对强化学习训练中多令牌预测接受率因熵波动而下降的问题，提出Bebop方法，采用概率拒绝采样和端到端TV损失优化，实现高达95%接受率和1.8倍加速。

What Fits (Into Few Tokens) Doesn't Overfit: Compression and Generalization in ML Research Agents

什么适合（少量标记）就不会过拟合：ML研究智能体中的压缩与泛化

Martin Andres Bertran, Aaron Roth, Zhiwei Steven Wu

机构 * Amazon Responsible AI（亚马逊负责任人工智能） ； University of Pennsylvania（宾夕法尼亚大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究LLM驱动的科研智能体在输出和输入压缩下能否保持性能，发现短提示和可压缩反馈足以复现高性能模型，支持成功策略位于低复杂度区域的假设。

Sparrow: Sparse Rollout for Stable and Efficient Long-context RL of Large Language Models

Sparrow: 用于大语言模型稳定高效长上下文强化学习的稀疏 rollout

Yang Zhou, Ranajoy Sadhukhan, Zhaofeng Sun, Zhuoming Chen, Souvik Kundu, Saket Dingliwal, Sai Muralidhar Jayanthi, Aram Galstyan, Haizhong Zheng, Beidi Chen

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Cornell University（康奈尔大学） ； Intel（英特尔） ； Amazon AGI（亚马逊AGI） 纠错

专题命中 效率与部署 ：large language model(title)；language model(title)；分类 cs.AI、cs.LG

AI总结 针对RLVR中长上下文rollout计算昂贵的问题，提出Sparrow方法，通过动态稀疏度调度保持token级策略失配的下尾统计量稳定，在Qwen3系列模型上实现2.0-2.4倍加速，并推广到更大模型和编程领域。

HARP: Efficient Data Selection for Finetuning Large Language Models

HARP：高效数据选择用于微调大型语言模型

Ning Wang, Zhengxin Zhang, Maosen Tang, Yitang Gao, Claire Cardie, Sainyam Galhotra

机构 * Cornell University（康奈尔大学） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 效率与部署 ：large language model(title)；language model(title)；分类 cs.AI、cs.LG

AI总结 提出层次主动区域剪枝（HARP），一种高效的基于训练的数据选择方法，通过层次结构和经验贝叶斯推断降低选择成本，同时保持下游对齐，在多个基准上优于最强基线最多8.9分，且训练样本减少约7倍。

Sparse Subspace-to-Expert Sharing for Task-Agnostic Continual Learning

稀疏子空间到专家共享的任务无关持续学习

Fatema Siddika, Md Anwar Hossen, Tanwi Mallick, Ali Jannesari

机构 * Iowa State University（爱荷华州立大学） ； Argonne National Laboratory（阿贡国家实验室） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出SETA框架，通过将参数分解为任务特定专家和共享专家的稀疏子空间，结合自适应弹性锚定和路由感知正则化，解决LLM持续学习中的塑性-稳定性困境，在多个基准上优于现有方法。

Comments 19 pages. arXiv admin note: text overlap with arXiv:2601.17616

Toward Pre-Deployment Assurance for Enterprise AI Agents: Ontology-Grounded Simulation and Trust Certification

面向企业AI代理的部署前保障：基于本体的仿真与信任认证

Thanh Luong Tuan, Abhijit Sanyal

机构 * Golden Gate University（金门大学） ； Data, Digital & IT, Novartis Healthcare Pvt. Ltd.（数据、数字与IT，诺华健康护理私人有限公司） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 提出一种基于本体的验证框架，通过本体驱动的场景生成和信任证书，实现企业AI代理在部署前的自动化监管合规与安全认证。

Comments 26 pages, 3 figures. Companion to arXiv:2604.00555. Code and data: https://github.com/frank-luongt/faos-research/tree/main/RA-6

Fast & Faithful Function Vectors

快速且保真的函数向量

Minh An Pham, Anton Segeler, Thomas Wiegand, Wojciech Samek, Sebastian Lapuschkin, Patrick Kahardipraja, Reduan Achtibat

专题命中 效率与部署 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本研究通过优化注意力头选择和分布式引导方法，利用基于梯度的逐层相关性传播（LRP）提高了函数向量（FV）的效率和准确性，从而实现了对大型语言模型（LLM）的快速且保真的引导。

Benchmarking at the Edge of Comprehension

在理解边缘的基准测试

Samuele Marro, Jialin Yu, Emanuele La Malfa, Oishi Deb, Jiawei Li, Yibo Yang, Ebey Abraham, Sunando Sengupta, Eric Sommerlade, Michael Wooldridge, Philip Torr

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出Critique-Resilient Benchmarking框架，通过对抗性生成-评估游戏在人类理解受限时比较模型，利用批判韧性正确性概念和分项Bradley-Terry模型对LLM进行排序。

From AR to Diffusion: Efficiently Adapting Large Language Models with Strictly Causal and Elastic Horizons

从自回归到扩散：利用严格因果与弹性视野高效适配大型语言模型

Xiangyu Ma, Teng Xiao, Zuchao Li, Lefei Zhang

机构 * School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院） ； School of Computer Science, Wuhan University（武汉大学计算机学院） 纠错

专题命中 效率与部署 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI

AI总结 提出FLUID框架，通过严格因果对齐和弹性视野机制，将自回归模型高效适配为扩散模型，实现并行文本生成并大幅降低训练成本。

Comments Accepted by ACL 2026

Dense2MoE: Pushing the Pareto Frontier of On-Device LLMs via Unified Pruning and Upcycling

Dense2MoE：通过统一剪枝和升级推动设备端LLM的帕累托前沿

Fengfa Li, Hongjin Ji, Yifeng Ding, Lei Ren, Chen Wei

机构 * Li Auto ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；分类 cs.AI、cs.LG

AI总结 提出Dense2MoE框架，通过层融合升级（LF-UC）统一剪枝和升级，将密集LLM高效转换为设备端MoE模型，在推理延迟与准确性之间取得更优帕累托前沿。

Comments 19 pages

Code Generation by Differential Test Time Scaling

通过微分测试时间缩放进行代码生成

Yifeng He, Ethan Wang, Jicheng Wang, Xuanxin Ouyang, Hao Chen

机构 * University of California, Davis（加州大学戴维斯分校） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文提出DiffCodeGen，一种基于覆盖引导的微分分析的代码生成方法，通过生成多样化的代码候选并利用覆盖引导模糊测试来合成输入，无需现有测试用例或大语言模型，从而提高效率和可扩展性。

Comments 16 main text, 21 pages with references

Quant.npu: Enabling Efficient Mobile NPU Inference for on-device LLMs via Fully Static Quantization

Quant.npu：通过完全静态量化实现高效的移动NPU推理以支持设备端LLM

Jinghe Zhang, Daliang Xu, Chenghua Wang, Weikai Xie, Tao Qi, Yun Ma, Mengwei Xu, Gang Huang

机构 * Qualcomm（高通） 纠错

专题命中 效率与部署 ：LLM(title_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文提出Quant.npu框架，通过完全静态量化方法实现高效的移动NPU推理，解决了传统后训练量化方法在NPU硬件约束下的兼容性问题，并在实际移动NPU上实现了较高的准确性和较低的推理延迟。

TORQ: Two-Level Orthogonal Rotation for MXFP4 Quantization

TORQ：MXFP4量化中的两级正交旋转

Zukang Xu, Xing Hu, Dawei Yang

机构 * Open Compute Project（开放计算项目） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文提出TORQ框架，通过优化坐标变换重塑激活空间的几何属性，解决MXFP4激活量化中的精度下降问题，显著提升量化精度。

Comments 17 pages, 4 figures, 13 tables

GAMMA: Global Bit Allocation for Mixed-Precision Models under Arbitrary Budgets

GAMMA：在任意预算下为混合精度模型进行全局位分配

Zhangyang Yao, Haiyan Zhao, Haoyu Wang, Tianbo Huang, Lihua Zhang, Xu Han

机构 * Beihang University（北航） ； Tsinghua University（清华） ； ByteDance Inc（字节跳动） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文提出GAMMA框架，通过后训练流水线学习模块级精度偏好，优化教师强制隐藏状态重建目标并利用整数规划实现精确预算分配，从而在任意预算下提升大语言模型的精度，优于固定精度基线和搜索基混合精度方法。

Learning Faster with Better Tokens: Parameter-Efficient Vocabulary Adaptation for Specialized Text Summarization

通过更好的令牌学习：用于专业文本摘要的参数高效词汇适应

Gunjan Balde, Soumyadeep Roy, Mainack Mondal, Niloy Ganguly

机构 * Dept. of Computer Science and Engg., IIT Kharagpur（印度Kharagpur理工学院计算机科学与工程系） ； Dept. of Medicine (Biomedical Informatics), Stanford University（斯坦福大学医学院（生物医学信息学）） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文提出了一种参数高效的领域适应方法，通过结合词汇适应和预训练，提升大型语言模型在专业领域文本摘要任务中的性能，同时减少训练时间和参数数量。

Comments 16 pages. Accepted in the 64th Annual Meeting of the Association for Computational Linguistics [ACL (Main) 2026] as a long paper

AMiD: Knowledge Distillation for LLMs with $α$-mixture Assistant Distribution

AMiD: 基于 α-混合助手分布的大型语言模型知识蒸馏

Donghyeok Shin, Yeongmin Kim, Suhyeon Jo, Byeonghu Na, Il-Chul Moon

机构 * Korea Advanced Institute of Science and Technology（韩国先进科学研究院） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出AMiD框架，通过引入α-混合助手分布解决LLM知识蒸馏中的容量差距和训练不稳定问题，提供更广泛的理论基础和更稳定的训练效果。

Comments The Fourteenth International Conference on Learning Representations (ICLR 2026)

Zero-Shot Confidence Estimation for Small LLMs: When Supervised Baselines Aren't Worth Training

小语言模型的零样本置信度估计：当监督基线不再值得训练

Luong N. Nguyen

机构 * BuffaloTechRider（布法罗科技骑手） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；small language model(abstract)

AI总结 本文研究小语言模型如何在无监督数据下估计自身正确性，通过比较零样本置信信号与监督基线，发现基于平均token对数概率的方法在分布内和分布外均表现更优，提出检索条件自我评估方法提升性能。

Decomposed Trust: Privacy, Adversarial Robustness, Ethics, and Fairness in Low-Rank LLMs

分解信任：低秩大语言模型中的隐私、对抗鲁棒性、伦理与公平性

Daniel Agyei Asante, Md Mokarram Chowdhury, Yang Li

机构 * Department of Computer Science, Iowa State University, United States（爱荷华州立大学计算机科学系） ； Meta, United States（Meta） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文研究低秩因子化对大语言模型信任性的影响，发现其在隐私保护上有所保留，但会削弱对话中个人身份信息的保护，同时增强对抗鲁棒性，但伦理和公平性有所下降。

Comments Accepted to ACL 2026

GroupRank: A Groupwise Paradigm for Effective and Efficient Passage Reranking with LLMs

GroupRank: 一种用于基于LLM的高效有效段落重排序的组内方法

Meixiu Long, Duolin Sun, Dan Yang, Yihan Jiao, Lei Liu, Jiahai Wang, BinBin Hu, Yue Shen, Jie Feng, Zhehao Tan, Junjie Wang, Lianzhen Zhong, Jian Wang, Peng Wei, Jinjie Gu

机构 * School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院） ； Ant Group（蚂蚁集团） 纠错

专题命中 效率与部署 ：LLM(title_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 GroupRank提出一种组内方法平衡灵活性和上下文感知，通过合成数据融合局部点状信号与全局列表排名，提升重排序效果和效率，实验显示在BRIGHT上达到65.2 NDCG@10，且推理速度提升6.4倍。

Comments Accepted by ACL-Findings 2026

TinyR1-32B-Preview: Boosting Accuracy with Branch-Merge Distillation

TinyR1-32B-Preview: 通过分支-合并蒸馏提升精度

Lin Sun, Guangxiang Zhao, Xiaoqi Jian, Yuhan Wu, Weihong Lin, Yongfu Zhu, Qilong Shi, Change Jia, Aomufei Yuan, Yuxuan Tian, Linglin Zhang, Jinzhu Wu, Junfeng Ran, Sai-er Hu, Zihan Jiang, Junting Zhou, Wenrui Liu, Xusen Xiao, Bin Cui, Tong Yang, Xiangzheng Zhang

机构 * Qiyuan Tech（启元科技） ； Peking University（北京大学） 纠错

专题命中 效率与部署 ：SFT(abstract,abstract_cn)；LLM(abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出分支-合并蒸馏方法，通过领域特定监督微调和跨领域知识迁移，提升模型压缩效果，实验显示在数学、编程和科学领域均取得显著提升。

Comments Preprint

AdaComp: Extractive Context Compression with Adaptive Predictor for Retrieval-Augmented Large Language Models

AdaComp: 基于自适应预测器的提取式上下文压缩用于检索增强型大语言模型

Qianchi Zhang, Hainan Zhang, Liang Pang, Hongwei Zheng, Zhiming Zheng

机构 * Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing（北京未来区块链与隐私计算先进创新中心） ； School of Artificial Intelligence, Beihang University（北航人工智能学院） ； Beijing Academy of Blockchain and Edge Computing（北京区块链与边缘计算研究院） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） 纠错

专题命中 效率与部署 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI

AI总结 本文提出AdaComp，一种低开销的提取式上下文压缩方法，通过自适应确定压缩率来平衡RAG的效率与性能，实验表明其在保持性能的同时显著降低了推理成本。

Comments Accepted to KSEM 2026

MultiTok: Variable-Length Tokenization for Efficient LLMs Adapted from LZW Compression

MultiTok: 可变长度分词用于高效大语言模型，源自LZW压缩

Noel Elias, Homa Esfahanizadeh, Kaan Kale, Sriram Vishwanath, Muriel Medard

机构 * University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Nokia Bell Labs（诺基亚贝尔实验室） ； Boğaziçi University（博雅大学） ； Georgia Institute of Technology（佐治亚理工学院） ； Massachusetts Institute of Technology (MIT)（麻省理工学院（MIT）） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出基于LZW压缩的MultiTok分词方法，通过压缩重复短语提升LLM训练效率，实现更高效训练与相似准确率。

PFM-VEPAR: Prompting Foundation Models for RGB-Event Camera based Pedestrian Attribute Recognition

基于RGB事件相机的行人属性识别的PFM-VEPAR：用于基础模型的提示方法

Minghe Xu, Rouying Wu, ChiaWei Chu, Xiao Wang, Yu Li

机构 * City University of Macau（澳门城市大学） ； Zhuhai College of Science and Technology（珠海科学技术学院） ； Macau University of Science and Technology（澳门科学大学） ； School of Computer Science and Technology, Anhui University（安徽大学计算机科学与技术学院） 纠错

专题命中 效率与部署 ：foundation model(title)；prompting(title)；分类 cs.AI、cs.LG

AI总结 本文提出PFM-VEPAR，通过轻量级DCT和IDCT提取事件域特征，结合外部记忆库和Hopfield网络提升行人属性识别的准确性与效率。

How Quantization Shapes Bias in Large Language Models

量化如何塑造大型语言模型中的偏见

Federico Marcuzzi, Xuefei Ning, Roy Schwartz, Iryna Gurevych

专题命中 效率与部署 ：large language model(title)；language model(title)；分类 cs.CL、cs.LG

AI总结 研究探讨量化对大型语言模型偏见的影响，发现量化在减少毒性的同时可能增加刻板印象和不公平性，强调了在应用量化时需平衡效率与伦理。