语言大模型 / LLM

A Preliminary Study on Explaining Risk of Code Changes using LLM-Based Prediction Models

关于使用基于大语言模型的预测模型解释代码变更风险的初步研究

Yalin Liu, Kosay Jabre, Rui Abreu, Zachariah J. Carmichael, Vijayaraghavan Murali, Akshay Patel, Jun Ge, Weiyan Sun, Cong Zhang, Audris Mockus, David Khavari, Peter C. Rigby, Nachiappan Nagappan

机构 * Meta Platforms, Inc.（Meta平台公司） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.AI

AI总结 研究利用基于大语言模型的Diff风险评分模型注意力权重突出代码变更中风险集中部分，聚合为可解释代码单元供开发者代码审查参考，评估显示能有效覆盖风险变更行且可扩展。

PEEK: Predictive Queue-Informed KV Cache Management for LLM Serving

PEEK：用于大语言模型服务的预测性队列感知键值缓存管理

Bing Xie, Zhipeng Wang, Masahiro Tanaka, Zheng Zhen

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.AI

AI总结 介绍用于大语言模型服务的轻量级框架PEEK，核心方法包括维护基数树、双路匹配等，贡献是在缓存命中率、处理帧定时等方面相比各引擎基线有显著提升，且在无可用前缀结构的工作负载上与基线相当。

Comments 26 pages, 21 figures, 21 tables. Preprint, under review

SAB-LVLM: Significance-Aware Binarization for Large Vision-Language Models

SAB-LVLM: 面向大型视觉-语言模型的重要性感知二值化

Qi Lyu, Jiahua Dong, Baichen Liu, Xudong Wang, Mingfei Han, Yulun Zhang, Fahad Shahbaz Khan, Salman Khan, Lianqing Liu, Zhi Han

机构 * State Key Laboratory of Robotics and Intelligent Systems（机器人学国家重点实验室） ； Shenyang Institute of Automation, Chinese Academy of Sciences（中国科学院沈阳自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 提出SAB-LVLM方法，通过构建空间重要性图与模态引导整合策略，实现跨层跨模态权重重要性感知的二值化，在约1比特压缩下优于现有二值化方法。

Generic Expert Coverage for Pruning SparseMixture-of-Experts Language Models

用于剪枝稀疏混合专家语言模型的通用专家覆盖

Yongqin Zeng, Sicheng Pan, Jiale Wang, Hai-tao Zheng, Hong-Gee Kim, Chunxia Ma, XiuTeng Zhou

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 提出Generic TB-Coverage方法，利用通用文本语料库对每个专家分别评估效用，通过固定预算覆盖规则保留各语料库的高效用专家，无需下游校准数据即可有效剪枝MoE模型。

$\text{Log}_\text{b}$Quant: Quantizing Language Models in Logarithmic Space

Log$_\ ext{b}$Quant: 在对数空间中量化语言模型

Jeremias Bohn, Tizian Dippold, Mahdi Koubaa, Elias R. Wahl, Georg Groh

机构 * School of Computation, Information and Technology, Technical University of Munich（慕尼黑工业大学计算、信息与技术学院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL

AI总结 提出Log$_\ ext{b}$Quant，一种可调基数的对数量化方法，适应常见参数分布，在4位精度下优于非对称线性量化，实现适度加速和高内存节省。

Minimizing Quantized Semantic Age of Information (QSAoI) in Foundation Model-Based Semantic Communications

最小化基于基础模型的语义通信中的量化语义信息年龄（QSAoI）

Huanyu Zhang, Yulin Hu, Xiaopeng Yuan, Aydin Sezgin, Anke Schmeink

机构 * INDA Chair, RWTH Aachen University（亚琛工业大学INDA教席） ； School of Electronic Information, Wuhan University（武汉大学电子信息学院） ； Department of Digital Communication Systems, Ruhr University Bochum（波鸿鲁尔大学数字通信系统系） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI

AI总结 提出量化语义信息年龄（QSAoI）指标，并设计基于基础模型的联合优化框架，通过定点检测和二分搜索算法动态调整混合精度量化和物理块长，最小化无线衰落信道下的期望QSAoI。

Comments Accepted to IEEE SPAWC 2026

Large Databases Need Small, Open-Weight Language Models

大型数据库需要小型、开放权重的语言模型

Parker Glenn, Alfy Samuel

机构 * Capital One（第一资本） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 针对大型数据库中使用闭源LM API成本过高的问题，提出采用量化开放权重模型在本地16GB VRAM上运行，匹配或超越闭源模型精度，成本降低390倍，延迟降低3.8倍。

Relational and Sequential Conformal Inference for Energy Time Series over Graphs via Foundation Models

基于基础模型的图结构能源时间序列的关系与序列共形推断

Keivan Faghih Niresi, Alice Cicirello, Olga Fink

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.LG

AI总结 提出STOIC框架，结合图神经网络与表格基础模型，通过零样本校准实现图结构能源时间序列的共形预测，提供可靠的不确定性估计。

Comments Under-review

Nemotron-Labs-TwoTower: Diffusion Language Modeling with Pretrained Autoregressive Context

Nemotron-TwoTower：基于预训练自回归上下文的扩散语言建模

Fitsum Reda, John Kamalu, Roger Waleffe, Mostofa Patwary, Mohammad Shoeybi, Bryan Catanzaro

机构 * NVIDIA（英伟达） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL

AI总结 提出双塔扩散语言模型TwoTower，解耦上下文表示与迭代去噪，在保持98.7%质量的同时实现2.42倍生成吞吐量提升。

Comments Code and model weights available at https://huggingface.co/collections/nvidia/nemotron-labs-twotower

Efficient and Trainable Language Model Test-Time Scaling via Local Branch Routing

通过局部分支路由实现高效且可训练的语言模型测试时扩展

Yutong Yin, Mingyu Jin, Jin Pan, Changyi Yang, Zijie Xia, Dhruv Pai, Shuming Hu, Zhen Zhang, Chenyang Zhao, Jinman Zhao, Wujiang Xu, Raymond Li, Xin Eric Wang, Julian McAuley, Zhaoran Wang

机构 * Northwestern University（西北大学） ； Rutgers University（罗格斯大学） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； Carnegie Mellon University（卡内基梅隆大学） ； LMSYS Org（LMSYS组织） ； Tilde Research（Tilde研究） ； University of California, Santa Barbara（加州大学圣塔芭芭拉分校） ； University of Toronto（多伦多大学） ； University of British Columbia（不列颠哥伦比亚大学） ； University of California, San Diego（加州大学圣迭戈分校） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL

AI总结 提出局部分支路由（LBR）框架，通过轻量级路由器选择局部前瞻树中的深度-1子路径，实现令牌级测试时扩展，在数学推理基准上优于链式思维和软令牌分支基线。

On-board Remote-Sensing Foundation Models for Unsupervised Change Detection of Disaster Events

面向灾害事件无监督变化检测的星载遥感基础模型

S. Ramírez-Gallego

机构 * Thales Alenia Space Spain（泰雷兹阿莱尼亚宇航公司西班牙分部） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI

AI总结 提出基于ResNet(RSFM)+FPN的无监督变化检测方法，利用潜空间语义偏移检测异常，无需训练即可实现高效高分辨率映射，泛化性强。

The Professor: Multi-Teacher Unsupervised Prompt Distillation for Vision-Language Models

The Professor: 面向视觉语言模型的多教师无监督提示蒸馏

Ahmad Algadhi, Ahmed Alzuhair, Omar Alkhulaif, Muzammil Behzad

机构 * King Fahd University of Petroleum and Minerals（法赫德国王石油矿产大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 提出多教师提示蒸馏方法TheProfessor，融合领域微调教师和零样本教师，在四个数据集上平均HM提升1.77点，尤其对域偏移数据集效果显著。

TaLK: Text-attributed Graph Dataset Distillation via Coupling Language Model with Graph-Aware Kernel

TaLK: 通过耦合语言模型与图感知核的文本属性图数据集蒸馏

Yeongho Kim, Yeonje Choi, Kijung Shin

机构 * Graduate School of AI, KAIST（韩国科学技术院人工智能研究生院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.LG

AI总结 提出TaLK方法，通过耦合语言模型与图感知神经切线核实现文本属性图的高效数据集蒸馏，避免重复联合训练，仅用1%合成数据即可达到97%的全数据集性能。

Rethinking the Adaptation of Vision Foundation Models for Efficient Cell Segmentation

重新思考视觉基础模型在高效细胞分割中的适应

Qing Xu, Xiangjian He, Wenting Duan, Jiebo Luo, Zhen Chen

机构 * School of Computer Science, University of Nottingham, UK（英国诺丁汉大学计算机科学学院） ； School of Computer Science, University of Nottingham Ningbo China, China（中国宁波诺丁汉大学计算机科学学院） ； School of Engineering and Physical Science, University of Lincoln, UK（英国林肯大学工程与物理科学学院） ； Department of Computer Science, University of Rochester, USA（美国罗切斯特大学计算机科学系） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI

AI总结 提出EffiCell-Seg框架，利用冻结的视觉基础模型中的全局显著性和局部形态先验，通过细胞结构提示编码器和协同掩码解码器实现高效细胞分割，仅需约5M可训练参数。

Comments Accepted by MICCAI 2026

DCD-PFN: A Decoupling-Aware Foundation Model for Causal Discovery

DCD-PFN：一种面向因果发现的解耦感知基础模型

Zhengkang Guan, Yikang Chen, Yi He, Yunze Tong, Zijing Hu, Haoyuan Qian, Fei Wu, Kun Kuang

机构 * College of Computer Science and Technology（计算机科学与技术学院） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.LG

AI总结 提出DCD-PFN基础模型，通过预训练学习样本级解耦权重实现马尔可夫边界识别，并利用并行局部发现高效重构全局因果图，在零样本泛化中表现鲁棒。

Comments 11 pages

Translating Inference-Time Control to Radiology Vision-Language Models: Activation Steering for Pneumonia Classification on Chest X-rays

将推理时控制转化为放射学视觉语言模型：针对胸部X光片肺炎分类的激活引导

Eduardo Moreno Judice de Mattos Farina, Mateus A. Esmeraldo, Felipe Akio Matsuoka, Paulo Eduardo de Aguiar Kuriki, Felipe Campos Kitamura

机构 * Universidade Federal de São Paulo (UNIFESP)（圣保罗联邦大学） ； Hospital Israelita Albert Einstein（以色列阿尔伯特·爱因斯坦医院） ； Stanford University School of Medicine（斯坦福大学医学院） ； DASA ； University of Texas Southwestern Medical Center (UTSW)（德克萨斯大学西南医学中心） ； Eden 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 研究评估对比激活添加（CAA）能否在不微调模型权重的情况下改善胸部X光片视觉语言模型（VLM）的肺炎分类性能，在三个冻结模型上测试，发现对其中一个模型有显著提升。

Mutual Distillation of Dual-Foundation Models for Semi-Supervised PET/CT Segmentation

双基础模型的相互蒸馏用于半监督PET/CT分割

Fuyou Mao, Beining Wu, Yanfeng Jiang, Bohan Xu, Lixin Lin, Naye Ji, Hao Zhang, Yan Tang

机构 * Central South University（中南大学） ； Hangzhou Dianzi University（杭州电子科技大学） ； Communication University of Zhejiang（浙江传媒学院） ； Northeastern University（东北大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI

AI总结 提出MuDuo框架，利用SAM-Med3D和SegAnyPET分别从CT和PET中蒸馏知识到轻量学生网络，实现半监督器官分割，仅用5个标注样本在AutoPET数据集上达到最优性能。

Comments MICCAI 2026

Towards Data-free and Training-free Compression for Speech Foundation Models Using Parameter Clustering

面向语音基础模型的无数据无训练压缩：基于参数聚类的方法

Haoning Xu, Zhaoqing Li, Huimeng Wang, Youjun Chen, Chengxi Deng, Mengzhe Geng, Xunying Liu

机构 * The Chinese University of Hong Kong（香港中文大学） ； National Research Council Canada（加拿大国家研究委员会） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI

AI总结 提出一种基于k-means通道聚类的无数据无训练压缩方法，通过层间不同参数簇数实现细粒度混合稀疏剪枝，在HuBERT-large和Whisper-large-v3上显著降低WER。

Comments Accepted by Interspeech 2026

Reroute, Don't Remove: Recoverable Visual Token Routing for Vision-Language Models

重新路由，而非移除：面向视觉语言模型的可恢复视觉令牌路由

Cheng-Yu Yang, Shao-Yuan Lo, Yu-Lun Liu

机构 * National Yang Ming Chiao Tung University（国立阳明交通大学） ； National Taiwan University（国立台湾大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 针对视觉语言模型中视觉令牌重要性随解码器深度变化的问题，提出无需训练的可恢复路由方法Reroute，将不可逆移除改为可恢复路由，在激进令牌缩减下提升定位能力并保持通用VQA性能。

Comments Code: https://github.com/elmma/mllm-reroute/

Characterizing Software Aging in GPU-Based LLM Serving Systems

基于GPU的大语言模型服务系统中的软件老化特征分析

Domenico Cotroneo, Bojan Cukic

机构 * College of Computing and Informatics, University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校计算机与信息学院） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.AI

AI总结 提出一种实证方法研究GPU大语言模型服务系统中的软件老化，通过216小时实验发现所有部署均存在显著内存老化，泄漏率与运行时和配置强相关，并提供了可复现框架。

Comments 7 pages

Vision-Assisted Foundation Model for Solving Multi-Task Vehicle Routing Problems

视觉辅助的基础模型解决多任务车辆路径问题

Shuangchun Gui, Zhiguang Cao, Wen Song, Yew-Soon Ong

机构 * School of Computing and Information Systems, Singapore Management University（新加坡管理大学计算与信息系统学院） ； Institute of Marine Science and Technology, Shandong University（山东大学海洋科学与技术研究院） ； College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院） ； Centre for Frontier AI Research, Institute of High Performance Computing, Agency for Science, Technology and Research（新加坡科技研究局高性能计算研究所前沿人工智能研究中心） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI

AI总结 提出视觉辅助基础模型VaFM，通过将约束编码为图像并融合图节点嵌入，同时解决16种VRP变体，在复杂约束变体上超越现有方法。

Comments Accepted by TNNLS

Need We Teach Foundation Models What is a Generative Image? Gradient-Free Generative Artifact Detection via Analytic Spectral Adaptation

我们是否需要教基础模型什么是生成图像？基于解析谱自适应的无梯度生成伪影检测

Qiaoyu Chen, Bing Zhang

机构 * Harbin University of Commerce（哈尔滨商业大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.LG

AI总结 提出无梯度方法，将生成伪影检测重构为分布外异常度量问题，通过解析解耦统计与语义偏差，在零样本设置下显著优于梯度优化方法。

DeaMoE: Efficient MoE Structure for Fast Small-Batch Decoding

DeaMoE：用于快速小批量解码的高效MoE结构

Zewen Jin, Shen Fu, Zeping Duan, Shannon Wang, Weihao Wu, Chengjie Tang, Congkun Ai, Ping Gong, Zijian Dai, Youhui Bai, Cheng Li

机构 * University of Science and Technology of China（中国科学技术大学） ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院） ； Shanxi University（山西大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 针对小批量解码下MoE模型专家权重加载的瓶颈，提出DeaMoE架构，通过专家分组共享参数与两阶段路由策略提升效率，在多款模型及显卡上实现显著速度提升。

QUASAR: Lowering the Loss Floor of Quantization-Aware Training with Loss-Aware Reconstruction

QUASAR：通过损失感知重构降低量化感知训练的损失下限

Vincent Counathe, Ben Athiwaratkun, Christopher De Sa, Tianyi Zhang

机构 * Together AI ； Cornell University（康奈尔大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL、cs.LG

AI总结 QUASAR是一种QAT方法，通过训练循环中轻量级损失感知重构降低大语言模型量化损失下限，在2-4比特下优于现有方法，提升了低比特模型准确率。

Comments 39 pages

Towards Understanding On-Policy Distillation through the Lens of Test-Time Scaling

从测试时缩放的视角理解在线策略蒸馏

Xinmu Ge, Zizhuo Zhang, Yu Huang, Jianing Zhu, Lin Yuan, Wanli Gu, Weichang Wu, Weiran Huang, Xiaolu Zhang, Bo Han, Jun Zhou, Jiangchao Yao

机构 * Hong Kong Baptist University（香港浸会大学） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Shanghai Jiao Tong University（上海交通大学） ； Shanghai Innovation Institute（上海创新研究院） ； Ant Group（蚂蚁集团） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；post-training(abstract)；分类 cs.CL、cs.LG

AI总结 该研究从测试时缩放视角分析OPD，发现其主要提升采样效率而非扩展推理能力边界，属于“虚假蒸馏”。

Comments 15 pages, 8 figures

Mismatch Matters: On-Policy Distillation Beyond Token Agreement

失配很重要：超越token一致性的在线蒸馏

Zichao Yu, Chengzhi Yu, Shengze Xu, Yujin Han, Bingqing Jiang, Xu Wang, Difan Zou

机构 * The University of Hong Kong（香港大学） ； University of Science and Technology of China（中国科学技术大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 本文针对在线蒸馏存在的退化一致性失效问题，提出TIDE方法修正师生失配，在数学推理基准上显著提升性能、缩短响应长度并减少格式错误。

JaleesBench: Are AI Assistants Good Spiritual Company?

JaleesBench：AI助手能否成为良好的精神陪伴？

M. Waleed Kadous, Benjamin Olsen

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 研究人员推出JaleesBench基准测试，评估AI助手的精神陪伴能力，发现简单提示指导可提升通用模型的陪伴表现，领域微调助手的优势来自检索和提示层，还可用于改进现有宗教类AI助手。

Comments 21 pages, 8 figures, 4 tables. Open-source harness, scenario bank, proof texts, and full evaluation (model responses and both judges' verdicts): https://github.com/iaser-ai/jaleesbench . Interactive browser for inspecting scenarios, responses, and judge verdicts: https://s.iaser.ai/jb

Mind the Gap: A Dual Knowledge Graph Framework for Unified Multi-task User Intent Inference

弥合差距：用于统一多任务用户意图推理的双知识图谱框架

Tzu-Cheng Peng, Chien Chin Chen, Chih-Hao Ku, Yung-Chun Chang

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对在线旅游评论的多任务用户意图推理，提出DKG-MTI双知识图谱框架，结合动态构建的用户特定意图知识图谱与全局酒店知识图谱，经大语言模型处理后，在相关任务上优于现有基线。

Comments Published in the PACIS 2026 Proceedings as a Completed Research Paper. AIS eLibrary: https://aisel.aisnet.org/pacis2026/ai_ml/ai_ml/12/ 17 pages, 5 figures

Journal ref Proceedings of the Pacific Asia Conference on Information Systems (PACIS 2026), Paper 12, 2026

HarnessCompass: Guiding Automatic Harness Evolution toward Generalizable and Effective Agent Harnesses

HarnessCompass：引导自动 harness 进化以生成可泛化且有效的智能体 harness

Luan Zhang, Ruochen Zhou, Dandan Song, Zhengyu Chen, Yuhang Tian, Jun Yang, Huipeng Ma, Chenhao Li, Guangyuan Feng, Xudong Li, Yizhou Jin, Yan Xu

专题命中 效率与部署 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 HarnessCompass 是一种自动 harness 进化框架，通过约束进化、主动反馈和组件式优化，在 SWE-bench Verified 上用 GPT-5.4 使 Pass@1 提升至 66%，且泛化能力优于现有方法。

Divergence Decoding: Training-Free Capability Fusion

分歧解码：无训练的能力融合

Yimi Wang, Hao Li, Shuo Yang, He Cao, Dechen Zhang, Ziang Wu, Zhiyuan Yan, Fanyang Mo, Li Yuan

机构 * Peking University（北京大学） ； International Digital Economy Academy (IDEA)（国际数字经济学院） ； The University of Hong Kong（香港大学） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对通用大模型缺领域知识、专家模型逻辑弱的问题，提出无训练的Divergence Decoding框架，通过Jensen-Shannon散度自适应路由，在科学基准上融合两类模型能力，性能优于单模型基线。