语言大模型 / LLM

Failure-Aware Enhancements for Large Language Model (LLM) Code Generation: An Empirical Study on Decision Framework

面向大语言模型（LLM）代码生成的失败意识增强：决策框架的实证研究

Jianru Shen, Zedong Peng, Lucy Owen

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(title)；prompting(abstract)

AI总结 本文通过实证研究，提出了一种基于失败特征的决策框架，用于指导大语言模型代码生成中的增强策略选择。

Comments Accepted at SANER 2026

CALM: A Self-Adaptive Orchestration Approach for QoS-Aware Routing in Small Language Model based Systems

CALM：一种面向服务质量的自适应协调方法，用于基于小型语言模型的系统中路由

Hemang Jain, Divyansh Pandey, Karthik Vaidhyanathan

专题命中 效率与部署 ：language model(title,abstract)；small language model(title,abstract)；LLM(abstract)；SLM(abstract)

AI总结 CALM通过自适应协调机制优化小型语言模型路由，降低延迟和能耗，提升服务质量

Comments Accepted as full paper at SEAMS 2026

Generalizable and Interpretable RF Fingerprinting with Shapelet-Enhanced Large Language Models

可推广且可解释的基于形状let的大型语言模型在射频指纹中的应用

Tianya Zhao, Junqing Zhang, Haowen Xu, Xiaoyan Sun, Jun Dai, Xuyu Wang

机构 * Florida International University（佛罗里达国际大学） ； University of Liverpool（利物浦大学） ； Worcester Polytechnic Institute（沃斯特理工大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.LG

AI总结 本文提出了一种结合形状let和预训练LLM的框架，用于实现高效、可解释且可推广的射频指纹识别，通过捕捉局部时间模式和全局上下文信息，提升跨领域性能。

Comments 12 pages, 7 figures, IMWUT submission

Fast-Slow Efficient Training for Multimodal Large Language Models via Visual Token Pruning

通过视觉标记修剪实现多模态大语言模型的快慢高效训练

Dingkun Zhang, Shuhan Qi, Yulin Wu, Xinyu Xiao, Xuan Wang, Long Chen

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 DualSpeed通过快慢双模式实现多模态大语言模型的高效训练，提升训练速度并保持性能

Zero-shot large vision-language model prompting for automated bone identification in paleoradiology x-ray archives

零样本大视觉语言模型提示法用于古放射学x光档案中骨骼自动识别

Owen Dong, Lily Gao, Manish Kota, Bennett A. Landmana, Jelena Bekvalac, Gaynor Western, Katherine D. Van Schaik

专题命中 效率与部署 ：language model(title,abstract)；prompting(title,abstract)；分类 cs.AI

AI总结 利用大视觉语言模型实现古放射学x光图像中骨骼自动识别，提升内容导航效率。

Augmenting Parameter-Efficient Pre-trained Language Models with Large Language Models

通过大语言模型增强参数高效预训练语言模型

Saurabh Anand, Shubham Malaviya, Manish Shukla, Sachin Lodha

机构 * TCS Research（TCS研究） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 本文提出通过大语言模型增强参数高效预训练语言模型，以提高网络安全领域模型的可靠性与鲁棒性。

Comments 22 pages, 9 figures, 11 tables, short paper was accepted in ACM SAC 2024

Zero Sum SVD: Balancing Loss Sensitivity for Low Rank LLM Compression

零和SVD：平衡损失敏感性以实现低秩LLM压缩

Ali Abbasi, Chayne Thrash, Haoran Qin, Shansita Sharma, Sepehr Seifi, Soheil Kolouri

机构 * Department of Computer Science, Vanderbilt University, TN, USA（计算机科学系，范德比尔特大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 零和SVD通过全局奇异成分选择和零和规则实现低秩LLM压缩，无需优化即可自动生成异质秩，提升压缩效率与性能。

IMU-1: Sample-Efficient Pre-training of Small Language Models

IMU-1: 小语言模型的样本高效预训练

George Grigorev

机构 * Independent Researcher（独立研究者） 纠错

专题命中 效率与部署 ：language model(title,abstract)；small language model(title)；分类 cs.AI、cs.LG

AI总结 IMU-1通过高效预训练方法，在少量数据上实现接近大规模数据训练的性能，展示了小语言模型的高效训练潜力。

Comments 16 pages

MeKi: Memory-based Expert Knowledge Injection for Efficient LLM Scaling

MeKi：基于记忆的专家知识注入用于高效的LLM扩展

Ning Ding, Fangcheng Liu, Kyungrae Kim, Linji Hao, Kyeng-Hun Lee, Hyeonmok Ko, Yehui Tang

机构 * Samsung Research（三星研究） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 MeKi通过利用存储空间而非计算量扩展LLM容量，实现边缘设备上的高效推理，验证了基于内存的扩展方法在设备端LLM中的有效性。

TraceNAS: Zero-shot LLM Pruning via Gradient Trace Correlation

TraceNAS: 通过梯度轨迹相关性实现零样本LLM剪枝

Prajna G. Malettira, Manish Nagaraj, Arjun Roy, Shubham Negi, Kaushik Roy

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 TraceNAS通过梯度轨迹相关性实现零样本LLM剪枝，高效发现高保真剪枝模型，减少GPU计算成本并提升模型性能。

Comments Preprint

From Task Solving to Robust Real-World Adaptation in LLM Agents

从任务解决到在LLM代理中的鲁棒现实适应

Pouya Pezeshkpour, Estevam Hruschka

机构 * Megagon Labs（梅加戈恩实验室） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文研究了LLM代理在现实环境中的鲁棒适应能力，发现任务解决与实际部署鲁棒性存在显著差距，揭示了在部分可观测性和噪声环境下代理的决策挑战。

Enhancing Post-Training Quantization via Future Activation Awareness

通过未来激活意识增强后训练量化

Zheqi Lv, Zhenxuan Fan, Qi Tian, Wenqiao Zhang, Yueting Zhuang

机构 * Zhejiang University（浙江大学） ； Tencent（腾讯） 纠错

专题命中 效率与部署 ：post-training(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 通过利用未来层激活信息，提出Future-Aware Quantization方法，有效提升后训练量化效果，适用于边缘部署。

SAES-SVD: Self-Adaptive Suppression of Accumulated and Local Errors for SVD-based LLM Compression

SAES-SVD: 自适应抑制累积和局部误差用于基于SVD的LLM压缩

Xing Hu, Dawei Yang, Yuan Cheng, Zhixuan Chen, Zukang Xu

机构 * Houmo AI ； Nanjing University（南京大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 SAES-SVD通过联合优化层内重建和层间误差补偿，有效抑制LLM压缩中的累积和局部误差，提升压缩后性能。

Cortex: Achieving Low-Latency, Cost-Efficient Remote Data Access For LLM via Semantic-Aware Knowledge Caching

Cortex: 通过语义感知的知识缓存实现低延迟、低成本的远程数据访问用于大语言模型

Chaoyi Ruan, Chao Bi, Kaiwen Zheng, Ziji Shi, Xinyi Wan, Jialin Li

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 Cortex通过语义感知的知识缓存架构，实现LLM代理在远程数据访问中的低延迟和低成本，提升吞吐量和准确性。

RankSteer: Activation Steering for Pointwise LLM Ranking

RankSteer: 激活引导用于点wise LLM 排序

Yumeng Wang, Catherine Chen, Suzan Verberne

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 RankSteer 通过激活引导框架提升零样本点wise LLM 排序性能，利用三个解耦方向校准排序行为，无需修改模型权重。

DynSplit-KV: Dynamic Semantic Splitting for KVCache Compression in Efficient Long-Context LLM Inference

DynSplit-KV: 动态语义分割用于高效长上下文LLM推理中的KV缓存压缩

Jiancai Ye, Jun Liu, Qingchen Li, Tianlang Zhao, Hanbin Zhang, Jiayi Pan, Ningyi Xu, Guohao Dai

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 DynSplit-KV通过动态语义分割和统一映射策略，提升长上下文LLM推理的准确性与效率，减少内存占用。

BinaryPPO: Efficient Policy Optimization for Binary Classification

BinaryPPO：用于二分类任务的高效策略优化

Punya Syon Pandey, Zhijing Jin

机构 * University of Toronto（多伦多大学） ； Vector Institute（向量研究所） ； Max Planck Institute for Intelligent Systems, Tübingen, Germany（智能系统马克斯·普朗克研究所） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 BinaryPPO通过置信度加权奖励机制提升二分类任务的准确率，优于传统监督微调方法。

GRAB: An LLM-Inspired Sequence-First Click-Through Rate Prediction Modeling Paradigm

GRAB: 一种受大语言模型启发的序列优先点击通过率预测建模范式

Shaopeng Chen, Chuyue Xie, Huimin Ren, Shaozong Zhang, Han Zhang, Ruobing Cheng, Zhiqiang Cao, Zehao Ju, Yu Gao, Jie Ding, Xiaodong Chen, Xuewu Jiao, Shuanglong Li, Liu Lin

机构 * Baidu Inc.（百度公司） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 GRAB通过引入因果动作感知多通道注意力机制，实现了在点击通过率预测上的性能提升，并在实际部署中实现了更高的收入和CTR。

Edge-Optimized Vision-Language Models for Underground Infrastructure Assessment

边缘优化的视觉-语言模型用于地下基础设施评估

Johny J. Lopez, Md Meftahul Ferdaus, Mahdi Abdelguerfi

机构 * Canizaro Livingston Gulf States Center for Environmental Informatics（卡尼扎罗利文斯顿海湾州环境信息中心） ； University of New Orleans（新奥尔良大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；post-training(abstract)

AI总结 本文提出边缘优化的视觉-语言模型，用于高效生成地下基础设施缺陷的摘要，结合轻量级分割模型与微调VLM，实现资源受限设备上的实时检测与总结。

GFlowPO: Generative Flow Network as a Language Model Prompt Optimizer

GFlowPO：生成流网络作为语言模型提示优化器

Junmo Cho, Suhan Kim, Sangjune An, Minsu Kim, Dong Bok Lee, Heejun Lee, Sung Ju Hwang, Hae Beom Lee

机构 * Korea Advanced Institute of Science ； Korea University ； Mila -- Qu\'ebec AI Institute 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 GFlowPO通过生成流网络和动态内存更新机制，提升语言模型提示优化的样本效率和性能。

DynaSpec: Context-aware Dynamic Speculative Sampling for Large-Vocabulary Language Models

DynaSpec: 一种基于上下文的动态推测采样方法用于大词汇量语言模型

Jinbin Zhang, Nasib Ullah, Erik Schultheis, Rohit Babbar

机构 * Department of Computer Science（计算机科学系） ； Aalto University（阿alto大学） ； Deep Algorithms and Systems Lab（深度算法与系统实验室） ； IST Austria（IST奥地利研究院） ； University of Bath（巴斯大学） 纠错

专题命中 效率与部署 ：language model(title)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 DynaSpec通过动态短名单机制提升大词汇量语言模型的推测解码效率，实现更高的吞吐量和更精确的验证

From Deferral to Learning: Online In-Context Knowledge Distillation for LLM Cascades

从延迟到学习：在线上下文知识蒸馏用于LLM级联

Yu Wu, Shuo Wu, Ye Tao, Yansong Li, Anand D. Sarwate

机构 * Department of XXX, University of YYY, Location, Country（XXX系，YYY大学，地点，国家） ； School of ZZZ, Institute of WWW, Location, Country（ZZZ学院，WWW研究所，地点，国家） ； Department of Electrical and Computer Engineering, Rutgers University, NJ, USA（电气与计算机工程系，Rutgers大学，新泽西州，美国） ； Computer Engineering Department, University of Illinois Chicago, Illinois, USA（计算机工程系，伊利诺伊大学芝加哥分校，伊利诺伊州，美国） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.CL、cs.AI

AI总结 Inter-Cascade通过在线上下文知识蒸馏提升LLM级联性能，实现弱模型在任务中学习，减少强模型调用并提高整体准确率。

Comments 32 pages, 6 figures, 23 tables, under review

Decipher-MR: A Vision-Language Foundation Model for 3D MRI Representations

Decipher-MR：一种用于3D MRI表示的视觉-语言基础模型

Zhijian Yang, Noel DSouza, Istvan Megyeri, Xiaojian Xu, Amin Honarmandi Shandiz, Farzin Haddadpour, Krisztian Koos, Laszlo Rusko, Emanuele Valeriano, Bharadwaj Swaninathan, Lei Wu, Parminder Bhatia, Taha Kass-Hout, Erhan Bas

机构 * GE Healthcare（通用电气医疗） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 Decipher-MR是一种专门针对3D MRI的视觉-语言基础模型，通过自监督学习和报告引导的文本监督，实现对多种医学任务的高效支持。

SpecFLASH: A Latent-Guided Semi-autoregressive Speculative Decoding Framework for Efficient Multimodal Generation

SpecFLASH: 一种基于潜在引导的半自回归推测解码框架，用于高效多模态生成

Zihua Wang, Ruibo Li, Haozhe Du, Joey Tianyi Zhou, Yu Zhang, Xu Yang

机构 * Southeast University, Nanjing, China（东南大学） ； Nanyang Technological University, Singapore（南洋理工大学） ； A STAR Centre for Frontier AI Research (CFAR), Singapore（A STAR前沿人工智能研究中心） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

AI总结 SpecFLASH是一种针对多模态生成的高效推测解码框架，通过潜在引导的token压缩和半自回归解码方案，显著提升视觉任务的解码速度。

Comments Under review

MatGPTQ: Accurate and Efficient Post-Training Matryoshka Quantization

MatGPTQ：准确且高效的后训练Matryoshka量化

Maximilian Kleinegger, Elvir Crnčević, Dan Alistarh

机构 * Vienna University of Technology, Vienna, Austria ； Institute of Science \& Technology Austria (ISTA), Vienna, Austria 纠错

专题命中 效率与部署 ：post-training(title,abstract)；分类 cs.LG

AI总结 MatGPTQ通过单次训练生成多精度模型，提升低比特精度下的性能，实现高效且准确的后训练量化。

Comments Preprint

Morphe: High-Fidelity Generative Video Streaming with Vision Foundation Model

Morphe: 基于视觉基础模型的高保真生成视频流媒体

Tianyi Gong, Zijian Cao, Zixing Zhang, Jiangkai Wu, Xinggong Zhang, Shuguang Cui, Fangxin Wang

机构 * School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen（科学与工程学院，香港中文大学（深圳）） ； Shenzhen Future Network of Intelligence Institute（深圳未来网络智能研究院） ； Wangxuan Institute of Computer Technology, Peking University（王轩计算机技术研究所，北京大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI

AI总结 Morphe基于视觉基础模型，通过联合训练和智能分组丢弃技术，实现高保真度、低带宽的实时视频流媒体传输。

Comments Accepted by NSDI 2026 Fall

Simple Denoising Diffusion Language Models

简单去噪扩散语言模型

Huaisheng Zhu, Zhengyu Chen, Shijie Zhou, Zhihui Xie, Yige Yuan, Shiqi Chen, Zhimeng Guo, Siyuan Xu, Hangfan Zhang, Vasant Honavar, Teng Xiao

机构 * Penn State University（宾夕法尼亚州立大学） ； University at Buffalo（布法罗大学） ； University of Washington（华盛顿大学） ； The University of Hong Kong（香港大学） ； City University of Hong Kong（城市大学） ； Alibaba Group（阿里巴巴集团） ； Allen Institute for AI (AI2)（人工智能研究所（AI2）） 纠错

专题命中 效率与部署 ：language model(title)；pretraining(abstract)；分类 cs.LG

AI总结 本文提出了一种简化且改进的去噪损失公式，用于均匀状态扩散模型，以提高训练稳定性与效率，并在大规模模型上展示了良好的扩展性。

SwiftVLM: Efficient Vision-Language Model Inference via Cross-Layer Token Bypass

SwiftVLM: 通过跨层令牌绕过实现高效的视觉-语言模型推理

Chen Qian, Xinran Yu, Danyang Li, Guoxuan Chi, Zheng Yang, Qiang Ma, Xin Miao

机构 * Tsinghua University, Beijing, China（清华大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 SwiftVLM通过跨层令牌绕过方法，在视觉-语言模型中实现高效的推理，优于现有修剪策略，提升准确率与效率的平衡。

Function-Space Empirical Bayes Regularisation with Large Vision-Language Model Priors

函数空间经验贝叶斯正则化与大视觉-语言模型先验

Pengcheng Hao, Huaze Tang, Ercan Engin Kuruoglu, Wenbo Ding

机构 * Institute of Data and Information, Tsinghua Shenzhen International Graduate School, Shenzhen, China（数据与信息研究所，清华大学深圳国际研究生院，深圳，中国） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.LG

AI总结 本文提出VLM-FS-EB框架，利用大视觉-语言模型生成语义上下文点，构建高效功能先验，提升预测性能和不确定性估计，尤其在异常检测和数据稀缺场景中表现优异。

PROTEUS: SLA-Aware Routing via Lagrangian RL for Multi-LLM Serving Systems

PROTEUS：通过拉格朗日强化学习实现多LLM服务系统的SLA感知路由

Amit Singh Bhatti, Vishal Vaddina, Dagnachew Birru

机构 * Phi Labs（Phi实验室） ； Quantiphi（Quantiphi公司） ； Boston, USA（美国波士顿） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.AI

AI总结 PROTEUS通过拉格朗日强化学习实现多LLM服务系统的SLA感知路由，能够根据运行时指定的准确性目标动态调整路由决策，显著提升准确性和成本效率。

Comments Submitted to EuroMLSys26