语言大模型 / LLM

CAAD: Contrastive Audio-Aware Distillation for Efficient Speech Language Models

CAAD：对比音频感知蒸馏用于高效语音语言模型

Chun-Wei Chen, Tzu-Quan Lin, Ke-Han Lu, Wei-Ping Huang, Hung-Yi Lee

专题命中 效率与部署 ：language model(title,abstract)

AI总结 提出对比音频感知蒸馏（CAAD）框架，通过同步教师强制策略将教师模型的对比推理内化到学生模型权重中，在Dynamic-SUPERB上相对提升约8%，并减少语言偏倚。

Comments Accepted to interspeech 2026

Black-Box Continual Learning for Vision-Language Models

视觉语言模型的黑盒持续学习

Yuting Li, Weihang Fang, Haoyuan Gao, Linghe Kong, Yexin Li, Lichao Sun, Weiran Huang

机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） 纠错

专题命中 效率与部署 ：language model(title,abstract)

AI总结 提出黑盒持续学习基准Black-CL，仅通过输出嵌入或logits进行学习，并设计BETA方法，通过优化文本原型实现与白盒方法相当的性能。

Streaming T5-based Text-to-Speech Synthesis with Limited Lookahead

基于有限前瞻的流式T5文本到语音合成

Muyang Du, Jason Roche, Junjie Lai

机构 * NVIDIAChina（英伟达中国） ； NVIDIAUSA（英伟达美国） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；language model(abstract)；分类 cs.AI

AI总结 提出S5-TTS，一种基于T5的流式变体，通过编码器-解码器语言模型和单调对齐学习实现逐词增量语音合成，并引入前瞻因果掩码和交错多源蒸馏以在低延迟下保持质量。

Comments 6 pages, 1 figure, 4 tables, Interspeech 2026

Learning Burst-Aware Early Warning Models for Capacity Stress under AI Workload Surges in Hyperscale Data Centers

面向超大规模数据中心AI工作负载激增的突发感知容量压力预警模型学习

Zihan Yu, Xianling Zeng, Zhiming Xue, Yalun Qi, Sichen Zhao

机构 * Northeastern University（东北大学） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对AI工作负载突发导致容量压力的问题，提出部署导向的突发感知预警框架，采用轻量级树模型实现高召回预测，支持主动干预。

TeleStyle V2: Beyond Content-Preserving Style Transfer with Self-Distillation and Distribution-Matching-Distillation

TeleStyle V2：超越内容保持风格迁移的自蒸馏与分布匹配蒸馏

Shiwen Zhang, Yifan Xu, Haibin Huang, Chi Zhang, Xuelong Li

机构 * TeleAI 纠错

专题命中 效率与部署 ：SFT(abstract,abstract_cn)；foundation model(abstract)

AI总结 提出TeleStyle V2，通过自蒸馏数据合成和分布匹配蒸馏，支持四种内容-风格参考组合，解决内容一致性退化问题，性能与Qwen-Image-Edit和Gemini 3 Pro相当。

Comments https://github.com/Tele-AI/TeleStyleV2

Multi-Level Resistive Synapses for On-Chip Neural Networks: A Physics-Based Design of a Memristive Crossbar Fabric with Quasi-Continuous Conductance States

用于片上神经网络的多级电阻式突触：基于物理的准连续电导状态忆阻交叉阵列设计

David Alejandro Trejo Pizzo

专题命中 效率与部署 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出基于离子输运物理的忆阻突触模型，实现准连续电导态，并构建1T1R交叉阵列，通过模拟域原位学习支持大规模语言模型，效率远超传统CMOS。

Comments 22 pages, 14 figures, includes self-contained SPICE compact model validation

Universal priors: solving empirical Bayes via Bayesian inference and pretraining

通用先验：通过贝叶斯推断和预训练解决经验贝叶斯问题

Nick Cannella, Anzo Teh, Yanjun Han, Yury Polyanskiy

机构 * Courant Institute of Mathematical Sciences, NYU（纽约大学Courant数学科学研究所） ； Center for Data Science, NYU（纽约大学数据科学中心） ； Department of EECS, MIT（麻省理工学院电子工程与计算机科学系） 纠错

专题命中 效率与部署 ：pretraining(title)；分类 cs.LG

AI总结 本文从理论上证明，在合成数据上预训练的Transformer能通过后验收缩自适应未知测试分布，实现经验贝叶斯问题的近最优遗憾界。

Comments To appear at COLT 2026. 43 pages, 5 figures. Code release at https://github.com/Anzoteh96/eb-transformers

PRIDE: Privileged Information-enhanced Distillation for Empathetic Dialogue Generation

PRIDE: 特权信息增强的共情对话生成蒸馏方法

Jiaqiang Wu, Zhouan Zhu, Shangfei Wang

机构 * Anhui Robot Technology Standard Innovation Base, School of Computer Science and Technology, University of Science and Technology of China（中国科学技术大学计算机科学与技术学院安徽机器人技术标准创新基地） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出PRIDE方法，利用训练时可用但推理时不可用的特权信息（如心理标注或未来事件摘要），通过共情推理提示、多源注意力机制和双对齐损失，将大模型的共情推理能力蒸馏到小模型，在资源受限场景下保持性能。

Beyond Penalizing Mistakes: Stabilizing Efficiency Training in Large Reasoning Models via Adaptive Correct-Only Rewards

超越惩罚错误：通过自适应仅正确奖励稳定大型推理模型的效率训练

Jungseob Lee, Seungyoon Lee, Seongtae Hong, Minhyuk Kim, Chanjun Park, Heuiseok Lim

机构 * Korea University（高丽大学） ； Soongsil University（崇实大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对GRPO中长度惩罚导致奖励崩溃的问题，提出ACOER方法，通过仅对正确回答给予简洁奖励并动态调整预算，在数学推理任务中准确率提升且生成token减少超60%。

Comments 13 pages, 3 figures, 7 tables. Code: https://github.com/js-lee-AI/ACOER

Context-Aware Distillation and Ablation for Text2DSL

上下文感知的蒸馏与消融方法用于Text2DSL

Alexander V. Kozachok, Alexander M. Nazimov, Shamil G. Magomedov

机构 * MIREA – Russian Technological University（俄罗斯国立研究大学-莫斯科电子技术学院） ； Academy of the Federal Guard Service of the Russian Federation（俄罗斯联邦警卫局学院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 通过上下文感知蒸馏将PolkitBench语料库扩展到10,073对，并基于新语料库对结构化上下文进行因子消融实验，发现词汇表对语义质量贡献最大，API和BNF对结构有效性贡献显著。

Comments 21 pages, 3 figures, 6 tables

SPOTR: Spatio-temporal Pooling One-Token Reconstruction for Universal Physiological Signal Self-supervised Learning

SPOTR: 面向通用生理信号自监督学习的时空池化单令牌重建

Yiyu Gui, Mingzhi Chen, Yuesheng Zhu, Guibo Luo, Yuchao Yang

机构 * New Cornerstone Science Laboratory, Guangdong Provincial Key Laboratory of In-Memory Computing Chips, Shenzhen Graduate School, Peking University（新基石科学实验室，广东省存算一体芯片重点实验室，北京大学深圳研究生院） ； Guangdong Provincial Key Laboratory of Ultra High Definition Immersive Media Technology, Shenzhen Graduate School, Peking University（广东省超高清沉浸式媒体技术重点实验室，北京大学深圳研究生院） 纠错

专题命中 效率与部署 ：foundation model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出SPOTR框架，通过单令牌全局瓶颈压缩-重建预训练，解决生理信号自监督学习在异构数据集上的性能瓶颈，在线性探测下显著提升AUC并降低计算开销。

Comments The paper has been accepted by IJCAI-ECAI 2026

Closing the Calibration Gap in Semantic Caching

缩小语义缓存中的校准差距

Aditeya Baral, Radoslav Ralev, Iliya Sotirov Zhechev, Srijith Rajamohan, Jen Agarwal

机构 * New York University（纽约大学） ； Redis（Redis公司） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 针对语义缓存系统中离线指标与部署性能的差距，提出P-CHR AUC和CRR指标，发现校准差距由训练目标主导，模型选择本质是校准问题。

Comments 23 pages, 2 figures. Source code: https://github.com/aditeyabaral/calibration-gap-semantic-caching ; Models and Datasets: https://huggingface.co/redis

FoMoE: Breaking the Full-Replica Barrier with a Federation of MoEs

FoMoE: 打破全副本壁垒的专家混合联邦系统

Lorenzo Sani, Zeyu Cao, Meghdad Kurmanji, Alex Iacob, Andrej Jovanovic, Yan Gao, Wanru Zhao, Nicholas D. Lane

机构 * Department of Computer Science and Technology, University of Cambridge, Cambridge, UK（剑桥大学计算机科学与技术系） ； Flower Labs, UK（Flower Labs） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出FoMoE系统，通过跨工作节点分区专家层打破全副本范式，结合部分专家复制和跳跃令牌机制，显著降低通信开销并提升吞吐量。

Scaling Small Agents Through Strategy Auctions

通过策略拍卖扩展小型智能体

Lisa Alazraki, William F. Shen, Yoram Bachrach, Akhil Mathur

机构 * Meta Superintelligence Labs（Meta超智能实验室） ； Imperial College London（帝国理工学院伦敦分校） ； University of Cambridge（剑桥大学） 纠错

专题命中 效率与部署 ：language model(abstract)；small language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对小型语言模型在复杂任务中性能不足的问题，提出受自由职业市场启发的SALE框架，通过策略拍卖实现任务分配与测试时自我改进，在降低对大型模型依赖和成本的同时提升性能。

Comments ICML 2026

CoSpaDi: Compressing LLMs via Calibration-Guided Sparse Dictionary Learning

CoSpaDi: 通过校准引导的稀疏字典学习压缩大语言模型

Denis Makhov, Dmitriy Shopkhoev, Magauiya Zhussip, Ammar Ali, Stamatios Lefkimmiatis

机构 * Fundamental Research Center MWS AI（MWS AI基础研究中心） ； ITMO 纠错

专题命中 效率与部署 ：LLM(abstract)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 CoSpaDi通过校准引导的稀疏字典学习方法，在不训练的情况下实现大语言模型压缩，提升压缩与精度的平衡，优于现有SVD和结构剪枝基线。

SAGA: Workflow-Atomic Scheduling for AI Agent Inference on GPU Clusters

SAGA：面向GPU集群的AI代理推理工作流原子调度

Dongxin Guo, Jikun Wu, Siu Ming Yiu

机构 * The University of Hong Kong（香港大学） ； Brain Investing Limited（脑投有限公司） ； Stellaris AI Limited（Stellaris AI有限公司） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 SAGA通过工作流级调度减少任务完成时间1.64倍，提升GPU内存利用率1.22倍，同时在多租户环境下达成99.2%的服务水平目标，但牺牲了30%的峰值吞吐量。

Comments 15 pages, 3 figures, 11 tables. Accepted to HPDC '26 (35th International Symposium on High-Performance Parallel and Distributed Computing), July 13-16, 2026, Cleveland, OH, USA

GAC: Stabilizing Asynchronous RL Training for LLMs via Gradient Alignment Control

GAC: 通过梯度对齐控制稳定大语言模型的异步RL训练

Haofeng Xu, Junwei Su, Yukun Tian, Lansong Diao, Zhengping Qian, Chuan Wu

机构 * School of Computing and Data Science, The University of Hong Kong（计算与数据科学学院，香港大学） ； Alibaba Group（阿里巴巴集团） ； Southeast University（东南大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对异步策略梯度训练中梯度高余弦相似性导致的训练不稳定问题，提出梯度对齐控制（GAC）方法，通过梯度投影调节陈旧对齐方向，恢复稳定训练并匹配同步基线。

Efficient Reinforcement Finetuning via Adaptive Curriculum Learning

通过自适应课程学习的高效强化微调

Taiwei Shi, Yiyang Wu, Linxin Song, Tianyi Zhou, Jieyu Zhao

机构 * University of Southern California（南加州大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出AdaRFT方法，通过自适应课程学习动态调整训练问题难度，提升强化微调效率，在数学推理任务上训练时间减半。

Comments Published in Transactions on Machine Learning Research (TMLR). 30 pages, 8 figures, 7 tables

AudioCALM: Continuous Autoregressive Language Modeling for Universal Audio Generation

AudioCALM：面向通用音频生成的连续自回归语言建模

Huadai Liu, Kaicheng Luo, Wen Wang, Qian Chen, Bin Ma, Xiangang Li, Wei Xue

机构 * Hong Kong University of Science and Technology (HKUST)（香港科技大学） ； Tongyi Fun Team, Alibaba Group（阿里云团队，阿里巴巴集团） 纠错

专题命中 效率与部署 ：language model(title)

AI总结 提出AudioCALM框架，通过连续音频潜变量的自回归预测和不对称模态专家架构，统一语音、声音和音乐生成，在三个任务上达到或超越专用模型性能。

Comments Preprint

Process-Reward Tactic Evolution for Long-Horizon Bioinformatics Workflows

长周期生物信息学工作流的过程奖励策略演化

Lingzhi Yang, Yubo Fan, Song Wu, Gilchan Park

机构 * Stony Brook University（石溪大学） ； Vanderbilt University（范德堡大学） ； Brookhaven National Lab（布鲁克海文国家实验室） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出过程奖励策略演化框架，通过Galaxy工作流训练智能体，利用过程验证器将成功和失败轨迹提炼为策略库，提升长周期生物信息学工作流的完成率、生物学正确性和执行效率。

Fast-TurboQuant: A Multiplier-Free Online Vector Quantization Approach

Fast-TurboQuant：一种无乘法器的在线向量量化方法

Pedro M. R. Pereira, Felipe A. P. de Figueiredo, Rausley A. A. de Souza

机构 * National Institute of Telecommunications (Inatel)（国家电信研究所（Inatel）） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出Fast-TurboQuant，用结构化快速Johnson-Lindenstrauss变换替代密集随机旋转矩阵，实现无乘法器投影，在DBpedia数据集上获得19.7倍加速并提升召回率。

dMoE: dLLMs with Learnable Block Experts

dMoE: 具有可学习块专家的扩散大语言模型

Sicheng Feng, Zigeng Chen, Gongfan Fang, Xinyin Ma, Xinchao Wang

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对扩散大语言模型与混合专家架构集成时块并行解码与令牌级专家选择不匹配导致的推理内存瓶颈，提出dMoE框架，通过聚合块内令牌级专家分布为统一的块级专家分布来减少激活专家数量，在保持性能的同时显著降低内存使用和延迟。

Comments Working in progress. Code is available at: \url{https://github.com/fscdc/dMoE}

Sink-Token-Aware Pruning for Fine-Grained Video Understanding in Efficient Video LLMs

面向高效视频大语言模型的sink-token感知剪枝：用于细粒度视频理解

Kibum Kim, Jiwan Kim, Kyle Min, Yueqi Wang, Jinyoung Moon, Julian McAuley, Chanyoung Park

机构 * Korea Advanced Institute of Science and Technology (KAIST)（韩国高级科学技术研究院） ； Oracle ； University of California, San Diego（加州大学圣地亚哥分校） ； Electronics and Telecommunications Research Institute (ETRI)（电子电信研究院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出Sink-Token-aware Pruning方法，通过识别并抑制semantically uninformative tokens，提升细粒度视频理解性能，在多种基准测试中表现优异。

Comments ECCV 2026

CoDe-R: Refining Decompiler Output with LLMs via Rationale Guidance and Adaptive Inference

CoDe-R: 通过原理引导和自适应推理利用大语言模型优化反编译器输出

Qiang Zhang, Zhongnian Li

机构 * School of Computer Science and Technology / School of Artificial Intelligence, China University of Mining and Technology（计算机科学与技术学院/人工智能学院，中国矿业大学） ； Mine Digitization Engineering Research Center of the Ministry of Education, China University of Mining and Technology（教育部矿山数字化工程研究中心，中国矿业大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出CoDe-R框架，通过语义认知增强和动态双路径回退机制，在轻量级模型上首次实现平均可重执行率超过50%，显著提升反编译代码质量。

Comments 11 pages, 7 figures, 6 tables. Accepted by IJCNN 2026

STAR-VAE: Structured Topology-Aware Regularization for Audio Reconstruction and Generation

STAR-VAE: 结构化拓扑感知正则化用于音频重建与生成

Huadai Liu, Wen Wang, Kaicheng Luo, Qian Chen, Xiangang Li, Wei Xue

机构 * Hong Kong University of Science（香港科学大学） ； Tongyi Fun Team, Alibaba Group（通义Fun团队，阿里巴巴集团） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)

AI总结 针对连续VAE在压缩率、重建保真度和潜在空间拓扑之间的三难困境，提出结构化拓扑感知正则化（STAR），通过增长约束场重塑潜在空间几何，实现音频的高保真重建与生成。

Comments ICML 2026

LiveServe: Interaction-Aware Serving for Real-Time Omni-Modal LLMs

LiveServe：面向实时全模态大语言模型的交互感知服务系统

Xiangyu Zhi, Peiqi Yin, Sheng Guan, Chenguang Zheng, James Cheng, Xiao Yan

专题命中 效率与部署 ：LLM(abstract,abstract_cn)

AI总结 提出交互感知服务系统LiveServe，通过感知播放进度、语音活动和打断事件，优化调度与KV缓存管理，降低音频延迟并提升吞吐量。

OmniSpace: Efficient Geometry Awareness for Autonomous Vehicles MLLMs

OmniSpace: 自动驾驶多模态大语言模型的高效几何感知

Hao Vo, Phu Loc Nguyen, Khoa Vo, Sieu Tran, Duc Minh Nguyen, Ngo Xuan Cuong, Nghi D. Q. Bui, Anh Nguyen, Duy Minh Ho Nguyen, Ngan Le

机构 * University of Arkansas（阿肯色大学） ； Google Research, Google（谷歌研究院） ； University of Liverpool（利物浦大学） ； Max Planck Research School for Intelligent Systems（马克斯·普朗克智能系统研究所） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)

AI总结 提出OmniSpace，一种即插即用的几何感知范式，通过相机位姿注入器、多视图极线注意力模块和3D几何蒸馏目标，从纯2D观测中提升MLLM的空间推理能力，在多个自动驾驶基准上超越现有方法。

ASAP: A Disaggregated and Asynchronous Inference System for MoE Prefill

ASAP: 一种用于MoE预填充的去中心化和异步推理系统

Weiwei Chen, Shuang Chen, Lele Li, Qiang Hu, Han Li, Xin Ye, Ming Yan, Zhibin Yu

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)

AI总结 针对MoE模型混合并行策略中的同步瓶颈，提出ASAP系统，通过解耦注意力与MoE阶段并实现全异步执行流水线，结合异步通信原语和调度优化，将SLO合规的预填充吞吐量提升90%。

Towards Error-Free Long Video Generation

迈向无错误的长视频生成

Shuning Chang, Weihua Chen, Jiasheng Tang, Hao Xu, Zeyu Zhang, Hangjie Yuan, Yu Lu, Ruigang Niu, Fan Wang, Bohan Zhuang, Yi Yang

机构 * Zhejiang University（浙江大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)

AI总结 提出一种基于扩散模型的长视频生成框架，通过因果注意力、KV缓存和截断修正流技术解决误差累积和属性漂移问题，实现高质量、身份一致的单镜头长视频合成。

LEViL: Label-Efficient Video Learning via Zero-Shot Distillation over VLM-Generated Pseudo-Label Spaces

LEViL: 通过VLM生成的伪标签空间上的零样本蒸馏实现标签高效视频学习

Aslı Çelik

机构 * Kocaeli University（科贾埃利大学） 纠错

专题命中 效率与部署 ：language model(abstract)；pretraining(abstract)

AI总结 提出一种无需标注的视频预训练与目标标签集感知微调结合的标签高效视频学习框架，利用VLM生成伪标签空间进行零样本蒸馏，在有限标签下优于半监督方法。