语言大模型 / LLM

AISA: Awakening Intrinsic Safety Awareness in Large Language Models against Jailbreak Attacks

AISA: 在大型语言模型中唤醒对抗劫持攻击的内在安全性意识

Weiming Song, Xuan Xie, Ruiping Yin

机构 * Beijing University of Technology（北京理工大学） ； Macau University of Science and Technology（澳门科技大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 AISA通过激活模型内在安全机制，提供一种轻量级、单次通过的防御方法，有效提升大型语言模型对抗劫持攻击的鲁棒性与安全性。

DALL: Data Labeling via Data Programming and Active Learning Enhanced by Large Language Models

DALL：通过数据编程和主动学习增强的大语言模型进行数据标注

Guozheng Li, Ao Wang, Shaoxiang Wang, Yu Zhang, Pengcheng Cao, Yang Bai, Chi Harold Liu

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)

AI总结 DALL通过数据编程和主动学习结合大语言模型，提升文本标注的效率和准确性。

Improving Data Efficiency for LLM Reinforcement Fine-tuning Through Difficulty-targeted Online Data Selection and Rollout Replay

通过难度目标在线数据选择和回放提升大语言模型强化微调的数据效率

Yifan Sun, Jingyan Shen, Yibin Wang, Tianyu Chen, Zhendong Wang, Mingyuan Zhou, Huan Zhang

机构 * UIUC（伊利诺伊大学香槟分校） ； New York University（纽约大学） ； University of Texas at Austin（得克萨斯大学奥斯汀分校） ； Microsoft（微软） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出通过难度目标在线数据选择和回放机制提升大语言模型强化微调的数据效率，实验表明可减少62%的微调时间并保持同等性能。

Comments Accepted at NeurIPS 2025

Scalable LLM Reasoning Acceleration with Low-rank Distillation

可扩展的大语言模型推理加速与低秩蒸馏

Harry Dong, Bilge Acun, Beidi Chen, Yuejie Chi

机构 * CMU Department of Electrical and Computer Engineering（卡内基梅隆大学电气与计算机工程系） ； Carnegie Mellon University（卡内基梅隆大学） ； Meta FAIR at Meta（Meta FAIR） ； CMU（卡内基梅隆大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Caprese通过低秩蒸馏方法恢复高效推理方法中丢失的数学推理能力，同时减少参数数量和延迟，提升响应效率。

Socially-Weighted Alignment: A Game-Theoretic Framework for Multi-Agent LLM Systems

社交加权对齐：多智能体大语言模型系统的博弈论框架

Furkan Mumcu, Yasin Yilmaz

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出社交加权对齐框架，通过引入社交权重解决多智能体LLM系统中的个体理性与集体稳定矛盾，通过理论分析和模拟验证了关键阈值的存在。

WiSparse: Boosting LLM Inference Efficiency with Weight-Aware Mixed Activation Sparsity

WiSparse: 通过权重感知混合激活稀疏性提升大语言模型推理效率

Lei Chen, Yuan Meng, Xiaoyu Zhan, Zhi Wang, Wenwu Zhu

机构 * Tsinghua University（清华大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 WiSparse通过结合激活和权重信息，实现高效的大语言模型推理，以50%稀疏率保持97%性能并提升21.4%推理速度。

Text Style Transfer with Parameter-efficient LLM Finetuning and Round-trip Translation

基于参数高效LLM微调和往返翻译的文本风格迁移

Ruoxi Liu, Philipp Koehn

机构 * Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文提出基于参数高效LLM微调和往返翻译的文本风格迁移方法，通过合成平行语料库提升风格迁移效果，并结合RAG增强术语和名称知识的鲁棒性与一致性。

Comments 9 pages, 5 figures, 4 tables

LLM-Guided Knowledge Distillation for Temporal Knowledge Graph Reasoning

基于大语言模型的知识蒸馏的时序知识图谱推理

Wang Xing, Wei Song, Siyu Lin, Chen Wu, Man Wang

机构 * School of Computer Science and Technology, Xidian University（西安电子科技大学计算机科学与技术学院） ； School of Computing and Artificial Intelligence, Southwest Jiaotong University（西南交通大学计算机与人工智能学院） ； School of Information Science and Engineering, Chongqing Jiaotong University（重庆交通大学信息科学与工程学院） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出一种基于大语言模型的知识蒸馏框架，用于提升时序知识图谱推理性能，通过引入大语言模型作为辅助指导者，实现更高效的模型压缩与训练。

Evaluating the Impact of Post-Training Quantization on Reliable VQA with Multimodal LLMs

评估后训练量化对多模态大语言模型可靠视觉问答的影响

Paul Jonas Kurz, Tobias Jan Wieczorek, Mohamed A. Abdelsalam, Rahaf Aljundi, Marcus Rohrbach

机构 * TU Darmstadt（图宾根大学） ； Toyota Motor Europe（丰田欧洲公司） 纠错

专题命中 效率与部署 ：post-training(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文研究了后训练量化对多模态大语言模型可靠视觉问答的影响，提出通过选择器置信度估计器提升可靠性，并在不同量化方法中实现了效率与可靠性的最佳平衡。

Comments Accepted poster at the 1st Workshop on Epistemic Intelligence in Machine Learning (EIML) @ EURIPS 2025

ParoQuant: Pairwise Rotation Quantization for Efficient Reasoning LLM Inference

ParoQuant: 基于成对旋转的量化方法用于高效推理大语言模型推理

Yesheng Liang, Haisheng Chen, Zihan Zhang, Song Han, Zhijian Liu

机构 * NVIDIA ； MIT（麻省理工学院） ； UC San Diego（加州大学圣地亚哥分校） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 ParoQuant通过结合硬件高效旋转与通道缩放，有效解决推理LLMs中的异常值问题，实现更高的准确性和更低的开销。

Comments ICLR 2026 | Project page: https://paroquant.z-lab.ai | GitHub: https://github.com/z-lab/paroquant

LO-BCQ: Block Clustered Quantization for 4-bit (W4A4) LLM Inference

LO-BCQ：用于4位（W4A4）大语言模型推理的块聚类量化

Reena Elangovan, Charbel Sakr, Anand Raghunathan, Brucek Khailany

机构 * NVIDIA Corporation（NVIDIA公司） ； Department of ECE（电子工程系） ； Purdue University（普渡大学） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 LO-BCQ通过块聚类量化方法，在W4A4格式下实现4位大语言模型推理，取得<1%的精度损失，提升推理效率。

Journal ref Transactions on Machine Learning Research, 2025

HiVid: LLM-Guided Video Saliency For Content-Aware VOD And Live Streaming

HiVid: 基于大语言模型的视频显著性识别用于内容感知点播与直播

Jiahui Chen, Bo Peng, Lianchen Jia, Zeyu Zhang, Tianchi Huang, Lifeng Sun

机构 * Tsinghua University（清华大学） ； The Australian National University（澳大利亚国立大学） ； Key Laboratory of Pervasive Computing, Ministry of Education（教育部普适计算重点实验室） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 HiVid利用大语言模型生成内容感知的视频显著性权重，提升点播和直播的QoE性能。

Comments ICLR 2026

LACONIC: Length-Aware Constrained Reinforcement Learning for LLM

LACONIC：面向LLM的长度感知约束强化学习

Chang Liu, Yiran Zhao, Lawrence Liu, Yaoqi Ye, Csaba Szepesvári, Lin F. Yang

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； Salesforce AI Research（Salesforce AI研究院） ； National University of Singapore（新加坡国立大学） ； University of Alberta（阿尔伯塔大学） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 LACONIC通过长度感知约束强化学习，在保持任务性能的同时有效控制输出长度，减少50%以上。

Detecting LLM Hallucinations via Embedding Cluster Geometry: A Three-Type Taxonomy with Measurable Signatures

通过嵌入聚类几何检测大语言模型幻觉：一种三类分类法及其可测量特征

Matic Korun

机构 * Independent Researcher（独立研究者） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 通过分析嵌入聚类几何结构，提出三种大语言模型幻觉类型及其可测量特征，揭示了架构对幻觉检测的影响。

Comments 9 pages, 5 figures

Train Less, Learn More: Adaptive Efficient Rollout Optimization for Group-Based Reinforcement Learning

少训练，多学习：基于群体的强化学习中的自适应高效回滚优化

Zhi Zhang, Zhen Han, Costas Mavromatis, Qi Zhu, Yunyi Zhang, Sheng Guan, Dingmin Wang, Xiong Zhou, Shuai Wang, Soji Adeshina, Vassilis Ioannidis, Huzefa Rangwala

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； Amazon Web Services（亚马逊网络服务） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 AERO通过自适应回滚策略和选择性拒绝提升群体强化学习的计算效率，减少48%的训练计算并缩短45%的训练时间，同时保持或提升性能。

Are foundation models for computer vision good conformal predictors?

计算机视觉基础模型是否是良好的符合预测器？

Leo Fillioux, Julio Silva-Rodríguez, Ismail Ben Ayed, Paul-Henry Cournède, Maria Vakalopoulou, Stergios Christodoulidis, Jose Dolz

机构 * MICS, CentraleSupélec, Université Paris-Saclay（MICS、中央理工巴黎高等学院、巴黎-萨克雷大学） ； LIVIA, ILLS, ETS Montréal（LIVIA、ILLs、蒙特利尔工程师学院） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；language model(abstract)

AI总结 本文研究了计算机视觉基础模型在符合预测中的表现，发现其适合符合化过程，但校准置信度预测会降低效率，且视觉-语言模型在少样本适应中表现更优。

Privileged Information Distillation for Language Models

特权信息蒸馏用于语言模型

Emiliano Penaloza, Dheeraj Vattikonda, Nicolas Gontier, Alexandre Lacoste, Laurent Charlin, Massimo Caccia

机构 * McGill University（麦吉尔大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出π-Distill和OPSD两种方法，通过特权信息蒸馏提升语言模型在复杂代理环境中的表现，优于传统监督微调加强化学习的方法。

Comments Abstract border should have been purple

DeepFusion: Accelerating MoE Training via Federated Knowledge Distillation from Heterogeneous Edge Devices

DeepFusion: 通过异构边缘设备的联邦知识蒸馏加速MoE训练

Songyuan Li, Jia Hu, Ahmed M. Abdelmoniem, Geyong Min, Haojun Huang, Jiwei Huang

机构 * School of Electronic Engineering and Computer Science, Queen Mary University of London（伦敦女王玛丽大学电子工程与计算机科学学院） ； Department of Computer Science, Faculty of Environment, Science and Economy, University of Exeter（埃克塞特大学环境、科学与经济学院计算机科学系） ； School of Electronic Information and Communications, Huazhong University of Science and Technology（华中科技大学电子信息与通信学院） ； Beijing Key Laboratory of Petroleum Data Mining, China University of Petroleum（北京石油数据挖掘重点实验室，中国石油大学） 纠错

专题命中 效率与部署 ：large language model(abstract,comments)；language model(abstract,comments)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 DeepFusion通过联邦知识蒸馏融合异构边缘设备的LLM知识，实现高效MoE训练，减少通信成本并提升模型性能。

Comments Index Terms: Large language models, Mixture-of-experts, Federated knowledge distillation, Edge device heterogeneity

Dual-Signal Adaptive KV-Cache Optimization for Long-Form Video Understanding in Vision-Language Models

双信号自适应KV缓存优化用于视觉-语言模型中长形式视频理解

Vishnu Sai, Dheeraj Sai, Srinath B, Girish Varma, Priyesh Shukla

机构 * International Institute of Information Technology（国际信息研究所） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 Sali-Cache通过双信号自适应缓存优化，提升视觉-语言模型处理长形式视频的内存效率与准确性。

GUI-GENESIS: Automated Synthesis of Efficient Environments with Verifiable Rewards for GUI Agent Post-Training

GUI-GENESIS: 自动合成具有可验证奖励的高效环境以实现GUI代理训练

Yuan Cao, Dezhi Ran, Mengzhou Wu, Yuzhe Guo, Xin Chen, Ang Li, Gang Cao, Gong Zhi, Hao Yu, Linyi Li, Wei Yang, Tao Xie

机构 * Key Lab of HCST (PKU), MOE ； SCS, Peking University, Beijing, China ； Tencent Inc., Shenzheng, China ； Hong Kong University of Science ； Department of Computer Science, University of Texas at Dallas, Richardson, USA ； School of Computing Science, Simon Fraser University, Burnaby, BC, Canada 纠错

专题命中 效率与部署 ：post-training(title,abstract)；分类 cs.AI、cs.LG

AI总结 GUI-GENESIS通过自动合成高效GUI训练环境并提供可验证奖励，显著提升了GUI代理的训练效率和性能。

Enhancing Delta Compression in LLMs via SVD-based Quantization Error Minimization

通过基于SVD的量化误差最小化增强LLM中的delta压缩

Boya Xiong, Shuo Wang, Weifeng Ge, Guanhua Chen, Yun Chen

机构 * Shanghai University of Finance（上海财经大学） ； Tsinghua University（清华大学） ； Fudan University（复旦大学） ； Southern University of Science（南方科技大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；SFT(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 PrinMix通过基于SVD的量化误差最小化方法，提升LLM中delta压缩的效率与性能。

When Attention Collapses: How Degenerate Layers in LLMs Enable Smaller, Stronger Models

当注意力崩溃：LLMs中的退化层如何使小型模型更强大

Sunny Sanyal, Ravid Shwartz-Ziv, Alexandros G. Dimakis, Sujay Sanghavi

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； New York University（纽约大学） ； UC Berkeley（伯克利加州大学） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Inheritune通过继承预训练模型的早期层来构建更小但更强的语言模型，实现模型压缩与性能的平衡。

Comments Published in Transactions on Machine Learning Research (TMLR)

Efficient Test-Time Scaling for Small Vision-Language Models

小视觉语言模型的高效测试时缩放

Mehmet Onurcan Kaya, Desmond Elliott, Dim P. Papadopoulos

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.LG

AI总结 本文提出两种高效测试时缩放策略，通过模型内部特征提升小视觉语言模型的性能，同时保持计算效率。

Comments Accepted at ICLR 2026. Project Page: https://monurcan.github.io/efficient_test_time_scaling

Beyond Static Cutoffs: One-Shot Dynamic Thresholding for Diffusion Language Models

超越静态截止值：用于扩散语言模型的单次动态阈值技术

Jucheng Shen, Yeonju Ro

机构 * Rice University（里奇大学） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.LG

AI总结 本文提出单次动态阈值技术，用于改进扩散语言模型的解码效率，在多个基准测试中提升了准确率与吞吐量的平衡。

Comments 7 pages, NeurIPS 2025 Efficient Reasoning Workshop

Cognitive Chunking for Soft Prompts: Accelerating Compressor Learning via Block-wise Causal Masking

认知分块用于软提示：通过块级因果掩码加速压缩器学习

Guojie Liu, Yiqi Wang, Yanfeng Yang, Wenqi Fan, Songlei Jian, Jianfeng Zhang, Jie Yu

机构 * National University of Defense Technology（国防科技大学） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出PIC方法，通过块级因果掩码加速压缩器学习，提升压缩效率和性能。

MoESD: Unveil Speculative Decoding's Potential for Accelerating Sparse MoE

MoESD: 解开投机解码在加速稀疏MoE中的潜力

Zongle Huang, Lei Zhu, Zongyuan Zhan, Ting Hu, Weikai Mao, Xianzhi Yu, Yongpan Liu, Tianyu Zhang

机构 * Tsinghua University（清华大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 MoESD研究揭示了投机解码在加速稀疏MoE模型中的潜力，提出目标效率指标以更全面理解SD加速效果。

Comments Accepted as spotlight at NeurIPS 2025

Pyramid Token Pruning for High-Resolution Large Vision-Language Models via Region, Token, and Instruction-Guided Importance

通过区域、令牌和指令引导的重要性进行高分辨率大视觉-语言模型的金字塔令牌修剪

Yuxuan Liang, Xu Li, Xiaolei Chen, Yi Zheng, Haotian Chen, Bin Li, Xiangyang Xue

机构 * Shanghai Key Laboratory of Intelligent Information Processing（上海智能信息处理重点实验室） ； College of Computer Science and Artificial Intelligence（计算机科学与人工智能学院） 纠错

专题命中 效率与部署 ：language model(title,abstract)

AI总结 通过区域、令牌和指令引导的重要性进行高分辨率大视觉-语言模型的金字塔令牌修剪，有效降低计算和内存开销，同时保持性能

MAVIS: Multi-Objective Alignment via Inference-Time Value-Guided Selection

MAVIS: 通过推理时值引导选择实现多目标对齐

Jeremy Carleton, Debajoy Mukherjee, Srinivas Shakkottai, Dileep Kalathil

机构 * Department of Electrical and Computer Engineering, Texas A\&M University, College Station, Texas, USA（电气与计算机工程系，德克萨斯A&M大学，学院站，德克萨斯州，美国） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 MAVIS通过推理时值引导选择实现多目标对齐，通过训练小价值模型动态调整LLM输出，提升多目标平衡性能。

Comments 32 pages, 7 figures

KVCache Cache in the Wild: Characterizing and Optimizing KVCache Cache at a Large Cloud Provider

KVCache缓存在实际应用中：对KV缓存进行表征与优化，以大型云提供商为背景

Jiahao Wang, Jinbo Han, Xingda Wei, Sijie Shen, Dingyan Zhang, Chenguang Fang, Rong Chen, Wenyuan Yu, Haibo Chen

机构 * Institute of Parallel and Distributed Systems, Shanghai Jiao Tong University（并行与分布式系统研究院，上海交通大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文通过表征LLM服务提供商的KV缓存工作负载模式，提出了一种面向工作负载的缓存淘汰策略，以优化实际应用中的缓存性能。

Comments Accepted by USENIX ATC'25

Zooming without Zooming: Region-to-Image Distillation for Fine-Grained Multimodal Perception

无需缩放：用于细粒度多模态感知的区域到图像蒸馏

Lai Wei, Liangbo He, Jun Lan, Lingzhong Dong, Yutong Cai, Siyuan Li, Huijia Zhu, Weiqiang Wang, Linghe Kong, Yue Wang, Zhuosheng Zhang, Weiran Huang

机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） ； Zhongguancun Academy（中关村学院） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出区域到图像蒸馏方法，通过训练时间内化代理缩放能力，提升细粒度多模态感知性能。