语言大模型 / LLM

BigPower: Hierarchical Source-Level Module Power Estimation for CPUs with Large Language Models

BigPower: 基于大型语言模型的CPU层次化源码级模块功耗估计

Honghua Zhu, Chunjie Luo, Jianfeng Zhan

机构 * State Key Lab of Processors, Institute of Computing Technology, Chinese Academy of Sciences Beijing China（处理器国家重点实验室，计算技术研究所，中国科学院北京中国） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 提出BigPower，利用大型语言模型表示和架构层次、模块连接、配置参数及工作负载上下文，直接从源码级设计信息估计CPU模块级功耗，无需仿真，在香山处理器上验证了有效性。

Comments 12 pages, 10 figures

Visual-Redundancy-Controlled Parallel Decoding for Diffusion-Based Multimodal Large Language Models

基于扩散的多模态大语言模型的视觉冗余控制并行解码

Yulin Yuan, Hongshuo Zhao, Xiangming Meng

机构 * Zhejiang University（浙江大学） ； ZJUI-UIUC Institute（ZJUI-UIUC研究院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 针对扩散型多模态大语言模型并行解码中视觉冗余问题，提出视觉冗余指数（VRI）和无需训练的视觉冗余控制解码（VRCD）方法，通过令牌到图像的注意力优先选择视觉互补位置，在多个基准上提升准确率。

Comments 18 pages, 5 figures, preprint. Code is available at https://github.com/infiniteYuanyl/VRCD

BUDDY: BUdget-Driven DYnamic Depth Routing for Adaptive Large Language Model Inference

BUDDY: 预算驱动的动态深度路由用于自适应大型语言模型推理

Yuhua Zhou, Shaoqi Yu, Shichao Weng, Changhai Zhou, Mingze Yin, Fei Yang, Aimin Pan

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 提出BUDDY框架，通过轻量决策模块根据输入动态选择top-k层，并复用KV缓存支持解码时自适应路由，在严格预算控制下提升精度-计算权衡。

From Hazard Functions to Language Space: Cox-Supervised Distillation of Survival Risk into a Large Language Model

从风险函数到语言空间：Cox监督的生存风险蒸馏到大语言模型

Nicholas I-Hsien Kuo, Blanca Gallego, Louisa Jorm

机构 * Centre for Big Data Research in Health, the University of New South Wales（新南威尔士大学健康大数据研究中心） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 提出将Cox比例风险模型的时间事件风险信息迁移到大语言模型中的方法，通过文本提示微调Qwen模型，在三个数据集上取得有竞争力的区分度和校准性，并发现隐藏状态呈现连续风险梯度。

USAD 2.0: Scaling Representation Distillation for Universal Audio Understanding

USAD 2.0：面向通用音频理解的表征蒸馏规模化

Heng-Jui Chang, Alexander H. Liu, Saurabhchand Bhati, Mrudula Athi, Anton Ratnarajah, Amit Chhetri, James Glass

机构 * MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） ； Amazon（亚马逊） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 提出USAD 2.0通用音频编码器，通过领域感知蒸馏融合自监督和监督基础模型知识，并扩展至音乐领域，经深度缩放达到十亿参数，在探测和基于LLM的评估中取得领先性能。

Comments Accepted to Interspeech 2026

Semantic Constraint Synthesis for Adaptive Trajectory Optimization via Large Language Models

基于大语言模型的语义约束综合用于自适应轨迹优化

Eleanor Brosius, Yuji Takubo, Daniele Gammelli, Simone D'Amico, Marco Pavone

机构 * Stanford University（斯坦福大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 提出利用大语言模型将自然语言描述的任务需求转化为可执行的轨迹优化代码和数学公式，在航天器交会场景中实现了从语义需求重构凸轨迹优化问题的高成功率。

Comments 7 pages, 4 figures, Presented as a short paper at IEEE CVPR 2026, AI4Space Workshop

SFMP: Fine-Grained, Hardware-Friendly and Search-Free Mixed-Precision Quantization for Large Language Models

SFMP：面向大语言模型的细粒度、硬件友好且免搜索的混合精度量化

Xin Nie, Haicheng Zhang, Liang Dong, Beining Feng, Jinhong Weng, Guiling Sun

机构 * College of Electronic Information and Optical Engineering, Nankai University（南开大学电子信息与光工程学院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 提出SFMP框架，通过分数位宽、块级混合精度、行列重排序和统一GEMM内核，实现免搜索、硬件友好的混合精度量化，在相同内存约束下优于现有方法。

Comments 30 pages,17 figures

Vision Inference Former: Sustaining Visual Consistency in Multimodal Large Language Models

Vision Inference Former：在多模态大语言模型中维持视觉一致性

Xinpeng Dong, Min Zhang, Kairong Han, Xu Tan, Fei Wu, Kun Kuang

机构 * Zhejiang University（浙江大学） ； East China Normal University（华东师范大学） ； Zhejiang University of Science and Technology（浙江理工大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 针对多模态大语言模型中视觉信息被弱化的问题，提出Vision Inference Former（VIF）轻量模块，在推理解码阶段持续注入视觉语义，提升生成内容与视觉的一致性。

MTA: Multi-Granular Trajectory Alignment for Large Language Model Distillation

MTA：面向大型语言模型蒸馏的多粒度轨迹对齐

Pham Khanh Chi, Quoc Phong Dao, Thuat Nguyen, Linh Ngo Van, Trung Le, Thanh Hong Nguyen

机构 * Hanoi University of Science and Technology（河内理工大学） ； Monash University（墨尔本大学） ； University of Oregon（俄勒冈大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 提出多粒度轨迹对齐（MTA）框架，通过层自适应策略对齐师生模型的层间变换轨迹，结合动态结构对齐损失和隐藏表示对齐损失，提升知识蒸馏效果。

Comments ACL 2026

InfoMerge: Information-aware Token Compression for Efficient Video Large Language Models

InfoMerge: 信息感知的令牌压缩用于高效视频大语言模型

Xinxin Liu, Shiwei Gan, Xiao Liu, Yafeng Yin, Lei Xie, Sanglu Lu

机构 * State Key Laboratory of Novel Software Technology（新型软件技术国家重点实验室） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 提出InfoMerge，一种无需训练的视觉令牌压缩方法，通过鲁棒冗余估计和内容感知预算分配，在减少85%视觉令牌的同时保持98.8%性能，实现4.24倍预填充加速。

Comments 15 pages, 8 figures

Efficient RAG with Intent-Aware Retrieval and Semantics-Preserving Chunking

基于意图感知检索与语义保持分块的高效RAG

Fachrina Dewi Puspitasari, Chaoning Zhang, Jiaquan Zhang, Zhicheng Wang, Hafiz Shakeel Ahmad Awan, Rizwan Qureshi, Jewon Lee, Tae-Ho Kim, Yang Yang

机构 * School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院） ； Massachusetts General Hospital, Harvard University（哈佛大学马萨诸塞州总医院） ； Nota AI 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；SLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出InSemRAG框架，通过意图感知检索器和语义保持分块模块，结合迭代检索-检查机制，解决传统RAG的信息不足问题，在多跳和证据敏感任务上取得显著提升。

ProactiveLLM: Learning Active Interaction for Streaming Large Language Models

ProactiveLLM: 学习流式大语言模型的主动交互

Junlong Tong, Yao Zhang, Anhao Zhao, Yingqi Fan, Yunpu Ma, Xiaoyu Shen

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 提出ProactiveLLM，利用模型内生状态指导交互决策，通过掩码流式建模和同步特权自蒸馏实现主动交互，减少延迟并保持质量。

Comments ICML 2026

Visual-Noise Guided In-Context Distillation for Multimodal Large Language Model Unlearning

视觉噪声引导的上下文蒸馏用于多模态大语言模型遗忘

Junkai Chen, Yuhao He, Junxiang You, Ruiqi Liu, Chenyu Wang, Shu Wu

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Advanced Interdisciplinary Sciences, UCAS（北京大学交叉学科研究院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 提出视觉噪声引导的上下文蒸馏（VGID）框架，通过双模态干预构建教师分布进行蒸馏，实现多模态大语言模型参数级遗忘，平衡遗忘效果与模型效用。

FIRM: Federated In-client Regularized Multi-objective Alignment for Large Language Models

FIRM: 面向大型语言模型的联邦客户端内正则化多目标对齐

Fatemeh Nourzad, Amirhossein Roknilamouki, Eylem Ekici, Jia Liu, Ness Shroff

机构 * Department of Electrical and Computer Engineering, The Ohio State University, Columbus, OH, USA（电气与计算机工程系，俄亥俄州立大学，哥伦布，OH，USA） ； Department of Computer Science and Engineering, The Ohio State University, Columbus, OH, USA（计算机科学与工程系，俄亥俄州立大学，哥伦布，OH，USA） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 提出FIRM算法，通过客户端内正则化缓解客户端分歧漂移并提高通信效率，实现联邦多目标对齐，并首次给出有限时间收敛保证。

Semantic Triplet Restoration: A Novel Protocol for Hierarchical Table Understanding in Large Language Models

语义三元组恢复：大型语言模型中层次化表格理解的新协议

Yibin Zhao, Fangxin Shang, Dingrui Yang, Yuqi Wang

机构 * Taiyuan University of Technology（太原科技大学） ； AI Lab, Qifu Technology（启福科技AI实验室） ； AI Lab, Greensea Technology（绿海科技AI实验室） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 提出语义三元组恢复（STR）协议，将表格重写为<项目路径，特征路径，值>原子事实，并设计TripletQL路由以选择三元组子集，在四个表格问答基准上匹配或超越HTML基线并减少输入令牌。

Differentiable Mixture-of-Agents Incentivizes Swarm Intelligence of Large Language Models

可微分的混合智能体激励大型语言模型的群体智能

Xingjian Wu, Junkai Lu, Siyu Yan, Xiangfei Qiu, Jilin Hu, Chenjuan Guo, Bin Yang

机构 * East China Normal University（华东师范大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 提出可微分的混合智能体（DMoA）框架，通过可微分的上下文感知路由机制动态激活智能体，实现推理过程中的弹性协作，并在9个基准上取得最优性能。

SALAAD: Sparse And Low-Rank Adaptation via ADMM for Large Language Model Inference

SALAAD: 基于ADMM的稀疏低秩适配用于大语言模型推理

Hao Ma, Melis Ilayda Bal, Liang Zhang, Bingcong Li, Niao He, Melanie Zeilinger, Michael Muehlebach

机构 * ETH Zurich（苏黎世联邦理工学院） ； Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所） ； École polytechnique fédérale de Lausanne (EPFL)（洛桑联邦理工学院（EPFL）） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 提出SALAAD框架，通过增广拉格朗日方法在训练中诱导稀疏低秩结构，实现模型容量灵活控制，降低部署内存且无需重训。

LFQ: Logit-aware Final-block Quantization for Boosting the Generation Quality of Low-Bit Quantized LLMs

LFQ：面向提升低比特量化LLM生成质量的逻辑感知最终块量化

Jung Hyun Lee, June Yong Yang, Jungwook Choi, Eunho Yang

机构 * Kim Jaechul Graduate School of AI, KAIST, Daejeon, South Korea（韩国科学技术院人工智能研究生院） ； LG AI Research, Seoul, South Korea（LG人工智能研究） ； Hanyang University, Seoul, South Korea（翰阳大学） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 针对低比特量化LLM在生成任务中质量下降的问题，提出通过最小化FP模型与量化模型在最终Transformer块上的logits交叉熵来优化量化，从而提升复杂生成任务的准确性。

Comments Accepted to ICML 2026

Spectra as Language: Large Language Models for Scalable Stellar Parameter and Abundance Inference

光谱即语言：用于可扩展恒星参数和丰度推断的大型语言模型

Hai-Ling Lu, Yu-Yang Li, Yin-Bi Li, Cun-Shi Wang, A-Li Luo, Jun-Chao Liang, Shuo Li

机构 * National Astronomical Observatories, Chinese Academy of Sciences, Beijing 100101, China（中国科学院国家天文台） ； University of Chinese Academy of Sciences, Beijing 100049, China（中国科学院大学） ； School of Astronomy and Space Science, University of Chinese Academy of Sciences, Beijing 100049, China（中国科学院大学天文与空间科学学院） ； University of Chinese Academy of Sciences, Nanjing 211135, China（中国科学院大学南京校区） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 提出两阶段大型语言模型框架，将恒星光谱视为序列信号，实现有效温度、表面重力、金属丰度及约20种化学元素丰度的准确估计，并展示随数据量增加性能系统提升的可扩展性。

SAE-FD: Sparse Autoencoder Feature Distillation for Continual Learning of Large Language Models

SAE-FD: 面向大语言模型持续学习的稀疏自编码器特征蒸馏

Mingxu Zhang, Yuhan Li, Lujundong Li, Dazhong Shen, Hui Xiong, Ying Sun

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Nanjing University of Aeronautics and Astronautics（南京航空航天大学） ； The 63rd Research Institute, National University of Defense Technology, Nanjing（国防科技大学第六十三研究所，南京） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 针对持续学习中的灾难性遗忘问题，提出基于稀疏自编码器特征蒸馏的方法，通过将模型表示锚定在稀疏特征空间以减少表征纠缠，实现更精准的正则化，在多个基准上优于现有方法。

Membership Inference Attacks on Tokenizers of Large Language Models

大型语言模型分词器的成员推理攻击

Meng Tong, Yuntao Du, Kejiang Chen, Weiming Zhang, Ninghui Li

机构 * University of Science and Technology of China（中国科学技术大学） ； Purdue University（普渡大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 针对预训练大型语言模型成员推理攻击的挑战，提出以分词器作为新攻击向量，探索五种攻击方法，并设计自适应防御。

Comments To appear at USENIX Security Symposium 2026

Divide-and-Conquer Inference for Large-Scale Visual Recognition with Multimodal Large Language Models

面向大规模视觉识别的多模态大语言模型分治推理

Zhipeng Ye, Jiaqi Huang, Feng Jiang, Qiufeng Wang, Yikang Duan, Dawei Wang, Xihang Zhou, Qian Qiao

机构 * Taizhou Institute of Science and Technology, Nanjing University of Science and Technology（泰州科技学院、南京理工大学） ； Department of Intelligence Science, Xi’an Jiaotong-Liverpool University（智能科学系，西安交通大学利物浦大学） ； School of Computer Science and Technology, Soochow University（计算机科学与技术学院，苏州大学） ； Department of Statistical Sciences, University of Toronto（统计科学系，多伦多大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 针对多模态大语言模型在长序列识别中性能崩溃的问题，提出分治推理（DCI）策略，通过递归分解任务和动态剪枝提升信噪比与分类精度。

Toxic Subword Pruning for Dialogue Response Generation on Large Language Models

针对大型语言模型的对话响应生成中的有毒子词修剪

Hongyuan Lu, Wai Lam

机构 * FaceMind Corporation（FaceMind公司） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本文提出了一种名为ToxPrune的新型算法，通过修剪包含有毒词的子词来防止大型语言模型生成有毒内容，同时提升了对话响应生成任务中非有毒模型的表现。

Comments ACL *SEM 2026

Heterogeneity-Aware Dataset Scheduling for Efficient Audio Large Language Model Training

面向异质性的数据集调度以实现高效的音频大语言模型训练

Yanru Wu, Jianning Wang, Chongxin Gan, Yang Li

机构 * Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Independent Researcher（独立研究者） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 本文提出了一种面向异质性的数据集调度方法GST，通过将数据集分组并按渐进调度策略引入，平衡了并行训练的稳定性与序列优化的效率，从而在14个AudioQA数据集上实现了30-40%的更快收敛速度。

QWHA: Quantization-Aware Walsh-Hadamard Adaptation for Parameter-Efficient Fine-Tuning on Large Language Models

QWHA: 量化感知的沃尔什-哈达玛适应用于大型语言模型的参数高效微调

Hyesung Jeon, Seojune Lee, Beomseok Kang, Yulhwa Kim, Jae-Joon Kim

机构 * Seoul National University（首尔国立大学） ； Sungkyunkwan University（全北国立大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本文提出QWHA方法，通过将基于傅里叶变换的适配器与沃尔什-哈达玛变换结合，改进量化感知参数高效微调，有效减少量化误差并降低计算成本。

Comments 25 pages, 9 figures, 14 tables

Journal ref ICLR 2026 Poster

Rethinking 1-bit Optimization Leveraging Pre-trained Large Language Models

重新思考利用预训练大语言模型的1位优化

Zhijun Tu, Jian Li, Yuanyuan Xi, Siqi Liu, Chuanjian Liu, Hanting Chen, Jie Hu, Yunhe Wang

机构 * Huawei Technologies Co., Ltd（华为技术有限公司） 纠错

专题命中 效率与部署 ：large language model(title)；language model(title)；LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 本文提出了一种一致的渐进式训练方法，通过将全精度权重逐步转化为二值化权重，以提高1位大语言模型的性能，并通过二进制感知初始化和双缩放补偿减少训练难度。

Comments 15 pages, 7 figures

We Think, Therefore We Align LLMs to Helpful, Harmless and Honest Before They Go Wrong

我们思考，因此我们对LLMs进行对齐，使其在出错前变得有益、无害和诚实

Gautam Siddharth Kashyap, Mark Dras, Usman Naseem

机构 * School of Computing Macquarie University（计算机学院麦Quarie大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract_cn)；RLHF(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出AMBS框架，通过在1-to-N Transformer设置中参数化目标特定转换，解决LLM对齐中多个目标之间的干扰问题，提升HHH目标的联合满足能力。

DiscussLLM: Teaching Large Language Models When to Speak

DiscussLLM：教大语言模型何时说话

Deep Anil Patel, Iain Melvin, Christopher Malon, Martin Renqiang Min

机构 * NEC Laboratories America（NEC美洲实验室） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 DiscussLLM通过两阶段数据生成管道合成大规模多轮人类讨论数据，训练模型主动决定何时发言，提升对话AI的响应能力。

Distribution Corrected Offline Data Distillation for Large Language Models

用于大型语言模型的分布校正离线数据蒸馏

Yumeng Zhang, Zhengbang Yang, Yevin Nikhel Goonatilake, Zhuangdi Zhu

机构 * George Mason University（乔治·马歇尔大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本文提出一种分布校正的离线推理蒸馏框架，通过适应性强调与学生模型推理分布更一致的教师监督，提升推理准确性并保持指令遵循能力。

OmniSIFT: Modality-Asymmetric Token Compression for Efficient Omni-modal Large Language Models

OmniSIFT: 多模态非对称令牌压缩用于高效的多模态大语言模型

Yue Ding, Yiyan Ji, Jungang Li, Xuyang Liu, Xinlong Chen, Junfei Wu, Bozhou Li, Bohan Zeng, Yang Shi, Yushuo Guan, Yuanxing Zhang, Jiaheng Liu, Qiang Liu, Pengfei Wan, Liang Wang

机构 * New Laboratory of Pattern Recognition (NLPR), Institute of Automation, Chinese Academy of Sciences (CASIA)（模式识别新实验室（NLPR）、自动化研究所、中国科学院（CASIA）） ； Nanjing University（南京大学） ； The Hong Kong University of Science（香港科学大学） ； Sichuan University（四川大学） ； Peking University（北京大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 OmniSIFT通过非对称令牌压缩框架提升多模态大语言模型效率，采用时空视频修剪和视觉引导音频选择模块，实现低参数高鲁棒性。

Comments [ICML 2026] Code Link: https://github.com/dingyue772/OmniSIFT