语言大模型 / LLM

More Bang for the Buck: Improving the Inference of Large Language Models at a Fixed Budget using Reset and Discard (ReD)

更高效利用预算：使用重置与丢弃（ReD）方法在固定预算下提升大型语言模型的推理性能

Sagi Meir, Tommer D. Keidar, Noam Levi, Shlomi Reuveni, Barak Hirshberg

机构 * School of Chemistry, Tel Aviv University（特拉维夫大学化学系） ； The Center for Physics and Chemistry of Living Systems, Tel Aviv University（特拉维夫大学生命系统物理与化学中心） ； School of Physics and Astronomy, Tel Aviv University（特拉维夫大学物理与天文学系） ； The Center for Computational Molecular and Materials Science, Tel Aviv University（特拉维夫大学计算分子与材料科学中心） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 针对固定预算下大型语言模型推理的收益递减问题，提出重置与丢弃（ReD）查询方法，通过优化尝试分配提升覆盖率，并在编码、数学和推理基准上验证了其成本节约效果。

BUDDY: BUdget-Driven DYnamic Depth Routing for Adaptive Large Language Model Inference

BUDDY: 预算驱动的动态深度路由用于自适应大型语言模型推理

Yuhua Zhou, Shaoqi Yu, Shichao Weng, Changhai Zhou, Mingze Yin, Fei Yang, Aimin Pan

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 提出BUDDY框架，通过轻量决策模块根据输入动态选择top-k层，并复用KV缓存支持解码时自适应路由，在严格预算控制下提升精度-计算权衡。

From Hazard Functions to Language Space: Cox-Supervised Distillation of Survival Risk into a Large Language Model

从风险函数到语言空间：Cox监督的生存风险蒸馏到大语言模型

Nicholas I-Hsien Kuo, Blanca Gallego, Louisa Jorm

机构 * Centre for Big Data Research in Health, the University of New South Wales（新南威尔士大学健康大数据研究中心） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 提出将Cox比例风险模型的时间事件风险信息迁移到大语言模型中的方法，通过文本提示微调Qwen模型，在三个数据集上取得有竞争力的区分度和校准性，并发现隐藏状态呈现连续风险梯度。

Joint Structural Pruning and Mixed-Precision Quantization for LLM Compression

联合结构剪枝与混合精度量化的大语言模型压缩

Hoang-Loc La, Truong-Thanh Le, Amir Taherkordi, Phuong Hoai Ha

机构 * UiT The Arctic University of Norway（挪威北极大学） ； University of Oslo, Norway（挪威奥斯陆大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 提出端到端框架，通过全局误差最小化的混合精度量化策略和联合优化结构剪枝与量化策略，在超低比特下显著降低困惑度。

TRADE: Transducer-Augmented Decoder for Speech LLM

TRADE: 换能器增强的语音大语言模型解码器

Yun Tang, Shanil Puri, Shinji Watanabe, Subhabrata Mukherjee

机构 * Hippocratic AI ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出TRADE模型，通过换能器分支增强多模态大语言模型，实现帧同步对齐与语言推理结合，支持流式和非流式解码，在多个基准上取得低词错误率。

Contract2Tool: Learning Preconditions and Effects for Reliable Tool-Augmented LLM Agents

Contract2Tool: 学习可靠工具增强型LLM代理的前提条件和效果

Rahul Suresh Babu, Laxmipriya Ganesh Iyer

机构 * Independent Researcher（独立研究者） ； United States of America（美国） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出Contract2Tool框架，从元数据、文档和执行轨迹中推断工具契约，实现因果工具过滤，在保持可靠性的同时大幅减少工具选择和token使用。

CrossVLA: Cross-Paradigm Post-Training and Inference Optimization for Vision-Language-Action Models

CrossVLA: 跨范式后训练和推理优化用于视觉-语言-动作模型

Zhi Liu

机构 * Tianjin University（天津大学） 纠错

专题命中 效率与部署 ：post-training(title,abstract)；SFT(abstract,abstract_cn)；language model(abstract)；分类 cs.AI

AI总结 本文研究了视觉-语言-动作（VLA）模型的跨范式后训练方法，提出了CrossVLA框架，通过改进的连续动作流匹配估计器、对比LoRA和DoRA参数高效层的性能，并揭示了推理过程中去噪循环对延迟的影响，最终实现了在LIBERO数据集上的显著提升。

Comments Workshop draft, 14 pages, 4 figures. Code, ckpts, data: https://github.com/lz-googlefycy/vla-lab

Semantic Quorum Assurance: Collective Certification for Non-Deterministic AI Infrastructure

语义法定数保证：面向非确定性AI基础设施的集体认证

Jun He, Deying Yu

机构 * OpenKedge.io 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出语义法定数保证（SQA），一种通过多样化验证者群体和风险自适应法定数谓词，将非确定性LLM代理的不安全操作批准率从18.5%降至0.3%的控制平面原语。

Comments 21 pages, 2 figures, 6 tables

DYCP: Dynamic Context Pruning for Long-Form Dialogue with LLMs

DYCP：基于LLMs的长格式对话动态上下文修剪

Nayoung Choi, Jonathan Zhang, Jinho D. Choi

机构 * Computer Science Emory University（计算机科学 埃默里大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 DYCP通过动态识别和检索对话段落，提升长格式对话中LLM的上下文管理效率，实现更精确的上下文选择和推理效率提升。

Comments Accepted (B) to TACL 2026

Breaking the Tokenizer Barrier: On-Policy Distillation across Model Families

打破分词器壁垒：跨模型系列的在线策略蒸馏

Yifan Niu, Han Xiao, Dongyi Liu, Zelong Wang, Dihong Gong, Yasheng Wang, Jia Li

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Tencent（腾讯） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 效率与部署 ：SFT(abstract,abstract_cn)；LLM(abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出跨分词器在线策略蒸馏方法，通过精确的token映射算法使教师模型概率分布信号能跨不同分词器传播，显著提升计算效率。

Improving User Experience with Personalized Review Ranking and Summarization

通过个性化评论排名和摘要提升用户体验

Muhammad Jawad Mufti, Omar Hammad, MD. Mahfuzur Rahman

机构 * Information and Computer Science Dept., King Fahd University of Petroleum and Minerals（信息与计算机科学系，国王法赫德石油与矿物大学） ； Interdisciplinary Research Center for Intelligent Secure Systems (IRC-ISS), King Fahd University of Petroleum and Minerals（智能安全系统交叉研究中心（IRC-ISS），国王法赫德石油与矿物大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出融合用户偏好建模、混合情感估计、方面级评论匹配和LLM摘要的个性化评论排名与摘要框架，在亚马逊数据集和用户研究中优于现有方法。

FlashCP: Load-Balanced Communication-Efficient Context Parallelism for LLM Training

FlashCP: 面向LLM训练的负载均衡且通信高效的上下文并行

Zheng Wang, Eric Liu, Linan Jiang, Zhongkai Yu, Zaifeng Pan, Yue Guan, Yuke Wang, Yufei Ding

机构 * Stanford University（斯坦福大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；language model(abstract)；分类 cs.AI

AI总结 提出FlashCP框架，通过分片感知通信消除冗余KV传输，并设计Whole-Doc分片策略与启发式算法，实现负载均衡与通信高效，在多种数据集上取得最高1.63倍加速。

Comments 10 pages, 6 figures

Sparrow: Sparse Rollout for Stable and Efficient Long-context RL of Large Language Models

Sparrow: 用于大语言模型稳定高效长上下文强化学习的稀疏 rollout

Yang Zhou, Ranajoy Sadhukhan, Zhaofeng Sun, Zhuoming Chen, Souvik Kundu, Saket Dingliwal, Sai Muralidhar Jayanthi, Aram Galstyan, Haizhong Zheng, Beidi Chen

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Cornell University（康奈尔大学） ； Intel（英特尔） ； Amazon AGI（亚马逊AGI） 纠错

专题命中 效率与部署 ：large language model(title)；language model(title)；分类 cs.AI、cs.LG

AI总结 针对RLVR中长上下文rollout计算昂贵的问题，提出Sparrow方法，通过动态稀疏度调度保持token级策略失配的下尾统计量稳定，在Qwen3系列模型上实现2.0-2.4倍加速，并推广到更大模型和编程领域。

HARP: Efficient Data Selection for Finetuning Large Language Models

HARP：高效数据选择用于微调大型语言模型

Ning Wang, Zhengxin Zhang, Maosen Tang, Yitang Gao, Claire Cardie, Sainyam Galhotra

机构 * Cornell University（康奈尔大学） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 效率与部署 ：large language model(title)；language model(title)；分类 cs.AI、cs.LG

AI总结 提出层次主动区域剪枝（HARP），一种高效的基于训练的数据选择方法，通过层次结构和经验贝叶斯推断降低选择成本，同时保持下游对齐，在多个基准上优于最强基线最多8.9分，且训练样本减少约7倍。

EdgeFM: Efficient Edge Inference for Vision-Language Models

EdgeFM: 为视觉-语言模型高效边缘推理设计的框架

Mengling Deng, Yuanpeng Chen, Sheng Yang, Wei Tao, Wenhai Zhang, Hui Song, Linyuanhao Qin, Kai Zhao, Xiaojun Ye, Shanhui Mo, Jingli Fan, Shuang Zhang, Bei Liu, Tiankun Zhao, Xiangjing An

机构 * Go Further. AI ； School of Data Science Fudan University（复旦大学数据科学学院） ； RUYi Dynamics Co. Ltd（RUYi Dynamics有限公司） ； Independent Researcher（独立研究者） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 EdgeFM通过轻量级代理驱动框架，优化边缘部署的视觉-语言模型推理，提升跨平台性能和可移植性，实现比传统工具链更快的推理速度。

Comments Technique Report version

Multi-SPIN: Multi-Access Speculative Inference for Cooperative Token Generation at the Edge

Multi-SPIN：面向边缘协作令牌生成的多接入推测推理

Haotian Zheng, Zhanwei Wang, Mingyao Cui, Chang Cai, Hongyang Du, Kaibin Huang

机构 * Department of Electrical and Computer Engineering, The University of Hong Kong（香港大学电子与计算机工程系） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；small language model(abstract)

AI总结 提出多接入推测推理（Multi-SPIN）架构，通过联合优化草案长度控制和带宽分配，在异构边缘系统中最大化令牌总吞吐量。

Learning Fine-grained Parameter Sharing via Sparse Tensor Decomposition

通过稀疏张量分解学习细粒度参数共享

Cem Üyük, Mike Lasby, Mohamed Yassin, Utku Evci, Yani Ioannou

机构 * Department of Computer Science, Technical University of Munich（计算机科学系，慕尼黑技术大学） ； Schulich School of Engineering, University of Calgary（工程学院，卡尔加里大学） ； Google DeepMind, Canada（加拿大谷歌深Mind） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出FiPS框架，通过跨块参数共享、低秩分解和稀疏性联合优化，压缩Transformer MLP，在ViT和LLM上实现高效压缩且性能损失小。

Comments Accepted as is to Transactions on Machine Learning Research (TMLR), 2026. OpenReview: https://openreview.net/forum?id=vbS7Z8Zswe

ScaleSweep: Accurate NVFP4 Post-Training Quantization of LLMs via Block Scale Initialization

ScaleSweep: 通过块尺度初始化实现LLM的精确NVFP4训练后量化

Li Lin, Xiaojun Wan

机构 * Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机技术研究所） 纠错

专题命中 效率与部署 ：post-training(title)；LLM(title_cn)；分类 cs.AI、cs.LG

AI总结 提出ScaleSweep方法，通过扫描可行块尺度候选并选择最小化目标函数的候选，优化NVFP4量化中的尺度初始化，理论推导扫描范围边界，在Llama和Qwen模型上提升量化性能，缩小与全精度的差距。

Comments under review

SpectrumKV: Per-Token Mixed-Precision KV Cache Transfer for Prefill-Decode Disaggregated LLM Serving

SpectrumKV: 面向预填充-解码分离式LLM服务的逐令牌混合精度KV缓存传输

Yang Pengju

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.LG

AI总结 针对预填充-解码分离架构中KV缓存传输开销大的问题，提出SpectrumKV，通过为每个令牌分配不同精度（FP16/INT8/INT4）实现混合精度传输，并设计轻量部署探测自适应选择精度策略，在相同传输预算下显著提升模型质量并降低TTFT。

Comments 28 pages,13 figures,8 tables

AsyncLane: Decoupling Refinement from Advancement in Diffusion Language Model Decoding

AsyncLane: 扩散语言模型解码中精炼与推进的解耦

Yingxuan Ren, Yuxuan Lou, Yong Liu, Pengcheng Fang, Ziming Wang, Pengfei Zhou, Yang You

机构 * National University of Singapore（新加坡国立大学） ； University of Southampton（南安普顿大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL

AI总结 提出AsyncLane，一种无需训练的解码调度器，通过将生成过程分叉为精炼和推进两个通道，解耦块间依赖，在保持质量的同时显著提升扩散语言模型的解码吞吐量。

When Tabular Foundation Models Meet Strategic Tabular Data: A Prior Alignment Approach

当表格基础模型遇见策略性表格数据：一种先验对齐方法

Xinpeng Lv, Yunxin Mao, Renzhe Xu, Chunyuan Zheng, Yikai Chen, Haoxuan Li, Jinxuan Yang, Kun Kuang, Yuanlong Chen, Mingyang Geng, Wanrong Huang, Shixuan Liu, Shaowu Yang, Wenjing Yang, Zhouchen Lin, Haotian Wang

机构 * University of Science and Technology of China（中国科学技术大学） ； Tsinghua University（清华大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI

AI总结 本文研究了表格基础模型在策略性表格数据上的泛化能力，提出了一种策略感知的先验对齐框架SPN，以提高模型在策略性环境中的鲁棒性和预测性能。

Comments Accepted by ICML2026

LLM Inference at the Edge: Mobile, NPU, and GPU Performance Efficiency Trade-offs Under Sustained Load

边缘侧的大语言模型推理：移动、NPU和GPU在持续负载下的性能效率权衡

Pranay Tummalapalli, Sahil Arayakandy, Ritam Pal, Kautuk Kundan

机构 * Conscious Engines 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究评估了在持续负载下不同设备上大语言模型的性能效率，发现移动端受热管理限制，专用硬件受电池和内存带宽限制，展示了不同平台的推理表现和能效差异。

Comments 14 pages, 5 figures, 10 tables

Semantic Cache Distillation: Efficient State Transfer via Reuse and Selective Patching

语义缓存蒸馏：通过重用和选择性修补实现高效状态传输

Qianli Ma, Zhiqing Tang, Hanshuai Cui, Zhi Yao, Weijia Jia

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对大语言模型推理中KV缓存传输的通信瓶颈和跨模型重用时的语义错位问题，提出语义缓存蒸馏（SCD）框架，通过低秩子空间重建和稀疏过渡层归一化输入预测，实现高达2.65倍的首令牌时间加速，且生成质量接近理想情况。

Comments Accepted to ICML 2026

Full Attention Strikes Back: Transferring Full Attention into Sparse within Hundred Training Steps

全注意力再临：在数百次训练步骤内将全注意力转化为稀疏

Yanke Zhou, Yiduo Li, Hanlin Tang, Maohua Li, Kan Liu, Tao Lan, Lin Qu, Yuan Yao, Xiaoxing Ma

机构 * Nanjing University（南京大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 效率与部署 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文提出RTPurbo方法，通过利用模型内在稀疏性，在少量训练步骤内实现高效的稀疏注意力，从而在保持接近无损精度的同时，显著提升推理效率。

Comments 20 pages, 9 figures

Reward Shaping for (Inference-Time) Alignment: A Stackelberg Game Perspective

奖励塑形用于（推理时）对齐：一个Stackelberg博弈视角

Haichuan Wang, Tao Lin, Lingkai Kong, Ce Li, Hezi Jiang, Milind Tambe

机构 * University of Southern California（南加州大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 针对KL正则化导致LLM继承基策略偏见的问题，提出将奖励模型优化形式化为Stackelberg博弈，并通过简单奖励塑形方案近似最优奖励模型，在推理时对齐中持续提升平均奖励并达到超过66%的胜率。

Comments Accepted to ICML 2026. Camera-ready version

LUNA-AD: Lightweight Uncertainty-Aware Language Model with Lifelong Learning for Autonomous Driving

LUNA-AD: 面向自动驾驶的轻量级不确定性感知语言模型与终身学习

Ruoyu Yao, Pei Liu, Ruiguo Zhong, Mingxing Peng, Rui Yang, Jun Ma

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)

AI总结 提出LUNA-AD，一种结合三系统架构、多智能体分析、双头轻量模型和反思驱动终身学习的轻量级不确定性感知语言模型，在nuPlan上实现高成功率与低推理延迟。

Comments 16 pages,9 figures

Pruning and Distilling Mixture-of-Experts into Dense Language Models

将混合专家模型剪枝和蒸馏为密集语言模型

Junhyuck Kim, Jihun Yun, Haechan Kim, Gyeongman Kim, Joonghyun Bae, Jaewoong Cho

机构 * KRAFTON ； KAIST（韩国科学技术院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出首个将混合专家（MoE）模型转换为标准密集架构的系统框架，通过专家评分、选择、分组、拼接和知识蒸馏，在参数匹配条件下比密集到密集剪枝平均下游准确率提升6.3个百分点，训练速度提升1.6倍。

Component Ablation for Efficient Hybrid Language Model Architectures: Performance, Resilience, and Compression Implications

组件消融用于高效混合语言模型架构：性能、鲁棒性和压缩影响

Hector Borobia, Elies Seguí-Mas, Guillermina Tormo-Carbó

机构 * Doctoral Program in Computer Science, University of Valencia（瓦伦西亚大学计算机科学博士项目） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文通过组件消融研究混合语言模型，发现注意力机制与替代序列处理路径对性能有显著影响，揭示了模型鲁棒性与压缩优化的关键因素。

Comments 25 pages, 7 figures, 6 tables; revised title, abstract, figures, and data/code repository URL

PUMA: Layer-Pruned Language Model for Efficient Unified Multimodal Retrieval with Modality-Adaptive Learning

PUMA: 基于层剪枝的语言模型，用于具有模态自适应学习的高效统一多模态检索

Yibo Lyu, Rui Shao, Gongwei Chen, Yijie Zhu, Weili Guan, Liqiang Nie

机构 * Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)

AI总结 提出PUMA，通过层剪枝自蒸馏减少MLLM参数，并设计模态自适应对比学习损失（MAC-Loss）提升检索效率，在降低资源消耗的同时保持性能。

Multilingual Fact-Checking at Scale: Fine-Tuned Compact Models vs LLMs

大规模多语言事实核查：微调紧凑模型 vs 大语言模型

Pratuat Amatya, Vinay Setty

机构 * Factiverse 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 提出一个多语言事实核查系统，通过微调XLM-RoBERTa、mmBERT和SetFit模型，在114种语言的声明检测和28种语言的真实性预测中，与GPT-5.2等LLM相比，展示了紧凑模型的高效和稳定性能。