语言大模型 / LLM

BaseRT: Best-in-Class LLM Inference on Apple Silicon via Native Metal

BaseRT: 通过原生Metal在Apple Silicon上实现最佳LLM推理

Prabod Rathnayaka, Fabian Waschkowski, Lukas Wesemann

机构 * Base Compute, Melbourne, Australia（Base Compute，墨尔本，澳大利亚） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出基于原生Metal的推理运行时BaseRT，通过芯片特定内核融合、统一内存感知优化和自定义调度逻辑，在Apple Silicon上实现最高推理吞吐量，相比现有框架提升高达1.56倍解码吞吐量。

Output-Space Allocation Costs for Calibration-Guided LLM Compression: An Empirical Study

校准引导的LLM压缩中输出空间分配成本的实证研究

Qiong Tang, Xiangkun Hu, Xiangyang Liu, Yiran Chen, Yunfan Shao

机构 * Analemma 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究ROCKET方法中分配成本与输出空间目标对齐对压缩模型保真度的影响，发现存在准确率-困惑度权衡，且成本函数影响随压缩率降低而减弱。

SharQ: Bridging Activation Sparsity and FP4 Quantization for LLM Inference

SharQ：桥接激活稀疏性与FP4量化用于LLM推理

Haoqian Meng, Yilun Luo, Yafei Zhao, Wenyuan Liu, Huaqing Zheng, Xindian Ma, Peng Zhang

机构 * School of Computer Science and Technology, Tianjin University（天津大学计算机科学与技术学院） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出SharQ方法，通过在线稀疏-稠密分解结合N:M稀疏性与FP4量化，无需训练即可恢复NVFP4与FP16之间43-63%的精度差距，并在RTX 5090上实现2.2-2.4倍延迟降低。

Comments 20 pages, 4 figures

Unifying Data, Memory, and Compute Efficiency in LLM training: A Survey

统一LLM训练中的数据、内存和计算效率：一项综述

Vanessa Schmidt, Huy Hoang Nguyen, Cédric Jung, Shirin Salehi, Anke Schmeink

机构 * Chair of Information Theory and Data Analytics (INDA), RWTH Aachen University（亚琛工业大学信息理论与数据分析教席） ； AIT Austrian Institute of Technology GmbH（奥地利技术研究所） ； Automation and Control Institute, Technische Universität Wien (TUW)（维也纳工业大学自动化与控制研究所） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文从资源约束视角综述大语言模型训练中的数据效率、内存效率和计算预算感知三大瓶颈，强调三者需联合优化而非孤立处理。

Comments Accpeted for publication in IEEE Transactions on Artificial Intelligence (TAI)

SpenseGPT: Practical One-shot Pruning Enabling Sparse and Dense GEMMs for LLM Inference

SpenseGPT: 面向LLM推理的实用一次性剪枝，支持稀疏和稠密GEMM

Jaeseong Lee, Seung-won Hwang, Samyam Rajbhandari

机构 * Snowflake AI Research（Snowflake AI研究） ； Seoul National University（首尔大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；post-training(abstract)；分类 cs.CL、cs.LG

AI总结 提出Spense混合稀疏-稠密格式，将权重矩阵分为2:4稀疏和稠密区域，结合一次性剪枝方法SpenseGPT，在B200 GPU上实现高达1.2倍端到端解码加速，同时保持模型精度。

LLM-Guided Neural Architecture Search for Robust Co-Design of Physical Neural Networks

LLM引导的神经架构搜索用于物理神经网络的鲁棒协同设计

Tyler King, Timothee Leleu

机构 * University of California, Berkeley（加州大学伯克利分校） ； DeepMind（深度思维） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出UH-NAS框架，利用大语言模型作为进化算子，协同优化任务准确率和推理能耗，实现跨硬件平台的公平比较，在光学MZI硬件上发现更鲁棒的架构。

The Shadow Price of Intelligence: Quality Degradation in LLM Inference as a Supply Chain Problem

智能的影子价格：作为供应链问题的大语言模型推理质量退化

Elioth Sanabria

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文将LLM推理质量退化视为供应链问题，建模拥塞下的服务分配，揭示节流的反直觉影响，提出影子价格可毫秒级计算最优策略，证明拥塞时节流是需求杠杆而非成本杠杆。

Comments 40 pages, 12 figures. Numerical instances calibrated to public benchmark data for five LLM providers

FOCUS & RePAIR: Mitigating Text Degeneration via Token-Level Guidance for Pruned Large Language Models

FOCUS与RePAIR：针对剪枝后的大语言模型，通过令牌级引导缓解文本退化问题

Junyoung Lee, Sehyeon Park, Shinhyoung Jang, Seonha Ryu, Hojeong Kim, Hyunsei Lee, Il Hong Suh, Yeseong Kim

机构 * POSTECH（浦项科技大学） ； Daegu Gyeongbuk Institute of Science and Technology (DGIST)（大邱庆北科学技术院） ； Hanyang University（汉阳大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究针对剪枝后大语言模型的文本退化问题，提出FOCUS与RePAIR两种令牌级引导微调方法，在两类生成任务上均有效减少重复并提升生成质量。

Comments Accepted to ICML 2026 as a Spotlight

MLREF: Efficient Module Reuse for Reward Design in Reinforcement Learning via Large Language Models

MLREF：基于大语言模型的强化学习奖励设计中高效模块复用框架

Chenglin Liu, Xun Wang, Ruishuo Chen, Zhuoran Li, Longbo Huang

机构 * Institute for Interdisciplinary Information Sciences Tsinghua University（清华大学交叉信息研究院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究针对强化学习奖励设计瓶颈，提出MLREF框架，通过模块池复用奖励组件，结合三种优化机制，在17个任务上实现比强基线更优且更稳定的性能。

Comments 22 pages, 5 figures, 4 tables

MS-MFAD : Multimodal large language models for Face Anti-spoofing Detection

MS-MFAD：用于人脸活体检测的多模态大语言模型

Xiaoyong Yu, Rongzhen Li, Shuming Shi, Xinge You

机构 * Mashang Consumer Finance Co., Ltd.（马上消费金融股份有限公司） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；foundation model(abstract)

AI总结 针对人脸活体检测的复合威胁与现有方法瓶颈，提出基于多模态大语言模型MFAD的可解释系统，通过细粒度像素-语义锚定机制与少量语义标注实现优异检测性能，鲁棒性与效率更优。

KV-Pipe: On the Relation Between KV Sharing and Pipeline Parallel Efficiency in LLMs

KV-Pipe：LLM中KV共享与流水线并行效率的关系

Maryam Dialameh, Hossein Rajabzadeh, Harish Krishnamoorthy Murali, Walid Ahmed, Weiwei Zhang, Hyock Ju Kwon

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 KV-Pipe是一种感知阶段的KV共享机制，通过尾优先调整跨层KV共享平衡流水线工作负载，提升LLM训练效率，同时也优化长上下文推理性能。

SepPrune:A Separator-based Pruning Framework for Efficient Multimodal Large Language Models

SepPrune：一种基于分隔符的高效多模态大语言模型剪枝框架

Yuchen Wang, Qihui Zhu, Yang Liu, Xiaoyan Sun, Siying Wu

机构 * University of Science and Technology of China（中国科学技术大学） ； ChangXin Memory Technologies（长鑫存储技术有限公司） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

AI总结 针对多模态大语言模型视觉令牌计算成本高的问题，提出SepPrune剪枝方法，以模态分隔符令牌为统一查询来排序和选择视觉令牌，复用内置投影参数，无需架构更改，在Qwen2.5-VL-7B上实验取得最优性能。

Large Language Model Assisted Intent-Based Satellite-Integrated Access and Backhaul FWA for Rural Areas

基于大语言模型辅助的意图驱动型卫星集成接入与回传的农村地区固定无线接入

Anselme Ndikumana, Kim Khoa Nguyen, Adel Larabi, Mohamed Cheriet

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

AI总结 针对农村地区通信需求时空波动及资源利用低效问题，提出基于大语言模型辅助的意图感知卫星集成接入与回传方法，将用户意图转化为网络需求，开发动态卫星IAB的FWA网络方法，最大化能源效率，仿真验证方法有效。

Cross-Layer Error Compensation and Finite-Sample Feature-Statistics Matching for Extreme Low-Bit Quantization of Large Language Models

用于大语言模型极低比特量化的跨层误差补偿和有限样本特征统计匹配

Ryona Noda

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；post-training(abstract)

AI总结 研究大语言模型极低比特量化问题，提出跨层误差补偿和有限样本特征统计匹配联合优化方法，证明相关递归对任意非线性层精确化，实现高效实现，实验表明该方法在降低困惑度比及保持特征统计差异等方面效果显著。

Accelerating Masked Diffusion Large Language Models: A Survey of Efficient Inference Techniques

加速掩码扩散大语言模型：高效推理技术综述

Daehoon Gwak, Minhyung Lee, Junwoo Park, Jaegul Choo

机构 * KAIST AI（韩国科学技术院人工智能研究所） ； Yonsei University（延世大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 综述介绍用于扩散大语言模型的统一延迟分解框架，以理清算法、架构和系统因素对推理速度的影响，将加速技术分类，提供可重复基准测试指导方针并强调实现并行生成潜力的挑战。

Comments Accepted at IJCAI-ECAI 2026 (Survey Track)

Large Language Models for Token-Efficient and Semantic-Preserving Opinion Summarization

用于高效令牌和语义保留观点摘要的大语言模型

Fabrizio Marozzo, Stefano Iannicelli

机构 * University of Calabria（卡拉布里亚大学） 纠错

专题命中 效率与部署 ：large language model(title)；language model(title)；LLM(abstract)；prompting(abstract)

AI总结 研究如何在大语言模型进行观点摘要时保留语义并减少令牌使用，结合多维分类与分层抽样策略选择观点子集，定制提示生成摘要，实验证明该方法能降本增效，优于传统和标准大语言模型摘要基线。

Code-Level Cost Function Generation for Spatial Image Steganography Using RAG-Enhanced Large Language Models

使用RAG增强大语言模型进行空间图像隐写术的代码级成本函数生成

Yige Wang, Shiqi Yi, Hanzhou Wu

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

AI总结 该研究针对空间图像隐写术成本函数设计难题，提出利用RAG增强大语言模型的进化系统，含SE-RAG模块及反馈机制。实验表明，此框架安全性更高，还提升了代码执行率并降低搜索成本，凸显结合大语言模型与领域知识的优势。

Selective Disclosure Watermarking for Large Language Models

面向大语言模型的选择性披露水印技术

Xuyang Chen, Xiang Li, Yangxinyu Xie, Qi Long

机构 * Xuyang Chen 1（陈绪阳 1） ； Xiang Li 1（李翔 1） ； Yangxinyu Xie 1（谢洋新宇 1） ； Qi Long 1（龙启 1） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对现有多比特LLM水印无法部分披露引发隐私泄露问题，提出分层词汇路由框架，实现细粒度水印访问控制，保障文本质量且检测精度高、延迟低。

Comments Accepted at ICML 2026

Words as Difference Makers: How Large Language Models Determine Causal Structure in Text

词汇作为差异制造者：大型语言模型如何确定文本中的因果结构

Wolfgang Pietsch

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出大型语言模型通过变分归纳逻辑学习因果结构，并分析其训练过程与架构特征如何实现差异制造者识别。

Comments 36 pages, 6 figures

Large Language Models in Process Systems Engineering: Opportunities, Architectures, and Industrial Deployment Challenges

过程系统工程中的大语言模型：机遇、架构与工业部署挑战

Bhushan Gopaluni, Vidya Kotamraju, Syon Bhushan

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

AI总结 本文系统综述了大语言模型在过程系统工程中的应用，涵盖七个领域，指出其在自然语言任务上表现良好，但在实时执行、约束满足和形式化安全保证方面仍面临挑战。

Recency/Frequency Adaptive KV Caching for Large Language Model Serving

面向大语言模型服务的近期/频率自适应KV缓存

Yang Shen, Meghana Madhyastha, Robert Underwood, Bogdan Nicolae, Randal Burns

机构 * Department of Computer Science, Johns Hopkins University, Baltimore, USA（约翰霍普金斯大学计算机科学系） ； Argonne National Laboratory, Lemont, USA（阿贡国家实验室） ； Parasail, Inc., San Mateo, USA（Parasail公司） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG；foundation model(comments)

AI总结 针对LRU策略在多工作负载下缓存失效问题，提出自适应KV缓存，动态分配近期与高频KV块的空间，在合成文档问答中缓存命中率提升10.8%，首令牌时间降低12.6%。

Comments Accepted at the ICML 2026 Workshop on Resource-Adaptive Foundation Model Inference (AdaptFM)

The Asymmetric Harms of LLM Compression

大语言模型压缩的非对称危害

Yuan Wu, Mairui Li, Lesia Semenova, Chudi Zhong

机构 * Rice University（莱斯大学） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； Rutgers University（罗格斯大学） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本研究通过评估3个LLM、11种压缩方法，发现LLM压缩会引发知识保留、置信度及偏见的非对称变化，聚合指标无法捕捉，需对压缩模型开展细粒度评估。

TileMix: Tile-Centric Mixed-Precision Attention for LLM Inference Acceleration

TileMix：面向大语言模型推理加速的以块为中心的混合精度注意力机制

Hanzhi Zhang, Qiao Zhang, Qinglei Cao, Heng Fan, Yan Huang, Kewei Sha, Yunhe Feng

机构 * University of North Texas（北得克萨斯大学） ； Saint Louis University（圣路易斯大学） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 TileMix是一种以块为中心的混合精度注意力内核，通过硬件对齐的分数块路由实现LLM推理加速，可恢复长上下文质量并提升预填充吞吐量，支持多种模型与任务场景。

A Hybrid Nested Harness for Decoupling Structure and Parameters in LLM-Driven Optimization

用于解耦大语言模型驱动优化中结构与参数的混合嵌套框架

Víctor Gallego

机构 * Komorebi AI Technologies（Komorebi人工智能技术公司） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；language model(abstract)；分类 cs.LG

AI总结 该研究提出混合嵌套框架解耦LLM驱动优化的结构与参数，外层LLM提结构草图、内层优化器调参，在三类任务中性能优于纯LLM及纯数值优化基线。

Comments Published as a conference paper at LM4Sci Workshop @ COLM 2026

A Picture is Worth a Thousand Tokens: How Vision Language Models Cut AI Energy Costs While Improving Accuracy

一图胜千词：视觉语言模型如何在提升准确率的同时降低AI能源成本

Bhavika Jalli, Nikhil Korati Prasanna, Jayanta Choudhury

专题命中 效率与部署 ：LLM(summary_cn,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 该研究提出将时间序列编码为二维图的视觉语言模型，可大幅减少输入词元、降低推理能耗，同时在电信异常检测等任务中提升准确率，解决了LLM处理多维度KPI数据的低效问题。

Comments Accepted at the 14th European Conference on Renewable Energy Systems (ECRES), July 7--9, 2026, London, UK

LLM Inference Under Bursty Workload Distribution: Modifying the WAIT Algorithm

突发工作负载分布下的大语言模型推理：对WAIT算法的改进

Anjali Gangadhar Katageria, Shobha Rani, Raghu Nandan Sengupta

机构 * Indian Institute of Technology Dharwad（印度达尔瓦德印度理工学院） ； Indian Institute of Technology Kanpur（印度坎普尔印度理工学院） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 该研究针对LLM推理中突发工作负载的问题，改进了WAIT算法，通过在线估计请求强度提升了低到达率变化场景下的吞吐量，且延迟与现有基准相当。

BLADE: Boundary-Expanded and Layer-Adaptive Dynamic Exit for Efficient LLM Reasoning

BLADE：用于高效大语言模型推理的边界扩展与层自适应动态出口

Keshu Fu, Keqin Peng, Jun Bai, Shuhan Qin, Chen Li, Junzhu Liang, Yefei Chen, Jiaqi Li, Yuanxin Ouyang

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 BLADE是一种轻量级框架，通过构建多粒度检查点、学习紧凑探测层子集等，在保持接近基线准确率的同时，减少大语言模型的推理计算与生成令牌量，提升了LLM推理效率。

Comments 8 pages

Cluster, Route, Escalate: Cascaded Framework for Cost-Aware LLM Serving

聚类、路由、升级：成本感知的LLM服务级联框架

Yasmin Moslem, Magdalena Kacmajor, Vasudevan Nedumpozhimana, Ammar Abbas, Solmaz Panahi, David Lynch, Zhuangzhuang Nie, Alexandros Agapitos, Aleksandar Milenovic, Hongmeng Song, Yucheng Shi, Yue Pan, Patricia Buffini, John D. Kelleher

机构 * ADAPT Centre, Trinity College Dublin（ADAPT中心，都柏林信任学院） ； Huawei Research（华为研究） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出两阶段级联框架，通过聚类分配查询到最经济的模型，并利用质量估计升级低质量输出，在保持97-99%准确率的同时降低每输出token时间。

Safe to Check, Unsafe to Use: Relinking at the Compression Boundary of LLM Agents

安全检查，不安全使用：LLM代理压缩边界处的重链接

Zesen Liu, Zihan Zhang, Dongdong She

专题命中 效率与部署 ：LLM(title,title_cn)；post-training(abstract)；分类 cs.AI

AI总结 提出重链接漏洞，利用摘要压缩将分散的良性片段重组为恶意指令，并设计Relink工具自动化攻击，在四个长上下文代理基准上达到86.9%成功率。

Efficient On-Device Diffusion LLM Inference with Mobile NPU

基于移动NPU的高效设备端扩散大语言模型推理

Tuowei Wang, Yanfan Sun, Ju Ren

机构 * Tsinghua University（清华大学） ； Beihang University（北京航空航天大学） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出首个NPU感知推理框架Diffusion-LLM-on-NPU，通过多块推测解码、双路径渐进修正和交换优化内存运行时，在移动设备上加速扩散大语言模型推理，相比CPU基线实现17-42倍延迟降低。