语言大模型 / LLM

KV-Pipe: On the Relation Between KV Sharing and Pipeline Parallel Efficiency in LLMs

KV-Pipe：LLM中KV共享与流水线并行效率的关系

Maryam Dialameh, Hossein Rajabzadeh, Harish Krishnamoorthy Murali, Walid Ahmed, Weiwei Zhang, Hyock Ju Kwon

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 KV-Pipe是一种感知阶段的KV共享机制，通过尾优先调整跨层KV共享平衡流水线工作负载，提升LLM训练效率，同时也优化长上下文推理性能。

SepPrune:A Separator-based Pruning Framework for Efficient Multimodal Large Language Models

SepPrune：一种基于分隔符的高效多模态大语言模型剪枝框架

Yuchen Wang, Qihui Zhu, Yang Liu, Xiaoyan Sun, Siying Wu

机构 * University of Science and Technology of China（中国科学技术大学） ； ChangXin Memory Technologies（长鑫存储技术有限公司） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

AI总结 针对多模态大语言模型视觉令牌计算成本高的问题，提出SepPrune剪枝方法，以模态分隔符令牌为统一查询来排序和选择视觉令牌，复用内置投影参数，无需架构更改，在Qwen2.5-VL-7B上实验取得最优性能。

Large Language Model Assisted Intent-Based Satellite-Integrated Access and Backhaul FWA for Rural Areas

基于大语言模型辅助的意图驱动型卫星集成接入与回传的农村地区固定无线接入

Anselme Ndikumana, Kim Khoa Nguyen, Adel Larabi, Mohamed Cheriet

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

AI总结 针对农村地区通信需求时空波动及资源利用低效问题，提出基于大语言模型辅助的意图感知卫星集成接入与回传方法，将用户意图转化为网络需求，开发动态卫星IAB的FWA网络方法，最大化能源效率，仿真验证方法有效。

Cross-Layer Error Compensation and Finite-Sample Feature-Statistics Matching for Extreme Low-Bit Quantization of Large Language Models

用于大语言模型极低比特量化的跨层误差补偿和有限样本特征统计匹配

Ryona Noda

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；post-training(abstract)

AI总结 研究大语言模型极低比特量化问题，提出跨层误差补偿和有限样本特征统计匹配联合优化方法，证明相关递归对任意非线性层精确化，实现高效实现，实验表明该方法在降低困惑度比及保持特征统计差异等方面效果显著。

Accelerating Masked Diffusion Large Language Models: A Survey of Efficient Inference Techniques

加速掩码扩散大语言模型：高效推理技术综述

Daehoon Gwak, Minhyung Lee, Junwoo Park, Jaegul Choo

机构 * KAIST AI（韩国科学技术院人工智能研究所） ； Yonsei University（延世大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 综述介绍用于扩散大语言模型的统一延迟分解框架，以理清算法、架构和系统因素对推理速度的影响，将加速技术分类，提供可重复基准测试指导方针并强调实现并行生成潜力的挑战。

Comments Accepted at IJCAI-ECAI 2026 (Survey Track)

Large Language Models for Token-Efficient and Semantic-Preserving Opinion Summarization

用于高效令牌和语义保留观点摘要的大语言模型

Fabrizio Marozzo, Stefano Iannicelli

机构 * University of Calabria（卡拉布里亚大学） 纠错

专题命中 效率与部署 ：large language model(title)；language model(title)；LLM(abstract)；prompting(abstract)

AI总结 研究如何在大语言模型进行观点摘要时保留语义并减少令牌使用，结合多维分类与分层抽样策略选择观点子集，定制提示生成摘要，实验证明该方法能降本增效，优于传统和标准大语言模型摘要基线。

Code-Level Cost Function Generation for Spatial Image Steganography Using RAG-Enhanced Large Language Models

使用RAG增强大语言模型进行空间图像隐写术的代码级成本函数生成

Yige Wang, Shiqi Yi, Hanzhou Wu

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

AI总结 该研究针对空间图像隐写术成本函数设计难题，提出利用RAG增强大语言模型的进化系统，含SE-RAG模块及反馈机制。实验表明，此框架安全性更高，还提升了代码执行率并降低搜索成本，凸显结合大语言模型与领域知识的优势。

Selective Disclosure Watermarking for Large Language Models

面向大语言模型的选择性披露水印技术

Xuyang Chen, Xiang Li, Yangxinyu Xie, Qi Long

机构 * Xuyang Chen 1（陈绪阳 1） ； Xiang Li 1（李翔 1） ； Yangxinyu Xie 1（谢洋新宇 1） ； Qi Long 1（龙启 1） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对现有多比特LLM水印无法部分披露引发隐私泄露问题，提出分层词汇路由框架，实现细粒度水印访问控制，保障文本质量且检测精度高、延迟低。

Comments Accepted at ICML 2026

Words as Difference Makers: How Large Language Models Determine Causal Structure in Text

词汇作为差异制造者：大型语言模型如何确定文本中的因果结构

Wolfgang Pietsch

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出大型语言模型通过变分归纳逻辑学习因果结构，并分析其训练过程与架构特征如何实现差异制造者识别。

Comments 36 pages, 6 figures

Large Language Models in Process Systems Engineering: Opportunities, Architectures, and Industrial Deployment Challenges

过程系统工程中的大语言模型：机遇、架构与工业部署挑战

Bhushan Gopaluni, Vidya Kotamraju, Syon Bhushan

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

AI总结 本文系统综述了大语言模型在过程系统工程中的应用，涵盖七个领域，指出其在自然语言任务上表现良好，但在实时执行、约束满足和形式化安全保证方面仍面临挑战。

Recency/Frequency Adaptive KV Caching for Large Language Model Serving

面向大语言模型服务的近期/频率自适应KV缓存

Yang Shen, Meghana Madhyastha, Robert Underwood, Bogdan Nicolae, Randal Burns

机构 * Department of Computer Science, Johns Hopkins University, Baltimore, USA（约翰霍普金斯大学计算机科学系） ； Argonne National Laboratory, Lemont, USA（阿贡国家实验室） ； Parasail, Inc., San Mateo, USA（Parasail公司） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG；foundation model(comments)

AI总结 针对LRU策略在多工作负载下缓存失效问题，提出自适应KV缓存，动态分配近期与高频KV块的空间，在合成文档问答中缓存命中率提升10.8%，首令牌时间降低12.6%。

Comments Accepted at the ICML 2026 Workshop on Resource-Adaptive Foundation Model Inference (AdaptFM)

The Asymmetric Harms of LLM Compression

大语言模型压缩的非对称危害

Yuan Wu, Mairui Li, Lesia Semenova, Chudi Zhong

机构 * Rice University（莱斯大学） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； Rutgers University（罗格斯大学） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本研究通过评估3个LLM、11种压缩方法，发现LLM压缩会引发知识保留、置信度及偏见的非对称变化，聚合指标无法捕捉，需对压缩模型开展细粒度评估。

TileMix: Tile-Centric Mixed-Precision Attention for LLM Inference Acceleration

TileMix：面向大语言模型推理加速的以块为中心的混合精度注意力机制

Hanzhi Zhang, Qiao Zhang, Qinglei Cao, Heng Fan, Yan Huang, Kewei Sha, Yunhe Feng

机构 * University of North Texas（北得克萨斯大学） ； Saint Louis University（圣路易斯大学） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 TileMix是一种以块为中心的混合精度注意力内核，通过硬件对齐的分数块路由实现LLM推理加速，可恢复长上下文质量并提升预填充吞吐量，支持多种模型与任务场景。

A Hybrid Nested Harness for Decoupling Structure and Parameters in LLM-Driven Optimization

用于解耦大语言模型驱动优化中结构与参数的混合嵌套框架

Víctor Gallego

机构 * Komorebi AI Technologies（Komorebi人工智能技术公司） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；language model(abstract)；分类 cs.LG

AI总结 该研究提出混合嵌套框架解耦LLM驱动优化的结构与参数，外层LLM提结构草图、内层优化器调参，在三类任务中性能优于纯LLM及纯数值优化基线。

Comments Published as a conference paper at LM4Sci Workshop @ COLM 2026

A Picture is Worth a Thousand Tokens: How Vision Language Models Cut AI Energy Costs While Improving Accuracy

一图胜千词：视觉语言模型如何在提升准确率的同时降低AI能源成本

Bhavika Jalli, Nikhil Korati Prasanna, Jayanta Choudhury

专题命中 效率与部署 ：LLM(summary_cn,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 该研究提出将时间序列编码为二维图的视觉语言模型，可大幅减少输入词元、降低推理能耗，同时在电信异常检测等任务中提升准确率，解决了LLM处理多维度KPI数据的低效问题。

Comments Accepted at the 14th European Conference on Renewable Energy Systems (ECRES), July 7--9, 2026, London, UK

LLM Inference Under Bursty Workload Distribution: Modifying the WAIT Algorithm

突发工作负载分布下的大语言模型推理：对WAIT算法的改进

Anjali Gangadhar Katageria, Shobha Rani, Raghu Nandan Sengupta

机构 * Indian Institute of Technology Dharwad（印度达尔瓦德印度理工学院） ； Indian Institute of Technology Kanpur（印度坎普尔印度理工学院） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 该研究针对LLM推理中突发工作负载的问题，改进了WAIT算法，通过在线估计请求强度提升了低到达率变化场景下的吞吐量，且延迟与现有基准相当。

BLADE: Boundary-Expanded and Layer-Adaptive Dynamic Exit for Efficient LLM Reasoning

BLADE：用于高效大语言模型推理的边界扩展与层自适应动态出口

Keshu Fu, Keqin Peng, Jun Bai, Shuhan Qin, Chen Li, Junzhu Liang, Yefei Chen, Jiaqi Li, Yuanxin Ouyang

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 BLADE是一种轻量级框架，通过构建多粒度检查点、学习紧凑探测层子集等，在保持接近基线准确率的同时，减少大语言模型的推理计算与生成令牌量，提升了LLM推理效率。

Comments 8 pages

Cluster, Route, Escalate: Cascaded Framework for Cost-Aware LLM Serving

聚类、路由、升级：成本感知的LLM服务级联框架

Yasmin Moslem, Magdalena Kacmajor, Vasudevan Nedumpozhimana, Ammar Abbas, Solmaz Panahi, David Lynch, Zhuangzhuang Nie, Alexandros Agapitos, Aleksandar Milenovic, Hongmeng Song, Yucheng Shi, Yue Pan, Patricia Buffini, John D. Kelleher

机构 * ADAPT Centre, Trinity College Dublin（ADAPT中心，都柏林信任学院） ； Huawei Research（华为研究） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出两阶段级联框架，通过聚类分配查询到最经济的模型，并利用质量估计升级低质量输出，在保持97-99%准确率的同时降低每输出token时间。

Safe to Check, Unsafe to Use: Relinking at the Compression Boundary of LLM Agents

安全检查，不安全使用：LLM代理压缩边界处的重链接

Zesen Liu, Zihan Zhang, Dongdong She

专题命中 效率与部署 ：LLM(title,title_cn)；post-training(abstract)；分类 cs.AI

AI总结 提出重链接漏洞，利用摘要压缩将分散的良性片段重组为恶意指令，并设计Relink工具自动化攻击，在四个长上下文代理基准上达到86.9%成功率。

Efficient On-Device Diffusion LLM Inference with Mobile NPU

基于移动NPU的高效设备端扩散大语言模型推理

Tuowei Wang, Yanfan Sun, Ju Ren

机构 * Tsinghua University（清华大学） ； Beihang University（北京航空航天大学） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出首个NPU感知推理框架Diffusion-LLM-on-NPU，通过多块推测解码、双路径渐进修正和交换优化内存运行时，在移动设备上加速扩散大语言模型推理，相比CPU基线实现17-42倍延迟降低。

Cross-LLM Consistency in Inference: Evidence from Shared Interactions

推理中的跨LLM一致性：来自共享交互的证据

Siyu Lou, Yao Yan, Yuntian Chen, Quanshi Zhang

机构 * School of Computer Science Shanghai Jiao Tong University（上海交通大学计算机科学学院） ； Ningbo Key Laboratory of Advanced Manufacturing Simulation Eastern Institute of Technology, Ningbo（宁波市先进制造仿真重点实验室，宁波东方理工大学） ； College of Computer and Information Science Chongqing Normal University（重庆师范大学计算机与信息科学学院） ； SymtrustAI.com ； Eastern Institute of Technology, Ningbo（宁波东方理工大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究发现，不同大型语言模型在相同提示下预测相同目标词时，常共享交互模式，且高级模型一致性更强，共享交互通常阶数更低、正负抵消更弱。

Comments 20 pages, 8 figures

DUET: Dual-Teacher On-Policy Distillation via Same-Weight Disagreement for Prohibition Compliance

DUET：基于同权重分歧的双教师在线策略蒸馏用于禁止合规性

Zihan Li, Feifei Li, Wenhui Que

专题命中 效率与部署 ：LLM(summary_cn,abstract)；SFT(abstract,abstract_cn)；post-training(abstract)；分类 cs.CL、cs.LG

AI总结 本研究针对LLM部署中的动态禁止规则合规问题，提出DUET双教师在线策略蒸馏方法，构建工业基准，在Qwen模型上实现高合规性与效用保留，性能优于基线。

Wiola 13M, a Gated Spiral Attention Architecture for Parameter Efficient Small Language Models

Wiola 13M：一种用于参数高效小型语言模型的门控螺旋注意力架构

Aryuemaan Kumar Chowdhury, Praveen Oosa, Vineesha Reddy

专题命中 效率与部署 ：language model(title,abstract)；small language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对10M-100M参数小型语言模型未适配小规模Transformer的问题，提出含三个创新组件的Wiola 13M模型，验证其等价性并发布开源实现，提升长程区分与梯度流性能。

Comments 6

Hierarchical Grading in Large Language Models

大语言模型中的分层分级

T. Shaska

机构 * Oakland University（奥克兰大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究提出分级大语言模型（GLLMs）框架，通过代数方法为变换器表示空间分级并传播加权标量作用，扩展相关理论到自回归语言模型。证明分层目标下分级与无分级的极小极大分离，最优分级可离线估计，训练后编译成标准变换器，兼具多种优势。

Sensitivity-Aware Thresholding and Token Routing for Activation Sparsification in Large Language Models

大语言模型中用于激活稀疏化的灵敏度感知阈值处理和令牌路由

Bishmoy Paul, Youngmin Yi, Hoeseok Yang

机构 * Santa Clara University（圣塔克拉拉大学） ； Sogang University（西江大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 研究大语言模型中如何在保留模型质量时减少计算，提出灵敏度感知阈值处理方法SATS及轻量级令牌路由框架，经实验评估，SATS在匹配稀疏度时优于基线，令牌路由有更好的质量-吞吐量权衡，改进方法可提升大语言模型权衡效果。

Structured Pruning of Large Language Models via Power Transformation and Sign-Preserving Score Aggregation with Adaptive Feature Retention

通过幂变换和符号保留分数聚合与自适应特征保留对大语言模型进行结构化剪枝

Ryota Kobayashi, Tsubasa Hirakawa, Takayoshi Yamashita, Hironobu Fujiyoshi, Yasunori Ishii, Tomoyuki Okuno, Kazuki Kozuka

机构 * Chubu University（楚ubu大学） ； Panasonic Holdings Corporation（松下电器控股公司） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究针对大语言模型结构化剪枝，改进自适应特征保留技术。结合幂变换、符号保留分数聚合及异常值去除方法，解决应用中出现的分布不匹配等问题。实验表明该方法能保持准确率，通过结构化剪枝加速推理。

Future Confidence Distillation in Large Language Models

大语言模型中的未来置信度蒸馏

Sahil Kale

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究大语言模型置信度估计，通过比较解决问题前后的置信度，发现其在回答过程中演变。基于此引入未来置信度蒸馏，用解决问题后的置信度估计训练解决问题前隐藏表征的预测器，实现可靠且低成本的置信度估计。

Comments 16 pages, 5 figures

OmniFocus: Query-Guided Modality-Balanced Token Compression for Omni-Modal Large Language Models

OmniFocus：用于全模态大语言模型的查询引导模态平衡令牌压缩

Shijie Cao, Qingyu Zhang, Boxi Yu, Yuzhong Zhang, Boxi Cao, Yaojie Lu, Hongyu Lin, Xianpei Han, Le Sun

机构 * School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学先进交叉科学学院） ； Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所中文信息处理实验室） ； University of Limerick（利默里克大学） ； CUHK, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究全模态大语言模型推理成本高的问题，提出无训练的查询引导令牌压缩方法OmniFocus，独立评估音视频重要性，实现模态对称压缩，提升性能。

Enabling Cloud-Level Accuracy in Edge AI through IoT Data Preprocessing

通过物联网数据预处理实现边缘AI的云端级精度

Aygün Varol, Katarzyna Kołodziej, Łukasz Sobczak, Michał Romaszewski, Przemysław Głomb, Naser Hossein Motlagh, Mirka Leino, Johanna Virkki

机构 * Faculty of Information Technology and Communication Sciences, Tampere University（信息科技与通信科学学院，塔尔皮耶大学） ； Institute of Theoretical and Applied Informatics, Polish Academy of Sciences（理论与应用信息学研究所，波兰科学院） ； Department of Computer Science, University of Helsinki（计算机科学系，赫尔辛基大学） ； Satakunta University of Applied Sciences（萨塔昆塔应用科学大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 针对边缘部署的紧凑型LLM在原始传感器读数下数值推理弱的问题，提出结构化提示构建框架，通过逐步丰富文本表示（原始值、阈值描述、环境摘要标志）提升局部模型精度，实验表明该方法可将局部准确率从约50%提升至80%以上，同时保持低延迟。

On the Expressive Power of Weight Quantization in Large Language Models

大语言模型中权重量化的表达能力

Shao-Qun Zhang

机构 * National Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室） ； School of Intelligent Science and Technology（智能科学与技术学院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文通过理论分析，证明1.58比特是权重量化的极限精度，并揭示量化比特数减少会导致表达能力多项式级退化。