语言大模型 / LLM

ShuntServe: Cost-Efficient LLM Serving on Heterogeneous Spot GPU Clusters

ShuntServe: 异构竞价型GPU集群上的成本高效LLM服务

Seungwoo Jeong, Moohyun Song, Juhyun Park, Kyungyong Lee

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出ShuntServe系统，通过屋顶线模型估计性能和动态规划优化模型放置，在异构竞价型GPU集群上最大化吞吐量，结合输出保留迁移与共享张量存储实现容错，相比基线吞吐量提升1.42倍，成本效率提升31.9%以上。

Comments 18 pages, 16 figures, 5 tables

RouteBalance: Fused Model Routing and Load Balancing for Heterogeneous LLM Serving

RouteBalance: 面向异构LLM服务的融合模型路由与负载均衡

Wei Da, Evangelia Kalyvianaki

专题命中 效率与部署 ：LLM(title,title_cn)

AI总结 提出RouteBalance，通过融合模型路由与负载均衡为异构LLM服务实现质量、延迟和成本的三维联合优化，在13实例28GPU集群上达到最优前沿。

Comments 12 pages, 5 figures

Tropical: Enhancing SLO Attainment in Disaggregated LLM Serving via SLO-Aware Multiplexing

Tropical: 通过SLO感知的多路复用提升解聚式LLM服务中的SLO达成率

Jinming Ma, Jiefei Chen, Xiuhong Li, Jiangfei Duan, Haojie Duanmu, Xingcheng Zhang, Chao Yang, Dahua Lin

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出Tropical系统，通过SLO感知的多路复用策略平衡排队时间和干扰，同时满足预填充和解码阶段的延迟约束，在真实数据集上相比现有系统提升高达2.09倍的请求数。

OCELOT: Inference-Leakage Budgets for Privacy-Preserving LLM Agents

OCELOT：面向隐私保护LLM代理的推理泄露预算

Jin Xie, Songze Li

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出OCELOT运行时中介，通过后验风险控制和证人验证降级机制，在代理轨迹中预算对手信念更新，平衡任务效用与隐私泄露。

CompRank: Efficient LLM Reranking via Token-Level Compression and Decoding-Free Scoring

CompRank: 通过令牌级压缩和无解码评分实现高效的LLM重排序

Xuan Lu, Haohang Huang, Yingqi Fan, Junlong Tong, Yuxuan Zhang, Ping Nie, Rui Meng, Xiaoyu Shen

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出CompRank框架，通过令牌级压缩和无解码注意力评分减少冗余计算，在BEIR数据集上仅保留10.2%文档令牌即达到接近全令牌的排序性能，并实现4.9-9.5倍端到端加速。

Defense Against Prompt Inversion Attacks: An Information-Theoretic Approach for LLM Collaborative Inference

对抗提示反转攻击：面向LLM协作推理的信息论方法

Sayedeh Leila Noorbakhsh, Hossein Khalili, Nader Sehatbakhsh

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出信息论防御框架，通过最小化中间激活与输入提示的互信息来学习隐私表示，实现隐私-效用-延迟权衡，攻击成功率降低35%。

Comments Preprint. 33 pages, 5 figures

RadKey: An LLM-Guided RF Backscatter System for Through-Wall Keystroke Inference

RadKey: 一种基于LLM引导的RF反向散射系统用于穿墙击键推断

Qijun Wang, Chunqi Qian, Huacheng Zeng

专题命中 效率与部署 ：LLM(title,title_cn)

AI总结 提出RadKey系统，利用无源反向散射标签捕获击键振动和声音，通过RF信号远距离穿墙窃听，结合信号处理与LLM在线自适应，实现跨用户、跨键盘的准确击键推断。

Comments Accepted to the 47th IEEE Symposium on Security and Privacy (IEEE S&P), 2026

Understanding How Enterprises Adopt the Model Context Protocol for LLM-Driven Software Engineering

理解企业如何采用模型上下文协议进行基于LLM的软件工程

Kehui Chen, Yicheng Sun, Jacky Keung, Zhenyu Mao, Xiaoxue Ma

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 通过对20名从业者的访谈，研究企业采用模型上下文协议（MCP）的现状，发现MCP支持跨系统协作和任务解耦，但面临生态系统碎片化、协调困难等问题，并提出标准化和低代码等改进需求。

Comments 12pages, preliminary version accepted at the 26th International Conference on Quality, Reliability, and Security (QRS 2026)

PALUTE: Processing-In-Memory Acceleration via Lookup Table for Edge LLM Inference

PALUTE: 基于查找表的处理-内存加速用于边缘LLM推理

Runyang Tian, Yanru Chen, Weihong Xu, Tajana Šimunić Rosing

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出PALUTE，一种基于查找表的3D DRAM处理-内存加速器，通过垂直组织实现高并行度，降低面积开销，在0.16W功耗下达到1264 TPS吞吐量，能效比CHIME提升12.8倍。

Comments ISLPED 2026 IEEE/ACM International Symposium on Low Power Electronics and Design

DIRECT: Direct Decoding for Efficient and Aligned Sequence Labeling with Large Language Models

DIRECT：基于大语言模型的高效对齐序列标注直接解码方法

Yilei Wang, Jiaxin Gan, Kexuan Zhang, Ling Li, Wentao Zhang, Peichao Lai

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；preference optimization(abstract)；分类 cs.CL

AI总结 针对现有大语言模型序列标注方法的领域对齐不足与推理效率低问题，提出DIRECT框架，结合训练时优化与推理时校正，在8个数据集上实现性能与效率的显著提升。

Profiling Lightweight Large Language Models

轻量级大语言模型剖析

Tomohiro Harada, Enrique Alba, Gabriel Luque

机构 * Graduate School of Science and Engineering, Saitama University（埼玉大学理工学研究科） ； ITIS, University of Malaga（马拉加大学信息技术与系统研究所） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 研究轻量级大语言模型在资源受限环境中的情况，提出基于PTME的实验框架，通过硬件级测量联合测量精度、时间、内存和能耗，对一组模型进行测试，发现代理描述符不足，揭示非主导配置，为不同资源下选模型提供指导。

Reliability Scaling Laws for Quantized Large Language Models

量化大语言模型的可靠性缩放定律

Sirine Ayadi, Sándor Daróczi, Stephan Günnemann, Bertrand Charpentier

机构 * Technical University of Munich（慕尼黑工业大学） ； Munich Data Science Institute（慕尼黑数据科学研究所） ； Pruna AI（Pruna人工智能公司） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.LG

AI总结 研究量化大语言模型的可靠性缩放定律，通过对其不确定性、校准和鲁棒性进行全面评估，刻画可靠性与模型比特总数的关系，发现4比特量化模型有可靠性峰值，且量化增强了模型对自然输入扰动的鲁棒性。

Comments Transactions on Machine Learning Research (TMLR), 2026

Closed-Loop Control with Rule-Aligned Small Language Models and Multi-Agent Self-Correction

基于规则对齐的小语言模型和多智能体自我校正的闭环控制

Yuchen Wang, Javal Vyas, Tong Liu, Mehmet Mercangoz

专题命中 效率与部署 ：language model(title,abstract)；small language model(title,abstract)；SLM(abstract)；分类 cs.AI

AI总结 研究能否对紧凑型小语言模型再训练用于控制推理并嵌入验证器引导的校正循环，通过组相对策略优化对齐模型，结合多种智能体，在随机热控模拟中取得高准确率和低延迟，支持该架构用于边缘可重构自主控制。

Comments Accepted by IEEE CCTA 2026

Integrating Large Language Models and Graph Convolutional Networks for Semi-Supervised Image Classification

将大语言模型与图卷积网络集成用于半监督图像分类

Camila Piscioneri Magalhães, Lucas Pascotti Valem

机构 * Institute of Mathematics and Computer Science (ICMC)（数学与计算机科学研究所） ； University of São Paulo (USP)（圣保罗大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 针对图像分类中图构建难题，该研究将大语言模型与图卷积网络集成，利用视觉语言模型生成文本描述，经大语言模型处理得到语义相似性分数，指导kNN图边修剪，提升了半监督图像分类准确率。

Toward Trustworthy Large Language Model Agents in Healthcare

迈向医疗保健领域值得信赖的大语言模型智能体

Hadi Hasan, Safaa Salman, Adam Tai Abou Dargham, Ammar Mohanna, Ali Chehab

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 针对医疗预约调度瓶颈，提出CareConnect智能体，利用大语言模型函数调用等技术，协调工具支持预约操作，设安全护栏。经评估有高任务完成率、安全合规性及成本效益，能自动化复杂医疗工作流程。

Heaviside Continuity of Rolling Coefficients for Eliminating Epistemic Entropy in Large Language Models

用于消除大语言模型认知熵的滚动系数的海维赛德连续性

MY Pitsane, Hope Mogale

机构 * North-West University, RSA（南非北开普大学） ； University of Pretoria, RSA（南非彼得里亚大学） ； Mankind Research Labs, Sandton（沙顿人类研究实验室） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 研究大语言模型输出难检测错误的问题，提出海维赛德连续性的滚动系数框架，将推理重新表述为谓词门控状态转换，结合模型置信度与并行验证信号，防止无效状态传播，降低认知熵。

Comments A First draft

Agentic-V2X: Small Language Model Agents for Deadline-Aware V2X Scheduling in 5G/6G Networks

Agentic-V2X：用于5G/6G网络中具有截止日期感知的V2X调度的小型语言模型代理

Gerasimos Papanikolaou-Ntais, Alexandros Kaloxylos, Athanasios Kanavos

机构 * Department of Informatics, University of Piraeus（比雷埃克斯大学信息学院） ； Department of Informatics and Telecommunications, University of Peloponnese（希腊佩拉索斯大学信息与电信学院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；small language model(title)；LLM(abstract)；large language model(abstract)

AI总结 研究针对5G/6G网络中V2X调度，提出Agentic-V2X架构。小型本地部署语言模型生成策略，经验证后由轻量级控制器执行，评估多种策略，该架构能生成有效可执行策略，在多方面有竞争力，但非最佳。

Comments 20 pages 7 figures

WattGPU: Predicting Inference Power and Latency on Unseen GPUs and LLMs

WattGPU: 在未见过的GPU和LLM上预测推理功耗和延迟

Mauricio Fadel Argerich, Jonathan Fürst, Marta Patiño-Martínez

机构 * Universidad Politécnica de Madrid（马德里理工大学） ； Zurich University of Applied Sciences（苏黎世应用科学大学） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出WattGPU模型，利用公开的LLM元数据和GPU规格，无需硬件访问即可预测平均GPU功耗和令牌间延迟，在未见过的GPU和LLM上误差低至3.4%，优于基线方法。

Comments Accepted at 1st Workshop on Sustainability and Resource-Efficiency of Artificial Intelligence @ IJCAI 2026

Sentence-Level Contextual Entrainment in Large Language Models

大型语言模型中的句子级上下文嵌入

Yang Liu, Chenhui Chu

机构 * Kyoto University（京都大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.CL

AI总结 研究大型语言模型中句子级上下文嵌入现象，发现提示中的句子（包括反事实陈述）会显著增加其推理概率，且该现象随模型增大而减弱，通过关闭2%-4%的注意力头可缓解而不影响性能。

Comments 16 pages, 3 figures

Optimization-as-a-Service via Multi-Agent Large Language Model for Radio Access Networks

通过多智能体大语言模型实现无线接入网的优化即服务

Chaoqun You, Yueyue Dai, Xingqiu He, Yue Gao, Rahim Tafazolli, Yong Liang Guan

机构 * Fudan University（复旦大学） ； Huazhong University of Science and Technology（华中科技大学） ； University of Surrey（Surrey大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 提出将物理资源块分配问题作为大语言模型多智能体系统提供的优化即服务，通过场景理解、目标生成、求解器和反思智能体实现上下文感知的自校正公式，并引入单次反思蒸馏机制降低延迟。

When Language Representations Interact: Separability and Cross-Lingual Effects in LLMs

当语言表示交互时：LLM中的可分离性与跨语言效应

Boris Marinov, Angira Sharma, Christian Schroeder de Witt, Philip Torr, Anisoara Calinescu, Jialin Yu

机构 * University of Oxford（牛津大学） ； Imperial College London（帝国理工学院） ； University of York（约克大学） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 通过因果几何分析，研究多语言LLM中语言表示的线性可分离性及跨语言结构依赖，发现语言概念在协方差调整内积下可分离，同语系语言呈现单纯形几何结构。

Comments Trustworthy AI for Good (AI4Good) Workshop @ ICML 2026

Same Facts, Different Updates: Inference Setup Shapes LLM Behavior in Medical Allocation

相同事实，不同更新：推理设置塑造医疗分配场景下大语言模型的行为

Spencer Gibson, Tyler Crosse, Magnus Saebo, Achyutha Menon, Eyon Jang, Diogo Cruz

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究发现，在医疗资源分配场景中，大语言模型的推理设置会导致其对相同患者信息产生不同的资源分配概率，凸显了谨慎将LLM系统纳入决策的重要性。

Comments Accepted to the AI4GOOD Workshop at ICML 2026, Seoul, South Korea

BaseRT: Best-in-Class LLM Inference on Apple Silicon via Native Metal

BaseRT: 通过原生Metal在Apple Silicon上实现最佳LLM推理

Prabod Rathnayaka, Fabian Waschkowski, Lukas Wesemann

机构 * Base Compute, Melbourne, Australia（Base Compute，墨尔本，澳大利亚） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出基于原生Metal的推理运行时BaseRT，通过芯片特定内核融合、统一内存感知优化和自定义调度逻辑，在Apple Silicon上实现最高推理吞吐量，相比现有框架提升高达1.56倍解码吞吐量。

Output-Space Allocation Costs for Calibration-Guided LLM Compression: An Empirical Study

校准引导的LLM压缩中输出空间分配成本的实证研究

Qiong Tang, Xiangkun Hu, Xiangyang Liu, Yiran Chen, Yunfan Shao

机构 * Analemma 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究ROCKET方法中分配成本与输出空间目标对齐对压缩模型保真度的影响，发现存在准确率-困惑度权衡，且成本函数影响随压缩率降低而减弱。

SharQ: Bridging Activation Sparsity and FP4 Quantization for LLM Inference

SharQ：桥接激活稀疏性与FP4量化用于LLM推理

Haoqian Meng, Yilun Luo, Yafei Zhao, Wenyuan Liu, Huaqing Zheng, Xindian Ma, Peng Zhang

机构 * School of Computer Science and Technology, Tianjin University（天津大学计算机科学与技术学院） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出SharQ方法，通过在线稀疏-稠密分解结合N:M稀疏性与FP4量化，无需训练即可恢复NVFP4与FP16之间43-63%的精度差距，并在RTX 5090上实现2.2-2.4倍延迟降低。

Comments 20 pages, 4 figures

Unifying Data, Memory, and Compute Efficiency in LLM training: A Survey

统一LLM训练中的数据、内存和计算效率：一项综述

Vanessa Schmidt, Huy Hoang Nguyen, Cédric Jung, Shirin Salehi, Anke Schmeink

机构 * Chair of Information Theory and Data Analytics (INDA), RWTH Aachen University（亚琛工业大学信息理论与数据分析教席） ； AIT Austrian Institute of Technology GmbH（奥地利技术研究所） ； Automation and Control Institute, Technische Universität Wien (TUW)（维也纳工业大学自动化与控制研究所） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文从资源约束视角综述大语言模型训练中的数据效率、内存效率和计算预算感知三大瓶颈，强调三者需联合优化而非孤立处理。

Comments Accpeted for publication in IEEE Transactions on Artificial Intelligence (TAI)

SpenseGPT: Practical One-shot Pruning Enabling Sparse and Dense GEMMs for LLM Inference

SpenseGPT: 面向LLM推理的实用一次性剪枝，支持稀疏和稠密GEMM

Jaeseong Lee, Seung-won Hwang, Samyam Rajbhandari

机构 * Snowflake AI Research（Snowflake AI研究） ； Seoul National University（首尔大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；post-training(abstract)；分类 cs.CL、cs.LG

AI总结 提出Spense混合稀疏-稠密格式，将权重矩阵分为2:4稀疏和稠密区域，结合一次性剪枝方法SpenseGPT，在B200 GPU上实现高达1.2倍端到端解码加速，同时保持模型精度。

LLM-Guided Neural Architecture Search for Robust Co-Design of Physical Neural Networks

LLM引导的神经架构搜索用于物理神经网络的鲁棒协同设计

Tyler King, Timothee Leleu

机构 * University of California, Berkeley（加州大学伯克利分校） ； DeepMind（深度思维） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出UH-NAS框架，利用大语言模型作为进化算子，协同优化任务准确率和推理能耗，实现跨硬件平台的公平比较，在光学MZI硬件上发现更鲁棒的架构。

MLREF: Efficient Module Reuse for Reward Design in Reinforcement Learning via Large Language Models

MLREF：基于大语言模型的强化学习奖励设计中高效模块复用框架

Chenglin Liu, Xun Wang, Ruishuo Chen, Zhuoran Li, Longbo Huang

机构 * Institute for Interdisciplinary Information Sciences Tsinghua University（清华大学交叉信息研究院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究针对强化学习奖励设计瓶颈，提出MLREF框架，通过模块池复用奖励组件，结合三种优化机制，在17个任务上实现比强基线更优且更稳定的性能。

Comments 22 pages, 5 figures, 4 tables

MS-MFAD : Multimodal large language models for Face Anti-spoofing Detection

MS-MFAD：用于人脸活体检测的多模态大语言模型

Xiaoyong Yu, Rongzhen Li, Shuming Shi, Xinge You

机构 * Mashang Consumer Finance Co., Ltd.（马上消费金融股份有限公司） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；foundation model(abstract)

AI总结 针对人脸活体检测的复合威胁与现有方法瓶颈，提出基于多模态大语言模型MFAD的可解释系统，通过细粒度像素-语义锚定机制与少量语义标注实现优异检测性能，鲁棒性与效率更优。