语言大模型 / LLM

Goodput Maximization for Large Language Model Edge Inference: A Two-Phase Maskable PPO Approach

面向大型语言模型边缘推理的有效吞吐量最大化：一种两阶段可屏蔽近端策略优化方法

Xiaojing Chen, Qi Zhang, Wei Ni, Shunqing Zhang, Yanzan Sun

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 针对无线边缘网络中LLM推理服务的有效吞吐量最大化问题，提出两阶段可屏蔽近端策略优化算法，仿真显示其系统奖励提升33.3%至87.5%且有效吞吐量最高。

From Layers to Submodules: Rethinking Granularity in Replacement-Based LLM Compression

从层到子模块：重新思考基于替换的LLM压缩中的粒度

Elia Cunegatti, Marcus Vukojevic, Erik Nielsen, Giovanni Iacca

机构 * University of Trento（特伦托大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 提出子模块级别的非连续替换压缩方法SubFit，通过为注意力和前馈子模块分别设计轻量残差旁路，在多种LLM上实现更好的困惑度-准确率权衡。

Comments Accepted at EMNLP Findings 2026

New Bounds for Zarankiewicz Numbers via Reinforced LLM Evolutionary Search

通过强化LLM进化搜索获得Zarankiewicz数的新界

Jay Bhan, Nicole Nobili, Patrick Langer

机构 * Massachusetts Institute of Technology（麻省理工学院） ； ETH Zürich（苏黎世联邦理工学院） ； Stanford University（斯坦福大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文首次确定三个Zarankiewicz数的精确值，并通过强化LLM进化搜索方法为41个数建立下界，展示了LLM引导的进化搜索在数学研究中的潜力。

Comments *Jay Bhan and Nicole Nobili contributed equally to this work as first authors, and their order was determined via coin flip

Scorpio: Serving Right Requests at the Right Time for Heterogeneous SLOs in LLM Inference

Scorpio：针对LLM推理中异构SLO的适时正确请求服务

Yinghao Tang, Tingfeng Lan, Bo Pan, Xiuqi Huang, Hui Lu, Wei Chen

机构 * State Key Lab of CAD&CG（计算机辅助设计与图形学国家重点实验室） ； University of Virginia（弗吉尼亚大学） ； The University of Texas at Arlington（德克萨斯大学阿灵顿分校） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 Scorpio是一款面向SLO的LLM服务系统，通过异构SLO自适应调度及双防护模块设计，在高负载下可将系统有效吞吐量提升最高14.4倍、SLO合规性提升最高46.5%

Comments Accepted at WISE 2026 (27th International Conference on Web Information Systems Engineering), Special Track on Innovative Web Technologies. 15 pages. This version has been accepted for publication after peer review but is not the Version of Record; the Version of Record will appear in the Springer LNCS proceedings

Understanding the Energy Scaling of Large Language Model Inference Across Context Lengths and Attention Architectures

探究大语言模型推理在上下文长度与注意力架构上的能量缩放规律

Molka Chkir, Syed Muhammad Danish, Jos Höll, Arghavan Asad

机构 * Algoma University（阿尔戈马大学） ； Reutlingen University（罗伊特林根大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 本文通过实证研究，明确注意力架构是影响LLM解码能耗随上下文长度缩放的核心因素，发现GQA及带SWA的GQA能效更优，批处理可降低能耗与延迟，为LLM配置提供实用指导。

Comments 8 pages, 7 figures

TailSieve: Partial-Rollout-Guided Tail Routing for LLM Rollouts

TailSieve：面向大语言模型（LLM）rollout的部分rollout引导式长尾路由

Tianqi Xu, Lu Lv, Haoyang Huang, Wenjie Huang, Zhanming Shen, Yuhao Shen, Baolin Zhang, Xinyi Hu, Shuang Ge, Jun Dai, Tianyu Liu, Suorong Yang, Zhikai Li, Ye Bai, Jun Zhang, Lei Chen, Yue Li, Mingchen Wan

机构 * Qwen Business Unit of Alibaba（阿里巴巴通义千问业务部） ； Carnegie Mellon University（卡内基梅隆大学） ； Zhejiang University（浙江大学） ； University of Science and Technology of China（中国科学技术大学） ； National University of Singapore（新加坡国立大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 TailSieve是面向LLM rollout的部分rollout引导式框架，通过联合控制长尾路由与副本分配，仅路由即可实现最高1.67倍加速，结合专用推测解码可达2.59倍加速，同时保留策略内生成并避免长度偏差。

LMSM: LLM Security Framework Inspired by Linux Security Modules

LMSM：受Linux安全模块启发的大语言模型安全框架

XiuYu Zhang, Bonan Ruan, Junfeng Fang, An Zhang, Tat-Seng Chua, Zhenkai Liang

专题命中 效率与部署 ：LLM(title,summary_cn)；language model(abstract,abstract_cn)；large language model(abstract)

AI总结 该研究提出受Linux安全模块启发的LMSM框架，通过分离调解与策略实现LLM安全，在Qwen3-4B上可降低攻击成功率，同时保持较高吞吐量。

FAMPWQ: Fisher Information-based Adaptive Mixed Precision Weight Quantization for Effective LLM Inference

FAMPWQ：基于费舍尔信息的自适应混合精度权重量化方法，用于高效的大语言模型推理

Gongwei Lee, Ji Liu, Juncheng Jia, Ji Wu

机构 * School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院） ； Hithink Research（海思睿研究中心） ； Electronic Engineering, Tsinghua University（清华大学电子工程系） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对LLM部署的资源瓶颈，该研究提出FAMPWQ方法，通过费舍尔信息度量层敏感度结合强化学习分配位宽，在7个模型和5个基准上优于7种基线方法，提升了量化性能。

Comments 21 pages, to appear in EMNLP 2026

Natural Language Input, Semantic Track Representation, and LLM Inference: Making the Maritime Information Exchange Model Tractable

自然语言输入、语义航迹表示与大语言模型推理：使海上信息交换模型可处理

Frederick Roth

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究提出基于LLM的架构，通过自然语言输入自动生成SARs，实现MIEM与富语义航迹模型的可处理与快速部署，适用于国防执法等场景。

Comments 11 pages, under review

TOPAS: Workflow-Aware Prefix-State Scheduling for Multi-Agent LLM Serving

TOPAS：面向多智能体大语言模型服务的工作流感知前缀状态调度器

Hongqiu Ni, Han Tian, Chi Zhang, Guopeng Li, Haisheng Tan

机构 * University of Science and Technology of China（中国科学技术大学） ； Hefei University of Technology（合肥工业大学） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对多智能体LLM服务的前缀缓存权衡问题，提出TOPAS调度器，在SGLang框架中实现，经实验可显著降低合成及MetaGPT工作负载下的作业完成时间。

Comments 8 pages

LLMscope: Extracting LLM Assets from Edge AI Chips via Optical Probing

LLMscope：通过光学探测从边缘AI芯片中提取大语言模型（LLM）资产

Dev Mehta, Lily Dukette, William Folan, Olivia Kochol, Noah Solomon, Shahin Tajik, Fatemeh Ganji

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本研究提出LLMscope方法，通过激光电压成像攻击基于FPGA的LLM加速器，可从边缘AI芯片提取LLM资产，建立了资产恢复方法及成像工作量与资产维度的下界

Hydra: Phase-Aware Workload Characterization of LLM Inference across Edge SoC Generations, Backends, and Quantization Levels

Hydra：面向边缘SoC代际、后端及量化级别的LLM推理的阶段感知工作负载表征

Amir Taherin, Sana Taghipour Anvari, Charles Amante, Yixiao Chen, Ruben Noroian, Zlatan Feric, Nicolas Bohm Agostini, Pu Zhao, José Cano, Bin Ren, Yanzhi Wang, David Kaeli

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI

AI总结 Hydra是面向边缘SoC的LLM推理阶段感知工作负载表征框架，可评估多代SoC、多种LLM及执行格式，揭示延迟、量化、SoC代际对性能的影响，相关成果开源发布。

Comments Accepted at the IEEE International Symposium on Workload Characterization (IISWC 2026)

Simthesizer: An Agent-Driven Simulation Framework for LLM Serving Systems

Simthesizer：面向LLM服务系统的智能体驱动仿真框架

Wonung Kim, Hyunmin Choi, Minsu Kim, Jaehong Cho, Yeongwook Kim, Jongse Park

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本文提出Borg框架，通过智能体驱动仿真器开发缩小LLM服务系统与仿真器的差距，其构建的扩展吞吐量误差更低，仿真速度显著优于现有仿真器。

Ban&Pick: Enhancing Performance and Efficiency of MoE-LLMs via Smarter Routing

Ban&Pick：通过更智能的路由提升MoE-LLM的性能与效率

Yuanteng Chen, Peisong Wang, Yuantian Shao, Nanxin Zeng, Chang Xu, Jian Cheng

机构 * Nanjing University of Science and Technology（南京理工大学） ； C 2 \text{C}^{2} DL, Institute of Automation, Chinese Academy of Sciences（C2 DL，自动化研究所，中国科学院） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； School of Computer Science, University of Sydney（悉尼大学计算机学院） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本研究针对MoE-LLM预训练路由的问题，提出即插即用的Ban&Pick策略，通过Pick强化关键专家、Ban修剪冗余专家，在不重新训练或改架构的情况下提升MoE-LLM性能并加速推理。

Comments 26 pages, 13 figures

Here is a GIFT: Enforcing User Data Isolation in LLM Serving via GPU Information Flow Tracking

GIFT：通过GPU信息流跟踪在LLM服务中强制实现用户数据隔离

Jiacheng Shi, Xunjie Wang, Cheng Tan, Jinyu Gu

专题命中 效率与部署 ：LLM(title,title_cn)

AI总结 本文提出GIFT（GPU信息流跟踪系统），通过按用户加密、静态流分析等技术在LLM服务中实现用户数据隔离，扩展版GIFT-CC集成机密计算，在vLLM等框架上仅产生4-10.7%吞吐量开销。

RADAR: Accelerate Large Language Model Inference With RL-Based Dynamic Draft Trees

RADAR: 通过基于强化学习的动态草稿树加速大语言模型推理

Junjie Ma, Jinlong Li, Jiajun Luo

机构 * School of Computer Science（计算机科学学院） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.AI

AI总结 RADAR通过基于强化学习的动态草稿树方法，有效提升大语言模型推理速度，实现3.17至4.82倍的加速效果。

Comments EMNLP 2026 Findings Paper

Can Large Language Models Still Explain Themselves? Investigating the Impact of Quantization on Self-Explanations

大语言模型还能自我解释吗？探讨量化对自我解释的影响

Qianli Wang, Nils Feldhus, Pepa Atanasova, Fedor Splitt, Simon Ostermann, Sebastian Möller, Vera Schmitt

机构 * Quality and Usability Lab, Technische Universität Berlin（柏林技术大学质量与可用性实验室） ； University of Copenhagen（哥本哈根大学） ； Saarland Informatics Campus（萨尔州信息学校园） ； German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心） ； Centre for European Research in Trusted AI (CERTAIN)（可信AI欧洲研究中心） ； BIFOLD – Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究探讨量化对大语言模型自我解释质量及可信度的影响，发现量化会导致中等程度的下降，但不影响其作为压缩技术的有效性。

Comments EMNLP 2026 Findings; camera-ready version

Beam Search, Self-Consistency, and the Limits of Inference-Time Scaling for Grammar-Constrained Text-to-SQL in Small Language Models

束搜索、自一致性以及小语言模型中语法约束下文本到SQL任务推理时间缩放的局限性

Ty Chermsirivatana, John MacCormick

机构 * Deep Network Understanding Lab（深度网络理解实验室） ； Dickinson College（狄金森学院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；small language model(title)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文针对语法约束下的小语言模型文本到SQL任务，研究了模型规模与推理计算的权衡，发现受约束权衡表现不同，束搜索优于采样+投票，且增大模型规模比增加推理计算更有利。

Comments 7 pages, 2 figures

Thermal Tuning Overhead in Wafer-Scale Optical Interconnects for LLM MoE Training: A Cross-Layer Analysis and Ferroelectric-Based Mitigation

面向大语言模型混合专家（MoE）训练的晶圆级光互连中的热调谐开销：跨层分析与基于铁电材料的缓解方案

Seongwon Yoon, Pin-Jun Chen, Shimeng Yu

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 本研究针对LLM MoE训练的晶圆级光互连，通过跨层分析发现热波动会引发调谐停滞，采用铁电电光调谐机制消除停滞，使三款MoE模型获2.7-3.8倍加速。

The Invisible Editorial Layer: Formalizing Undisclosed Inference-Time Steering, Probability Placement, and the Attribution Problem in Deployed Language Models

隐形编辑层：形式化部署语言模型中未公开的推理时调控、概率置放与归因问题

Augusto Camargo

机构 * Bluecore Consulting（蓝芯咨询） 纠错

专题命中 效率与部署 ：language model(title,abstract)；foundation model(abstract)；post-training(abstract)；prompting(abstract)

AI总结 本文针对部署语言模型提出隐形编辑层概念，形式化推理归因问题、概率置放等核心概念，探讨其与相关监管框架的关联，揭示未公开推理调控的潜在影响。

Comments Substantially revised version with a formal non-identifiability result for the Inference Attribution Problem, expanded related work, and extended analysis of Probability Placement, auditing, and runtime transparency

Mitigating Rubric Interference in LLM Judges via On-Policy Self-Distillation

通过策略内自蒸馏缓解大语言模型评审员中的评分标准干扰

Dingyao Yu, Tong Zhang, Yutao Mou, Yunxiao Zhang, Wei Ye, Shikun Zhang

机构 * Peking University（北京大学） ； Weixin Al, Tencent Inc（腾讯公司微信智能） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；分类 cs.AI、cs.LG

AI总结 本研究针对LLM评审员多评分标准评估时的干扰问题，提出SARA方法，通过策略内自蒸馏提升评估一致性，且该一致性可跨数据集迁移。

FLINT: Efficiently Leveraging High Bandwidth Flash for Capacity-Scalable LLM Inference Acceleration

FLINT：高效利用高带宽闪存实现容量可扩展的大语言模型推理加速

Geraldo F. Oliveira, Arash Tavakkol, Xiangyu Zhu, Ahmet Caner Yüzügüler, Vamanan Arulchelvan, Lukas Cavigelli, Renzo Andri, Mohammad Sadrosadati, Jia Xinglei, Onur Mutlu, Zhou Ke, Shai Bergman, Ji Zhang

专题命中 效率与部署 ：LLM(title,summary_cn)；分类 cs.AI

AI总结 FLINT是一种工作负载驱动型HBF载体，通过三种机制解决现有HBF方案的三大挑战，实现高效利用HBF加速容量可扩展的LLM推理。

Transforms for LLM Quantization: The Great Inversion and Format Co-Design

大语言模型量化的变换：大逆变换与格式协同设计

Ehsan Jokar

专题命中 效率与部署 ：LLM(title,summary_cn)；分类 cs.LG

AI总结 本研究针对LLM量化的变换阶段，提出大逆变换原则，分析变换与数字格式的协同设计，综述200项研究分类43种变换方法，提炼部署指南并指出开放问题。

ToolMinimize: Auditing and Rewriting LLM Agent Tool Calls to Minimize Privacy Exposure

ToolMinimize：审计与重写大语言模型智能体的工具调用以最小化隐私暴露

Wenbiao Li, Yuqiao Xu

专题命中 效率与部署 ：LLM(title,summary_cn)

AI总结 ToolMinimize是一款中间件，通过拦截并重写LLM智能体的工具调用参数，结合schema感知分析与四种操作，在保证100%任务有效性的同时大幅降低隐私暴露，可选层可进一步提升效果，延迟极低。

When Personality Meets Quantization: A Layer-wise MBTI Analysis of Quantized LLMs

当人格遇见量化：量化大语言模型的分层MBTI分析

Yao Fu, Lijia Huang, Xiaomin Li, Runchao Li, Yu Yin, Kenneth A. Loparo

机构 * Case Western Reserve University（凯斯西储大学） ； Northeastern University（东北大学） ； Microsoft Research（微软研究院） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本研究对跨多种精度（含4位、2位方法）的开源LLM进行分层MBTI分析，揭示LLM人格是依赖层的涌现决策过程，量化、解码会影响其人格，为量化LLM行为可靠性提供新视角。

Provenance Before Prose: Claim-Locked Reporting

证据先于文本：声明锁定式报告

Xiao Fan, Jingyuan Li, Hongbin Guo, Yubo Han, Yi Zhang

机构 * Xidian University（西安电子科技大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对LLM生成统计报告时的数值漂移等问题，提出声明锁定式报告协议，在两类报告任务中提升了可复现性，还降低了token使用量与生成延迟。

Just Pass Twice: Efficient Token Classification with LLMs for Zero-Shot NER

只需两次通过：利用LLM进行零样本命名实体识别的高效标记分类

Ahmed Ewais, Ahmed Hashish, Amr Ali

机构 * WitnessAI 纠错

专题命中 效率与部署 ：LLM(title_cn,abstract_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文提出JPT方法，通过两次输入拼接实现双向上下文的标记分类，提升零样本NER性能，比现有方法快20倍，F1得分提升7.9%。

Comments 16 pages, 9 figures, 12 tables. Published in Proceedings of ACL 2026 (Volume 1: Long Papers), pages 11480-11497. Demo and API: this https URL (https://witness-ai-jpt-ner.hf.space/)

Multi-Turn Reasoning LLMs for Task Offloading in Mobile Edge Computing

面向移动边缘计算的任务卸载的多轮推理LLM

Ning Yang, Chuangxin Cheng, Haijun Zhang

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Machano-Electronic Engineering, Xidian University（西安电子科技大学机电工程学院） ； School of Computer and Communication Engineering, University of Science and Technology Beijing（北京科技大学计算机与通信工程学院） 纠错

专题命中 效率与部署 ：LLM(title_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出COMLLM框架，通过整合GRPO与LACS机制，实现移动边缘计算中的前瞻性决策，提升任务卸载效率与负载均衡公平性，支持零样本拓扑扩展。

From General Agents to RCA Experts: A Self-Evolving Harness for Root Cause Analysis

从通用智能体到RCA专家：一种用于根因分析的自演化框架

Haiyu Huang, Jiewei Lyu, Zhihan Jiang, Jinyang Liu, Xiao He, Tieying Zhang, Wu Xiang, Michael R. Lyu

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究提出自演化RCA框架OpsHarness，复用通用智能体能力，通过双门验证演化，在基准与工业场景中大幅提升RCA准确率。

IAPO: Influence-Aware Policy Optimization for Credit Assignment in Multi-Turn Service Agents

IAPO：面向多轮服务智能体信用分配的感知影响策略优化

Bo Ren, Yirong Mao, Yi Yang, Wenhui Que

机构 * Fudan University（复旦大学） ； WeChat, Tencent Inc.（腾讯公司微信业务） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本研究提出IAPO方法，将轨迹转化为影响依赖图以优化多轮服务智能体的信用分配，在三个服务智能体基准及BFCL-v4多轮任务上，性能优于多轮RL基线。

Comments 12 pages, 3 figures, 5 tables. Preprint