语言大模型 / LLM

Optimizing PyTorch Inference with LLM-Based Multi-Agent Systems

通过基于LLM的多智能体系统优化PyTorch推理

Kirill Nagaitsev, Luka Grbcic, Samuel Williams, Costin Iancu

机构 * NVIDIA Corporation（NVIDIA公司） ； Microsoft Corporation（微软公司） ； Ansel et al. ( 2024 )（Ansel等人（2024）） ； Sabne ( 2020 )（Sabne（2020）） ； Kerr et al. ( 2017 )（Kerr等人（2017）） ； Tillet et al. ( 2019 )（Tillet等人（2019）） ； Spector et al. ( 2024 )（Spector等人（2024）） ； Ouyang et al. ( 2025 )（Ouyang等人（2025）） ； Lange et al. ( 2025a（Lange等人（2025a；b）） ； b )（Li等人（2025）） ； Li et al. ( 2025 )（METR（2025）） ； METR ( 2025 )（Andrews和Witteveen（2025）） ； Andrews and Witteveen ( 2025 )（Baronio等人（2025）） ； Baronio et al. ( 2025 )（Novikov等人（2025）） ； Novikov et al. ( 2025 )（Wei等人（2025）） ； Wei et al. ( 2025 )（Sharma（2025）） ； Sharma ( 2025 ) 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本文提出基于LLM的多智能体系统用于优化PyTorch推理，发现exploit策略与error-fixing智能体结合效果最佳，实现2.88倍速度提升。

Edit-level Majority Voting Mitigates Over-Correction in LLM-based Grammatical Error Correction

基于编辑层面多数投票的过纠正缓解方法：用于基于大语言模型的语法错误修正

Takumi Goto, Yusuke Sakai, Taro Watanabe

机构 * Nara Institute of Science and Technology（奈良科学技术研究所） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出一种无需训练的推理方法，通过多候选生成模型进行编辑层面多数投票，缓解LLM在语法纠错中的过纠正问题，在多个语言基准测试中优于贪婪和MBR解码。

Comments BEA Workshop 2026

ArcLight: A Lightweight LLM Inference Architecture for Many-Core CPUs

ArcLight：一种为多核CPU设计的轻量级大语言模型推理架构

Yuzhuang Xu, Xu Han, Yuxuan Li, Wanxiang Che

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Tsinghua University（清华大学） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出ArcLight，一种为多核CPU优化的LLM推理架构，通过高效内存管理和线程调度及精细控制的张量并行性，解决多核CPU上的跨节点内存访问瓶颈，实现更高的推理吞吐量。

Comments Accepted by ACL 2026 Demo

CR^2: Cost-Aware Risk-Controlled Routing for Wireless Device-Edge LLM Inference

CR²：面向无线设备-边缘LLM推断的成本感知风险控制路由

Nan Xue, Shengkang Chen, Zhiyong Chen, Jiangchao Yao, Yaping Sun, Zixia Hu, Meixia Tao

机构 * Cooperative Medianet Innovation Center, Shanghai Jiao Tong University（合作中位网创新中心，上海交通大学） ； Department of Broadband Communication, Pengcheng Laboratory（宽带通信部，鹏城实验室） ； Future Network of Intelligent Institute (FNii), the Chinese University of Hong Kong (Shenzhen)（智能网络研究所（FNii），香港中文大学（深圳）） ； Meta 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出CR²框架，通过分离轻量级设备模型与边缘模型的决策机制，优化无线边缘环境下的推断效率与成本，提升部署准确性与能耗平衡。

Comments submitted to IEEE Journal

GAR: Carbon-Aware Routing for LLM Inference via Constrained Optimization

GAR：通过约束优化实现碳感知的LLM推理

Disha Sheshanarayana, Rajat Subhra Pal, Manjira Sinha, Tirthankar Dasgupta

机构 * Manipal University Jaipur（曼海普大学斋普尔） ； TCS Research（塔塔咨询服务） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出GAR框架，通过约束优化在保证准确性和延迟的同时减少碳排放，实验表明其在保持性能的同时显著降低碳足迹。

Calibrate, Don't Curate: Label-Efficient Estimation from Noisy LLM Judges

校准，而非筛选：从噪声LLM评判者中高效估计

Yanran Li

机构 * Department of Biostatistics（生物统计学系） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.CL

AI总结 本文研究了在噪声LLM评判者中如何通过校准而非筛选来提高估计效率，发现校准全组评判者优于基于准确率的筛选，且在多个基准测试中表现更优。

SafeHarness: Lifecycle-Integrated Security Architecture for LLM-based Agent Deployment

SafeHarness：面向LLM代理部署的生命周期集成安全架构

Xixun Lin, Yang Liu, Yancheng Chen, Yongxuan Wu, Yucheng Ning, Yilong Liu, Nan Sun, Shun Zhang, Bin Chong, Chuan Zhou, Yanan Cao

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院） ； Institute of Applied Physics and Computational Mathematics（应用物理与计算数学研究所） ； Peking University（北京大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出SafeHarness架构，通过四个防御层集成到代理生命周期中，解决现有安全方法的结构性不匹配问题，降低不安全行为和攻击成功率。

Comments 26 pages, 6 figures

EdgeFlowerTune: Evaluating Federated LLM Fine-Tuning Under Realistic Edge System Constraints

EdgeFlowerTune: 在现实边缘系统约束下评估联邦大语言模型微调

Jiaxiang Geng, Yiyi Lu, Lunyu Zhao, Yan Gao, Nicholas D. Lane, Bing Luo

机构 * Duke Kunshan University（杜克-肯尼思大学） ； Flower Labs（Flower实验室） ； University of Cambridge（剑桥大学） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出EdgeFlowerTune基准，评估联邦LLM微调在现实边缘系统中的可行性，通过联合评估模型质量和系统成本，包括通信、时延、内存使用、能耗和动态边缘条件鲁棒性，揭示仅凭准确率评估的局限性。

Comments 30 pages, 10 figures

OSAQ: Outlier Self-Absorption for Accurate Low-bit LLM Quantization

OSAQ: 用于准确低比特LLM量化中的异常自吸收

Zhikai Li, Zhen Dong, Xuewen Liu, Jing Zhang, Qingyi Gu

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； University of California, Santa Barbara（加州大学圣芭芭拉分校） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文提出OSAQ方法，通过利用Hessian的低秩特性，利用加法权重抑制技术有效抑制低比特量化中的异常，提升模型性能。

Comments ICML 2026

Reliable LLM-Based Edge-Cloud-Expert Cascades for Telecom Knowledge Systems

可靠的基于大语言模型的边缘-云-专家级联系统用于电信知识系统

Qiushuo Hou, Sangwoo Park, Matteo Zecchin, Yunlong Cai, Guanding Yu, Osvaldo Simeone, Tommaso Melodia

机构 * College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息科学与电子工程学院） ； Centre for Intelligent Information Processing Systems (CIIPS), Department of Engineering, King’s College London（伦敦国王学院工程系智能信息处理系统中心） ； Intelligent Networked Systems Institute (INSI) at Northeastern University（东北大学智能网络化系统研究所） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出一种边缘-云-专家级联的LLM知识系统，通过问答流程实现决策，利用高效边缘模型处理常规查询，云模型处理复杂问题，必要时引入专家。通过统计严谨的阈值选择方法，保证在给定置信水平下可靠性。

Comments This paper has been submitted to a journal

SkillLens: Adaptive Multi-Granularity Skill Reuse for Cost-Efficient LLM Agents

SkillLens: 适应性多粒度技能重用以实现成本高效的LLM代理

Yongliang Miao, Ziyang Yu, Liang Zhao, Bowen Zhu, Hasibul Haque

机构 * Emory University（埃默里大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI

AI总结 SkillLens通过分层技能进化框架实现多粒度技能重用，解决技能重用中的相关性与成本矛盾，提升LLM代理在MuLocbench和ALFWorld中的性能。

GLiGuard: Schema-Conditioned Classification for LLM Safeguard

GLiGuard：面向LLM安全的模式条件分类

Urchade Zaratiana, Mary Newhauser, George Hurn-Maloney, Ash Lewis

机构 * Qwen Team（通义实验室） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 GLiGuard通过模式条件编码实现高效多维度内容安全评估，在参数更小的情况下达到与大模型守卫模型相当的准确率，同时提升吞吐量和降低延迟。

Comments 20 pages, 4 figures

PrefixGuard: From LLM-Agent Traces to Online Failure-Warning Monitors

PrefixGuard: 从LLM-代理轨迹到在线故障预警监控

Xinmiao Huang, Jinwei Hu, Rajarshi Roy, Changshun Wu, Yi Dong, Xiaowei Huang

机构 * University of Liverpool（利物浦大学） ； Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 PrefixGuard通过离线StepView诱导和监督学习训练监控器，有效提升异构轨迹上的在线故障预警性能，实现0.900/0.710/0.533/0.557 AUPRC的高精度预警。

Comments Under Review

VibeServe: Can AI Agents Build Bespoke LLM Serving Systems?

VibeServe: 人工智能代理能否构建定制化的LLM服务系统？

Keisuke Kamahori, Shihang Li, Simon Peter, Baris Kasikci

机构 * University of Washington（华盛顿大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本文提出VibeServe，一种通过多代理循环自动合成定制化LLM服务系统的框架，在标准部署中与vLLM竞争，在非标准场景中表现更优。

Estimating the Black-box LLM Uncertainty with Distribution-Aligned Adversarial Distillation

通过分布对齐对抗蒸馏估计黑盒大语言模型的不确定性

Huizi Cui, Huan Ma, Qilin Wang, Yuhang Gao, Changqing Zhang

机构 * School of Computer Science and Technology, Tianjin University, China（天津大学计算机科学与技术学院） ； School of Future Technology, Tianjin University, China（天津大学未来技术学院） ； Georgia Tech Shenzhen Institute, Tianjin University, China（Georgia Tech深圳研究院） ； School of Artificial Intelligence, Tianjin University, China（天津大学人工智能学院） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出DisAAD方法，通过生成-判别架构引导轻量级代理模型学习黑盒LLM的输出分布高质量区域，从而有效估计其不确定性。实验表明，即使代理模型仅占目标LLM大小的1%，也能实现可靠的不确定性量化。

Comments Accepted to ACL 2026

Rethinking Network Topologies for Cost-Effective Mixture-of-Experts LLM Serving

重新思考面向低成本专家混合模型LLM服务的网络拓扑

Junsun Choi, Sam Son, Sunjin Choi, Hansung Kim, Yakun Sophia Shao, Scott Shenker, Sylvia Ratnasamy, Borivoje Nikolic

机构 * UC Berkeley（加州大学伯克利分校） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本文研究了专家混合模型LLM服务的网络拓扑，通过系统分析发现低成本无交换机拓扑在多种场景下更有效，且未来GPU升级将进一步巩固其优势。

Position-Aware Drafting for Inference Acceleration in LLM-Based Generative List-Wise Recommendation

基于位置感知的drafting用于LLM生成列表式推荐的推理加速

Jiaju Chen, Chongming Gao, Chenxiao Fan, Haoyan Liu, Qingpeng Cai, Peng Jiang, Xiangnan He

机构 * University of Science and Technology of China（中国科学技术大学） ； Zhongguancun Academy（中关村学院） ； Independent Researcher（独立研究员） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出PAD-Rec，通过引入位置感知drafting机制，提升生成式推荐的推理效率，实验显示在四个真实数据集上达到3.1倍的时钟速度提升，并保持推荐质量。

Agentic Compilation: Mitigating the LLM Rerun Crisis for Minimized-Inference-Cost Web Automation

代理编译：缓解LLM重跑危机以实现最小化推理成本的网络自动化

Jagadeesh Chundru

机构 * Selfotix 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本文提出编译与执行架构，通过分离LLM推理与浏览器执行，将每项工作流的推理成本降至0.1美元以下，实现零样本编译成功率80-94%，并证明确定性编译可经济可行地实现大规模自动化。

Comments 12 pages, 4 figures, 2 tables. v2: Expanded literature review and clarified architecture limitations

DUAL-BLADE: Dual-Path NVMe-Direct KV-Cache Offloading for Edge LLM Inference

DUAL-BLADE：双路径NVMe直接KV缓存卸载用于边缘大语言模型推理

Bodon Jeong, Hongsu Byun, Youngjae Kim, Weikuan Yu, Kyungkeun Lee, Jihoon Yang, Sungyong Park

机构 * Sogang University（ソンガン大学） ； Florida State University（佛罗里达州立大学） ； Samsung Electronics Co.（三星电子公司） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出DUAL-BLADE双路径框架，通过动态分配KV张量到页缓存或NVMe直接路径，减少I/O瓶颈，提升边缘LLM推理吞吐量。

Comments To appear in IEEE International Conference on Distributed Computing Systems (ICDCS) 2026

Both Ends Count! Just How Good are LLM Agents at "Text-to-Big SQL"?

两端都算！LLM代理在『文本到大数据SQL』方面表现如何？

Germán T. Eizaguirre, Lars Tissen, Marc Sánchez-Artigas

机构 * RWTH Aachen University（亚琛工业大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.CL

AI总结 本文提出评估『文本到大数据SQL』的新指标，揭示传统文本到SQL指标在处理大规模数据时的不足，展示LLM代理在执行效率、成本及数据规模影响方面的表现。

Comments 14 pages, 8 figures

Journal ref Proc. EuroMLSys '26 (2026) 333-345

MAGELLAN: Metacognitive predictions of learning progress guide autotelic LLM agents in large goal spaces

MAGELLAN：元认知预测学习进度指导自主LLM代理在大规模目标空间中学习

Loris Gaven, Thomas Carta, Clément Romac, Cédric Colas, Sylvain Lamprier, Olivier Sigaud, Pierre-Yves Oudeyer

机构 * Department of XXX, University of YYY, Location, Country（XXX部门，YYYY大学，地点，国家） ； School of ZZZ, Institute of WWW, Location, Country（ZZZ学院，WWW研究所，地点，国家） ； Inria (Flowers), University of Bordeaux, France（Inria（Flowers），波尔多大学，法国） ； MIT, Computational Cognitive Science Lab, Cambridge, MA, USA（麻省理工学院，计算认知科学实验室，马萨诸塞州剑桥，美国） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI

AI总结 MAGELLAN通过元认知预测学习进度，使LLM代理在大规模目标空间中高效优先目标，提升学习效率和适应能力。

UNSEEN: A Cross-Stack LLM Unlearning Defense against AR-LLM Social Engineering Attacks

UNSEEN: 一种跨栈LLM去学习防御对抗AR-LLM社会工程攻击

Tianlong Yu, Yang Yang, Xiao Luo, Lihong Liu, Fudu Xing, Zui Tao, Kailong Wang, Gaoyang Liu, Ting Bi

机构 * Hubei University（湖北大学） ； University of Southern California（南加州大学） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI

AI总结 针对AR-LLM社会工程攻击，提出UNSEEN跨栈防御机制，结合AR访问控制层、基于F-RMU的LLM去学习和运行时代理防护，通过用户研究验证其有效性。

RouteLMT: Learned Sample Routing for Hybrid LLM Translation Deployment

RouteLMT: 为混合LLM翻译部署设计的学得样本路由

Yingfeng Luo, Hongyu Liu, Dingyang Lin, Kaiyan Chang, Chenglong Wang, Bei Li, Quan Du, Tong Xiao, Jingbo Zhu

机构 * School of Computer Science and Engineering, Northeastern University, Shenyang, China（东北大学计算机科学与工程学院，中国沈阳） ； NiuTrans Research, Shenyang, China（牛译研究院，中国沈阳） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出RouteLMT，通过在模型内部预测大模型相对于小模型的边际增益，实现高效的样本路由，优于传统启发式和质量估计方法，达到更优的质量-预算帕累托前沿。

Comments Accepted to ACL 2026 Industry Track

Tracing the complexity profiles of different linguistic phenomena through the intrinsic dimension of LLM representations

通过LLM表示的内在维度追溯不同语言现象的复杂性特征

Marco Baroni, Emily Cheng, Iria de-Dios-Flores, Francesca Franzon

机构 * Universitat Pompeu Fabra (UPF)（巴塞罗那自治大学） ； ICREA（加泰罗尼亚凝聚态物理与应用研究中心） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.CL

AI总结 研究通过LLM表示的内在维度揭示语言复杂性对比，发现复杂现象在不同层间表现出更高的维度差异。

Refute-or-Promote: An Adversarial Stage-Gated Multi-Agent Review Methodology for High-Precision LLM-Assisted Defect Discovery

反驳或促进：一种对抗性阶段门多智能体评审方法，用于高精度LLM辅助缺陷发现

Abhinav Agarwal

机构 * OpenSSL 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本文提出Refute-or-Promote方法，通过对抗性阶段门多智能体评审，提高LLM辅助缺陷发现的精度，通过多种技术过滤虚假正例，最终发现多个漏洞并推动标准制定。

Comments 10 pages, 3 tables. Artifacts: https://github.com/abhinavagarwal07/refute-or-promote (Zenodo DOI: 10.5281/zenodo.19668799)

Toward Zero-Egress Psychiatric AI: On-Device LLM Deployment for Privacy-Preserving Mental Health Decision Support

迈向零数据外溢的心理AI：设备端LLM部署用于隐私保护的心理健康决策支持

Eranga Bandara, Asanga Gunaratna, Ross Gore, Anita H. Clayton, Christopher K. Rhea, Sachini Rajapakse, Isurunima Kularathna, Sachin Shetty, Ravi Mukkamala, Xueping Liang, Preston Samuel, Atmaram Yarlagadda

机构 * Old Dominion University（旧 Dominion 大学） ； AI Motion Labs（AI Motion 实验室） ； Department of Psychiatry and Neurobehavioral Sciences（精神病学与神经行为科学系） ； University of Virginia School of Medicine（弗吉尼亚大学医学院） ； Florida International University（佛罗里达国际大学） ； Blanchfield Army Community Hospital（Blanchfield陆军社区医院） ； McDonald Army Health Center（McDonald陆军医疗中心） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本文提出一种零数据外溢的设备端AI平台，通过本地执行推理管道，实现隐私保护的心理健康决策支持，使用轻量级LLM进行诊断评估。

HopRank: Self-Supervised LLM Preference-Tuning on Graphs for Few-Shot Node Classification

HopRank: 图上基于自监督的LLM偏好微调用于少样本节点分类

Ziqing Wang, Kaize Ding

机构 * Northwestern University（西北大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出HopRank，通过自监督学习在文本属性图上实现少样本节点分类，利用图拓扑结构编码的类别信息，无需标注数据即可提升分类性能。

CAMP: Cumulative Agentic Masking and Pruning for Privacy Protection in Multi-Turn LLM Conversations

CAMP：累积代理掩码与剪枝用于多轮LLM对话中的隐私保护

Aman Panjwani

机构 * Independent Researcher（独立研究员） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 CAMP通过跨轮次隐私保护框架，解决多轮对话中累积PII暴露问题，通过会话级注册、共现图和CPE评分实现有效隐私保护，同时保持对话实用性。

Comments Submitted to arXiv. Finance-domain multi-turn demo evaluated on 4 synthetic scenarios. Independent research

Cost-Aware Model Orchestration for LLM-based Systems

面向LLM系统的成本感知模型编排

Daria Smirnova, Hamid Nasiri, Marta Adamska, Zhengxin Yu, Peter Garraghan

机构 * Lancaster University（兰卡斯特大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出一种考虑性能与成本权衡的成本感知模型选择方法，通过整合定量模型性能特征提升任务准确性、能效和编排效率。

Comments 9 pages, 5 figures. Accepted at EuroMLSys '26, Edinburgh, Scotland UK

TRACER: Trace-Based Adaptive Cost-Efficient Routing for LLM Classification

TRACER：基于追踪的自适应成本高效路由用于LLM分类

Adam Rida

机构 * Independent Researcher（独立研究者） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI

AI总结 TRACER通过利用生产日志中的标注输入输出对训练轻量级替代模型，实现低成本的LLM分类路由，其通过阈值机制动态决定模型部署边界，并生成可解释性特征。

Comments github.com/adrida/tracer