语言大模型 / LLM

NIRVANA: Structured Pruning Reimagined for Large Language Model Compression

NIRVANA：为大语言模型压缩重新构想的结构化剪枝

Mengting Ai, Tianxin Wei, Sirui Chen, Jingrui He

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 研究针对大语言模型结构化剪枝中性能下降等问题，提出NIRVANA框架。通过函数空间显著性评估结构重要性，引入全局单元排序等策略，消除随机采样不稳定问题，在多架构上广泛评估，取得新的最优结果，为模型压缩提供实用方法。

Comments Accepted to COLM 2026. Camera-ready

BalDRO: A Distributionally Robust Optimization based Framework for Large Language Model Unlearning

BalDRO：一种基于分布鲁棒优化的大语言模型遗忘框架

Pengyang Shao, Naixin Zhai, Lei Chen, Yonghui Yang, Fengbin Zhu, Xun Yang, Meng Wang

机构 * National University of Singapore（新加坡国立大学） ； University of Science and Technology of China（中国科学技术大学） ； Hefei University of Technology（合肥工业大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 针对大语言模型遗忘中样本不均衡问题，提出BalDRO框架，将遗忘设为最小-上确界过程，通过内、外步更新参数，经BalDRO-G和BalDRO-DV变体实例化，实验显示其在遗忘质量和模型效用上显著优于现有方法。

The Wiola Architecture for Efficient Small Language Models

Wiola架构：高效小型语言模型

Aryuemaan Kumar Chowdhury, Afreen Shaik, Yaparla Bhargavi, Brahma Kumar

专题命中 效率与部署 ：language model(title,abstract)；small language model(title,abstract)；SLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出Wiola小型语言模型架构，包含五种原创组件，在多个规模上超越GPT-2、LLaMA-2和Mistral。

Comments 7 Pages

YuFeng-XGuard: A Reasoning-Centric, Interpretable, and Flexible Guardrail Model for Large Language Models

YuFeng-XGuard：一种以推理为中心、可解释且灵活的大语言模型护栏模型

Junyu Lin, Meizhen Liu, Xiufeng Huang, Jinfeng Li, Haiwen Hong, Xiaohan Yuan, Yuefeng Chen, Longtao Huang, Hui Xue, Ranjie Duan, Zhikai Chen, Yuchuan Fu, Defeng Li, Lingyao Gao, Yitong Yang

机构 * Alibaba-AAIG（阿里云-阿里人工智能研究院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 提出YuFeng-XGuard护栏模型系列，通过结构化风险预测（含风险类别、置信度分数及自然语言解释）实现可解释的多维风险感知，并采用分层推理范式平衡延迟与解释深度，同时引入动态策略机制解耦风险感知与策略执行。

Robust Text Watermarking for Large Language Models via Dual Semantic Embeddings

基于双语义嵌入的大型语言模型鲁棒文本水印

Jonas Schäfer, Cezary Pilaszewicz, Gerhard Wunder

机构 * Freie Universität Berlin（柏林自由大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 提出双嵌入水印（DEW），利用上下文和词级嵌入增强对释义和翻译的鲁棒性，通过伪随机矩阵投影隐藏水印，实验表明DEW在保持文本质量的同时提升检测性能。

Comments Preprint. 22 pages, 9 tables, 1 figure

Learning from the Self-future: On-policy Self-distillation for dLLMs

从自我未来学习：面向扩散LLM的在线自蒸馏

Yifu Luo, Zeyu Chen, Haoyu Wang, Xinhao Hu, Yuxuan Zhang, Zhizhou Sha, Shiwei Liu

机构 * Tsinghua University（清华大学） ； Technical University of Munich（慕尼黑工业大学） ； Nanyang Technological University（南洋理工大学） ； University of British Columbia（不列颠哥伦比亚大学） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） ； ELLIS Institute Tubingen（ELLIS蒂宾根研究所） ； Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所） ； Tubingen AI Center（蒂宾根人工智能中心） 纠错

专题命中 效率与部署 ：SFT(summary_cn,abstract)；LLM(title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出首个面向扩散大语言模型的在线自蒸馏框架d-OPSD，通过自我生成答案作为后缀条件实现从自我未来经验学习，并将监督从词元级转向步骤级，在推理基准上以约10%的优化步骤超越RLVR和SFT基线。

Comments Preprint

AREAL-DTA: Dynamic Tree Attention for Efficient Reinforcement Learning of Large Language Models

AREAL-DTA：用于大语言模型高效强化学习的动态树注意力机制

Jiarui Zhang, Yuchen Yang, Ran Yan, Zhiyu Mei, Liyuan Zhang, Daifeng Li, Wei Fu, Jiaxuan Gao, Shusheng Xu, Yi Wu, Binhang Yuan

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；post-training(abstract)

AI总结 针对RL后训练中rollout序列共享前缀导致计算冗余的问题，提出基于深度优先搜索的动态树注意力机制，结合负载均衡分布式批处理，实现高效前缀共享，训练吞吐量提升最高8.31倍。

Comments Accepted at ICML 2026. Camera-ready version. Code: https://github.com/areal-project/AReaL/tree/feat/dta

Adaptive Multi-Resolution Procedural Knowledge Compression for Large Language Models

自适应多分辨率程序性知识压缩用于大型语言模型

Changyue Wang, Weihang Su, Qingyao Ai, Yichen Tang, Runzhong Qiao, Xuancheng Li, Min Zhang, Yiqun Liu

机构 * Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 提出SKIM框架，通过自适应多分辨率软令牌压缩程序性技能，在保持任务性能的同时将技能令牌长度压缩至30%-60%。

SWEnergy: An Empirical Study on Energy Efficiency in Agentic Issue Resolution Frameworks with SLMs

SWEnergy：关于使用SLM的代理问题解决框架的能量效率实证研究

Arihant Tripathy, Ch Pavan Harshit, Karthik Vaidhyanathan

机构 * SERC, IIIT-Hyderabad（IIIT-海得拉巴研究所） 纠错

专题命中 效率与部署 ：SLM(title_cn,summary_cn)；LLM(abstract)；language model(abstract)；small language model(abstract)

AI总结 本文通过实证研究，探讨了四种主流代理问题解决框架在使用小型语言模型时的能量效率和资源消耗，发现框架架构是主要能耗驱动因素，但SLM的有限推理能力导致大量能耗浪费。

Comments 8 pages, 5 figures, 1 table. Accepted to AGENT 2026 (ICSE 2026 workshop)

Journal ref Proceedings of the 2026 International Workshop on Agentic Engineering (AGENT 2026), ACM, 2026, pp. 104-111

AlignFed: Alignment-Aware Asynchronous Federated Fine-Tuning for Large Language Models in Heterogeneous Edge Environments

AlignFed: 异构边缘环境中大语言模型的对齐感知异步联邦微调

Yan Wang, Ziyi Gao, Rui Wang

机构 * University of Science and Technology Beijing（北京科技大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 提出AlignFed框架，通过多阶段语义对齐机制（版本感知更新分组、跨版本语义对齐、公平性感知聚合）解决异步联邦微调中大语言模型在异构边缘环境中的模型漂移、客户端漂移和聚合不公平问题。

Model Multiplicity for Adversarial Detection in Small Language Model Training on Edge Devices

边缘设备上小语言模型训练中对抗检测的模型多重性

Stefan Behfar, Richard Mortier

机构 * Computer Lab, University of Cambridge（剑桥大学计算机实验室） 纠错

专题命中 效率与部署 ：language model(title,abstract)；small language model(title,abstract)；SLM(abstract,abstract_cn)；分类 cs.AI

AI总结 针对边缘设备上分布式微调语言模型易受投毒攻击的问题，提出基于模型多重性的系统级防御，通过旋转或并行训练多个小语言模型并量化其差异来检测异常，实验表明比经典单模型防御更早更可靠地检测投毒。

SharedRequest: Privacy-Preserving Model-Agnostic Inference for Large Language Models

SharedRequest: 面向大型语言模型的隐私保护模型无关推理

Peihua Mai, Xuanrong Gao, Youlong Ding, Xianglong Du, Wei Liu, Yan Pang

机构 * National University of Singapore (Chongqing) Research Institute（新加坡国立大学（重庆）研究院） ； Chongqing Key Laboratory of Trusted Perception and Interaction Technology for Intelligent and Connected Vehicles（重庆智能网联车辆可信感知与交互技术重点实验室） ； National University of Singapore（新加坡国立大学） ； Hebrew University of Jerusalem（耶路撒冷希伯来大学） ； State Key Laboratory of Intelligent Vehicle Safety Technology, Chongqing, China（重庆智能车辆安全技术国家重点实验室） ； CHONGQING CHANGAN AUTOMOBILE Co., Ltd（重庆长安汽车有限公司） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出一种模型无关的隐私保护推理框架SharedRequest，通过批量级别混淆和语义分组实现高效隐私保护，相比差分隐私基线效用提升20%以上，查询成本降低5倍。

Comments accepted by ACL 2026 (main)

DeInfer: Efficient Parallel Inferencing for Decomposed Large Language Models

DeInfer：分解式大语言模型的高效并行推理

You-Liang Huang, Xinhao Huang, Chengxi Liao, Zeyi Wen

机构 * Boston University（波士顿大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 针对分解式大语言模型并行推理性能差的问题，提出DeInfer系统，通过多项优化实现高性能并行推理，实验证明其优越性。

Comments accepted by DAC'26, latest version fixs a minor mistake

Qift: Shift-Friendly No-Zero W2 Post-Training Quantization for Rotated W2A4/KV4 LLM Inference

Qift: 面向旋转W2A4/KV4 LLM推理的移位友好型无零W2后训练量化

Chi-Wei Huang, Chia-Chi Tsai

机构 * National Cheng Kung University（国立成功大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；post-training(title)；分类 cs.LG

AI总结 针对旋转量化流水线中W2A4/KV4设置下标准W2电平集性能不佳的问题，提出一种基于零中心高斯源模型的无零固定W2电平集Qift，通过重新设计码本映射实现无训练、无学习码本、无组网格、无零点的量化，显著提升模型困惑度和下游精度。

Comments 23 pages, 8 figures

Measuring Maximum Activations in Open Large Language Models

测量开放大型语言模型中的最大激活值

Luxuan Chen, Han Tian, Xinran Chen, Rui Kong, Fang Wang, Jiamin Chen, Yuchen Li, Jiashu Zhao, Shuaiqiang Wang, Haoyi Xiong, Linghe Kong, Dawei Yin

机构 * Shanghai Jiao Tong University（上海交通大学） ； Baidu Inc.（百度公司） ； Nankai University（南开大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(title)；language model(title)；分类 cs.CL

AI总结 本研究通过统一流程测量8个开放LLM家族的27个检查点中的全局和逐层最大激活值，发现其跨家族、架构和训练阶段差异显著，且与低比特量化误差相关，建议在发布开放权重时报告该指标。

Not All Errors Are Equal: A Systematic Study of Error Propagation in Large Language Model Inference

并非所有错误都平等：大型语言模型推理中错误传播的系统研究

Yafan Huang, Sheng Di, Guanpeng Li

机构 * University of Iowa（爱荷华大学） ； Argonne National Laboratory（阿贡国家实验室） ； University of Florida（佛罗里达大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本研究通过提出的LLMFI故障注入框架，系统研究了软错误在大型语言模型推理中的传播机制，揭示了关键脆弱性模式，并提出了四种低开销的软件级可靠性改进方向。

Comments Accepted at ICS'26

Fingerprinting Inference Systems of Large Language Models

大型语言模型的推理系统指纹识别

Anna Wimbauer, Jonas Möller, Erik Imgrund, Konrad Rieck

机构 * BIFOLD & TU Berlin（BIFOLD与柏林技术大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(title)；language model(title)；分类 cs.LG

AI总结 本文提出一种通过分析LLM的提示-响应行为来识别推理系统组件（如推理引擎、注意力后端和硬件平台）的指纹方法，并论证了防御该指纹识别的根本困难性。

Rare Event Analysis of Large Language Models

大型语言模型的罕见事件分析

Jake McAllister Dorman, Edward Gillman, Dominic C. Rose, Jamie F. Mair, Juan P. Garrahan

机构 * School of Physics and Astronomy, University of Nottingham（物理与天文学学院，诺丁汉大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 本文提出一个端到端框架，用于系统分析大型语言模型中的罕见事件，涵盖理论、高效生成策略、概率估计和误差分析，并通过实例展示其应用。

Comments ICML 2026 Oral Spotlight

Exploring and Developing a Pre-Model Safeguard with Draft Models

探索和开发预模型安全防护机制

Hongyu Cai, Arjun Arunasalam, Yiming Liang, Antonio Bianchi, Z. Berkay Celik

机构 * Purdue University（普渡大学） ； Florida International University（佛罗里达国际大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract,abstract_cn)；language model(abstract,abstract_cn)；SLM(abstract,abstract_cn)

AI总结 本文研究了如何通过利用 jailbreak 攻击的可转移性，在目标模型推理前确保提示的安全性，提出了一种新的安全防护设计，减少了预模型防护的误报率，并提供了一种低开销的替代方案。

Journal ref ACM Conference on AI and Agentic Systems (ACM CAIS 2026)

MoleCode unlocks structural intelligence in large language models

MoleCode 解锁大型语言模型中的结构智能

Zhiyuan Yan, Chen Liu, Boxuan Zhao, Kaiqing Lin, Jixiang Zhao, Yimi Wang, Liuzhenghao Lv, Hao Li, Shanzhuo Zhang, Li Yuan, Fanyang Mo

机构 * Peking University Shenzhen Graduage School 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 MoleCode 通过引入图显分子语言，使大型语言模型能直接操作分子结构，提升分子推理、编辑、生成和分析任务的性能，尤其在结构受限场景下表现突出。

Data-driven and distributed governance of building facilities management using decentralized autonomous organization, digital twin, and large language models

基于去中心化自治组织、数字孪生和大语言模型的建筑设施管理数据驱动与分布式治理

Reachsak Ly, Alireza Shojaei, Xinghua Gao, Philip Agee, Abiola Akanmu

机构 * School of Technology, Eastern Illinois University（东伊利诺伊大学技术学院） ； Myers-Lawson School of Construction, Virginia Polytechnic Institute and State University（弗吉尼亚理工学院和州立大学迈尔斯-劳森建设学院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出一种融合DAO、数字孪生、大语言模型和区块链的建筑管理分布式治理框架，以提升决策透明度和系统安全性。

Comments 33 pages, 20 figures, 4 tables

RapidUn: Influence-Driven Parameter Reweighting for Efficient Large Language Model Unlearning

RapidUn: 基于影响的参数重加权用于高效的大语言模型反学习

Guoshenghui Zhao, Huawei Lin, Weijie Zhao

机构 * Golisano College of Computing and Information Sciences, Rochester Institute of Technology（罗切斯特理工学院戈利萨诺计算机与信息科学学院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 RapidUn通过快速估计模块评估每个样本的影响，将这些分数映射为自适应更新权重，指导选择性参数更新，从而在Mistral-7B和Llama-3-8B上实现比全重训练高100倍的效率，并优于Fisher、GA和LoReUn。

Comments Code available at: https://github.com/eyerf/RapidUn

EvoNav: Evolutionary Reward Function Design for Robot Navigation with Large Language Models

EvoNav：基于大语言模型的机器人导航奖励函数进化设计

Zhikai Zhao, Chuanbo Hua, Federico Berto, Zihan Ma, Kanghoon Lee, Jiachen Li, Jinkyoo Park

机构 * KAIST（韩国科学技术院） ； Radical Numerics ； UC Riverside（加州大学河滨分校） ； Omelet AI4CO 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出EvoNav框架，利用大语言模型自动设计机器人导航奖励函数，通过逐步升温-提升流程降低训练成本，实验表明其优于人工设计和现有方法。

LLM4Branch: Large Language Model for Discovering Efficient Branching Policies of Integer Programs

LLM4Branch：用于发现整数规划高效分支策略的大语言模型

Zhinan Hou, Xingchen Li, Yankai Zhang, Tianxun Li, Keyou You

机构 * Department of Automation, BNRist, Tsinghua University, Beijing, China.（自动化系，BNRist，清华大学，北京，中国） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出LLM4Branch，利用大语言模型自动发现整数规划的高效分支策略，通过程序骨架生成和参数优化，实现CPU基方法的新状态-of-the-art性能。

Comments ICML2026 preprint, camera ready in progress

Merlin: Deterministic Byte-Exact Deduplication for Lossless Context Optimization in Large Language Model Inference

Merlin：用于无损上下文优化的大语言模型推理中的确定性字节精确去重

Sietse Schelpe

机构 * Corbenic AI, Inc.（Corbenic AI公司） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 Merlin通过高效去重和上下文优化提升大语言模型推理效率，减少冗余文本处理瓶颈，实验显示在高冗余数据中减少71%输入，保持数据完整性。

Comments Preprint. Implementation and open-source community version available at: https://github.com/corbenicai/merlin-community - https://doi.org/10.5281/zenodo.20090991

Large Language Models over Networks: Collaborative Intelligence under Resource Constraints

网络上的大语言模型：在资源限制下的协作智能

Liangqi Yuan, Wenzhi Fang, Shiqiang Wang, H. Vincent Poor, Christopher G. Brinton

机构 * Purdue University（普渡大学） ； University of Exeter（埃克塞特大学） ； Princeton University（普林斯顿大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 本文探讨了在资源受限环境下，通过设备与云端协同以及多智能体协作提升大语言模型性能的方法，提出了协同推理的两种维度，并讨论了协作学习与开放研究挑战。

LLMSpace: Carbon Footprint Modeling for Large Language Model Inference on LEO Satellites

LLMSpace：大型语言模型在低地球轨道卫星上的推理碳足迹建模

Lei Jiang, Adrian Ildefonso, Daniel Loveless, Fan Chen

机构 * Indiana University（印第安纳大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 本文提出LLMSpace框架，用于建模AI赋能低地球轨道卫星上大型语言模型推理的碳足迹，分析碳足迹、延迟、硬件设计和使用寿命之间的关键权衡。

Comments 12 pages, 4 figures, 6 tables

Outlier Smoothing with Closed-Form Rotations for W4A4 Large Language Model Quantization

基于闭式旋转的W4A4大语言模型量化去噪

Jinying Xiao, Bin Ji, Shasha Li, Xiaodong Liu, Ma Jun, Chao Wang, Wei Li, Ye Zhong, Xuan Xie, Nyima Tashi, Jie Yu

机构 * National University of Defense Technology（国防科技大学） ； Qinghai Normal University（青海师范大学） ； Tibet University（西藏大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 本文提出SingleQuant框架，通过闭式最优旋转平滑激活异常值，提升大语言模型量化性能，实验证明其在多种任务中优于基线方法。

Comments 9 pages, 4 figures

Towards Emotion Consistency Analysis of Large Language Models in Emotional Conversational Contexts

面向情感一致性分析的大型语言模型在情感对话情境中的研究

Sneha Oram, Ojaswita Bhushan, Pushpak Bhattacharyya

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 本文研究了大型语言模型在情感对话中生成响应的一致性，通过极端和中等情绪的三个查询测试，发现模型在处理包含错误假设的查询时表现欠佳，尤其在中等情绪内容中更易受虚假信念影响。

Comments Under-review

Tree-Structured Synergy of Large Language Models and Bayesian Optimization for Efficient CASH

树状结构下大语言模型与贝叶斯优化的协同作用：高效CASH问题

Beicheng Xu, Weitong Qian, Lingching Tung, Yupeng Lu, Bin Cui

机构 * School of Computer Science, Peking University（北京大学计算机科学系） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 本文提出LB-MCTS框架，通过树状结构整合大语言模型与贝叶斯优化，解决高维CASH问题中的冷启动问题，实验表明其优于传统方法。