语言大模型 / LLM

Distributed Hybrid Parallelism for Large Language Models: Comparative Study and System Design Guide

大规模语言模型的分布式混合并行：比较研究与系统设计指南

Hossam Amer, Rezaul Karim, Ali Pourranjbar, Weiwei Zhang, Walid Ahmed, Boxing Chen

机构 * Huawei Canada（华为加拿大） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究大规模语言模型的分布式混合并行方法，通过比较分析和系统设计指南，探讨优化并行策略以提升训练和推理效率。

A Behavioral Fingerprint for Large Language Models: Provenance Tracking via Refusal Vectors

大型语言模型的行为指纹：通过拒绝向量进行溯源追踪

Zhenyu Xu, Victor S. Sheng

机构 * Department of Computer Science, Texas Tech University（计算机科学系，塔尔萨大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 本文提出通过拒绝向量进行大型语言模型溯源追踪的方法，开发了稳健的行为指纹系统，并验证其在知识产权保护中的有效性。

A Systematic Literature Review on Large Language Models for Automated Program Repair

基于大型语言模型的自动程序修复系统文献综述

Quanjun Zhang, Chunrong Fang, Yang Xie, YuXiang Ma, Weisong Sun, Yun Yang, Zhenyu Chen

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

AI总结 本文系统综述了2020-2025年间基于大型语言模型的自动程序修复技术，分析了其应用、挑战与未来方向。

Comments Accepted to ACM Transactions on Software Engineering and Methodology (TOSEM 2026)

Inference-Aware Prompt Optimization for Aligning Black-Box Large Language Models

面向推理的提示优化以对齐黑盒大语言模型

Saaduddin Mahmud, Mason Nakamura, Kyle Hollins Wray, Shlomo Zilberstein

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出IAPO框架，通过联合优化提示和推理规模，提升黑盒大语言模型对齐效果。

Comments Accepted to AAAI 2026. Extended 17-page version

Beyond Next-Token Alignment: Distilling Multimodal Large Language Models via Token Interactions

超越单个词对齐：通过令牌交互蒸馏多模态大语言模型

Lin Chen, Xiaoke Zhao, Kun Ding, Weiwei Feng, Changtao Miao, Zili Wang, Wenxuan Guo, Ying Wang, Kaiyuan Zheng, Bo Zhang, Zhe Li, Shiming Xiang

机构 * MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所信息与智能系统研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Zhejiang University（浙江大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)

AI总结 Align-TI通过令牌交互改进知识蒸馏，实现多模态大语言模型的高效压缩与性能提升

PABU: Progress-Aware Belief Update for Efficient LLM Agents

PABU：面向高效LLM代理的进度感知信念更新

Haitao Jiang, Lin Ge, Hengrui Cai, Rui Song

机构 * North Carolina State University, Raleigh, NC, USA（北卡罗来纳州立大学） ； University of California, Irvine, CA, USA（加州大学伊市分校） ； Amazon, Seattle, WA, USA（亚马逊公司） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 PABU通过显式建模任务进度和选择性保留历史信息，提升了LLM代理的任务完成效率和性能。

SAGE: An Agentic Explainer Framework for Interpreting SAE Features in Language Models

SAGE: 一种用于解释语言模型SAE特征的代理解释框架

Jiaojiao Han, Wujiang Xu, Mingyu Jin, Mengnan Du

机构 * New Jersey Institute of Technology（新泽西理工学院） ； Rutgers University（罗格斯大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL

AI总结 SAGE提出了一种基于代理的框架，通过主动解释驱动过程提升对语言模型SAE特征的解释准确性。

Comments EACL 2026 Industry Track

Selective KV-Cache Sharing to Mitigate Timing Side-Channels in LLM Inference

选择性KV缓存共享以缓解LLM推理中的定时侧信道

Kexin Chu, Zecheng Lin, Dawei Xiang, Zixu Shen, Jianchang Su, Cheng Chu, Yiwei Yang, Wenhui Zhang, Wenfei Wu, Wei Zhang

机构 * University of Connecticut Storrs（康涅狄格大学斯托尔斯分校） ； Independent（独立研究者） ； Indiana University Bloomington（印第安纳大学布卢明顿分校） ； UC Santa Cruz（圣克拉拉大学） ； Peking University（北京大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 SafeKV通过选择性KV缓存共享缓解LLM推理中的定时侧信道问题，实现隐私保护与性能优化的平衡。

Comments 14 pages,15 figures

Environment-in-the-Loop: Rethinking Code Migration with LLM-based Agents

环境在环：重新思考基于LLM代理的代码迁移

Xiang Li, Zhiwei Fei, Ying Ma, Jerry Zhang, Sarro Federica, He Ye

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)

AI总结 本文提出了一种整合自动环境设置与代码迁移流程的框架，强调自动环境交互对代码迁移自动化的重要性。

LLM-CoOpt: A Co-Design and Optimization Framework for Efficient LLM Inference on Heterogeneous Platforms

LLM-CoOpt: 一种用于异构平台高效大语言模型推理的协同设计与优化框架

Jie Kong, Wei Wang, Jiehan Zhou, Chen Yu

专题命中 效率与部署 ：LLM(title,abstract)；language model(abstract)

AI总结 LLM-CoOpt通过协同设计与优化框架，提升大语言模型在异构平台上的推理效率，实现吞吐量和延迟的显著提升。

Learning Tractable Distributions Of Language Model Continuations

学习可 tractable 的语言模型延续分布

Gwen Yidou-Weng, Ian Li, Anji Liu, Oliver Broadrick, Yuchen Cui, Guy Van den Broeck, Benjie Wang

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； University of California, San Diego（加州大学圣地亚哥分校） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 LTLA通过结合神经网络和隐马尔可夫模型，提高语言模型延续的可 tractable 性，实现更高效的解码和更强的约束控制。

Rollout-Training Co-Design for Efficient LLM-Based Multi-Agent Reinforcement Learning

为高效的大规模基于LLM的多智能体强化学习设计rollout训练

Zhida Jiang, Zhaolong Xing, Jiawei Lu, Yipei Niu, Qingyuan Sang, Liangxu Zhang, Wenquan Dai, Junhua Shu, Jiaxing Wang, Qiangyu Pei, Qiong Chen, Xinyu Liu, Fangming Liu, Ai Han, Zhen Chen, Ke Zhang

机构 * Huawei（华为公司） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.LG

AI总结 FlexMARL通过端到端训练框架优化rollout与训练协调，实现大规模基于LLM的多智能体强化学习的高效训练。

Compiler-Assisted Speculative Sampling for Accelerated LLM Inference on Heterogeneous Edge Devices

编译器辅助的推测采样用于加速异构边缘设备上的大语言模型推理

Alejandro Ruiz y Mesa, Guilherme Korol, Moritz Riesterer, João Paulo Cardoso de Lima, Jeronimo Castrillon

机构 * NXP Semiconductors（恩智浦半导体） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.LG

AI总结 本文提出编译器辅助的推测采样方法，通过分析成本模型优化异构边缘设备上的LLM推理性能，实现翻译任务加速1.68倍。

Comments Accepted to AccML@HiPEAC 2026

Foundation Model-Aided Hierarchical Deep Reinforcement Learning for Blockage-Aware Link in RIS-Assisted Networks

基于基础模型的分层深度强化学习用于RIS辅助网络中阻塞感知的链路

Mohammad Ghassemi, Han Zhang, Ali Afana, Akram Bin Sediq, Melike Erol-Kantarci

专题命中 效率与部署 ：foundation model(title,abstract)

AI总结 本文提出基于基础模型的分层深度强化学习框架，用于RIS辅助网络中提升频谱效率的阻塞感知链路优化。

Comments 6 pages, 6 figures, ICC2026

Answer First, Reason Later: Aligning Search Relevance via Mode-Balanced Reinforcement Learning

先回答，后推理：通过模式平衡强化学习对齐搜索相关性

Shijie Zhang, Xiang Guo, Rujun Guo, Shaoyu Liu, Xiaozhao Wang, Guanjun Jiang, Kevin Zhang

机构 * Qwen Applications Business Group, Alibaba Group（阿里集团文应用业务组） ； Peking University（北京大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；SFT(abstract)；分类 cs.LG

AI总结 本研究提出AFRL范式，通过模式平衡优化策略结合SFT与RL，实现低延迟高精度的搜索相关性模型，并有效知识蒸馏。

TabNSA: Native Sparse Attention for Efficient Tabular Data Learning

TabNSA：用于高效表格数据学习的原生稀疏注意力

Ali Eslamian, Qiang Cheng

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 TabNSA通过原生稀疏注意力与TabMixer结合，高效建模表格数据，优于现有深度学习模型，并通过LLM提升少样本学习能力。

Comments 26 pages, 11 tables

Journal ref Neurocomputing 675 (2026) 132928

Unsupervised Layer-Wise Dynamic Test Time Adaptation for LLMs

无监督分层动态测试时间适应用于大语言模型

Longhuan Xu, Cunjian Chen, Feng Yin

机构 * Southeast University-Monash University Joint Graduate School（东南大学-墨尔本大学联合研究生院） ； Southeast University（东南大学） ； Monash University（墨尔本大学） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出分层动态测试时间适应方法，通过动态调节TTA强度提升LLM在无监督样本特定场景下的稳定性和性能。

AdaTSQ: Pushing the Pareto Frontier of Diffusion Transformers via Temporal-Sensitivity Quantization

AdaTSQ: 通过时间敏感量化推动扩散变换器的帕累托前沿

Shaoqiu Zhang, Zizhong Ding, Kaicheng Yang, Junyi Wu, Xianglong Yan, Xi Li, Bingnan Duan, Jianping Fang, Yulun Zhang

机构 * Shanghai Jiaotong University（上海交通大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 AdaTSQ通过时间敏感量化方法提升扩散变换器的效率与质量，优于现有方法。

Comments Code will be released at https://github.com/Qiushao-E/AdaTSQ/

Causality in Video Diffusers is Separable from Denoising

视频扩散器中的因果性可与去噪分离

Xingjian Bai, Guande He, Zhengqi Li, Eli Shechtman, Xun Huang, Zongze Wu

机构 * Massachusetts Institute of Technology（麻省理工学院） ； Adobe Research（Adobe研究院） ； Morpheus AI（Morpheus人工智能） 纠错

专题命中 效率与部署 ：pretraining(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出可分离因果扩散模型，通过分离时间推理与多步去噪过程，提升视频生成效率并保持生成质量。

Decoupled Reasoning with Implicit Fact Tokens (DRIFT): A Dual-Model Framework for Efficient Long-Context Inference

解耦推理与隐式事实标记（DRIFT）：一种双模型框架，用于高效长上下文推理

Wenxuan Xie, Yujia Wang, Xin Tan, Chaochao Lu, Xia Hu, Xuhong Wang

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； Tongji University（同济大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 DRIFT通过双模型框架解耦知识提取与推理，提升长上下文推理效率和准确性。

SARM: LLM-Augmented Semantic Anchor for End-to-End Live-Streaming Ranking

SARM: 基于大语言模型的语义锚点用于端到端实时直播排序

Ruochen Yang, Yueyang Liu, Zijie Zhuang, Changxin Lao, Yuhui Zhang, Jiangxia Cao, Jia Xu, Xiang Chen, Haoke Xiao, Xiangyu Wu, Xiaoyou Zhou, Xiao Lv, Shuang Yang, Tingwen Liu, Zhaojie Liu, Han Li, Kun Gai

专题命中 效率与部署 ：LLM(title)

AI总结 SARM通过整合自然语言语义锚点到端到端排序优化中，提升实时直播内容排序的精度和效率。

Towards Poisoning Robustness Certification for Natural Language Generation

面向自然语言生成的中毒鲁棒性认证

Mihnea Ghitu, Matthew Wicker

机构 * Department of Computing, Imperial College London, London, UK（计算系，伦敦帝国学院，伦敦，英国） 纠错

专题命中 效率与部署 ：language model(abstract)；foundation model(abstract)；分类 cs.LG

AI总结 本文提出TPA算法，通过计算最小中毒预算认证自然语言生成的有效性和稳定性，为安全关键应用提供可证明的鲁棒性保障。

Benchmarking the Energy Savings with Speculative Decoding Strategies

基于推测解码策略的能量节省基准测试

Rohit Dutta, Paramita Koley, Soham Poddar, Janardan Misra, Sanjay Podder, Naveen Balani, Saptarshi Ghosh, Niloy Ganguly

专题命中 效率与部署 ：LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文通过调查推测解码策略的能量需求，分析了模型大小、策略和数据集特征对能量优化的影响，以评估不同策略的能量节省效果。

Comments Accepted at EACL Findings 2026

The Condensate Theorem: Transformers are O(n), Not $O(n^2)$

凝聚定理：Transformer是O(n)，而不是O(n²)

Jorge L. Ruiz Williams

机构 * NaNZeta LLC（NaNZeta公司） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 凝聚定理表明，Transformer的注意力稀疏性是学习到的拓扑属性，而非架构限制，通过动态识别拓扑流形实现无损等价，显著提升推理效率。

Comments 13 pages, 4 figures, 8 tables, 1 pseudocode algorithm

Clarifying Shampoo: Adapting Spectral Descent to Stochasticity and the Parameter Trajectory

澄清洗发水：适应随机性和参数轨迹的谱下降

Runa Eschenhagen, Anna Cai, Tsung-Hsien Lee, Hao-Jun Michael Shi

机构 * University of Cambridge（剑桥大学） ； Meta Platforms（Meta公司） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过实验表明，Shampoo在权重矩阵上的应用比Muon更高效，其更新方式在期望上是时间平均的半正交，而非强制半正交性。

Train Less, Infer Faster: Efficient Model Finetuning and Compression via Structured Sparsity

少训练，快推理：通过结构稀疏性实现高效的模型微调与压缩

Jonathan Svirsky, Yehonathan Refael, Ofir Lindenbaum

机构 * Bar Ilan University（巴伊兰大学） ； Tel Aviv University（特拉维夫大学） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.LG

AI总结 通过结构稀疏性实现高效模型微调与压缩，减少计算和内存需求，提升推理速度。

Machine Text Detectors are Membership Inference Attacks

机器文本检测器是成员推断攻击

Ryuto Koike, Liam Dugan, Masahiro Kaneko, Chris Callison-Burch, Naoaki Okazaki

机构 * Institute of Science Tokyo（东京科学研究院） ； University of Pennsylvania（宾夕法尼亚大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL

AI总结 本文研究了成员推断攻击与机器文本检测之间的可转移性，证明了两者在渐近最优性能度量标准上的相同性，并通过实验证明了跨任务性能的强相关性。

DREAM: Domain-aware Reasoning for Efficient Autonomous Underwater Monitoring

DREAM：面向高效自主水下监测的领域感知方法

Zhenqi Wu, Abhinav Modi, Angelos Mavrogiannis, Kaustubh Joshi, Nikhil Chopra, Yiannis Aloimonos, Nare Karapetyan, Ioannis Rekleitis, Xiaomin Lin

机构 * Electrical Engineering, University of South Florida（佛罗里达州立大学电气工程系） ； Maryland Robotics Center (MRC), University of Maryland（马里兰大学机器人中心） ； Woods Hole Oceanographic Institution (WHOI)（伍兹霍尔海洋研究所） ； Mechanical Engineering, University of Delaware（德雷克塞尔大学机械工程系） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI

AI总结 DREAM通过视觉语言模型引导的自主框架，实现了高效、低耗的水下长期监测，显著提升了目标物体探测效率与覆盖范围。

Comments In Proceeding of ICRA 2026

What Should Feature Distillation Transfer in LLMs? A Task-Tangent Geometry View

LLM中特征蒸馏应转移什么？基于任务切线几何的观点

Khouloud Saadi, Di Wang

机构 * Department of Computer Science, King Abdullah University of Science and Technology（卡布斯大学计算机科学系） 纠错

专题命中 效率与部署 ：LLM(abstract)；分类 cs.CL

AI总结 本文提出Flex-KD方法，通过任务切线几何视角实现有效的特征蒸馏，提升模型在语言理解和生成任务中的性能。

All-in-One Conditioning for Text-to-Image Synthesis

文本到图像合成的综合条件化

Hirunima Jayasekara, Chuong Huynh, Yixuan Ren, Christabel Acquaye, Abhinav Shrivastava

机构 * University of Maryland, College Park（马里兰大学学院公园分校） 纠错

专题命中 效率与部署 ：language model(abstract)

AI总结 本文提出基于场景图的零样本条件化机制，通过轻量级语言模型生成视觉条件，提升文本到图像合成的语义一致性和生成多样性。