语言大模型 / LLM

Multi-Attribute Steering of Language Models via Targeted Intervention

通过目标干预对语言模型进行多属性引导

Duy Nguyen, Archiki Prasad, Elias Stengel-Eskin, Mohit Bansal

机构 * UNC Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究如何对语言模型进行多属性引导，提出MAT-Steer框架，通过对齐目标学习引导向量，减少属性间冲突，在问答和生成任务中评估，该框架优于现有方法。

Comments ACL 2025 camera-ready, code link: https://github.com/duykhuongnguyen/MAT-Steer

Data Driven Optimization of GPU efficiency for Distributed LLM-Adapter Serving

用于分布式大语言模型适配器服务的GPU效率数据驱动优化

Ferran Agullo, Joan Oliveras, Chen Wang, Alberto Gutierrez-Torre, Olivier Tardieu, Alaa Youssef, Jordi Torres, Josep Ll. Berral

机构 * BSC（巴塞罗那超级计算中心） ； IBM（国际商业机器公司） ； UPC（巴塞罗那技术大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究分布式大语言模型适配器服务中GPU资源利用问题，提出数据驱动管道，通过性能预测、数字孪生等组件，以最少GPU服务工作负载，提升效率，还可用于其他目标。

Comments update of the journal paper contents after major revision

Think Harder and Don't Overlook Your Options: Revisiting Issue-Commit Linking with LLM-Assisted Retrieval

深入思考并不要忽视你的选项：重新审视基于LLM辅助检索的议题-提交链接

Cole Morgan, Muhammad Asaduzzaman, Shaiful Chowdhury, Shaowei Wang

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 本文重新评估了多种议题-提交链接恢复技术，通过比较不同检索方法和机器学习模型，发现密集检索优于稀疏检索，传统机器学习方法性能优于大语言模型。

Fast-dLLM++: Fréchet Profile Decoding for Faster Diffusion LLM Inference

Fast-dLLM++: 用于更快扩散LLM推理的Fréchet轮廓解码

Siva Rajesh Kasa, Yasong Dai, Sumit Negi, Hongdong Li

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对扩散大语言模型推理中并行令牌生成的瓶颈，提出Fréchet轮廓解码方法，通过利用异构置信度轮廓选择并行提交集，在保持模型和缓存不变的情况下提升吞吐量。

Comments Initial version accepted at Workshop on Structured Probabilistic Inference & Generative Modeling, ICML 2026. Project Page: https://ringo-star.github.io/projectpage_frechet/

Large Language Models: A Mathematical Formulation

大语言模型：数学表述

Ricardo Baptista, Andrew Stuart, Son Tran

机构 * Statistical Sciences, University of Toronto（多伦多大学统计科学系） ； Vector Institute（向量研究所） ； Amazon Search（亚马逊搜索） ； Computing and Mathematical Sciences, California Institute of Technology（加州理工学院计算与数学科学系） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 本文提出了一种大语言模型的数学框架，涵盖文本编码、模型架构、学习过程及部署方法，旨在提升算法的准确性、效率和鲁棒性。

Comments 56 pages, 2 figures

Statistically-Lossless Quantization of Large Language Models

大语言模型的统计无损量化

Michael Helcig, Eldar Kurtic, Dan Alistarh

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 本文提出统计无损压缩的中间路径，定义任务无损与分布无损的量化标准，证明对称与非对称量化的方差差异，通过SLQ方法实现大语言模型的任务无损、分布无损压缩及1.7-3.7倍推理加速。

Compressing LLMs with MoP: Mixture of Pruners

用MoP压缩LLM：剪枝混合方法

Bruno Lopes Yamamoto, Lucas Lauton de Alcantara, Victor Zacarias, Leandro Giusti Mugnaini, Keith Ando Ogawa, Lucas Pellicer, Rosimeire Pereira Costa, Edson Bollis, Anna Helena Reali Costa, Artur Jordao

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 MoP通过结合深度和宽度剪枝，提升了LLM的压缩效率和推理速度，同时在视觉-语言模型中实现了更高的计算效率。

Comments Code and models are available at: https://github.com/c2d-usp/Efficient-LLMs-with-MoP

LaCache: Exact Caching and Precision-Adaptive Inference for Diffusion Large Language Models

LaCache：用于扩散大语言模型的精确缓存和精度自适应推理

Xingru Chen, Zelang Liang, Yongjia Ma, Jiqing Zhan, Shuling Yang, Lian Wen, Kun Zhan

机构 * Li Auto Inc.（理想汽车公司） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 研究针对扩散大语言模型算子级冗余问题，提出LaCache加速框架，通过无损缓存中间结果及集成FP8量化策略，无需训练，单独使用可实现约1.3倍端到端加速，与现有方法结合可达40.2倍加速且保持任务精度。

Beyond LLMs: A Linguistic Approach to Causal Graph Generation from Narrative Texts

超越大语言模型：一种从叙事文本生成因果图的语言学方法

Zehan Li, Ruhua Pan, Xinyu Pi

机构 * University of California, San Diego（加州大学圣地亚哥分校） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 该研究提出从叙事文本生成因果图的框架，先以LLM提取顶点，引入含七个语言特征的“专家索引”并集成到分类模型，结合RoBERTa嵌入提升因果关系识别精度，经五次迭代提示构建因果图，实验证明其优于GPT-4o和Claude 3.5，还提供开源工具。

Comments published at the 7th Workshop on Narrative Understanding, NAACL 2025

Fair-GPTQ: Bias-Aware Quantization for Large Language Models

Fair-GPTQ：大语言模型的偏差感知量化

Irina Proskurina, Guillaume Metzler, Julien Velcin

机构 * Université Claude Bernard Lyon 1（克莱尔伯恩大学里昂1分校） ； Université Lumière Lyon 2（里昂2大学） ； ERIC ； École Centrale de Lyon（里昂中央理工学院） ； LIRIS ； CNRS UMR 5205（国家科学研究中心UMR 5205） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 研究针对生成式语言模型高内存需求的量化问题，通过在量化目标中添加显式组公平约束建立与模型公平的新联系，引入Fair-GPTQ减少大语言模型不公平性，性能影响小且保留量化优势。

QTALE: Quantization-Robust Token-Adaptive Layer Execution for LLMs

QTALE: 面向LLM的量化鲁棒令牌自适应层执行

Kanghyun Noh, Jinheon Choi, Yulhwa Kim

机构 * Department of Semiconductor Systems Engineering, Sungkyunkwan University（成均馆大学半导体系统工程系） 纠错

专题命中 效率与部署 ：LLM(title_cn,abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 提出QTALE框架，通过多样化训练路径和后训练调整机制，实现令牌自适应层执行与量化的无缝集成，在保持精度的同时降低计算和内存开销。

Comments 22 pages, 10 figures, 20 tables,

Journal ref ICML 2026 Poster

Why Are Some Emotions Harder for LLMs? Uncovering the Causal Mechanisms of Emotion Inference via Sparse Autoencoders

从语法到情感：对LLM中情感推理的机制分析

Bangzhao Shu, Arinjay Singh, Mai ElSherief

机构 * Northeastern University（东北大学） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文通过稀疏自编码器研究LLM内部情感识别机制，发现情感特征在最终阶段出现，包含共享和特定情感特征，并提出可解释的因果特征引导方法提升情感识别性能。

Comments 19 pages including appendix

How Small Can 6G Reason? Scaling Tiny-to-Small Language Models for AI-Native Networks

6G 推理能有多小？面向 AI 原生网络的微小型语言模型缩放

Mohamed Amine Ferrag, Abderrahmane Lakas, Merouane Debbah

机构 * Department of Computer and Network Engineering, United Arab Emirates University, UAE（计算机与网络工程系，阿联酋大学） ； Research Institute for Digital Future, Khalifa University, UAE（未来数字研究院，哈利法大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；small language model(title)；large language model(abstract)；分类 cs.AI

AI总结 本文系统研究小型语言模型在 6G 网络语义推理中的缩放行为与部署效率，发现 1.5B-3B 参数的中等模型在确定性稳定性和计算效率间取得最佳平衡。

Toward Non-Expert Customized Congestion Control: Large Language Model-Assisted CCA Code Generation with eBPF Deployment

面向非专家用户的定制化拥塞控制：基于大语言模型的CCA代码生成与eBPF部署

Mingrui Zhang, Hamid Bagheri, Lisong Xu

机构 * School of Computing, University of Nebraska-Lincoln（内布拉斯加大学林肯分校计算机学院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 提出NECC框架，利用大语言模型和eBPF接口，使非专家用户能轻松建模、实现和部署定制化拥塞控制算法，首次解决定制化CCA实现问题。

Comments Accepted manuscript (AAM) of IEEE ICC 2025 paper. DOI: 10.1109/ICC52391.2025.11160790

Journal ref Proc. IEEE International Conference on Communications (ICC), 2025

Meta-learning ecological priors from large language models explains human learning and decision making

从大型语言模型中元学习生态先验解释人类学习与决策

Akshay K. Jagadish, Mirko Thalmann, Julian Coda-Forno, Marcel Binz, Eric Schulz

机构 * Institute for Human-Centered AI, Helmholtz Computational Health Center（以人为本的人工智能研究所，海德堡计算健康中心） ； Computational Principles of Intelligence, Max Planck Institute for Biological Cybernetics（计算智能原理，马克斯·普朗克生物 cybernetics 研究院） ； Eberhard Karls University of Tübingen（图宾根大学） ； Princeton AI Lab, Princeton University（普林斯顿大学人工智能实验室） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 提出生态理性分析框架，利用大语言模型生成生态有效任务，通过元学习得到ERMI算法，该算法内化自然问题空间的统计规律，灵活适应新情境，在15个实验中优于多个认知模型，表明人类认知可能反映对日常问题生态结构的适应性对齐。

Nightjar: Dynamic Adaptive Speculative Decoding for Large Language Models Serving

Nightjar: 面向大语言模型服务的动态自适应推测解码

Rui Li, Zhaoning Zhang, Libo Zhang, Huaimin Wang, Xiang Fu, Zhiquan Lai

机构 * State Key Laboratory of Complex & Critical Software Environment, National Key Laboratory of Parallel and Distributed Computing, College of Computer Science and Technology, National University of Defense Technology（复杂与关键软件环境国家重点实验室、平行与分布式计算国家实验室、计算机科学与技术学院、国防科技大学） 纠错

专题命中 效率与部署 ：large language model(title)；language model(title)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出Nightjar框架，通过动态调整推测长度和主动禁用推测解码，在高低负载下优化吞吐量，最高提升14.76%。

Visual-Redundancy-Controlled Parallel Decoding for Diffusion-Based Multimodal Large Language Models

基于扩散的多模态大语言模型的视觉冗余控制并行解码

Yulin Yuan, Hongshuo Zhao, Xiangming Meng

机构 * Zhejiang University（浙江大学） ； ZJUI-UIUC Institute（ZJUI-UIUC研究院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 针对扩散型多模态大语言模型并行解码中视觉冗余问题，提出视觉冗余指数（VRI）和无需训练的视觉冗余控制解码（VRCD）方法，通过令牌到图像的注意力优先选择视觉互补位置，在多个基准上提升准确率。

Comments 18 pages, 5 figures, preprint. Code is available at https://github.com/infiniteYuanyl/VRCD

LiveMem: Maintaining Memory State Continuity in Long-Running LLM Inference

LiveMem：在长期运行的大语言模型推理中维持记忆状态连续性

Zhichen Liu, Ruihan Sun, Hengjie Yang, Zipeng Wu, Zhaohan Chen, Xiaofan Zhang, Yang Xu

机构 * Southern University of Science and Technology（南方科技大学） ； Xidian University（西安电子科技大学） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；post-training(abstract)；分类 cs.CL、cs.LG

AI总结 该研究针对长期运行LLM推理中上下文切换导致状态不连续的问题，提出LiveMem方法，通过引入独立于活跃上下文的持久记忆状态，实现状态连续性，在LongMemEval等测试中表现领先。

CluCERT: Certifying LLM Robustness via Clustering-Guided Denoising Smoothing

CluCERT：通过聚类引导去噪平滑认证大语言模型的鲁棒性

Zixia Wang, Gaojie Jin, Jia Hu, Ronghui Mu

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对大语言模型易受对抗攻击问题，提出CluCERT框架，通过聚类引导去噪平滑认证其鲁棒性。引入语义聚类过滤器，结合细化模块和快速同义词替换策略，提升效率，实验证明该方法在鲁棒性边界和计算效率上优于现有方法。

The Joint Effect of Quantization and Sampling Temperature on LLM Safety Alignment: A Factorial Analysis

量化和采样温度对LLM安全对齐的联合效应：一项因子分析

Hari Prasad, Ritam Pal

机构 * Conscious Engines（意识引擎） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 通过因子分析评估9个模型在3种精度和6种温度下的安全对齐，发现量化通常安全中性，而高温增加决策不稳定性，且两者无系统性叠加效应。

Comments 11 pages, 5 Figures

When Does Delegation Beat Majority? A Delegation-Based Aggregator for Multi-Sample LLM Inference

何时委托优于多数？一种基于委托的多样本LLM推理聚合器

Yasushi Sakai, Allen Song, Kent Larson

机构 * MIT Media Lab（麻省理工学院媒体实验室） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 提出基于委托的聚合器PPV，利用样本的字母熵和推理几何信号，在MMLU-Pro上比多数投票高1.5个百分点，无需标签或训练。

Comments Preprint. 16 pages, 5 figures, 4 tables

Graph Optimization Foundation Model: Tokenizing Graph via A Language-Model Paradigm

图优化基础模型：通过语言模型范式对图进行分词

Yunhao Liang, Pujun Zhang, Yuan Qu, Jingyuan Yang, Shaochong Lin, Zuo-jun Max Shen

机构 * Faculty of Engineering, The University of Hong Kong（香港大学工程学院） ； Costello College of Business, George Mason University（乔治·马歇尔大学商学院） ； Faculty of Business and Economics, The University of Hong Kong（香港大学商学院） ； College of Engineering, University of California, Berkeley（加州大学伯克利分校工程学院） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 研究旨在将预训练-迁移范式用于图优化，引入图基础模型（GFM）。通过在图随机游走路径上进行自监督预训练，使其内化图规则。该方法能有效应对多种优化挑战，实验显示其性能与专用求解器相当且推理更快，建立了图优化新范式。

SciHorizon-GENE: Benchmarking LLM for Life Sciences Inference from Gene Knowledge to Functional Understanding

SciHorizon-GENE：从基因知识到功能理解的生命科学推理基准测试

Xiaohan Huang, Meng Xiao, Chuan Qin, Qingqing Long, Jinmiao Chen, Yuanchun Zhou, Hengshu Zhu

机构 * Computer Network Information Center, Chinese Academy of Sciences（中国科学院计算机网络信息中心） ； University of the Chinese Academy of Sciences（中国科学院大学） ； DUKE-NUS Medical School, National University of Singapore（新加坡国立大学杜克-新加坡医学学校） ； Singapore Immunology Network, Agency for Science, Technology and Research（新加坡免疫网络，科技研究局） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对大语言模型在基因级推理能力上的不足，构建了包含超过19万个人类基因和54万问题的基准SciHorizon-GENE，从研究关注敏感性、幻觉倾向、答案完整性和文献影响力四个生物学关键维度评估模型，揭示了模型在生成忠实、完整且基于文献的功能解释方面的持续挑战。

Comments Accepted by SIGKDD 2026. 12 pages

Database Normalization via Dual-LLM Self-Refinement

通过双LLM自精炼的数据库规范化

Eunjae Jo, Nakyung Lee, Gyuyeong Kim

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出Miffie框架，利用双模型自精炼架构和大语言模型实现数据库自动规范化，无需人工干预且保持高准确率。

Comments 7 pages

Self-Distillation as a Performance Recovery Mechanism for LLMs: Counteracting Compression and Catastrophic Forgetting

自蒸馏作为大语言模型的性能恢复机制：对抗压缩与灾难性遗忘

Chi Liu, Xin Chen, Xu Zhou, Fangbo Tu, Srinivasan Manoharan

机构 * PayPal AI 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出基于自蒸馏微调的性能恢复框架，通过理论分析和实验验证，证明自蒸馏能有效恢复模型能力，揭示了高维流形对齐与性能恢复之间的强相关性。

Comments 18 pages, 8 figures

One Frozen Simulator Is Not Enough: Simulator Collapse in Multi-Agent RL

单个冻结模拟器不够：多智能体强化学习中的模拟器崩溃问题

Simon Yu, Nicholas Tomlin, Marwa Abdulhai, Ximing Lu, Derek Chong, Abe Hou, Dilara Soylu, Sergey Levine, Christopher D. Manning, Weiyan Shi

机构 * Northeastern University（东北大学） ； New York University（纽约大学） ； UC Berkeley（加州大学伯克利分校） ； University of Washington（华盛顿大学） ； Stanford University（斯坦福大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对人机交互多智能体强化学习中单个LLM模拟器导致的策略泛化缺陷，提出Verbalized Sampling和Co-Training两种方案，在多轮基准测试和真实用户研究中显著提升了性能，发布了开源框架SCOPE。

Comments 42 pages, 29 figures

Leveraging Machine Unlearning for Cost-Efficient Preference Alignment

利用机器遗忘实现高性价比的偏好对齐

Xiaohua Feng, Yuyuan Li, Huwei Ji, Jiaming Zhang, Li Zhang, Tianyu Du, Chaochao Chen

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究针对现有偏好对齐方法成本高的问题，提出结合LLM遗忘的U2A框架，通过双层优化实现负示例的最优选择与遗忘，经实验验证有效。

Comments Accepted by ICML 2026. 12 pages, 6 figures, and 4 tables. Code available at https://github.com/muyiahhh/U2A

IoU-PD: IoU-Aware Privileged Distillation for Visual Grounding with Multimodal Large Language Models

IoUPD：用于多模态大语言模型视觉定位的IoU感知特权蒸馏

Xiuyuan Zhu, Ke Lu, Hao Wu, Siwen Jiao, Zijin Du, Dongming Zhang, Jian Xue

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； State Key Laboratory of Communication Content Cognition（通信内容认知技术国家重点实验室） ； Peng Cheng Laboratory（鹏城实验室） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)

AI总结 研究多模态大语言模型视觉定位中训练与评估不匹配问题，提出IoUPD方法，利用真实框作特权指导，训练时学生模型接收原始信息，教师模型接收增强提示，经监督微调与特权蒸馏损失训练，推理时无需额外模块，实验显示该方法有改进。

Comments 16 pages, 7 figures, 10 tables

Instruction-Conditioned Exploration for Reinforcement Learning with Self-Distillation to an Unconditioned Policy

基于非对称强化学习与自蒸馏的指令条件探索

Jim Dilkes, Vahid Yazdanpanah, Sebastian Stein

机构 * University of Southampton（南安普顿大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 该研究针对LLM强化学习中的探索挑战，提出指令条件探索（ICE）方法，结合非对称RL/SD训练目标，使Qwen3-1.7B数学推理性能提升5.0%且长上下文下仍有效。

Comments Submitted to ACL Rolling Review (ARR) May 2026 cycle. OpenReview submission record at https://openreview.net/forum?id=PV945lekMa

OmniScope: Modality-Decoupled Token Compression for Omnimodal Large Language Models

OmniScope：用于全模态大语言模型的模态解耦令牌压缩

Jinsen Su, Yongdong Luo, Yuexiao Ma, Yibo Hu, Meiguang Jin, Xiawu Zheng

机构 * Media Analytics and Computing Lab, Xiamen University（厦门大学媒体分析与计算实验室） ； Institute of Artificial Intelligence, Xiamen University（厦门大学人工智能研究所） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)

AI总结 研究针对全模态大语言模型令牌压缩问题，提出无需训练的OmniScope框架，以查询为语义锚点分别估计音频和视频相关性，分配特定模态预算并采用相应策略处理，在多基准和模型规模上效果佳，实现加速和内存减少，提出跨模态推理设计原则。