语言大模型 / LLM

Latency-Quality Routing for Functionally Equivalent Tools in LLM Agents

LLM 代理中功能等价工具的延迟-质量路由

Kexin Chu, Dawei Xiang, Wei Zhang

机构 * University of Connecticut（康涅狄格大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.LG

AI总结 针对LLM代理中多个功能等价工具提供者的路由问题，提出LQM-ContextRoute上下文强盗路由器，通过延迟-质量匹配和查询特定质量估计，在运行时负载下实现延迟与质量的权衡，在多个基准上优于SW-UCB。

Comments 14 pages, 6 figure, 13 tables

Reasoning-preserved Efficient Distillation of Large Language Models via Activation-aware Initialization

保留推理能力的大语言模型高效蒸馏：基于激活感知初始化

Junlin He, Yihong Tang, Tong Nie, Guilong Li, Binyu Yang, Jinxiao Du, Lijun Sun, Wei Ma

机构 * The Hong Kong Polytechnic University, Hong Kong SAR, China（香港理工大学） ； McGill University, Montreal, QC, Canada（麦吉尔大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.CL、cs.LG

AI总结 针对高效蒸馏导致的多步推理能力严重下降（推理崩溃），提出RED方法，通过激活感知初始化投影矩阵为通道选择矩阵，理论缓解有效秩崩溃，恢复推理能力并保持高效训练与通用性能。

Confidence-Modulated Speculative Decoding for Large Language Models

置信度调节的推测解码用于大型语言模型

Jaydip Sen, Subhasis Dasgupta, Hetvi Waghela

机构 * Department of Data Science（数据科学系） ； Praxis Business School（普拉克斯商学院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出一种基于置信度调节的推测解码框架，通过熵和边际不确定性度量动态调整草稿长度与验证过程，在机器翻译和摘要任务上实现加速并保持或提升BLEU和ROUGE分数。

Comments This is the preprint of the paper, which has been accepted for oral presentation and publication in the proceedings of IEEE INDISCON 2025. The conference will be organized at the National Institute of Technology, Rourkela, India, from August 21 to 23, 2025. The paper is 10 pages long, and it contains 2 figures and 5 tables

LFQ: Logit-aware Final-block Quantization for Boosting the Generation Quality of Low-Bit Quantized LLMs

LFQ：面向提升低比特量化LLM生成质量的逻辑感知最终块量化

Jung Hyun Lee, June Yong Yang, Jungwook Choi, Eunho Yang

机构 * Kim Jaechul Graduate School of AI, KAIST, Daejeon, South Korea（韩国科学技术院人工智能研究生院） ； LG AI Research, Seoul, South Korea（LG人工智能研究） ； Hanyang University, Seoul, South Korea（翰阳大学） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 针对低比特量化LLM在生成任务中质量下降的问题，提出通过最小化FP模型与量化模型在最终Transformer块上的logits交叉熵来优化量化，从而提升复杂生成任务的准确性。

Comments Accepted to ICML 2026

HARP: Hadamard-Preconditioned Adaptive Rotation Processor for Extreme LLM Quantization

HARP: 哈达玛预条件自适应旋转处理器用于极端LLM量化

Artur Zagitov, Gleb Molodtsov, Aleksandr Beznosikov

机构 * BRAIn Lab（BRAIn实验室） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 提出HARP，一种可学习的结构化双正交处理器，替代固定随机哈达玛变换，通过自适应旋转基来改善极端低位量化中的激活异常值和各向异性权重曲率问题，在2-4比特设置下提升困惑度和零样本准确率，并保持部署效率。

Modularizing Educational LLM-Agency for Fostering Responsible Learning Assistance

模块化教育大语言模型代理以促进负责任的学习辅助

Julius Gabelmann, Felix Jahn, Kevin Baum, Sophie van Rossum, Emely Wuenscher, Timo P. Gros, Verena Wolf

机构 * German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI）） ； Saarland Informatics Campus, Germany（萨尔兰州信息学校区，德国） ； Center for European Research in Trusted AI (CERTAIN)（可信人工智能欧洲研究中心（CERTAIN）） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出一种模块化代理架构的AI聊天机器人，通过分阶段指导练习解决，融入针对性教学建议，实现更可控、透明和可监督的学习过程，促进教育中负责任的AI使用。

Comments 12 pages, 2 figures (+ 2 in appendix), accepted at AISoLA 2025 (Track: Responsible and Trusted AI: An Interdisciplinary Perspective)

Aligned but Fragile: Enhancing LLM Safety Robustness via Zeroth-Order Optimization

对齐但脆弱：通过零阶优化增强LLM安全鲁棒性

Zhihao Liu, Yifan Wu, Jian Lou, Di Wang, Yuxi Zhou, Yuke Hu

机构 * The State Key Laboratory of Blockchain and Data Security（区块链与数据安全国家重点实验室） ； Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（杭州高科技园区（滨江）区块链与数据安全研究院） ； Sun Yat-sen University（中山大学） ； KAUST（卡塔尔大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对大语言模型安全对齐后易受轻量级后处理（如参数噪声、激活噪声或量化）影响的问题，提出基于零阶优化的混合框架，通过先标准一阶安全对齐再零阶精炼提升鲁棒性，并利用扰动评估估计层鲁棒性敏感性以高效聚焦关键层更新。

Hierarchical Verification of Speculative Beams for Accelerating LLM Inference

分层验证投机波束以加速大语言模型推理

Jaydip Sen, Harshitha Puvvala, Subhasis Dasgupta

机构 * Praxis Business School（普拉克斯商学院） ； Sabre Industries（Sabre工业公司） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出分层验证树（HVT）框架，通过优先验证高似然草稿并早期剪枝次优候选，以分层方式重构投机波束解码，从而在不重训练或修改架构下显著降低推理时间和能耗。

Comments This paper was accepted for oral presentation and publication in the 3rd International Conference on Data Science and Network Engineering (ICDSNE 2025), organized at NIT, Agartala, India, from July 25 to 26, 2025. The paper is 12 pages long, and it contains 3 tables and 4 figures. This is NOT the final paper, which will be published in the Springer-published proceedings

The Planetary Cost of AI Acceleration, Part II: The 10th Planetary Boundary and the 6.5-Year Countdown

人工智能加速的行星成本，第二部分：第十个行星边界与6.5年倒计时

William Yicheng Zhu, Lei Zhu

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究指出，大规模语言模型（LLM）的指数级扩展导致“思考”本身的热力学后果，并预测在6.5年内将突破行星热阈值，提出AI热排放构成第十个行星边界。

Comments Minor revisions for clarity

When Cloud Agents Meet Device Agents: Lessons from Hybrid Multi-Agent Systems

当云端智能体遇到设备端智能体：混合多智能体系统的经验教训

Corrado Rainone, Davide Belli, Bence Major, Arash Behboodi

机构 * Qualcomm（高通） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；small language model(abstract)

AI总结 本文系统研究混合多智能体系统（结合设备端小模型和云端大模型）的设计空间，分析不同设计选择对功耗、成本和性能帕累托前沿的影响，发现最优架构高度依赖任务且前沿计算并不总能带来更好性能。

Comments 30 pages, 16 figures. Accepted to the Second Workshop on Agents in the Wild: Safety, Security, and Beyond (AIWILD) at ICML 2026

BitTP: The Lightweight Trajectory Prediction Model with BitLLM for Edge-Devices

BitTP：面向边缘设备的轻量级轨迹预测模型与BitLLM

Mincheol Kang, Hyunjin Lim, Bomin Kang, Daehee Park

机构 * KAIST, Republic of Korea（韩国釜山国立大学） ； DGIST, Republic of Korea（韩国国立庆北科学技术院） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出BitTP，通过将LLM轨迹预测器转换为1.58比特轻量架构，在保持或提升预测质量的同时大幅降低内存和计算需求，实现边缘设备部署。

Comments Camera-ready version. Accepted as a findings paper at CVPR 2026. 8 pages, 4 figures

SPEED-Bench: A Unified and Diverse Benchmark for Speculative Decoding

SPEED-Bench：一个统一且多样化的推测解码基准

Talor Abramovich, Maor Ashkenazi, Izzy Putterman, Benjamin Chislett, Tiyasa Mitra, Bita Darvish Rouhani, Ran Zilberstein, Yonatan Geifman

机构 * NVIDIA 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对推测解码（SD）评估中任务多样性不足、吞吐量评估支持不够及实现不贴近生产环境的问题，提出SPEED-Bench基准，包含多样化语义领域和真实服务场景的数据集，集成vLLM和TensorRT-LLM引擎，以标准化SD评估并揭示系统行为。

Comments ICML 2026; Our data is available on https://huggingface.co/datasets/nvidia/SPEED-Bench

Controlling the Risk of Corrupted Contexts for Language Models via Early-Exiting

通过早退机制控制语言模型中有害上下文的风险

Andrea Wynn, Metod Jazbec, Charith Peris, Rinat Khaziev, Anqi Liu, Daniel Khashabi, Eric Nalisnick

机构 * Johns Hopkins University（约翰霍普金斯大学） ； University of Amsterdam（阿姆斯特丹大学） ； Amazon AGI（亚马逊人工智能实验室） ； Amazon Alexa（亚马逊Alexa） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出一种结合动态早退预测与无分布风险控制的方法，限制有害上下文对语言模型性能的退化，并在有益上下文中实现计算效率提升。

Comments Accepted to ICML 2026

AsymVLM: Asymmetric Token Pruning for Efficient Vision-Language Model Inference

AsymVLM：面向高效视觉-语言模型推理的非对称令牌剪枝

Yilin Feng, Ahmed Burak Gulhan, Mahmut Taylan Kandemir

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 针对视觉和文本令牌在预填充与解码阶段的不同特性，提出非对称剪枝方法AsymVLM，通过视觉令牌的激进剪枝和文本令牌的基于阈值的驱逐，实现高达54%的FLOPs节省并在文档和图表理解任务上提升2-3%的准确率。

Anytime-Valid Federated Conformal RAG for LLM Swarms

面向LLM群体的任意有效联邦共形RAG

Prasanjit Dubey, Xiaoming Huo

机构 * H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology（H.米尔顿·斯图尔特工业与系统工程学院，佐治亚理工学院） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；language model(abstract)；分类 cs.LG

AI总结 提出Anytime-FC-RAG，通过可累积的逐步校准偏差预算和截断投注e过程，将联邦共形RAG扩展到任意停止时间均有效的序贯覆盖，并保证时间均匀报警有效性、Hoeffding拼接累积误覆盖包络及自适应控制下的安全性。

DiffRetriever: Parallel Representative Tokens for Retrieval with Diffusion Language Models

DiffRetriever: 基于扩散语言模型的并行代表标记用于检索

Shuai Wang, Yu Yin, Shengyao Zhuang, Bevan Koopman, Guido Zuccon

机构 * The University of Queensland（昆士兰大学） ； CSIRO（澳大利亚联邦科学与工业研究组织） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 提出DiffRetriever，利用扩散语言模型的掩码位置预测直接进行检索，支持单表示和多表示检索，在多个基准上优于现有方法。

Comments Updated analysis, ablation and benchmark with sota retrievers, indexing storage/latency ablation, isolating the effectiveness gain

ReSpinQuant: Efficient Layer-Wise LLM Quantization via Subspace Residual Rotation Approximation

ReSpinQuant: 通过子空间残差旋转近似实现高效逐层大模型量化

Suyoung Kim, Sunghyun Wee, Hyeonjin Kim, Kyomin Hwang, Hyunho Lee, Nojun Kwak

机构 * Seoul National University（首尔国立大学） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 提出ReSpinQuant框架，通过离线激活旋转融合和高效子空间残差旋转匹配基，解决逐层量化方法在线计算开销大的问题，在W4A4和W3A3量化上达到最优性能。

Comments ICML 2026

From AR to Diffusion: Efficiently Adapting Large Language Models with Strictly Causal and Elastic Horizons

从自回归到扩散：利用严格因果与弹性视野高效适配大型语言模型

Xiangyu Ma, Teng Xiao, Zuchao Li, Lefei Zhang

机构 * School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院） ； School of Computer Science, Wuhan University（武汉大学计算机学院） 纠错

专题命中 效率与部署 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI

AI总结 提出FLUID框架，通过严格因果对齐和弹性视野机制，将自回归模型高效适配为扩散模型，实现并行文本生成并大幅降低训练成本。

Comments Accepted by ACL 2026

Efficient Test-Time Finetuning of LLMs via Convex Reconstruction and Gradient Caching

通过凸重构和梯度缓存实现LLM的高效测试时微调

Alaa Khamis, Alaa Maalouf

机构 * Department of Computer Science（计算机科学系） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；language model(abstract)；分类 cs.LG

AI总结 提出HullFT方法，利用凸重构和梯度缓存加速LLM的测试时微调，在保持质量的同时显著降低运行时间。

Same Evidence, Different Answers: Canonical-Context On-Policy Distillation for Multi-Turn Language Models

相同证据，不同答案：面向多轮语言模型的规范上下文在线策略蒸馏

Zizhuo Lin, Quanling Liu, Jinsheng Quan, Chao Zhang, Yifan Zhu, Xing Shi, Jingtao Xu, Zhihui Li, Yawei Luo

机构 * Zhejiang University（浙江大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出规范上下文在线策略蒸馏（CCOPD）方法，通过教师-学生框架对齐模型在完整提示和逐步揭示信息下的行为，减少自我锚定漂移，在多轮数学对话上训练后，在原始分片任务上平均提升32%性能。

Kronecker Embeddings: Byte-Level Structured Token Representations for Parameter-Efficient Language Models

Kronecker嵌入：用于参数高效语言模型的字节级结构化词元表示

Rohan Shravan

机构 * The School of AI（人工智能学院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出Kronecker嵌入，通过字节级字符-位置确定性分解替代标准嵌入表，消除91-94%输入侧可训练参数，在多个实验中实现更低验证损失、更强拼写鲁棒性和运行时效率。

Comments 28 pages, 16 tables. Reference implementation: https://github.com/theschoolofai/kronecker-embeddings

GDSD: Reinforcement Learning as Guided Denoiser Self-Distillation for Diffusion Language Models

GDSD：强化学习作为扩散语言模型的引导去噪器自蒸馏

Xiaohang Tang, Keyue Jiang, Che Liu, Qifang Zhao, Xiaoxiao Xu, Sangwoong Yoon, Ilija Bogunovic

机构 * UCL Dept. of Statistical Science（伦敦大学学院统计科学系） ； UCL Centre for AI（伦敦大学学院人工智能中心） ； Alibaba Group（阿里巴巴集团） ； Dept. of EEE（电子工程系） ； Imperial College London（伦敦帝国理工学院） ； UNIST（全南大学） ； University of Basel（巴塞尔大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出引导去噪器自蒸馏（GDSD）方法，通过从逆KL正则化强化学习的闭式最优解中导出的优势引导自教师直接蒸馏扩散语言模型的去噪器，避免了ELBO似然代理带来的训练-推理不匹配偏差，在规划、数学和代码基准上显著优于现有方法。

Comments Preprint

Opir: Efficient Multi-Task Safety Classification for Toxicity, Jailbreaks, Hate Speech, and Harmful Content

Opir：针对毒性、越狱、仇恨言论和有害内容的高效多任务安全分类

Ihor Stepanov, Aleksandr Smechov

机构 * Knowledgator ； Wordcab 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出基于GLiClass架构的Opir系列编码器护栏模型，通过多任务学习实现二进制安全/不安全分类、多标签毒性分类、越狱分类和零样本不安全提示与响应分类，在12项安全分类任务和17项类别任务上与现有护栏系统竞争，同时部署开销更小。

Comments 23 pages, 4 figures, 9 tables

Discovering Cooperative Pipelines: Autoresearch for Sequential Social Dilemmas

发现合作管线：面向序列社会困境的自动研究

Víctor Gallego

机构 * Komorebi AI Technologies（Komorebi人工智能技术） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种双层自动研究框架，其中外层AI智能体自动重新设计内层LLM策略合成管线，以解决多智能体序列社会困境，实验表明该方法在多个游戏和福利目标下优于手工基线。

Comments Accepted to the AI Agents for Discovery in the Wild (AID-Wild) Workshop at ACM CAIS 2026

CORE-T: COherent REtrieval of Tables for Text-to-SQL

CORE-T: 面向文本到SQL的表格连贯检索

Hassan Soliman, Vivek Gupta, Dan Roth, Iryna Gurevych

机构 * Ubiquitous Knowledge Processing Lab (UKP Lab), Department of Computer Science TU Darmstadt and National Research Center for Applied Cybersecurity ATHENE, Germany（普适知识处理实验室（UKP实验室），计算机科学系 TU Darmstadt 和应用网络安全国家研究中心 ATHENE，德国） ； Arizona State University（亚利桑那州立大学） ； University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 提出CORE-T框架，通过LLM生成元数据和预计算兼容性缓存，在无需训练的情况下从异构表集合中高效检索连贯可连接的表集合，提升表选择F1最多22.7点并减少40%的表数量。

Comments Preprint is revised and under review. Code and data available at: https://github.com/UKPLab/arxiv2026-core-t

CausaLab: A Scalable Environment for Interactive Causal Discovery Toward AI Scientists

CausaLab：面向AI科学家的交互式因果发现可扩展环境

Junlin Yang, Dylan Zhang, Xiangchen Song, Qirun Dai, Xiao Liu, Yuen Chen, Aniket Vashishtha, Jing Shi, Chenhao Tan, Hao Peng

机构 * Tsinghua University（清华大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Carnegie Mellon University（卡内基梅隆大学） ； University of Chicago（芝加哥大学） ； Adobe 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 提出CausaLab环境，通过合成实验室任务评估LLM代理在因果发现中的预测准确性与因果机制恢复能力，发现两者存在显著差距。

Efficient Training-Free Multi-Token Prediction via Embedding-Space Probing

通过嵌入空间探测的高效无训练多令牌预测

Raghavv Goel, Mukul Gagrani, Mingu Lee, Chris Lott

机构 * Qualcomm AI Research（高通人工智能研究） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出ESP方法，利用嵌入空间中的掩码令牌进行无训练的多令牌预测，通过并行验证和轻量剪枝实现无损解码，提升吞吐量。

Comments v2: Accepted at ICML 2026. Updated experiments replaced tok/s with speedup ratio over AR baseline; improved exposition in Section 3.1 (mask token initialization) and Section 4 (ablations)

DFlash: Block Diffusion for Flash Speculative Decoding

DFlash：用于快速推测解码的块扩散模型

Jian Chen, Yesheng Liang, Zhijian Liu

机构 * Z-Lab 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出DFlash框架，利用轻量级块扩散模型并行生成草稿，通过目标模型上下文特征条件化，实现高质量草稿和高接受率，在多种模型和任务上实现超过6倍无损加速，比最先进的推测解码方法EAGLE-3快2.5倍。

Comments Accepted at ICML 2026. Camera-ready version. Code: https://github.com/z-lab/dflash

ToolSpec: Accelerating Tool Calling via Schema-Aware and Retrieval-Augmented Speculative Decoding

ToolSpec: 通过模式感知与检索增强的推测解码加速工具调用

Heming Xia, Yongqi Li, Cunxiao Du, Mingbo Song, Wenjie Li

机构 * Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算机系） ； Peking University（北京大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对工具调用延迟问题，提出一种基于模式感知和检索增强的推测解码方法ToolSpec，利用预定义工具模式生成准确草稿，并通过有限状态机交替填充确定性模式令牌和推测生成可变字段，同时检索历史调用复用草稿，实现最高4.2倍加速。

DLM-SWAI: Steering Diffusion Language Models Before They Unmask

DLM-SWAI: 在扩散语言模型去掩码之前引导它们

Hyeseon An, Yo-Sub Han

机构 * Department of Computer Science（计算机科学系） ； Yonsei University（延世大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出一种无需训练的引导方法DLM-SWAI，通过预计算的词级风格分数在去噪步骤中偏置词分布，实现扩散语言模型的可控生成。

Comments preprint