语言大模型 / LLM

RadKey: An LLM-Guided RF Backscatter System for Through-Wall Keystroke Inference

RadKey: 一种基于LLM引导的RF反向散射系统用于穿墙击键推断

Qijun Wang, Chunqi Qian, Huacheng Zeng

专题命中 效率与部署 ：LLM(title,title_cn)

AI总结 提出RadKey系统，利用无源反向散射标签捕获击键振动和声音，通过RF信号远距离穿墙窃听，结合信号处理与LLM在线自适应，实现跨用户、跨键盘的准确击键推断。

Comments Accepted to the 47th IEEE Symposium on Security and Privacy (IEEE S&P), 2026

Unifying Data, Memory, and Compute Efficiency in LLM training: A Survey

统一LLM训练中的数据、内存和计算效率：一项综述

Vanessa Schmidt, Huy Hoang Nguyen, Cédric Jung, Shirin Salehi, Anke Schmeink

机构 * Chair of Information Theory and Data Analytics (INDA), RWTH Aachen University（亚琛工业大学信息理论与数据分析教席） ； AIT Austrian Institute of Technology GmbH（奥地利技术研究所） ； Automation and Control Institute, Technische Universität Wien (TUW)（维也纳工业大学自动化与控制研究所） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文从资源约束视角综述大语言模型训练中的数据效率、内存效率和计算预算感知三大瓶颈，强调三者需联合优化而非孤立处理。

Comments Accpeted for publication in IEEE Transactions on Artificial Intelligence (TAI)

SpenseGPT: Practical One-shot Pruning Enabling Sparse and Dense GEMMs for LLM Inference

SpenseGPT: 面向LLM推理的实用一次性剪枝，支持稀疏和稠密GEMM

Jaeseong Lee, Seung-won Hwang, Samyam Rajbhandari

机构 * Snowflake AI Research（Snowflake AI研究） ； Seoul National University（首尔大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；post-training(abstract)；分类 cs.CL、cs.LG

AI总结 提出Spense混合稀疏-稠密格式，将权重矩阵分为2:4稀疏和稠密区域，结合一次性剪枝方法SpenseGPT，在B200 GPU上实现高达1.2倍端到端解码加速，同时保持模型精度。

LLM-Guided Neural Architecture Search for Robust Co-Design of Physical Neural Networks

LLM引导的神经架构搜索用于物理神经网络的鲁棒协同设计

Tyler King, Timothee Leleu

机构 * University of California, Berkeley（加州大学伯克利分校） ； DeepMind（深度思维） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出UH-NAS框架，利用大语言模型作为进化算子，协同优化任务准确率和推理能耗，实现跨硬件平台的公平比较，在光学MZI硬件上发现更鲁棒的架构。

Stop Early, Spend Less: Hidden-State Probes as a Practical Recipe for Streaming Moderation of LLM Outputs

早停早省：隐藏状态探针作为LLM输出流式审核的实用方案

Huizhen Shu, Xuying Li, Piao Xue

机构 * ModelOneAI ； yunshanai（云山AI） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出基于隐藏状态的轻量级词元级探针，在解码循环中实时检测不安全输出，无需额外前向传播，实现亚毫秒级安全审核，可提前中断或修改生成。

Comments Technical Report. 14 pages, 3 figures, 4 tables

Less Context, Better Agents: Efficient Context Engineering for Long-Horizon Tool-Using LLM Agents

更少上下文，更优智能体：面向长周期工具使用LLM智能体的高效上下文工程

Abhilasha Lodha, Mahsa Pahlavikhah Varnosfaderani, Abir Chakraborty, Abhinav Mithal

机构 * Microsoft（微软） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对企业工具使用场景中上下文过长导致的问题，提出选择性保留最近工具交互并添加紧凑摘要的方法，在费用明细任务上将完成率从71.0%提升至91.6%，同时大幅降低token消耗和运行时间。

Comments 17 pages, 3 figures, 8 tables

Operator Fusion for LLM Inference on the Tensix Architecture

面向Tensix架构的LLM推理算子融合

Qingbo Wu, Ke Li, Wenzhu Wang, Jie Yu, Ruian Zhang, Lili Liu

机构 * KylinSoft Co., Ltd, Tianjin, China（KylinSoft有限公司，天津，中国） ； openKylin Community, Tianjin, China（openKylin社区，天津，中国） ； College of Computer Science and Technology, National University of Defense Technology, Changsha, China（计算机科学与技术学院，国防科技大学，长沙，中国） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.LG

AI总结 针对Tensix架构的LLM推理瓶颈，提出RMSNorm与矩阵乘法融合的算子融合策略，利用片上SRAM和NoC多播减少DRAM读写与调度开销，在Wormhole平台上实现注意力延迟降低37.44%、MLP延迟降低15.89%，且数值一致性保持98.75%以上。

Comments 11 pages, 5 figures

Reformulate LLM Reinforcement Learning for Efficient Training under Black-box Discrepancy

重新制定LLM强化学习以在黑箱差异下高效训练

Jiashun Liu, Runze Liu, Xu Wan, Jing Liang, Hongyao Tang, Ling Pan

机构 * Hong Kong University of Science and Technology（香港科技大学） ； Zhejiang University（浙江大学） ； Tianjin University（天津大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；post-training(abstract)；分类 cs.LG

AI总结 针对强化学习中的训练-推理差异问题，提出差异约束马尔可夫决策过程（DCMDP），通过拉格朗日松弛自适应平衡性能提升与差异控制，实现稳定高效训练。

What Fits (Into Few Tokens) Doesn't Overfit: Compression and Generalization in ML Research Agents

什么适合（少量标记）就不会过拟合：ML研究智能体中的压缩与泛化

Martin Andres Bertran, Aaron Roth, Zhiwei Steven Wu

机构 * Amazon Responsible AI（亚马逊负责任人工智能） ； University of Pennsylvania（宾夕法尼亚大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究LLM驱动的科研智能体在输出和输入压缩下能否保持性能，发现短提示和可压缩反馈足以复现高性能模型，支持成功策略位于低复杂度区域的假设。

A Neurosymbolic Prolog Skill for LLM-Driven Service Placement

一种用于LLM驱动服务放置的神经符号Prolog技能

Jacopo Massa, Giuseppe Bisicchia, Patrizio Dazzi, Antonio Brogi

专题命中 效率与部署 ：LLM(title,title_cn)；language model(abstract)

AI总结 提出一种基于Prolog技能的神经符号方法，将服务放置意图转化为符号事实和规则，利用Prolog进行约束验证和推理，实现可检查的策略感知放置。

The Cost of Down-Scaling Language Models: Fact Recall Deteriorates before In-Context Learning

大语言模型降维的成本：事实回忆在内省学习之前恶化

Tian Jin, Nolan Clement, Xin Dong, Vaishnavh Nagarajan, Michael Carbin, Jonathan Ragan-Kelley, Gintare Karolina Dziugaite

机构 * MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） ； MIT Harvard University（麻省理工学院哈佛大学） ； Google Research（谷歌研究） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究探讨了大语言模型参数数量缩放对核心能力的影响，发现模型规模缩减会显著降低事实回忆能力，但对内省信息处理影响较小。

Journal ref The Twelfth International Conference on Learning Representations (ICLR), 2024

FADA: Accessible fetal ultrasound interpretation and annotation with a selectively distilled unified vision-language model

FADA: 可访问的胎儿超声解读与标注——基于选择性蒸馏的统一视觉-语言模型

Mahmood Alzubaidi, Uzair Shah, Raden Muaz, Ines Abbes, Nader Mohammed, Abdullatif Magram, Khalid Alyafei, Mowafa Househ, Marco Agus

机构 * Hamad Bin Khalifa University（哈马德·本·哈利法大学） ； HMC（哈马德医疗公司） ； Advanced AlRazi Diagnostic Center（高级阿尔拉齐诊断中心） ； Sidra Medicine（锡德拉医学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；foundation model(abstract)；分类 cs.AI

AI总结 提出统一视觉-语言模型FADA，通过选择性蒸馏从四个领域基础模型提取知识，实现胎儿超声的解读、分类、检测和分割，在单个消费级GPU上训练，无需外部标签，可在智能手机上离线运行。

From Senses to Decisions: The Information Flow of Auditory and Visual Perception in Multimodal LLMs

从感知到决策：多模态大语言模型中听觉与视觉感知的信息流

Wish Suharitdamrong, Muhammad Awais, Xiatian Zhu, Sara Atito

机构 * Surrey Institute for People-Centred AI (PAI)（萨里人本人工智能研究所） ； University of Surrey（萨里大学） ； Centre for Vision, Speech and Signal Processing (CVSSP)（视觉、语音和信号处理中心） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究多模态大语言模型（AVLLMs）中音频和视觉信息流的路径与整合机制，发现顺序流与并行流两种路由模式，并证明信息传递后可丢弃无关token以提升效率。

Comments 40 pages, 29 figures

IntentKV: Cross-Turn Intent-Aware KV Cache Pruning for Agent Inference

IntentKV: 面向Agent推理的跨轮次意图感知KV缓存剪枝

Junjie Li, Jiong Lou, Jie Li

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 针对多轮LLM Agent中KV缓存成为服务瓶颈的问题，提出IntentKV方法，通过会话级QueryMemory和残差注意力头实现跨轮次意图感知的KV剪枝，在保持精度的同时大幅降低峰值请求token和KV读取量。

Trace2Policy: From Expert Behavior Traces to Self-Evolving Decision Agents

Trace2Policy：从专家行为轨迹到自我进化的决策代理

Junli Zha, Jinbo Wang, Chao Zhou, Xiang Song

机构 * SF Express（顺丰速运） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 提出Trace2Policy框架，通过错误驱动的迭代技能精炼（EISR）从专家行为中提取可读规则，在合规敏感任务中规则质量是关键性能杠杆，经8轮迭代后编译为确定性Python代码达到79.6%准确率，并在实际部署中优于纯LLM基线。

Language-Driven Cost Optimization for Autonomous Driving

语言驱动的自动驾驶成本优化

Diego Martinez-Baselga, Khaled Mustafa, Javier Alonso-Mora

机构 * TU Delft（代尔夫特理工大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出语言驱动框架，利用大语言模型解释场景和用户查询，生成风险感知MPPI控制器的参数，并通过人机交互验证和反馈迭代优化自动驾驶行为。

Comments Paper accepted at IEEE Intelligent Transportation Systems Conference (ITSC) 2026

Vision-Assisted Foundation Model for Solving Multi-Task Vehicle Routing Problems

视觉辅助的基础模型解决多任务车辆路径问题

Shuangchun Gui, Zhiguang Cao, Wen Song, Yew-Soon Ong

机构 * School of Computing and Information Systems, Singapore Management University（新加坡管理大学计算与信息系统学院） ； Institute of Marine Science and Technology, Shandong University（山东大学海洋科学与技术研究院） ； College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院） ； Centre for Frontier AI Research, Institute of High Performance Computing, Agency for Science, Technology and Research（新加坡科技研究局高性能计算研究所前沿人工智能研究中心） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI

AI总结 提出视觉辅助基础模型VaFM，通过将约束编码为图像并融合图节点嵌入，同时解决16种VRP变体，在复杂约束变体上超越现有方法。

Comments Accepted by TNNLS

Beyond Absolute Imitation: Anchored Residual Guidance for Privileged On-Policy Distillation

超越绝对模仿：基于锚定残差引导的特权在线蒸馏

Wenhao Zhang

机构 * South China University of Technology（华南理工大学） 纠错

专题命中 效率与部署 ：SFT(abstract,abstract_cn)；LLM(abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出锚定残差在线蒸馏（AR-OPD），通过部分特权教师建立局部兼容锚点并注入受控残差，解决特权在线蒸馏中后见偏差导致的局部不可达问题，在推理任务上平均提升2.3个点。

Comments 17 pages, 8 figures. Project page: https://vanhowe.github.io/AR-OPD/

Next Forcing: Causal World Modeling with Multi-Chunk Prediction

Next Forcing: 基于多块预测的因果世界建模

Gangwei Xu, Qihang Zhang, Jiaming Zhou, Xing Zhu, Yujun Shen, Xin Yang, Yinghao Xu

机构 * Robbyant ； HUST（华中科技大学） ； HKUST（香港科技大学） ； HKUST (GZ)（香港科技大学（广州）） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 提出Next Forcing框架，通过多块预测训练目标加速视频生成模型收敛、提升精度并实现推理加速，在多个基准上取得最优结果。

Comments Project page: https://gangweix.github.io/next-forcing/

CLP: Collocation-Length Prediction for Zero-Loss Adaptive Multi-Token Inference

CLP: 零损失自适应多令牌推理的搭配长度预测

Xuezhen Xie, Zhiqiang Zhou

机构 * Xiamen University（厦门大学） ； Tsinghua University（清华大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出CLP方法，通过轻量级线性层预测可安全接受的额外令牌数，解决多令牌预测中头-主干竞争导致的输出退化问题，在Qwen2.5模型上实现零质量损失的1.14x-1.29x加速。

Comments 13 pages, 8 figures, 8 tables

PADD: Path-Aligned Decompression Distillation for Non-Router Teacher to Guide MoE Student Learning

PADD: 面向非路由器教师指导MoE学生学习的路径对齐解压缩蒸馏

Xinyue Peng, Yi Qian, Jiaojiao Lin, Wenjian Shao, Yanming Liu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出路径对齐解压缩蒸馏（PADD）框架，通过四阶段两阶段流程将密集教师知识蒸馏到混合专家（MoE）学生中，同时学习高质量路由策略，在数学推理任务上显著优于基线。

Comments published in ICML 2026

SHAPE: Coalition-Aware Expert Pruning for Sparse Mixture-of-Experts LLMs

SHAPE: 面向稀疏混合专家大语言模型的联盟感知专家剪枝

Yuhao Zhang

机构 * Beihang University（北航大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出SHAPE框架，通过合作博弈论建模专家间协作，利用Shapley值识别高贡献专家，结合质量覆盖选择规则在剪枝预算下保留关键专家，实验表明在多种MoE模型上提升鲁棒性并降低显存。

Gradient-Guided Reward Optimization for Inference-time Alignment

梯度引导的推理时对齐奖励优化

Hankun Lin, Ruqi Zhang

机构 * Purdue University（普渡大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出梯度引导奖励优化(GGRO)方法，通过解码时注入梯度信号生成的引导令牌，在推理时微调生成轨迹，提升安全性、有用性和推理性能，并增强对奖励攻击的鲁棒性。

Comments Accepted to UAI 2026

GRID: Scaling Task-Agnostic Inference in Continual Prompt Tuning

GRID：持续提示调优中任务无关推理的规模化

Anushka Tiwari, Sayantan Pal, Rohini K. Srihari, Kaiyi Ji

机构 * State University of New York at Buffalo（纽约州立大学布法罗分校） ； Department of Computer Science and Engineering（计算机科学与工程系） ； Institute for Artificial Intelligence and Data Science（人工智能与数据科学研究院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出GRID框架，通过输出空间感知解码和梯度引导提示选择，解决持续学习中任务无关推理的性能退化与可扩展性问题，在长序列和负迁移基准上提升后向迁移并减少提示内存。

WebChallenger: A Reliable and Efficient Generalist Web Agent

WebChallenger: 一个可靠且高效的通用型Web智能体

Jayoo Hwang, Xiaowen Zhang, Vedant Padwal

机构 * ML Collective ； longsurf.ai ； Independent（独立研究者） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 提出WebChallenger框架，通过PageMem结构化页面表示、分治观察、轻量探索记忆和复合动作工作流，复现人类认知优势，使开源模型在多个Web导航基准上接近前沿专有系统性能。

Self-Distillation Policy Optimization via Visual Feedback: Bridging Code and Visual Artifacts

通过视觉反馈的自蒸馏策略优化：连接代码与视觉工件

Haoyu Dong

机构 * Microsoft（微软） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出Visual-SDPO框架，利用渲染视觉反馈作为特权上下文，通过自蒸馏和视觉引导的代码信用加权优化代码生成视觉工件的质量，在图表、UI和幻灯片生成任务上显著提升性能。

Local Is Not a Sufficient Privacy Boundary: Governing OS-Integrated On-Device AI

本地并非充分的隐私边界：治理操作系统集成的设备端AI

Jonghyun Chung, Sanket Badhe

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 效率与部署 ：foundation model(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出一个以操作系统为中心的隐私框架，将隐私视为制度问责问题而非部署属性，通过威胁模型、六部分隐私风险分类、隐私架构控制和四级审计标准来治理设备端AI。

TENP: Trapezoidal Expert Neuron Pruning For Mixture-of-Experts

TENP：用于混合专家的梯形专家神经元剪枝

Jiangyang He, Shaolin Zhu, Deyi Xiong

机构 * TJUNLP Lab, School of Computer Science and Technology, Tianjin University（天津大学计算机科学与技术学院 TJUNLP实验室） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出TENP框架，通过识别重要专家并对其余专家进行神经元剪枝，保留梯形参数模式，在40%路由专家稀疏度和平均63.76%激活参数下，DeepSeek模型准确率仅下降1点，代码生成任务提升10%。

Neurosymbolic Learning for Inference-Time Argumentation

用于推理时间论证的神经符号学习

Gabriel Freedman, Adam Dejl, Adam Gould, Mansi, Lihu Chen, Junqi Jiang, Francesca Toni

机构 * Department of Computing, Imperial College London（伦敦帝国理工学院计算机系） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出了一种用于三元主张验证的可训练神经符号框架，通过在训练和推理过程中结合形式论证语义来指导大语言模型生成论证并分配基础分数，从而提高三元预测的准确性。

Comments Under review

Finer is Better (with the Right Scaling)

更细粒度更好（配合正确的缩放）

Clemens Schaefer, Gil Tabak

机构 * Google LLC（谷歌公司） ； Mountain View, Ca（山景城，加利福尼亚） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文研究大语言模型低精度量化中的块大小悖论，发现细粒度块在正确缩放策略下能降低量化误差，并通过4-over-6方法等解决退化问题。