语言大模型 / LLM

Comparative Characterization of KV Cache Management Strategies for LLM Inference

KV缓存管理策略在大语言模型推理中的比较分析

Oteo Mamo, Olga Kogiou, Hyunjin Yi, Weikuan Yu

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文通过实证研究比较了vLLM、InfiniGen和H2O三种KV缓存管理框架，分析了其在内存消耗和推理性能上的权衡，揭示了不同场景下最优的缓存策略配置。

ATLAS-RTC: Closing the Loop on LLM Agent Output with Token-Level Runtime Control

ATLAS-RTC：通过令牌级运行时控制闭合LLM代理输出的循环

Christopher Cruz

机构 * Purdue University（普渡大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；language model(abstract)；分类 cs.LG

AI总结 ATLAS-RTC通过实时监控和干预减少解码错误，提升任务成功率和效率，实现LLM系统中的运行时控制新层次。

Apriel-1.5-OpenReasoner: RL Post-Training for General-Purpose and Efficient Reasoning

阿普里尔-1.5-开放式推理机：基于强化学习的后训练通用高效推理

Rafael Pardinas, Ehsan Kamalloo, David Vazquez, Alexandre Drouin

机构 * ServiceNow 纠错

专题命中 效率与部署 ：post-training(title,abstract)；LLM(abstract)；分类 cs.LG

AI总结 本文提出Apriel-1.5-OpenReasoner，通过可复现的多领域强化学习后训练方法，在Apriel-Base上实现跨五个领域的通用高效推理，提升推理效率并优化不同难度问题的推理长度。

Comments 20 pages, 4 tables, 6 figures, appendix included

From Bits to Chips: An LLM-based Hardware-Aware Quantization Agent for Streamlined Deployment of LLMs

从比特到芯片：一种基于LLM的硬件感知量化代理，用于简化LLM的部署

Kaiyuan Deng, Hangyu Zheng, Minghai Qing, Kunxiong Zhu, Gen Li, Yang Xiao, Lan Emily Zhang, Linke Guo, Bo Hui, Yanzhi Wang, Geng Yuan, Gagan Agrawal, Wei Niu, Xiaolong Ma

机构 * The University of Arizona（亚利桑那大学） ； Clemson University（克莱姆森大学） ； University of Georgia（佐治亚大学） ； The University of Tulsa（塔尔萨大学） ； Northeastern University（东北大学） ； Western Digital Corporation（西部数据公司） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出HAQA，一种基于LLM的自动化框架，通过高效超参数调优和硬件配置，简化LLM的量化和部署流程，提升部署质量和易用性，实验显示推理速度提升2.3倍，吞吐量和精度均有提升。

Seer: Online Context Learning for Fast Synchronous LLM Reinforcement Learning

Seer：在线上下文学习用于快速同步LLM强化学习

Ruoyu Qin, Weiran He, Weixiao Huang, Yangkun Zhang, Yikai Zhao, Bo Pang, Xinran Xu, Yingdi Shan, Yongwei Wu, Mingxing Zhang

机构 * Moonshot AI（月之暗面） ； Tsinghua University（清华大学） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 Seer通过动态负载均衡、上下文感知调度和自适应分组推测解码技术，显著降低长尾延迟并提升资源利用率，实现2.04倍的端到端效率提升。

Safer by Diffusion, Broken by Context: Diffusion LLM's Safety Blessing and Its Failure Mode

扩散模型更安全，但受上下文影响而失效：扩散大语言模型的安全祝福及其失效模式

Zeyuan He, Yupeng Chen, Lang Lin, Yihan Wang, Shenxu Chang, Eric Sommerlade, Philip Torr, Junchi Yu, Adel Bibi, Jialin Yu

机构 * Torr Vision Group, University of Oxford（牛津大学Torr视觉组） ； School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Microsoft（微软） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究探讨了扩散大语言模型（D-LLMs）在生成效率上的优势及其安全特性，发现其扩散生成方式增强了对对抗攻击的抵抗力，但存在上下文嵌套等失效模式，首次成功突破Gemini Diffusion的安全防线。

$k$NNProxy: Efficient Training-Free Proxy Alignment for Black-Box Zero-Shot LLM-Generated Text Detection

$k$NNProxy：高效无训练代理对齐方法用于黑盒零样本LLM生成文本检测

Kahim Wong, Kemou Li, Haiwei Wu, Jiantao Zhou

机构 * School of Information and Software Engineering, University of Electronic Science and Technology of China（电子科技大学信息与软件工程学院） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出$ k $NNProxy方法，利用$ k $NN语言模型检索机制作为领域适配器，实现无训练的代理对齐，提升黑盒零样本LLM生成文本检测的鲁棒性与效率。

FEMBA on the Edge: Physiologically-Aware Pre-Training, Quantization, and Deployment of a Bidirectional Mamba EEG Foundation Model on an Ultra-low Power Microcontroller

FEMBA在边缘：一种生理感知的预训练、量化和在超低功耗微控制器上部署双向Mamba EEG基础模型

Anna Tegon, Nicholas Lehmann, Yawei Li, Andrea Cossettini, Luca Benini, Thorir Mar Ingolfsson

机构 * Integrated Systems Laboratory, ETH Zürich（苏黎世联邦理工学院集成系统实验室） ； DEI, University of Bologna（博洛尼亚大学电气、电子与信息工程系） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；post-training(abstract)；分类 cs.LG

AI总结 本文提出FEMBA，通过生理感知预训练、量化和部署，实现基于Mamba的EEG基础模型在超低功耗微控制器上的高效应用，提升长期神经监测性能。

Comments 10 pages, 9 tables, 1 figure

The Compression Paradox in LLM Inference: Provider-Dependent Energy Effects of Prompt Compression

大语言模型推理中的压缩悖论：提示压缩的提供商依赖性能耗效应

Warren Johnson

机构 * Plexor Labs（Plexor实验室） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究通过28421次API试验，测试提示压缩对不同提供商、基准和压缩比下的推理能耗效率影响，发现压缩导致质量显著下降且能耗依赖于提供商。

Comments 16 pages, 5 figures, 5 tables. Includes data/code availability, ethics statement, and competing interests

From Text to Talk: Audio-Language Model Needs Non-Autoregressive Joint Training

从文本到谈话：音频-语言模型需要非自回归联合训练

Tianqiao Liu, Xueyi Li, Hao Wang, Haoxuan Li, Zhichao Chen, Weiqi Luo, Zitao Liu

机构 * Guangdong Institute of Smart Education（广东智能教育研究院） ； TAL Education Group（TAL教育集团） ； Peking University（北京大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL

AI总结 本文提出Text-to-Talk模型，通过整合自回归文本生成与非自回归音频扩散，统一训练目标，提升多模态语音交互系统性能。

DualEdit: Mitigating Safety Fallback in LLM Backdoor Editing via Affirmation-Refusal Regulation

DualEdit: 通过肯定-拒绝调节缓解LLM后门编辑中的安全回退

Houcheng Jiang, Zetong Zhao, Junfeng Fang, Haokai Ma, Ruipeng Wang, Xiang Wang, Xiangnan He, Yang Deng

机构 * University of Science and Technology of China（中国科学技术大学） ； National University of Singapore（新加坡国立大学） ； Singapore Management University（新加坡管理大学） ； MoE Key Lab of BIPC, University of Science and Technology of China（中国科学技术大学信息与通信技术国家重点实验室） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 DualEdit通过双重目标模型编辑框架缓解LLM后门攻击中的安全回退问题，通过动态损失加权和价值锚定技术提升攻击成功率并降低安全回退率。

Power-SMC: Low-Latency Sequence-Level Power Sampling for Training-Free LLM Reasoning

Power-SMC：低延迟序列级功率采样用于训练自由LLM推理

Seyedarmin Azizi, Erfan Baghaei Potraghloo, Minoo Ahmadi, Souvik Kundu, Massoud Pedram

机构 * University of Southern California（南加州大学） ； Intel Labs（英特尔实验室） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出Power-SMC，一种低延迟的序列级功率采样方法，用于训练自由的大语言模型推理，通过并行粒子集和重要权重修正提升推理效率。

LLM-Enhanced Rumor Detection via Virtual Node Induced Edge Prediction

通过虚拟节点诱导边预测增强的谣言检测

Jiran Tao, Cheng Wang, Binyan Jiang

机构 * Department of Data Science and Artificial Intelligence（数据科学与人工智能系） ； Hong Kong Polytechnic University（香港理工大学） ； School of Mathematical Sciences（数学科学学院） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出一种整合大语言模型的谣言检测框架，通过引入虚拟节点捕捉文本连贯性，改进传统方法对文本连贯性与传播动态的建模能力。

Semantic Self-Distillation for Language Model Uncertainty

语义自蒸馏用于语言模型不确定性

Edward Phillips, Sean Wu, Fredrik K. Gustafsson, Boyan Gao, David A. Clifton

机构 * Department of Engineering Science University of Oxford（工程科学系牛津大学） ； University of Oxford（牛津大学） ； Oxford Suzhou Centre for Advanced Research University of Oxford Suzhou（牛津苏州先进研究中心） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL

AI总结 本文提出语义自蒸馏方法，通过蒸馏生成轻量模型以估计提示条件密度，提供提示级不确定性信号和答案级可靠性评估，在TriviaQA和MMLU实验中表现出竞争力。

Comments Added experiments on MMLU dataset, investigating utility of likelihood for multiple-choice answer selection

Learn from Foundation Model: Fruit Detection Model without Manual Annotation

从基础模型学习：无需人工标注的水果检测模型

Yanan Wang, Zhenghao Fei, Ruichen Li, Yibin Ying

机构 * College of Biosystems Engineering and Food Science, Zhejiang University（浙江大学生物系统工程与食品科学学院） ； ZJU-Hangzhou Global Scientific and Technological Innovation Center, Zhejiang University（浙江大学杭州全球科技创新中心） ； Faculty of Science, National University of Singapore（新加坡国立大学科学学院） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG

AI总结 本文提出SDM-D框架，通过SDM和知识蒸馏技术，在无标注数据下训练高效的小模型，实现水果检测的高精度与速度，超越现有开放集检测方法。

Comments 35 pages, 11figures, conference or other essential info

PhysQuantAgent: An Inference Pipeline of Mass Estimation for Vision-Language Models

PhysQuantAgent: 一种用于视觉-语言模型的物体质量估计推断流水线

Hisayuki Yokomizo, Taiki Miyanishi, Yan Gang, Shuhei Kurita, Nakamasa Inoue, Yusuke Iwasawa

机构 * The University of Tokyo（东京大学） ； Institute of Science Tokyo（东京科学研究院） ； National Institute of Informatics（信息处理技术研究所） 纠错

专题命中 效率与部署 ：language model(title,abstract)；prompting(abstract)；分类 cs.AI

AI总结 本文提出PhysQuantAgent框架和VisPhysQuant基准数据集，通过引入三种视觉提示方法提升视觉-语言模型对真实物体质量的估计精度。

Comments Code and dataset will be available at https://github.com/hisasnow/PhysQuantAgent

LUMINA: LLM-Guided GPU Architecture Exploration via Bottleneck Analysis

LUMINA: 通过瓶颈分析指导的LLM引导的GPU架构探索

Tao Zhang, Rui Ma, Shuotao Xu, Yongqiang Xiong, Peng Cheng

机构 * Microsoft Research（微软研究院） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；language model(abstract)；分类 cs.AI

AI总结 LUMINA利用AI提升GPU设计空间探索效率，通过自动编译DSE规则和基准测试，实现高效高质量的设计指导，比传统方法提升17.5倍效率和32.9%的设计效果。

Prism: Efficient Test-Time Scaling via Hierarchical Search and Self-Verification for Discrete Diffusion Language Models

Prism：通过分层搜索和自验证实现离散扩散语言模型的高效测试时扩展

Jinbin Bai, Yixuan Li, Yuchen Zhu, Yi Xin, Qingyu Shi, Aosong Feng, Xiaohong Liu, Molei Tao, Jianru Xue, Xiangtai Li, Ming-Hsuan Yang

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract)；分类 cs.LG

AI总结 本文提出Prism框架，通过分层轨迹搜索、局部分支和自验证反馈，提升离散扩散语言模型的测试时扩展效率与性能。

Estimating Text Temperature with Language Models

利用语言模型估计文本温度

Nikolay Mikhaylovskiy

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL

AI总结 本文提出通过最大似然方法估计文本温度，评估多种LLM的性能，并发现大部分文本温度接近1，但某些数据集如笑话、GSM8K和AG News温度较高。

MAD: Microenvironment-Aware Distillation -- A Pretraining Strategy for Virtual Spatial Omics from Microscopy

MAD：微环境感知蒸馏——一种从显微镜获取虚拟空间组学的预训练策略

Jiashu Han, Kunzan Liu, Yeojin Kim, Saurabh Sinha, Sixian You

机构 * Research Laboratory of Electronics, Massachusetts Institute of Technology（麻省理工学院电子研究实验室） ； Department of Electrical Engineering and Computer Science, Massachusetts Institute of Technology（麻省理工学院电气工程与计算机科学系） ； The Wallace H. Coulter Department of Biomedical Engineering, Georgia Institute of Technology（佐治亚理工学院Wallace H. Coulter生物医学工程系） ； H. Milton Stewart School of Industrial & Systems Engineering, Georgia Institute of Technology（佐治亚理工学院H. Milton Stewart工业与系统工程学院） 纠错

专题命中 效率与部署 ：pretraining(title,abstract)；foundation model(abstract)；分类 cs.AI

AI总结 MAD通过联合自蒸馏显微镜图像的形态视图和微环境视图，学习细胞中心嵌入，实现细胞亚型分类、转录组预测等任务的最先进性能。

Comments 34 pages, 6 figures; under review

TASTE-Streaming: Towards Streamable Text-Aligned Speech Tokenization and Embedding for Spoken Language Modeling

TASTE-Streaming: 向可流式传输的文本对齐语音标记化与嵌入迈进

Liang-Hsuan Tseng, Hung-yi Lee

机构 * Graduate Institute of Communication Engineering, National Taiwan University（国立台湾大学通讯工程研究所） 纠错

专题命中 效率与部署 ：language model(title,abstract)；SLM(abstract)；分类 cs.CL

AI总结 本文提出TASTE-S，通过集成CTC ASR模块和重设计解码器，实现流式传输的文本对齐语音标记化与嵌入，减少延迟并保持鲁棒性。

Comments Work in progress

Uni-ASR: Unified LLM-Based Architecture for Non-Streaming and Streaming Automatic Speech Recognition

Uni-ASR：基于大语言模型的统一架构用于非流式和流式自动语音识别

Yinfeng Xia, Jian Tang, Junfeng Hou, Gaopeng Xu, Haitao Yao

机构 * Qwen Applications Business Group, Alibaba, China（通义实验室，阿里巴巴，中国） ； Tongyi AI Lab, Alibaba, China（通义实验室，阿里巴巴，中国） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 Uni-ASR基于大语言模型提出统一架构，实现非流式与流式语音识别无缝切换，通过联合训练和上下文感知策略提升流式识别准确性，实验显示其在不同延迟条件下均表现优异。

Comments Submitted to Interspeech 2026

Covenant-72B: Pre-Training a 72B LLM with Trustless Peers Over-the-Internet

Covenant-72B：通过互联网无信任同伴预训练一个72B LLM

Joel Lidin, Amir Sarfi, Erfan Miahi, Quentin Anthony, Shivam Chauhan, Evangelos Pappas, Benjamin Thérien, Eugene Belilovsky, Samuel Dare

机构 * Covenant AI ； Mila 纠错

专题命中 效率与部署 ：LLM(title,abstract)；foundation model(abstract)；分类 cs.LG

AI总结 Covenant-72B通过全球分布式预训练实现了大规模无许可参与，展示了去中心化训练的可行性与高效性。

Comments 26 pages, 6 figures, 4 tables; minor update, no content changes

Multimodal LLM-assisted Evolutionary Search for Programmatic Control Policies

多模态大语言模型辅助进化搜索用于程序化控制策略

Qinglong Hu, Xialiang Tong, Mingxuan Yuan, Fei Liu, Zhichao Lu, Qingfu Zhang

机构 * Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系） ； Huawei Noah’s Ark Lab（华为诺亚实验室） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本研究提出多模态大语言模型辅助进化搜索方法，用于生成透明且可验证的程序化控制策略，通过结合视觉反馈与进化搜索提高策略发现效率。

Capacity-Aware Mixture Law Enables Efficient LLM Data Optimization

面向容量的混合法则实现高效大语言模型数据优化

Jingwei Li, Xinran Gu, Jingzhao Zhang

机构 * Institute for Interdisciplinary Information Sciences, Tsinghua University（交叉信息研究院，清华大学） ； Shanghai Qizhi Institute（上海启智研究院） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 面向容量的混合法则通过高效数据混合优化，减少50%的优化成本并提升3%的下游性能

LeJOT-AutoML: LLM-Driven Feature Engineering for Job Execution Time Prediction in Databricks Cost Optimization

LeJOT-AutoML：基于LLM的特征工程用于Databricks成本优化中的作业执行时间预测

Lizhi Ma, Yi-Xiang Hu, Yihui Ren, Feng Wu, Xiang-Yang Li

机构 * University of Science and Technology of China（中国科学技术大学） ； Lenovo（联想） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 LeJOT-AutoML利用LLM驱动的AutoML框架，通过动态生成特征提升Databricks作业执行时间预测的准确性，从而实现成本优化。

Do Deployment Constraints Make LLMs Hallucinate Citations? An Empirical Study across Four Models and Five Prompting Regimes

部署约束是否使大语言模型产生引文幻觉？对四个模型和五个提示模式的实证研究

Chen Zhao, Yuan Tang, Yitian Qian

机构 * New York University（纽约大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Boston University（波士顿大学） 纠错

专题命中 效率与部署 ：prompting(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 本文通过实证研究探讨部署约束对大语言模型引文真实性的影响，发现不同提示模式下引文存在率差异显著，揭示了需在SE文献中进行事后验证的必要性。

NeuronMoE: Neuron-Guided Mixture-of-Experts for Efficient Multilingual LLM Extension

NeuronMoE：基于神经元的混合专家架构用于高效多语言大语言模型扩展

Rongzhi Li, Hitomi Yanaka

机构 * The University of Tokyo（东京大学） ； Riken（理化学研究所） ； Tohoku University（东北大学） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 NeuronMoE通过分析神经元多样性优化专家分配，实现低资源语言模型的高效扩展，减少40%参数并保持性能。

TAP-SLF: Parameter-Efficient Adaptation of Vision Foundation Models for Multi-Task Ultrasound Image Analysis

TAP-SLF：面向多任务超声图像分析的视觉基础模型参数高效适应

Hui Wan, Libin Lan

机构 * College of Computer Science and Engineering, Chongqing University of Technology, Chongqing, China（计算机科学与工程学院，重庆科技学院，重庆） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；prompting(abstract)；分类 cs.AI

AI总结 TAP-SLF通过任务感知提示和选择性层微调，实现视觉基础模型在多任务超声图像分析中的高效适应。

Comments 4 pages, 2 figures, 4 tables; Submitted to ISBI FMC UIA 2026; Our code is publicly available at https://github.com/huiwanHW/Florence-2-adaptation

Dynamic Token Reweighting for Robust Vision-Language Models

动态令牌重加权用于鲁棒的视觉-语言模型

Tanqiu Jiang, Jiacheng Liang, Rongyi Zhu, Jiawei Zhou, Fenglong Ma, Ting Wang

机构 * Stony Brook University（石溪大学） ； Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；foundation model(abstract)；分类 cs.CL

AI总结 DTR通过优化KV缓存动态调整视觉令牌权重，提升视觉-语言模型对多模态劫持攻击的鲁棒性，同时保持模型性能。

Comments CVPR 2026