语言大模型 / LLM

Efficient LLM Moderation with Multi-Layer Latent Prototypes

基于多层潜在原型的高效LLM审核

Maciej Chrabąszcz, Filip Szatkowski, Bartosz Wójcik, Jan Dubiński, Tomasz Trzciński, Sebastian Cygert

机构 * University of Warsaw（华沙大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出多层原型审核器（MLPM），利用多层中间表示的原型实现轻量、高效且可定制的输入审核，在多个基准上达到最优性能，并可与输出审核结合提升响应安全性。

Massive Spikes in LLMs are Bias Vectors: Mechanistic Uncovering and Spike-Free Quantization

LLM中的大规模尖峰是偏置向量：机制揭示与无尖峰量化

Yung-Chin Chen, Chung Peng Lee, Ze-Wei Liou, Naveen Verma

机构 * Princeton University（普林斯顿大学） ； EnCharge AI 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文通过机制分析发现LLM中的激活尖峰本质上是结构化的向量偏置，并提出无尖峰量化框架INSERTQUANT，实现鲁棒的低比特量化。

ACON: Optimizing Context Compression for Long-horizon LLM Agents

ACON：面向长周期LLM智能体的上下文压缩优化

Minki Kang, Wei-Ning Chen, Dongge Han, Huseyin A. Inan, Lukas Wutschitz, Yanzhi Chen, Robert Sim, Saravan Rajmohan

机构 * University of Washington（华盛顿大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出ACON框架，通过自然语言空间优化压缩策略，在不微调模型的情况下减少峰值token使用量26-54%并提升任务成功率，同时可蒸馏至小模型。

Comments ICML 2026

ProbeScale: Probing Analysis to Optimize Neural Scaling Laws for Efficient Small Language Model Inference

ProbeScale: 通过探测分析优化神经缩放定律以实现高效小语言模型推理

Sourav Das

机构 * Department of Computer Science and Engineering（计算机科学与工程系） ； Indian Institution of Information Technology Kalyani（印度信息技术学院Kalyani） 纠错

专题命中 效率与部署 ：language model(title,abstract)；small language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出ProbeScale框架，利用缩放定律和探测分析从预训练小语言模型中识别参数高效子网络，在参数预算下最大化任务加权探测性能，实现5-10倍参数压缩并保持95%-98%原始性能。

Comments 7 pages, 2 figures, ACL

ToxSearch: Evolving Prompts for Toxicity Search in Large Language Models

ToxSearch: 面向大型语言模型毒性搜索的提示演化

Onkar Shelar, Travis Desell

机构 * Rochester Institute of Technology（罗切斯特技术研究所） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出ToxSearch，一种黑盒演化框架，通过同步稳态循环演化提示来测试大型语言模型的安全性，并分析不同操作符的行为及跨模型迁移性。

Comments 16 pages

Journal ref In: García-Sánchez, P., Díaz Álvarez, J., Murphy, A. (eds) Applications of Evolutionary Computation. EvoApplications 2026. Lecture Notes in Computer Science, vol 16525. Springer, Cham

Hypothesis Generation and Inductive Inference in Children and Language Models

儿童与语言模型中的假设生成与归纳推理

Jeffrey Qin, Wasu Top Piriyakulkij, Zhuangfei Gao, Mia Radovanovic, Jessica Sommerville, Kevin Ellis, Marta Kryven

机构 * Computer Science University of Waterloo（滑铁卢大学计算机科学系） ； Department of Computer Science Cornell University（康奈尔大学计算机科学系） ； Department of Computer Science Dalhousie University（达尔豪斯大学计算机科学系） ； Department of Psychology University of Toronto（多伦多大学心理学系） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；language model(title)；分类 cs.CL、cs.AI、cs.LG

AI总结 通过归纳推理盒子任务，结合贝叶斯粒子推断的程序归纳形式化，比较儿童与基于LLM的智能体在不确定性下的假设生成与证据寻求行为，发现两者在适应环境结构上相似但信息寻求成本与归纳偏差不同。

InfoMerge: Information-aware Token Compression for Efficient Video Large Language Models

InfoMerge: 信息感知的令牌压缩用于高效视频大语言模型

Xinxin Liu, Shiwei Gan, Xiao Liu, Yafeng Yin, Lei Xie, Sanglu Lu

机构 * State Key Laboratory of Novel Software Technology（新型软件技术国家重点实验室） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 提出InfoMerge，一种无需训练的视觉令牌压缩方法，通过鲁棒冗余估计和内容感知预算分配，在减少85%视觉令牌的同时保持98.8%性能，实现4.24倍预填充加速。

Comments 15 pages, 8 figures

Efficient RAG with Intent-Aware Retrieval and Semantics-Preserving Chunking

基于意图感知检索与语义保持分块的高效RAG

Fachrina Dewi Puspitasari, Chaoning Zhang, Jiaquan Zhang, Zhicheng Wang, Hafiz Shakeel Ahmad Awan, Rizwan Qureshi, Jewon Lee, Tae-Ho Kim, Yang Yang

机构 * School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院） ； Massachusetts General Hospital, Harvard University（哈佛大学马萨诸塞州总医院） ； Nota AI 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；SLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出InSemRAG框架，通过意图感知检索器和语义保持分块模块，结合迭代检索-检查机制，解决传统RAG的信息不足问题，在多跳和证据敏感任务上取得显著提升。

ProactiveLLM: Learning Active Interaction for Streaming Large Language Models

ProactiveLLM: 学习流式大语言模型的主动交互

Junlong Tong, Yao Zhang, Anhao Zhao, Yingqi Fan, Yunpu Ma, Xiaoyu Shen

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 提出ProactiveLLM，利用模型内生状态指导交互决策，通过掩码流式建模和同步特权自蒸馏实现主动交互，减少延迟并保持质量。

Comments ICML 2026

Visual-Noise Guided In-Context Distillation for Multimodal Large Language Model Unlearning

视觉噪声引导的上下文蒸馏用于多模态大语言模型遗忘

Junkai Chen, Yuhao He, Junxiang You, Ruiqi Liu, Chenyu Wang, Shu Wu

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Advanced Interdisciplinary Sciences, UCAS（北京大学交叉学科研究院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 提出视觉噪声引导的上下文蒸馏（VGID）框架，通过双模态干预构建教师分布进行蒸馏，实现多模态大语言模型参数级遗忘，平衡遗忘效果与模型效用。

FIRM: Federated In-client Regularized Multi-objective Alignment for Large Language Models

FIRM: 面向大型语言模型的联邦客户端内正则化多目标对齐

Fatemeh Nourzad, Amirhossein Roknilamouki, Eylem Ekici, Jia Liu, Ness Shroff

机构 * Department of Electrical and Computer Engineering, The Ohio State University, Columbus, OH, USA（电气与计算机工程系，俄亥俄州立大学，哥伦布，OH，USA） ； Department of Computer Science and Engineering, The Ohio State University, Columbus, OH, USA（计算机科学与工程系，俄亥俄州立大学，哥伦布，OH，USA） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 提出FIRM算法，通过客户端内正则化缓解客户端分歧漂移并提高通信效率，实现联邦多目标对齐，并首次给出有限时间收敛保证。

Implicit Geographic Inference in LLM Medical Triage: Language-Driven Disparities in Emergency Recommendations

LLM医疗分诊中的隐式地理推断：语言驱动的急诊推荐差异

Qi Han Wong

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究大型语言模型在相同症状下，仅因患者提示语言不同而产生不同的医疗分诊推荐，发现模型根据输入语言隐式推断地理位置，导致急诊推荐率差异显著。

Comments 7 pages, 4 tables. Code and data at https://github.com/wongqihan/ai-behavioral-experiments

Lodestar: An Online-Learning LLM Inference Router

Lodestar: 一种在线学习的大语言模型推理路由器

Gangmuk Lim, Wanyu Zhao, Brighten Godfrey, Jiaxin Shan, Le Xu, Liguang Xie

机构 * UIUC（伊利诺伊大学香槟分校） ； Bytedance（字节跳动） ； University of Edinburgh（爱丁堡大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出Lodestar，一种基于在线学习的请求路由系统，通过实时收集集群状态并训练奖励预测器，以最小化TTFT为目标分配推理请求，在异构GPU集群上显著降低延迟。

DyLLM: Efficient Diffusion LLM Inference via Saliency-based Token Selection and Partial Attention

DyLLM: 基于显著性标记选择与部分注意力的高效扩散LLM推理

Younjoo Lee, Seungkyun Dan, Junghoo Lee, Jaiyoung Park, Jung Ho Ahn

机构 * University of Seoul（首尔大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对扩散语言模型迭代去噪计算昂贵的问题，提出DyLLM框架，通过仅计算显著标记的注意力与前馈操作，实现无需训练的加速推理，在保持精度的同时吞吐量提升高达9.6倍。

Comments 21 pages, 10 figures, 7 tables, accepted at ICML 2026

CRePE: Convolution-aware Relative Importance in Post-training Pruning with Efficient Search

CRePE: 后训练剪枝中基于卷积感知的相对重要性及高效搜索

Cheonjun Park

机构 * Hankuk University of Foreign Studies（韩国家外国语大学） 纠错

专题命中 效率与部署 ：post-training(title,abstract)；LLM(abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出CRePE方法，通过引入二维局部邻域上下文和自适应系数改进相对重要性评分，结合PHO代理优化实现高效后训练剪枝，在多种模型和稀疏度下取得最优性能。

Comments 10 pages

TwinQuant: Learnable Subspace Decomposition for 4-Bit LLM Quantization

TwinQuant: 可学习的子空间分解用于4位LLM量化

Haodong Wang, Junjie Liu, Zicong Hong, Qianli Liu, Jian Lin, Song Guo, Xu Chen

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出TwinQuant框架，通过联合优化Stiefel流形和一般线性流形学习量化友好的子空间分解，重塑低秩和残差分量以减少量化误差，并设计融合双分量内核实现高效端到端执行。

Comments 17pages, Accepted by ICML26

GNMR: Runtime Stability Control for Low-Precision Large Language Model Training

GNMR: 低精度大语言模型训练的运行时稳定性控制

Boao Kong, Weichen Jia, Engao Zhang, Guohong Li, Yonghan Dong, Yao Wang, Yaoyuan Wang, Yunke Peng, Kun Yuan

机构 * Peking University（北京大学） ； Huawei Technologies Ltd.（华为技术有限公司） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(title)；分类 cs.LG

AI总结 针对低精度语言模型训练中的稳定性瓶颈，提出基于梯度范数与历史均值之比（GNMR）的轻量级运行时控制器，通过局部风险信号映射到有界恢复动作，在不改变数值格式或后端的情况下提升训练稳定性。

Comments 29 pages, 4 figures, 15 tables

Safety Game: Inference-Time Alignment of Black-Box LLMs via Constrained Optimization

安全博弈：通过约束优化实现黑盒大语言模型的推理时对齐

Tuan Nguyen, Long Tran-Thanh

机构 * University of Southampton（南安普顿大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出一种无需重新训练或访问模型内部结构的黑盒安全对齐框架，通过将安全与帮助性的权衡建模为二人零和博弈，并在推理时使用线性规划求解均衡策略，实现了黑盒LLM的安全对齐。

Policy and World Modeling Co-Training for Language Agents

语言智能体的策略与世界模型协同训练

Ning Lu, Baijiong Lin, Shengcai Liu, Jiahao Wu, Haoze Lv, Yanbin Wei, Lingting Zhu, Shengju Qian, Xin Wang, Ying-Cong Chen, Qi Wang, Ke Tang

机构 * Southern University of Science and Technology（南方科技大学） ； Hong Kong University of Science and Technology（香港科学大学） ； Hong Kong University of Science and Technology (Guangzhou)（香港科学大学（广州）） ； Hong Kong Polytechnic University（香港理工大学） ； LIGHTSPEED 纠错

专题命中 效率与部署 ：language agent(title)；LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 提出PaW框架，通过在强化学习过程中添加辅助世界模型监督，无需改变推理范式，提升语言智能体在多个任务上的性能。

Comments 9 pages, 6 figures

SpikeWFM: Spiking-Aided Wireless Foundation Model for Robust Channel Prediction

SpikeWFM：用于鲁棒信道预测的脉冲辅助无线基础模型

Liwen Jing, Yisha Lu, Tingting Yang, Li Sun, Yuxuan Shi, Yuwei Wang, Mengfan Zheng, Leiyang Xu

机构 * Mobile Information Networks-National Science and Technology Major Project（移动信息网络国家科技重大专项） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出SpikeWFM混合架构，将脉冲神经网络与基于ANN的Transformer结合，通过时间稀疏性和事件驱动处理增强无线基础模型对噪声和干扰的鲁棒性，在信道预测任务上优于传统模型。

BitsMoE: Efficient Spectral Energy-Guided Bit Allocation for MoE LLM Quantization

BitsMoE: 面向MoE大语言模型量化的频谱能量引导比特分配

Jiayu Zhao, Zihan Teng, Minhao Fan, Tianrui Ma, Wentao Ren, Song Chen, Weichen Liu

机构 * School of Microelectronics, University of Science and Technology of China（中国科学技术大学微电子学院） ； College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院） ； School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电子与电气工程学院） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出BitsMoE框架，通过SVD分解和频谱能量引导的混合精度比特分配，解决MoE模型超低位量化中的精度损失问题，在Qwen3-30B-A3B-Base上2比特量化下准确率提升27.83个百分点。

Comments 29 pages, 6 figures, 9 tables. Code and models are available at https://github.com/zjiayu064/BitsMoE

From Flat to Hierarchical: Evolving Tree-structured Thoughts for Fine-grained Alpha Mining

从平面到层次：演化树状思维以实现细粒度Alpha挖掘

Junji Ren, Junjie Zhao, Shengcai Liu, Peng Yang

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 提出树状思维演化（TreEvo）方法，通过层次化分解思维扩展有效搜索空间，并设计结构化思维演化算子，在四个真实市场数据集上以最多200倍更少的评估次数获得与传统方法竞争性的Alpha，且平均比LLM驱动的演化算法高出14.31%。

Benchmarking at the Edge of Comprehension

在理解边缘的基准测试

Samuele Marro, Jialin Yu, Emanuele La Malfa, Oishi Deb, Jiawei Li, Yibo Yang, Ebey Abraham, Sunando Sengupta, Eric Sommerlade, Michael Wooldridge, Philip Torr

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出Critique-Resilient Benchmarking框架，通过对抗性生成-评估游戏在人类理解受限时比较模型，利用批判韧性正确性概念和分项Bradley-Terry模型对LLM进行排序。

Towards Multidisciplinary Summarization of Hospital Stays: Efficient Sentence-Level Clinical Provenance Categorization

迈向多学科住院总结：高效的句子级临床来源分类

Baris Karacan, Vaibhav Bhargava, Barbara Di Eugenio, Natalie Parde, Mary Khetani, Yu-Shan Tseng, Vanessa Barbosa, Julie Vignato, Lindsey Knake, Rajashree Dahal, Emily Spellman, Danielle Hitzel, Janine Petitgout, Kristi Haughey, Amanda Karstens, Brianna Clarahan, Rachel Dawson, Lauren Boyd, Mackenzie Weis, Angie Tipton, Jaewon Bae, Catherine K. Craven, Karen Dunn Lopez, Andrew D. Boyd

机构 * University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； University of Iowa（爱荷华大学） ； University of Missouri-Columbia（密苏里大学哥伦比亚分校） 纠错

专题命中 效率与部署 ：SFT(abstract,abstract_cn)；LLM(abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本研究提出一个基于大语言模型监督微调的临床来源分类流水线，用于多学科住院总结，通过量化70B模型在跨领域迁移中提升F1分数7%，并证明模型容量对语义灵活性的关键作用。

Comments 5 pages. Submitted preprint version of a paper accepted to AIME 2026. This version may differ from the camera-ready manuscript and the final Version of Record. The Version of Record will be available from Springer Nature once published

Bridging the Knowledge-Prediction Gap in LLMs on Multiple-Choice Questions

弥合大语言模型在多项选择题中的知识-预测差距

Yoonah Park, Haesung Pyun, Yohan Jo

机构 * KAIST（韩国科学技术院） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 通过分析隐藏表示中的知识子空间和预测子空间，提出轻量级推理时干预方法KAPPA来对齐两者，从而减少LLM在多项选择题上的知识-预测差距。

Comments Accepted to ICML 2026

GottBERT: a pure German Language Model

GottBERT: 一个纯德语语言模型

Raphael Scheible, Johann Frei, Fabian Thomczyk, Henry He, Patric Tippmann, Jochen Knaus, Victor Jaravine, Frank Kramer, Martin Boeker

机构 * Institute for AI and Informatics in Medicine, University Hospital rechts der Isar, Technical University Munich（慕尼黑技术大学医学人工智能与信息学研究所，莱茵河右岸大学医院） ； IT-Infrastructure for Translational Medical Research, Faculty of Applied Computer Science, University of Augsburg（奥格斯堡大学应用计算机科学学院医学转化研究IT基础设施） ； Data Integration Center, Faculty of Medicine, University of Freiburg（弗赖堡大学医学学院数据整合中心） ； School of Computation, Information and Technology, Technical University Munich（慕尼黑技术大学计算、信息与技术学院） ； Institute of Medical Biometry and Statistics, Medical Center, Faculty of Medicine, University of Freiburg（弗赖堡大学医学学院医学生物统计学研究所） ； Freiburg Center for Data Analysis and Modeling, University of Freiburg（弗赖堡大学数据分析与建模中心） ； Hengrui Europe Biosciences, Zurich（苏黎世亨格里欧生物科学公司） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract_cn)；分类 cs.CL、cs.LG

AI总结 本文提出了首个德语单语言RoBERTa模型GottBERT，在OSCAR德语子集上预训练，并在NER和文本分类任务上展示了竞争性能。

APE: Agentic Prompt Enhancer for Image Generation and Editing

APE: 用于图像生成与编辑的智能提示增强器

Zijian Huang, Jay Zhangjie Wu, Zian Wang, Tianshi Cao, Jiasi Chen, Sanja Fidler, Huan Ling, Xuanchi Ren

机构 * NVIDIA ； University of Michigan（密歇根大学） 纠错

专题命中 效率与部署 ：LLM(abstract_cn)；language model(abstract)；small language model(abstract)；SLM(abstract_cn)

AI总结 提出APE框架，通过后训练小型语言模型作为提示增强代理，以单代理或多代理方式改进文本到图像生成与编辑中的提示质量，无需修改下游视觉模型。

Comments Project Page: https://research.nvidia.com/labs/sil/projects/ape/

SENSE: Semantic Embedding Navigation with Soft-gated Evaluation for Retrieval-based Speculative Decoding

SENSE: 基于软门控评估的语义嵌入导航用于检索式推测解码

Shaowen Chen, Zhicheng Liao, Hongwei Wang

机构 * Zhejiang University, Hangzhou, China（浙江大学，杭州，中国） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出SENSE方法，通过语义嵌入导航和软门控评估模块替代表面形式匹配，提升检索式推测解码的鲁棒性和加速效果，在LLaMA和Qwen系列上实现最高4.09平均接受长度和3.26倍加速。

CUPID in the Model Zoo: Online Matchmaking for Selecting Your Dream LLM

模型动物园中的丘比特：在线匹配以选择你的梦想大语言模型

Son Nguyen, Xinyuan Liu, Ransalu Senanayake

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.LG

AI总结 提出一种基于决斗老虎机算法的主动学习框架，通过迭代选择大语言模型对并收集用户反馈，高效匹配用户偏好与模型能力。

Comments 38 pages, 11 figures

Evi-Steer: Learning to Steer Biomedical Vision-Language Models through Efficient and Generalizable Evidential Tuning

Evi-Steer：通过高效且可泛化的证据调优学习引导生物医学视觉-语言模型

Taha Koleilat, Hassan Rivaz, Yiming Xiao

机构 * Concordia University（康科迪亚大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；foundation model(abstract)；分类 cs.CL

AI总结 提出Evi-Steer框架，通过证据跨模态低维引导实现BiomedCLIP的不确定性感知参数高效微调，仅更新0.11%参数，在15个生物医学数据集上少样本学习和域泛化设置中优于现有方法。

Comments MICCAI 2026 Early Accept; Project Page: https://tahakoleilat.github.io/Evi-Steer. This preprint has not undergone peer review or any post-submission improvements or corrections. The Version of Record of this contribution will be published as part of the MICCAI 2026 proceedings in October