语言大模型 / LLM

StackingNet: Collective Inference Across Independent AI Foundation Models

StackingNet：跨独立AI基础模型的集体推理

Siyang Li, Chenhao Liu, Dongrui Wu, Zhigang Zeng, Lieyun Ding

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.CL、cs.AI

AI总结 StackingNet通过元集成框架整合独立模型输出，提升准确率并减少误差，无需内部参数或训练数据，有效识别和修剪退化模型，在语言理解、视觉属性估计和学术论文评分中优于单一模型和经典集成方法。

MXSens: Sensitivity-Aware Mixed-Precision Quantization for Efficient LLM Inference

MXSens：用于高效大语言模型推理的灵敏度感知混合精度量化

Simla Burcu Harma, Danila Mishin, Zhengyuan Su, Ayan Chakraborty, Elizaveta Kostenok, Dongho Ha, Babak Falsafi, Martin Jaggi, Yunho Oh, Amir Yazdanbakhsh

机构 * EPFL（洛桑联邦理工学院） ； Tsinghua University（清华大学） ； MangoBoost Inc.（芒果助推公司） ； Korea University（韩国大学） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究针对大语言模型推理中4位量化因异常值致精度降的问题，提出MXSens方法，基于列和层灵敏度分配混合尾数比特宽度，无需训练，利用MXINT块结构，在多模型任务中优于现有方法，平衡了量化的准确性与资源效率。

Breaking the Factorization Barrier in Diffusion Language Models

突破扩散语言模型的分解障碍

Ian Li, Zilei Shao, Benjie Wang, Rose Yu, Guy Van den Broeck, Anji Liu

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 CoDD通过引入轻量级概率推理层，突破扩散语言模型的分解障碍，实现高效且连贯的生成性能。

Adaptive Multi-Step Lookahead Decoding for Diffusion Language Models

扩散语言模型的自适应多步前瞻解码

Yingqian Cui, Wei Deng, Lantao Mei, Hang Li, Charu C. Aggarwal, Hui Liu, Yue Xing

机构 * Michigan State University（密歇根州立大学） ； Morgan Stanley（摩根士丹利） ； IBM T.J. Watson Research Center（IBM 托马斯·J·沃森研究中心） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 研究针对扩散语言模型解码，提出自适应多步前瞻框架AdaLook，基于候选分数方差动态决定是否继续展开及进行分支扩展，避免不必要的深度展开，实验证明其在准确性和解码步骤权衡上优于现有一步前瞻解码方法。

Learning to Learn-at-Test-Time: Language Agents with Learnable Adaptation Policies

在测试时学习：具有可学习适应策略的语言智能体

Zhanzhi Lou, Hui Chen, Yibo Li, Qian Wang, Bryan Hooi

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 效率与部署 ：language agent(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Meta-TTL框架，通过双层优化问题学习最优适应策略，提升语言智能体在不同分布下的表现。

ORBIT-2: Scaling Exascale Vision Foundation Models for Weather and Climate Downscaling

ORBIT-2：为天气和气候降尺度扩展百亿亿次视觉基础模型

Xiao Wang, Jong-Youl Choi, Takuya Kurihaya, Isaac Lyngaas, Hong-Jun Yoon, Xi Xiao, David Pugmire, Ming Fan, Nasik M. Nafi, Aristeidis Tsaris, Ashwin M. Aji, Maliha Hossain, Mohamed Wahib, Dali Wang, Peter Thornton, Prasanna Balaprakash, Moetasim Ashfaq, Dan Lu

机构 * Oak Ridge National Laboratory（奥克岭国家实验室） ； AMD Research and Advanced Development（AMD研究与高级开发） ； RIKEN Center for Computational Science（理化学研究所计算科学中心） ； University of Alabama at Birmingham（阿拉巴马大学伯明翰分校） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 ORBIT-2通过残差Slim ViT和TILES算法，实现了百亿亿次视觉基础模型在天气和气候降尺度中的高效扩展。

Attention-Discounted Adaptive Sampler for Masked Diffusion Language Models

注意力折扣自适应采样器用于掩码扩散语言模型

Yusuf Sahin, Ahmed Rockey Saikia, Volkan Cevher, Paolo Favaro

机构 * University of Bern（伯尔尼大学） ； EPFL（瑞士联邦理工学院洛桑分校） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对掩码扩散语言模型并行解码中候选词交互导致的不安全问题，提出训练无关的重排序规则ADAS，通过注意力折扣软惩罚改进子集构建，在多个基准上提升低NFE性能。

Predicting LLM Safety Before Release by Simulating Deployment

通过模拟部署预测大语言模型发布前的安全性

Marcus Williams, Hannah Sheahan, Cameron Raymond, Tomek Korbak, Deng Pan, Peilin Yang, Leon Maksin, Ningyi Xie, Phillip Guo, Ian Kivlichan, Micah Carroll

机构 * OpenAI（开放人工智能研究公司） 纠错

专题命中 效率与部署 ：LLM(title)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究通过模拟部署预测大语言模型发布前安全性的方法，从去识别化对话出发，固定前缀用候选模型生成回复来评估。该方法能估计行为不当率，优于基线，还能克服工具重新采样挑战，为外部研究提供途径，助力预测模型现实行为及评估部署风险。

Comments 31 pages

When Does Small Data Work? Accuracy and Efficiency Trade-offs Between Tabular Foundation Models and Conventional Methods for Crowd-State Classification at Hajj and Umrah

小数据何时起作用？朝觐和副朝人群状态分类中表格基础模型与传统方法之间的准确性和效率权衡

AlJawharh S. AlOtaibi, Mohamed Eltahir, Jude AlSubaie

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究在朝觐和副朝人群状态分类中，测试表格基础模型在标签稀缺时的作用，将其与传统机器学习方法比较，评估不同模型，揭示标签数量影响模型选择及两种方法在准确性和效率上的权衡。

Comments 6 pages, 3 figures, 10 tables

Variable Bit-width Quantization: Learning Per-Group Precision for "Bigger-but-Smaller" Language Models

可变比特宽度量化：为“更大但更小”的语言模型学习每组精度

Hamish Ogilvy

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 研究提出可变比特宽度量化（VBQ），通过Gumbel-Softmax松弛为每组64个权重学习分辨率，经交替优化联合训练。VBQ能实现强异构分配，有更好存储效率和推理加速，还揭示了深层自修复量化误差机制。

Comments 15 pages, 6 figures

Self-conditioned Flow Map Language Models via Fixed-point Flows

自条件流映射语言模型通过不动点流

Jaehoon Yoo, Wonjung Kim, Floor Eijkelboom, Chanhyuk Lee, Nicholas M. Boffi, Seunghoon Hong, Jinwoo Kim

机构 * KAIST（韩国科学技术院） ； University of Amsterdam（阿姆斯特丹大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出不动点流框架，将自条件机制解释为不动点迭代，并设计二维流模型同时压缩迭代与流过程，实现少步生成，在OpenWebText上超越现有模型。

GeneMamba: An Efficient and Effective Foundation Model on Single Cell Data

GeneMamba：一种高效且有效的单细胞数据基础模型

Cong Qi, Hanzhang Fang, Siqi Jiang, Xun Song, Tianxing Hu, Wei Zhi

机构 * New Jersey Institute of Technology（新泽西理工学院） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.CL、cs.LG

AI总结 GeneMamba基于状态空间建模构建，采用Bi-Mamba架构实现线性时间复杂度，通过预训练和生物信息学目标提升单细胞转录组分析的效率与性能。

Journal ref IJCNN 2026

Aligning Language Model Benchmarks with Pairwise Preferences

将语言模型基准与成对偏好对齐

Marco Gutierrez, Xinyi Leng, Hannah Cyberey, Jonathan Richard Schwarz, Ahmed Alaa, Thomas Hartvigsen

机构 * School of Data Science, University of Virginia（弗吉尼亚大学数据科学学院） ； Imperial College London（伦敦帝国理工学院） ； Thomson Reuters Foundational Research（汤姆森路透基础研究） ； Department of Electrical Engineering and Computer Science, UC Berkeley and UCSF（伯克利大学电气工程与计算机科学系及旧金山大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出BenchAlign方法，通过利用语言模型在问题级别的性能与模型成对排名，自动调整离线基准权重，使新基准能根据偏好准确排序未见模型。

The Simulacrum: Decision-Theoretic Pretraining for Near-Optimal Time-Series Forecasting and Inference

模拟体：面向近乎最优时间序列预测与推断的决策理论预训练

Pablo Montero-Manso, Marcel Scharth

机构 * Google（谷歌） 纠错

专题命中 效率与部署 ：pretraining(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出一种通过决策理论预训练学习时间序列估计器的神经网络框架，通过指定生成世界和决策目标，训练网络逼近最优决策规则，在零样本推断中实现近乎最优风险、偏差控制和均匀校准。

Automating Potential-based Reward Shaping with Vision Language Model Guidance

基于视觉语言模型引导的势能奖励塑形自动化

Henrik Müller, Daniel Kudenko

机构 * L3S Research Center Leibniz University Hannover（莱布尼茨汉诺威大学L3S研究中心） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出VLM-PBRS框架，利用轻量级视觉语言模型的偏好学习势能函数，实现自动化奖励塑形，保证最优策略不变，提升样本效率并避免奖励黑客。

Agentic evolution of physically constrained foundation models

物理约束基础模型的智能体演化

Jiangwei Zhang, Wen Sun, Chong Wang, Shiyao Li, Cheng Che, Chunjing Han, Dan Meng, Jian Yang, Yu Wang, Rui Hou

机构 * University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出基于演化知识图谱的多智能体发现引擎，自动设计硬件兼容计算系统，在基础模型部署中演化出超越人工的压缩方法，实现大规模模型高效部署。

Comments 29 pages, 5 main figures and 4 extended data figures

Dense Supervision Is Not Enough: The Readout Blind Spot in Looped Language Models

密集监督还不够：循环语言模型中的读出盲点

Rituraj Sharma, Tu Vu

机构 * Virginia Tech（弗吉尼亚理工大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文揭示循环语言模型中密集交叉熵损失仅控制读出变量，忽略隐藏状态尺度，导致尺度失控；提出尺度可见读出、显式范数惩罚或尺度移除循环的修复方法。

Protocol-Aware Tokenization and Architecture Co-Design for Wireless Packet Foundation Models

协议感知分词与架构协同设计用于无线数据包基础模型

Swadhin Pradhan, Shazal Irshad, Jerome Henry

机构 * Cisco Systems（思科系统） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 通过2x2对比实验发现，协议感知分词是无线数据包基础模型性能的主要杠杆，改变分词器可使准确率波动32个百分点，而改变架构仅影响2个百分点。

Comments 10 pages, 5 figures, 3 tables

Implicit vs. Explicit Prompting Strategies for LVLMs in Referential Communication

LVLMs在指称通信中的隐式与显式提示策略

Peter Zeng, Amie J. Paige, Weiling Li, Susan E. Brennan, Owen Rambow, Cameron R. Jones

机构 * Stony Brook University（石溪大学） 纠错

专题命中 效率与部署 ：prompting(title,abstract)；分类 cs.CL、cs.AI

AI总结 本研究通过控制任务差异，比较显式与隐式提示对LVLM生成高效指称表达的影响，发现显式提示下模型能协调高效表达，而隐式提示则失败，揭示了人机通信的关键差异。

Fast Speech Foundation Model Distillation Using Interleaved Stacking

快速语音基础模型蒸馏使用交错堆叠

Eungbeom Kim, Kyogu Lee

机构 * IPAI ； AIIS ； Dept. of Intelligence and Information（智能与信息系） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出交错堆叠方法加速语音基础模型蒸馏训练，通过保持层位置一致性解决性能下降问题，在SUPERB上验证有效性。

Comments Accepted by Interspeech 2026

Entropy-Aware On-Policy Distillation of Language Models

熵感知的在线策略蒸馏语言模型

Woogyeol Jin, Taywon Min, Yongjin Yang, Dennis Wei, Yi Zhou, Swanand Ravindra Kadhe, Nathalie Baracaldo, Kimin Lee

机构 * IBM Research, San Jose, CA, USA（IBM研究院，旧金山，加州，美国） ； University of Toronto, Ontario, Canada（多伦多大学，安大略，加拿大） ； Vector Institute, Ontario, Canada（向量研究所，安大略，加拿大） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 针对在线策略蒸馏中反向KL导致生成多样性下降和教师高熵时学习信号不稳定的问题，提出熵感知的在线策略蒸馏方法，通过在高熵时引入前向KL平衡模式寻求与模式覆盖，提升了生成多样性和学生-教师对齐度。

Comments 18 pages, 11 figures, ICML 2026

MirrorCheck: Efficient Adversarial Defense for Vision-Language Models

MirrorCheck: 视觉-语言模型的高效对抗防御

Samar Fares, Klea Ziu, Toluwani Aremu, Nikita Durasov, Martin Takáč, Pascal Fua, Ivan Laptev, Karthik Nandakumar

机构 * Mohamed Bin Zayed University of Artificial Intelligence（莫扎伊德大学人工智能大学） ； NVIDIA ； École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院） ； Michigan State University（密歇根州立大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出MirrorCheck框架，利用文本到图像模型和随机化策略检测并防御针对视觉-语言模型的自适应对抗攻击。

FMplex: Model Virtualization for Serving Extensible Foundation Models

FMplex: 用于服务可扩展基础模型的模型虚拟化

Hetvi Shastri, Pragya Sharma, Walid A. Hanafy, David Irwin, Mani Srivastava, Prashant Shenoy

机构 * University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校） ； University of California Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出FMplex系统，通过将基础模型作为虚拟化层实现多任务共享，结合批感知公平队列调度器，在7个基础模型和92个下游任务上降低延迟达80%，提升任务容量6倍。

EinSort: Sorting is All We Need for Tensorizing LLM

EinSort: 张量化大语言模型，排序即一切

Toshiaki Koike-Akino, Jing Liu, Ye Wang

机构 * Toshiaki Koike-Akino ； Jing Liu ； Ye Wang 纠错

专题命中 效率与部署 ：LLM(title)；foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 提出EinSort方法，通过索引排序发现张量中的低秩结构，实现大语言模型权重和KV缓存的张量化压缩，相比基线方法提升了重构质量。

Comments 38 pages, 17 figures

Explaining Black-Box Language Models: Learning to Optimize Linguistically-Structured Word Subsets

解释黑盒语言模型：学习优化语言结构化的单词子集

Minyoung Hwang, Seokhyun Lee, Changhee Lee

机构 * Korea University（高丽大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对黑盒语言模型解释的三个关键需求（推理效率、黑盒兼容性、语言结构可解释性），提出一种通过强化学习选择信息性单词子集的方法，实现高效、无梯度且语言连贯的解释。

Comments KDD 2026 Research Track

Active Learning with Foundation Model Priors: Efficient Learning under Class Imbalance

基于基础模型先验的主动学习：类别不平衡下的高效学习

Jiancheng Zhang, Meiqing Li, Qi Zhang, Yinglun Zhu

机构 * University of California, Riverside（加州大学河滨分校） ； Carnegie Mellon University（卡内基梅隆大学） ； Worcester Polytechnic Institute（伍斯特理工学院） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 针对现实数据中的类别不平衡和噪声标注问题，提出一种利用基础模型先验的主动学习框架，通过不平衡感知的协同决策选择信息量最大的样本，在图像和文本数据集上实现超过50%的标注节省。

Comments To appear at ICML 2026

Training-Inference Kernel Contracts: Bounding Divergence in Post-Training and Deployment

训练-推理核契约：约束后训练与部署中的偏差

Bruce Changlong Xu, Lan Wu

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 效率与部署 ：post-training(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出核契约框架，通过数值、统计、运行时和可观测性条款约束训练核与推理核之间的分布偏差，并推导偏差界以保障策略梯度无偏性。

GOTabPFN: From Feature Ordering to Compact Tokenization for Tabular Foundation Models on High-Dimensional Data

GOTabPFN: 从特征排序到高维表格基础模型的紧凑分词化

Al Zadid Sultan Bin Habib, Md Younus Ahamed, Prashnna Kumar Gyawali, Gianfranco Doretto, Donald A. Adjeroh

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 针对高维小样本表格预测问题，提出GOTabPFN模型，通过图引导排序和神经启发子单元压缩实现紧凑表示，提升TabPFN在严格token预算下的稳定性和准确性。

Comments Accepted to the 43rd International Conference on Machine Learning (ICML 2026). Code and resources GitHub https://github.com/zadid6pretam/GOTabPFN PyPI https://pypi.org/project/gotabpfn Project webpage https://www.zadidhabib.com/gotabpfn.html Hugging Face ZeroGPU https://huggingface.co/spaces/zadid6pretam/GOTabPFN CPU backup https://huggingface.co/spaces/zadid6pretam/GOTabPFN_CPU

Pretrained battery transformer (PBT): A foundation model for battery life prediction

预训练电池变压器（PBT）：电池寿命预测的基础模型

Ruifeng Tan, Weixiang Hong, Jia Li, Jiaqiang Huang, Tong-Yi Zhang

机构 * Guangzhou Municipal Key Laboratory of Materials Informatics and Sustainable Energy and Environment Thrust, The Hong Kong University of Science and Technology (Guangzhou)（广州材料信息学与可持续能源与环境方向市重点实验室，香港科技大学（广州）） ； Department of Computer Science & Engineering, The Hong Kong University of Science and Technology（计算机科学与工程系，香港科技大学） ； Guangzhou Municipal Key Laboratory of Materials Informatics and Data Science and Analytics Thrust, The Hong Kong University of Science and Technology (Guangzhou)（广州材料信息学与数据科学与分析方向市重点实验室，香港科技大学（广州）） ； Academy of Interdisciplinary Studies, The Hong Kong University of Science and Technology（交叉学科研究院，香港科技大学） ； Guangzhou HKUST Fok Ying Tung Research Institute（广州科技大学福 Ying Tung 研究院） ； Material Genome Institute, Shanghai University（材料基因组研究所，上海大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出PBT模型，通过整合异构电池寿命数据，实现电池寿命预测的统一建模，显著提升预测性能。

Comments 5 figures in the main content

Towards Unified and Data-Efficient Prognostics and Health Management with Tabular Foundation Models

面向统一且数据高效的预测与健康管理：基于表格基础模型

Raffael Theiler, Lev Telyatnikov, Leandro Von Krannichfeldt, Olga Fink

机构 * IMOS Lab, EPFL（IMOS实验室，瑞士联邦理工学院） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出利用表格基础模型通过上下文学习处理工业时间序列，实现预测与健康管理（PHM）任务，在低数据场景下表现优异，并优于序列模型和梯度提升树。