语言大模型 / LLM

LLaVA-CKD: Bottom-Up Cascaded Knowledge Distillation for Vision-Language Models

LLaVA-CKD: 从下至上级联知识蒸馏用于视觉-语言模型

Nikolaos Gkalelis, Vasileios Mezaris

机构 * CERTH-ITI 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 本文提出LLaVA-CKD框架，通过级联知识蒸馏提升视觉-语言模型效率，通过中间容量教师模型逐步提升学生模型性能，并在七个VQA基准上验证了其最优性能。

Comments Under review

Layer Collapse in Diffusion Language Models

扩散语言模型中的层崩溃

Alexander Conzelmann, Albert Catalan-Tatjer, Shiwei Liu

机构 * Tübingen AI Center（图宾根人工智能中心） ； Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所） ； ELLIS Institute Tübingen（图宾根ELLIS研究所） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.LG

AI总结 研究揭示扩散语言模型中层崩溃现象，其由过度训练导致，早期层存在冗余表示，压缩时表现优于自回归模型。

Comments 9 Pages, Preprint

Calibrating Scientific Foundation Models with Inference-Time Stochastic Attention

通过推理时间随机注意力校准科学基础模型

Akash Yadav, Taiwo A. Adebiyi, Ruda Zhang

机构 * University of Houston（休斯顿大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本文提出通过推理时的随机注意力机制提升科学基础模型的校准能力，通过单参数控制生成预测集，实现高效后处理调优，实验显示其在天气预测和时间序列预测中表现优异，校准效果优于现有方法。

TrajDLM: Topology-Aware Block Diffusion Language Model for Trajectory Generation

TrajDLM：基于块扩散语言模型的拓扑感知轨迹生成框架

Wilson Wongso, Lihuan Li, Arian Prabowo, Xiachong Lin, Baiyu Chen, Hao Xue, Flora D. Salim

机构 * University of New South Wales（新南威尔士大学） ； Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.LG

AI总结 TrajDLM结合块扩散模型与拓扑感知嵌入，实现高效且真实的轨迹生成，优于现有方法，在速度和细粒度相似性上表现优异，并在跨领域迁移中表现出色。

Dystruct: Dynamically Structured Diffusion Language Model Decoding via Bayesian Inference

Dystruct: 通过贝叶斯推断实现动态结构的扩散语言模型解码

Bian Sun, Kevin Zhai, Mubarak Shah, Zhenyi Wang

机构 * University of Central Florida（中央佛罗里达大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.LG

AI总结 本文提出一种无需训练的贝叶斯结构解码框架，将灵活长度生成转化为动态结构推断问题，通过统一机制实现动态结构生成，提升生成质量和灵活性。

Edit-Based Refinement for Parallel Masked Diffusion Language Models

基于编辑的平行掩码扩散语言模型精炼

Houxing Ren, Mingjie Zhan, Zimu Lu, Ke Wang, Yunqiao Yang, Haotian Hou, Junting Pan, Hongsheng Li

机构 * CUHK MMLab（香港中文大学多模态实验室） ； SenseTime Research（商汤科技研究院） ； Shenzhen Loop Area Institute（深圳河套学院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL

AI总结 本文提出ME-DLM框架，通过轻量级后编辑步骤提升平行生成质量与鲁棒性，基于LLaDA实现HumanEval和GSM8K性能提升。

Comments Accepted to ICML 2026

Path-Dependent Denoising: A Non-Conservative Field Perspective on Order Collapse in Diffusion Language Models

路径依赖去噪：扩散语言模型中顺序崩溃的非保守场视角

Jeonseong Kim

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.LG

AI总结 本文从非保守场角度探讨扩散语言模型中顺序崩溃问题，提出顺序诱导伪联合及局部去噪循环概念，分析兼容性条件下的去噪路径依赖性。

Compact SO(3) Equivariant Atomistic Foundation Models via Structural Pruning

基于结构剪枝的紧凑SO(3)等变原子基础模型

Chen Wang, Siyu Hu, Guangming Tan, Weile Jia

机构 * State Key Lab of Processors, Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所状态关键实验室） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本文提出结构剪枝方法，通过保留完整块保持SO(3)等变性，减少计算成本同时保持高精度，验证了在Matbench Discovery leaderboard上优于小模型，并在下游应用中显著降低能量和力误差。

MicroDiffuse3D: A Foundation Model for 3D Microscopy Imaging Restoration

MicroDiffuse3D：一种用于3D显微成像修复的预训练基础模型

Yongkang Li, Brian Wong, King Wai Chiu, Hanwen Xu, Tangqi Fang, Erin Dunnington, Dan Fu, Sheng Wang

机构 * Paul G. Allen School of Computer Science and Engineering, University of Washington, Seattle, WA, USA（保罗·G·艾伦计算机科学与工程学院，华盛顿大学，西雅图，华盛顿州，美国） ； Department of Chemistry, University of Washington, Seattle, WA, USA（化学系，华盛顿大学，西雅图，华盛顿州，美国） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本文提出MicroDiffuse3D，一种预训练的3D显微成像修复模型，通过高通量数据提升3D化学成像的分辨率和信噪比，实现高质量体体积结构重建。

Locking Pretrained Weights via Deep Low-Rank Residual Distillation

通过深度低秩残差蒸馏锁定预训练权重

Keitaro Sakamoto, Pierre Ablin, Federico Danieli, Marco Cuturi

机构 * Apple（苹果公司） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；language model(abstract)；分类 cs.LG

AI总结 本文提出DLR-Lock方法，通过将预训练MLP替换为深度低秩残差网络，利用反向传播中的推理-训练不对称性，有效防御对抗性适应攻击，同时保持模型原始能力。

OpenCLAW-P2P v7.0-P2PCLAW: Resilient Multi-Layer Persistence, Live Reference Verification, and Production-Scale Evaluation of Decentralized AI Peer Review v7.0 -- Mathematical Corrections & Ecosystem Developments Edition

OpenCLAW-P2P v7.0-P2PCLAW：具有容错多层持久性、实时参考验证和生产规模评估的去中心化AI同行评审v7.0--数学修正与生态系统发展版

Francisco Angulo de Lafuente, Teerth Sharma, Vladimir Veselov, Seid Mohammed Abdu, Nirmal Tej Kumar, Guillermo Perry

机构 * Independent AI Researcher & Science Fiction Writer（独立AI研究员及科幻作家） ； Bachelor of Technology (AI)（人工智能技术学士） ； Moscow Institute of Electronic Technology (MIET)（莫斯科电子技术学院） ； Dept. of Computer Science, Woldia University（沃尔迪亚大学计算机科学系） ； University of Texas at Dallas (UTD)（德克萨斯大学达拉斯分校） ； Andex Enterprising Inc.（安德克斯企业公司） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；language model(abstract)；分类 cs.AI

AI总结 本文介绍OpenCLAW-P2P v7.0，一个去中心化集体智能平台的全面演进，允许自主AI代理发布、同行评审、评分并迭代改进科学论文。该版本包含数学修正和生态系统扩展。

Comments v7.0: Mathematical corrections (fixed-point condition Eq.4, dimensionally consistent tau-indicator Eq.7, fully specified reputation formula Eq.8 with quality terms q0 and q-bar, discrete-time PD Governor Eq.15, HSR parameter definitions Eq.16); ecosystem developments: CAJAL-4B/9B models, BenchClaw platform, 14 integrations. 36 pages

Can We Trust LLMs for Mental Health Screening? Consistency, ASR Robustness, and Evidence Faithfulness

我们能信任LLMs进行心理健康筛查吗？一致性、ASR鲁棒性和证据忠实性

Erfan Loweimi, Sofia de la Fuente Garcia, Samira Loveymi, Hadi Daneshvar, Saturnino Luz

机构 * Usher Institute, Edinburgh Medical School, University of Edinburgh, Edinburgh, UK（埃瑟尔研究所、爱丁堡医学院、爱丁堡大学、爱丁堡） ； Department of Computer Engineering, Ahvaz Campus, Islamic Azad University, Ahvaz, Iran（计算机工程系、阿瓦兹校区、伊斯兰Azad大学、阿瓦兹，伊朗） ； School of Health and Social Care, Edinburgh Napier University, Edinburgh, UK（健康与社会护理学院、爱丁堡纳皮尔大学、爱丁堡，英国） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract_cn)；分类 cs.CL

AI总结 研究评估三种LLM在英语参与者上的表现，发现Phi-4和Gemma-2-9B在ASR下保持高一致性，而Llama-3.1-8B在ASR下表现不稳定，证据忠实性也较低，揭示了评分与证据之间的脱节问题。

Compute as Teacher: Turning Inference Compute Into Reference-Free Supervision

计算作为教师：将推理计算转化为无参考监督

Dulhan Jayalath, Shashwat Goel, Thomas Foster, Parag Jain, Suchin Gururangan, Cheng Zhang, Anirudh Goyal, Alan Schelten

机构 * University of Oxford（牛津大学） ； ELLIS Institute Tübingen（图宾根ELLIS研究所） ； Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所） ； Meta Superintelligence Labs（元宇宙超级智能实验室） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；post-training(abstract)；分类 cs.LG

AI总结 本文提出计算作为教师框架，通过推理计算生成参考估计，实现无监督学习，尤其在非可验证领域如医疗指导中表现优异，测试时计算开销减少9倍。

Comments Published as a conference paper at ICML 2026. 23 pages, 6 figures, 12 tables

Capacity-Aware Inference: Mitigating the Straggler Effect in Mixture of Experts

容量感知推理：减轻混合专家中的滞后效应

Shwai He, Weilin Cai, Jiayi Huang, Ang Li

机构 * University of Maryland, College Park（马里兰大学学院公园分校） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出容量感知令牌丢弃和扩展丢弃方法，通过减少专家负载不平衡提升混合专家模型的推理效率和性能。

Comments ICLR 2026

Efficient Estimation of Kernel Surrogate Models for Task Attribution

高效估计用于任务归因的核替代模型

Zhenshuo Zhang, Minxuan Duan, Hongyang R. Zhang

机构 * Northeastern University（东北大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出核替代模型用于高效估计任务归因，通过第二阶分析建立线性替代模型与影响函数的联系，并在多个任务设置中验证其有效性，实现更高的相关性和可扩展性。

Comments 27 pages. Appeared in ICLR 2026

KEPIL: Knowledge-Enhanced Prompt-Image Learning for Prompt-Robust Disease Detection

KEPIL: 基于知识增强的提示-图像学习用于提示鲁棒疾病检测

Haozhe Luo, Shelley Zixin Shu, Ziyu Zhou, Robert Berke, Mauricio Reyes

机构 * University of Bern（伯尔尼大学） ； Shanghai Jiao Tong University（上海交通大学） ； Department of Radiation Oncology, Inselspital, Bern University Hospital and University of Bern（放射肿瘤科、Inselspital伯尔尼大学医院及伯尔尼大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；language model(abstract)

AI总结 KEPIL通过整合 curated 医学知识，提升零样本推理性能，采用动态提示增强、语义感知对比损失和实体中心报告标准化方法，在多个基准测试中实现 state-of-the-art 成绩，提升 AUC 6.37% 在 CheXpert 上。

On the Overscaling Curse of Parallel Thinking: System Efficacy Contradicts Sample Efficiency

关于并行思维的过度扩展诅咒：系统效能与样本效率的矛盾

Yiming Wang, Zhuosheng Zhang, Rui Wang

机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文研究并行思维中系统效能与样本效率的矛盾，提出Latent Budget Predictor提升预算利用率，并引入Pre-decoding Budget Adaptation改进解码效率。

Comments 44 pages, 66 figures, 24 tables

Beyond Multiple Choice: Evaluating Steering Vectors for Summarization

超越多项选择：评估摘要中的引导向量

Joschka Braun, Carsten Eickhoff, Seyed Ali Bahrainian

机构 * University of Tübingen（图宾根大学） 纠错

专题命中 效率与部署 ：language model(abstract)；prompting(abstract)；分类 cs.CL、cs.LG；foundation model(comments)

AI总结 本文评估引导向量在摘要生成中对主题焦点、情感、毒性及可读性的控制效果，发现高引导强度会导致重复和事实性幻觉，混合方法在中等强度下表现最佳。

Comments Published in Findings of EACL 2026. Extended version of the ICML 2025 Workshop on Reliable and Responsible Foundation Models paper (v1, v2). 36 pages, 21 figures, 15 tables

Journal ref Findings of the Association for Computational Linguistics: EACL 2026, pages 3849-3884

Evading Visual Aphasia: Contrastive Adaptive Semantic Token Pruning for Vision-Language Models

逃避视觉失语：面向视觉-语言模型的对比自适应语义令牌修剪

Jie Ma, Yihang Liu, Zhike Qiu, Jiayi Ji, Xiaoshuai Sun

机构 * Xiamen University（厦门大学） 纠错

专题命中 效率与部署 ：language model(title)；分类 cs.AI

AI总结 本文提出COAST方法，通过对比自适应语义路由实现视觉-语言模型的高效令牌修剪，减少77.8%的视觉令牌并提升2.15倍的推理速度，同时保持98.64%的原始性能。

DAPE: Dynamic Non-uniform Alignment and Progressive Detail Enhancement Techniques for Improving the Performance of Efficient Visual Language Models

DAPE：动态非均匀对齐与渐进细节增强技术以提升高效视觉语言模型的性能

Mengyuan Tian, Qiyan Zhao, Yanan Wang, Da-Han Wang

机构 * The Wang Yanan Institute for Studies in Economics, Xiamen University, Xiamen 361005, China（厦门大学王文安经济研究所） ； Fujian Key Laboratory of Pattern Recognition and Image Understanding, School of Computer and Information Engineering, Xiamen University of Technology, Xiamen 361024, China（福建pattern识别与图像理解重点实验室，厦门理工大学计算机与信息工程学院） 纠错

专题命中 效率与部署 ：language model(title)；分类 cs.AI

AI总结 本文提出DAPE框架，通过动态跨模态对齐和连续细节引入技术，提升高效视觉语言模型的性能，减少计算开销并提升下游任务准确性。

Comments Accepted in ICIC 2026 Oral

SlimSpec: Low-Rank Draft LM-Head for Accelerated Speculative Decoding

SlimSpec: 低秩参数化用于加速推测解码的LM头

Anton Plaksin, Sergei Krutikov, Sergei Skvortsov, Alexander Samarin

机构 * Nebius 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出SlimSpec，通过低秩参数化压缩LM头的内部表示，提升推测解码效率，实现4-5倍加速并保持竞争力。

ProteinOPD: Towards Effective and Efficient Preference Alignment for Protein Design

ProteinOPD：迈向蛋白质设计的有效和高效偏好对齐

Yulin Zhang, He Cao, Zihao Jiang, Chenyi Zi, Zhipeng Zhou, Zijing Liu, Yu Li, Jia Li, Ziqi Gao

机构 * Tsinghua University（清华大学） ； International Digital Economy Academy（国际数字经济学院） ； Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 效率与部署 ：language model(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出ProteinOPD框架，通过结合On-Policy Distillation方法，有效平衡多目标偏好，提升蛋白质设计效率与稳定性，实验显示在目标偏好上表现优异且训练速度更快。

GLiNER-Relex: A Unified Framework for Joint Named Entity Recognition and Relation Extraction

GLiNER-Relex：联合命名实体识别与关系抽取的统一框架

Ihor Stepanov, Oleksandr Lukashov, Mykhailo Shtopko, Vivek Kalyanarangan

机构 * Knowledgator Engineering（Knowledgator工程公司） ； Baldor Technologies Pvt. Ltd. (IDfy)（Baldor技术私人有限公司（IDfy）） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 GLiNER-Relex通过统一架构实现命名实体识别与关系抽取，利用共享的双向Transformer编码器联合表示文本、实体类型和关系类型标签，支持零样本提取任意实体和关系类型，且在四个基准数据集上表现优异。

Comments 19 pages, 1 figure, 2 tables

NCO: A Versatile Plug-in for Handling Negative Constraints in Decoding

NCO：一种处理解码中负约束的多功能插件

Hyundong Jin, Yo-Sub Han

机构 * Yonsei University（延世大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出NCO，一种通过在线模式匹配处理硬约束和正则表达式约束的解码策略，减少计算开销并避免状态爆炸，适用于多种采样和束搜索方法，并支持软掩码。

Attention Drift: What Autoregressive Speculative Decoding Models Learn

注意力漂移：自回归推测解码模型学习了什么

Doğaç Eldenk, Payal Mohapatra, Yigitcan Comlek, Kaan Oktay, Hongyang Zhang, Stephen Xia

机构 * Northwestern University（西北大学） ； GE Aerospace（通用电气航空航天） ； University of Waterloo（滑铁库大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文研究了自回归推测解码模型中出现的注意力漂移现象，通过改进模型架构，提升了在模板扰动和长上下文任务中的表现。

Prospective Compression in Human Abstraction Learning

前瞻性压缩在人类抽象学习中的作用

Leonardo Hernandez Cano, Ivan Zareski, Luisa El Amouri, Pinzhe Zhao, Max Mascini, Emanuele Sansone, Yewen Pu, Bonan Zhao, Marta Kryven

机构 * Massachusetts Institute of Technology（麻省理工学院） ； Dalhousie University（达尔豪斯大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文研究了非平稳环境下人类如何前瞻性压缩未来任务，通过模式构建任务发现人类抽象学习与现有回顾性压缩算法存在差异。

Comments under review at neurips 2026

Continuous Latent Contexts Enable Efficient Online Learning in Transformers

连续潜在上下文使Transformer实现高效的在线学习

Emile Anand, Abdullah Ateyeh, Xinyuan Cao, Max Dabagia

机构 * Georgia Institute of Technology（佐治亚理工学院） ； University of California, Berkeley（加州大学伯克利分校） ； Columbia University（哥伦比亚大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究连续潜在上下文是否能提升Transformer的在线学习能力，通过构造常深Transformer实现加权多数算法和Q学习，并在合成数据上优于大模型。

Comments 37 pages, 15 figures, 3 tables

Efficient Ensemble Selection from Binary and Pairwise Feedback

从二元和成对反馈中高效选择集成

Tzeh Yuan Neoh, Nicholas Teh, Je Qin Chooi, Paul W. Goldberg, Milind Tambe

机构 * Harvard University（哈佛大学） ； University of Oxford（牛津大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 研究在未知领域分布下，通过二元和成对反馈选择高效集成的方法，提出基于覆盖的优化策略和失败条件贪心算法，同时探讨θ-胜利委员会的优化与子模性放松。

A Prompt-Aware Structuring Framework for Reliable Reuse of AI-Generated Content in the Agentic Web

面向可靠重用的AI生成内容结构化框架

Shusaku Egami, Masahiro Hamasaki

机构 * National Institute of Advanced Industrial Sciencen 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一种结构化框架，通过在生成时自动附加元数据，提升AI生成内容的可追溯性和可靠性，以支持其安全重用。

Comments 5 pages, 2 figures, Accepted at FAAW@WWW2026

Expert Upcycling: Shifting the Compute-Efficient Frontier of Mixture-of-Experts

专家再利用：移动专家架构的计算高效前沿转移

Chaitanya Dwivedi, Binxuan Huang, Himanshu Gupta, Pratik Jayarao, Neeraj Varshney, Bing Yin

机构 * Amazon Stores Foundation AI（亚马逊商店基金会人工智能） ； Carnegie Mellon University（卡内基梅隆大学） ； Anthropic 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出专家再利用方法，通过持续预训练逐步扩展MoE模型容量，降低训练成本，实验显示在7B-13B参数规模下，模型验证损失与基线相当，节省32%的GPU小时。

Comments 9 Pages in main paper, 29 Pages total