语言大模型 / LLM

DIVE: Dynamic Iterative Visual Evidence Construction for Efficient Vision-Language Models

DIVE：面向高效视觉-语言模型的动态迭代视觉证据构建

Chen Zhong, Xiao An, Zijie Wang, Jiepan Li, Guangyi Yang, Wei He

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.LG

AI总结 本研究针对视觉-语言模型中视觉token导致的推理瓶颈，提出无需训练的DIVE框架，通过动态迭代构建视觉证据，在减少88.9%视觉token的同时保留98.2%的平均性能。

Beyond Global Routing Aggregation: Phase-Aware Expert Merging for MoE Vision-Language Models

超越全局路由聚合：面向MoE视觉-语言模型的阶段感知专家合并

Hongyu Zhang, Cheng Yan, Xiang Xia, Wuyang Zhang

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.LG

AI总结 针对MoE-VLM全局路由聚合导致专家角色混淆的问题，提出无需训练的RoleMerge方法，通过阶段归一化路由统计合并专家，在匹配专家保留比例下性能优于现有方法，六任务宏平均相对提升最高9.6%。

Comments 17 pages, 3 figures, 17 tables

TS2TabPFN: Time Series Classification and Extrinsic Regression through Feature Extraction and a Tabular Foundation Model

TS2TabPFN：通过特征提取和表格基础模型实现时间序列分类与外生回归

Gabriel da Costa Merlin, Diego Furtado Silva

机构 * University of São Paulo (USP)（圣保罗大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.LG

AI总结 TS2TabPFN框架将显式特征提取与表格基础模型TabPFN 2.5集成，在时间序列外生回归任务中显著优于现有最优模型，为时间序列分类提供了稳健高效的替代方案，建立了新的时间序列最优水平。

Comments Accepted at ECML PKDD 2026. To appear in Springer LNCS. 18 pages; 7 figures

A game theory for foundation models shows new paths to rational cooperation through similarity inference

基础模型的博弈论：通过相似性推理实现理性合作的新路径

Alexander Meulemans, Maciej Wołczyk, Marissa A. Weis, Rajai Nasser, Roberta Rocca, Seijin Kobayashi, Guillaume Lajoie, Angelika Steger, Blake Richards, Marcus Hutter, James Manyika, Rif A. Saurous, João Sacramento, Blaise Agüera y Arcas

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI

AI总结 本文提出针对基础模型智能体的嵌入贝叶斯智能体理论模型，通过嵌入均衡机制实现相似性推理，破解经典博弈论预测的社会困境中相互背叛问题，达成稳定合作。

Comments 75 pages, 11 figures

Adaptive Two-Stage Visual Token Pruning for Efficient Inference in Video-Language Models

用于视频-语言模型高效推理的自适应两阶段视觉令牌剪枝

Paribesh Regmi, Qingshuang Chen, Chi Zhang, Heba Aly, Yelin Kim, Hongda Mao

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 针对视频-语言模型推理延迟高的问题，提出两阶段自适应令牌剪枝策略，先剪去视频冗余帧，再根据视频内容自适应剪去保留帧中的冗余令牌，无需额外训练微调，在10%令牌保留率下提升准确率7%并降低95%计算量。

OPTD: On-Policy Transition Distillation with Consistency-Guided Adaptive Compression for Few-Step Diffusion Language Models

OPTD：用于少步扩散语言模型的一致性引导自适应压缩的策略内转换蒸馏

Xiaocheng Lu, Hualei Zhang, Shuhan Guo, Jie Zhang, Xiaoyi Pang, Jian Liu, Haoxi Li, Bohai Gu, Haoxuan Che, Jingcai Guo, Song Guo

机构 * HKUST（香港科技大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL

AI总结 针对少步扩散语言模型现有离线策略蒸馏的轨迹不匹配问题，提出 OPTD 策略内转换蒸馏方法，在四个推理基准上改善质量效率权衡并取得最优质量约束 AUP。

Comments 9 pages, 4 figures, 5 tables

DAVET: Denoising-Aware Visual Evidence Trajectory Allocation for Diffusion Vision-Language Models

DAVET：面向扩散视觉-语言模型的降噪感知视觉证据轨迹分配

Yongkang Zhou, Xiang Xia, Cheng Yan, Fan Xu, Wuyang Zhang

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.LG

AI总结 DAVET 是一种无需训练的框架，通过根据扩散视觉-语言模型的生成状态自适应分配视觉证据，实现平均 1.55 倍加速且仅 1.86% 的平均性能下降，降低了视觉条件成本。

CRAFT: Compression via Recursive Adaptive Fusion of Video Tokens for Vision-Language Models

CRAFT：面向视觉语言模型的基于视频令牌递归自适应融合的压缩方法

Yu Chen, Xiaohong Li, Xiaole Wang, Jianjin Zhang, Jun Sun, Yafeng Deng

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 针对视觉语言模型视频令牌压缩效率与适应性的权衡问题，提出CRAFT方法，通过解耦令牌选择与融合实现高效压缩，在8倍压缩时保留97%主干准确率且性能优于现有方法。

Comments 11 pages, 5 figures

Linguistic Context Recodes Visual Representations in Vision-Language Models

语言上下文对视觉语言模型中的视觉表示进行重编码

Brian Song, Michael A. Lepori, Ellie Pavlick

机构 * Brown University（布朗大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 本研究揭示视觉语言模型中语言上下文会重编码视觉表示，通过对比引导向量和属性调制两种机制，为跨模态动态处理提供了因果证据。

Memory Efficient Tabular Foundation Models

内存高效的表格基础模型

Shuting Luo, Monika Mikhail Kanaan, Cameron Gordon, Anna Leontjeva, Simon Lucey

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本文研究表格基础模型的内存需求，采用模型压缩方法可实现最高7.6倍内存缩减，同时保持相近性能，降低近87%部署需求，为从业者高效部署这类模型提供见解。

Comments 12 pages, 3 figures Accepted at FMSD @ ICML 2026

Journal ref FMSD @ ICML 2026

Bits and Memories: Measuring Verbatim Extraction Across LLM Quantization

比特与记忆：测量大语言模型量化中的逐字提取

Akshay Sasi

专题命中 效率与部署 ：LLM(title)；language model(abstract)；分类 cs.LG

AI总结 研究语言模型量化中逐字提取情况，用Pythia模型及公共序列集，在多精度级别和模型大小下跟踪，发现量化是有选择性的遗忘器，但不足以成隐私保护手段，得出压缩非去记忆训练数据方法，从业者应关注提取的结论。

Comments 8 pages, 3 figures. Code: https://github.com/AkshaySasi/bits-and-memories. Data and results: https://huggingface.co/datasets/AkshaySasi/bits-and-memories

VaLiDRec: Variable-Length LLM-Aligned Semantic IDs for Generative Recommendation

VaLiDRec：用于生成式推荐的可变长度大语言模型对齐语义ID

Shutong Qiao, Wei Yuan, Tong Chen, Hao Wang, Quoc Viet Hung Nguyen, Hongzhi Yin

机构 * University of Queensland（昆士兰大学） ； Computer Network Information Center, Chinese Academy of Sciences（中国科学院计算机网络信息中心） ； Griffith University（格里菲斯大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.AI

AI总结 研究针对生成式推荐中固定长度语义标识符的问题，提出VaLiDRec框架，通过令牌重要性估计等构建可变长度、大语言模型对齐语义标识符，纳入图感知软提示建模用户偏好，实验证明其性能优越，为生成式推荐提供新范式。

Comments 10 pages, 4 figures, 5 tables

Patient-Agnostic Synthetic Pretraining for Efficient Patient-Specific Intraoperative 2D/3D Registration

用于高效患者特异性术中二维/三维配准的患者无关合成预训练

Minheng Chen, Youyong Kong

机构 * University of Texas at Arlington（德克萨斯大学阿灵顿分校） ； Southeast University（东南大学） 纠错

专题命中 效率与部署 ：pretraining(title,abstract)；分类 cs.AI

AI总结 研究术中二维/三维配准问题，提出基于患者无关合成预训练和球面相似性学习的框架，先预训练模型学习可转移表示，再用目标CT投影适应新患者，引入无分割域随机化策略，实验证明该方法能降低训练需求并保持配准精度。

From Data to Device: ELMOD An Efficient German-First 2.7B Language Model for Mobile Inference

从数据到设备：ELMOD 一种用于移动推理的高效 27 亿参数德语优先语言模型

Darina Gold, Alexander Schwirjow, Viktor Haag, Viktor Hangya, Joel Schlotthauer, Fabian Küch, Luzian Hahn

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL

AI总结 介绍 ELMOD 这个专为移动推理设计的 27 亿参数德语语言模型，在有限预算下用公开数据训练，开发特定德语数据预处理及质量过滤等步骤，使其在<3B 规模中性能最强，能与 7B 参数德语模型媲美。

Comments Accepted to KONVENS 2026

KAP: Bridging the Knowledge Selection-Runtime Consumption Gap in LLM Systems

KAP：弥合大语言模型系统中知识选择与运行时消耗的差距

Shuo Wang, Fang Xi, Wenyuan Huang, Qing Wang, Junming Su

机构 * QiYuanLab（启元实验室） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.LG

AI总结 研究大语言模型系统中知识选择与运行时消耗的差距，提出知识访问规划（KAP）范式，通过建立通用中间表示编译知识信号控制KV访问，以GraphSpec实例化，改变长上下文生成扩展轨迹，提升运行时消耗效率。

Comments 3 figures, 5 tables

GOTS: Greedy Orthogonal Token Selection for High-Resolution Vision-Language Models

GOTS：用于高分辨率视觉语言模型的贪婪正交令牌选择

Jun Ling, Tao Huang, Junzhuo Liu, Bowen Tang, Peng Wang

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 研究高分辨率视觉语言模型中令牌减少问题。提出GOTS方法，通过所选跨度互补性，无训练且与查询无关，每步选正交最大剩余能量令牌。在多主干和基准测试中性能优，还减少模型端首次令牌时间。

KroQuant: Kronecker-Structured Block Transforms for Efficient Post-Training Quantization of Diffusion Transformers

KroQuant：用于扩散Transformer高效训练后量化的克罗内克结构块变换

Yann Bouquet, Alireza Khodamoradi, Kristof Denolf, Mathieu Salzmann

机构 * EPFL（洛桑联邦理工学院） ； Advanced Micro Devices, Inc.（超威半导体公司） 纠错

专题命中 效率与部署 ：post-training(title,abstract)；分类 cs.LG

AI总结 研究针对扩散Transformer训练后量化到W4A4质量严重下降问题，提出KroQuant方法，对激活值3个2元素块应用克罗内克结构可逆变换，存储参数少，运行快，结合离线LoRaQ权重校准，输出更接近FP参考且保持或提高图像质量。

Leaky Language Models: Stealing Architecture and Inference Optimizations via Per-Token Timing

泄漏语言模型：通过逐令牌计时窃取架构和推理优化

Sadegh Majidi, Niloofar Mireshghallah, Kazem Taram

机构 * Purdue University（普渡大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.LG

AI总结 研究通过LeakyLMs攻击从生产语言模型中窃取信息，利用令牌生成时间推断关键细节。核心方法是构建令牌生成时间模型，可针对推理优化和部署策略及恢复架构属性。主要贡献是能有效窃取模型、架构和部署信息，实验效果良好。

Autonomous Topology Mutation: Safe Runtime Restructuring for Multi-Agent LLM Systems with Capability, State, and Shadow Invariants

自主拓扑变异：具有能力、状态和影子不变量的多智能体大语言模型系统的安全运行时重组

Bronislav Sidik, Chaya Levi, Nizzan Kimhi

机构 * Toga Networks (Huawei)（托加网络（华为）） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.AI

AI总结 研究多智能体大语言模型系统运行时无自我重组机制的问题，提出自主拓扑变异（ATM）机制，结合遥测驱动过载检测与安全不变量，经实验验证可提升任务成功率、减少隐私内存暴露并降低延迟，且相关内容已开源。

Comments 9 pages, 5 tables. Code and benchmark harness available at https://github.com/sidikbro/jiuwen_atm

InferenceBench: A Benchmark for Open-Ended LLM Inference Optimization by AI Agents

InferenceBench：用于通过人工智能代理进行开放式大语言模型推理优化的基准测试

Jehyeok Yeon, Ben Rank, Maksym Andriushchenko

机构 * ELLIS Institute Tübingen, Max Planck Institute for Intelligent Systems, Tübingen AI Center（图宾根ELLIS研究所、马克斯·普朗克智能系统研究所、图宾根人工智能中心） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.AI

AI总结 研究旨在为开放式大语言模型推理优化建立基准测试InferenceBench，让代理部署推理服务器优化推理速度。通过多种场景和配置测试，发现代理虽能提升性能，但仍有局限，瓶颈在于提出多样配置等能力，反映了代理在开放式环境中的操作能力。

EvoThink: Evolving Thinking in Large Reasoning Models via Self-Pruning and Aha-Moment Preference Optimization

EvoThink：通过自剪枝和顿悟时刻偏好优化在大型推理模型中进化思维

Xinbang Dai, Zheyu Xin, Huikang Hu, Lin Ren, Rihui Jin, Guohui Xiao, Guilin Qi, Kuicai Dong, Zhaocheng Du, Yuyang Zhang

机构 * Southeast University（东南大学） ； Noah’s Ark Lab（诺亚方舟实验室） 纠错

专题命中 效率与部署 ：preference optimization(title,abstract)；分类 cs.AI

AI总结 研究针对大型推理模型过度思考问题，提出EvoThink框架，含自剪枝训练和顿悟时刻偏好优化两个关键组件，能减少冗余验证、探索新推理路径，经评估可提高推理效率与能力。

Comments 9 pages, 7 figures, accepted by IJCAI 2026

Hierarchical Wireless Foundation Model for Multi-Task Optimization

用于多任务优化的分层无线基础模型

Yangjing Wang, Ouya Wang, Shenglong Zhou, Geoffrey Ye Li

机构 * Department of Electrical and Electronic Engineering, Faculty of Engineering, Imperial College London（电气与电子工程系，工程学院，伦敦帝国理工学院） ； School of Mathematics and Statistics, Beijing Jiaotong University（数学与统计学学院，北京交通大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.LG

AI总结 针对下一代无线网络中人工智能技术泛化瓶颈问题，提出分层无线基础模型（WFM），通过几何感知交叉注意力耦合上下游模块，采用混合训练策略，实现多任务优化，学习高保真信道表示，降低延迟，有强大泛化能力。

Comments 15 pages, 10 figures, 3 tables

FailureAtlas: A Taxonomy of Failure Modes in Multi-Provider LLM Serving Infrastructure

FailureAtlas：多供应商大语言模型服务基础设施中故障模式的分类法

Vishal Pandey, Gopal Singh

机构 * Metriqual（梅特里夸尔） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.LG

AI总结 研究多供应商大语言模型服务基础设施故障模式，提出FailureAtlas双轴分类法，依起源层和可检测性分类，通过公共报告和测试填充，发现最严重故障是隐蔽的，如并发竞争致历史丢失和流索引冲突，还给出重现脚本。

Comments Survey Paper, 14 pages, 1 figure

Lightweight Wrappers for Adapting Time Series Foundation Models to Regional Drought Forecasting

用于使时间序列基础模型适应区域干旱预测的轻量级包装器

Wentao Gao, Jiuyong Li, Lin Liu, Thuc Duy Le, Jixue Liu, Yanchang Zhao, Yun Chen

机构 * Adelaide University（阿德莱德大学） ； CSIRO（联邦科学与工业研究组织） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.LG

AI总结 研究针对时间序列基础模型应用于区域干旱预测的挑战，提出轻量级黑盒适应框架，通过SMR²和MBB两个包装器在推理时增强模型，在南澳大利亚站点预测中提升性能，降低MSE，实现资源受限区域的实际部署。

Comments 12 Pages, KDD2026 Accpeted Paper(Poster)

Residual-Guided Multi-Resolution Refinement of Foundation Models: A Case Study in Drought Forecasting

基础模型的残差引导多分辨率细化：干旱预测案例研究

Wentao Gao, Jiuyong Li, Lin Liu, Thuc Duy Le, Jixue Liu, Yanchang Zhao, Yun Chen

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.LG

AI总结 研究针对区域气候预测中时间序列基础模型的挑战，提出残差引导多分辨率细化框架RGMR，无需更新主干参数，应用于干旱预测时能降低测试集MSE，为部署冻结的TSFM提供实用途径。

Comments 23 pages, ICML2026 Accepted Paper(Poster)

Accurate and Efficient Long-Term Memory for LLM Agents

用于大语言模型智能体的准确高效长期记忆

Zicheng Zhao, Xinyang Guo, Luyao Lv, Menghan Wang, Ming Li, Shuaicheng Li

机构 * Central China Research Institute for AI Technology（华中人工智能技术研究院） ； Guangdong Provincial Key Laboratory of Interdisciplinary Research and Application for Data Science, BNU-HKBU United International College, Zhuhai（北京师范大学-香港浸会大学联合国际学院数据科学跨学科研究与应用广东省重点实验室） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.AI

AI总结 研究大语言模型智能体长时记忆问题，提出MOSAIC框架，通过实体类型图存储、哈希加速双路径检索和主动冲突检测，提升了准确性和效率，在多项测试中取得更好结果，如准确率提高、冲突检测能力增强且检索延迟降低。

Scalable LLM Agent Tool Access in the Cloud

云中可扩展的大语言模型智能体工具访问

Mingxin Li, Enge Song, Yueshang Zuo, Xiaodong Liu, Rong Wen, Qiang Fu, Gianni Antichi, Jian He, Jing Tie, Zhou Shao, Xiaobo Xue, Xiong Xiao, Luyao Zhong, Shaokai Zhang, Jiangu Zhao, Jianyuan Lu, Shize Zhang, Xiaoqing Sun, Changgang Zheng, Zihao Fan, Haonan Li, Tian Pan, Xiaomin Wu, Yang Song, Xing Li, Biao Lyu, Meng Li, Haipeng Dai, Guihai Chen, Shunmin Zhu

机构 * Nanjing University（南京大学） ； Alibaba Cloud（阿里云） ； Fudan University（复旦大学） ； RMIT University（皇家墨尔本理工大学） ； Politecnico di Milano（米兰理工学院） ； Zhejiang University（浙江大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.AI

AI总结 研究大语言模型智能体在云环境下工具访问问题，提出云规模网关系统，通过打破直接连接模型等整合多种功能，实现高召回率、扩展工具访问数量、提高准确性并减少时间和令牌使用量，还分享了部署经验。

Scaling Behavior Foundation Model for Humanoid Robots

人形机器人的缩放行为基础模型

Weishuai Zeng, Kangning Yin, Xiaojie Niu, Shunlin Lu, Weixiang Zhong, Jiahe Chen, Feiyu Jia, Xiao Chen, Zirui Wang, Furui Xu, Ming Zhou, Kailin Li, Weinan Zhang, He Wang, Li Yi, Dahua Lin, Jiangmiao Pang, Jingbo Wang

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI

AI总结 研究人形机器人行为基础模型的缩放问题，通过协调运动跟踪学习范式、策略展开数量与参考运动多样性的协同、人形Transformer模型架构这三个核心组件，显著提升控制保真度和任务泛化能力，降低测试集误差。

Reachability-Aware Pretraining for Efficient Target-Oriented Path Exploration in Temporal Knowledge Graph Reasoning

用于时态知识图谱推理中高效面向目标路径探索的可达性感知预训练

Chien-Liang Liu, Tsao-Lun Chen

机构 * Artificial Intelligence Research Center, Chang Gung University（长庚大学人工智能研究中心） ； Graduate Institute of Oral Biology, National Taiwan University（国立台湾大学口腔生物学研究所） ； National Taiwan University of Science and Technology（国立台湾科技大学） 纠错

专题命中 效率与部署 ：pretraining(title,abstract)；分类 cs.AI

AI总结 针对时态知识图谱推理中外推设置下RL训练奖励稀疏、探索效率低的问题，提出RAPTOR自监督预训练方法，通过学习估计可达性减少无前景路径探索，为RL微调提供初始化，实验证明该方法能提高训练效率并优于传统基线。

PolyQ: Codesigning End-to-End Quantization Framework for Scalable Edge CPU LLM Inference

PolyQ：用于可扩展边缘CPU大语言模型推理的端到端量化框架协同设计

Hyunwoo Oh, Suyeon Jang, Hanning Chen, KyungIn Nam, Sanggeon Yun, Ryozo Masukawa, Mohsen Imani

机构 * University of California, Irvine（加利福尼亚大学欧文分校） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.LG

AI总结 研究针对CPU上大语言模型推理的量化问题，提出PolyQ方法，通过激活感知的逐通道比特分配及编译时模型编译器优化，实现分数比特部署，在多个模型上提升质量，在不同CPU上有良好性能，证明其在边缘设备推理的实用性、可预测性和节能性。

Comments Accepted to ICCAD 2026