语言大模型 / LLM

PreGress: Ranking-Native Pre-training and Prompting for Graph Node Ranking

PreGress：面向图节点排序的原生排序预训练与提示学习框架

Lujie Ban, Jiasheng shi, Yingli Zhou, Kaiwen Xue, Daiyin Wang, Xubin Li, Shuanghua Li, Chenhao Ma

专题命中 效率与部署 ：prompting(title,abstract)；分类 cs.LG

AI总结 PreGress是首个原生排序预训练与提示学习框架，通过多任务预训练与轻量提示模块，在低开销下实现了多节点排序任务的优异性能。

Stateful CARS: Exact Cross-History Reuse for Policy-Constrained LLM Agents

有状态CARS：策略约束大语言模型智能体的精确跨历史复用

Ibne Farabi Shihab, Md Najmus Swaqeeb, Abu Sa-Adat Mohamed Moon-Im Al Ahsan

机构 * Iowa State University（爱荷华州立大学） ； BRAC University（BRAC大学） 纠错

专题命中 效率与部署 ：LLM(title)；language model(abstract)；分类 cs.LG

AI总结 本文针对受含义随观测和动作变化约束的工具使用语言模型智能体，提出有状态CARS方法，通过冻结状态-延续模式实现跨历史无效性证书复用，实验表明其精确性高但系统性能未优于官方CARS。

AraSSM: A bidirectional state-space encoder for Arabic masked language modeling

AraSSM：面向阿拉伯语掩码语言建模的双向状态空间编码器

Ahmed Amine Aliane, Hassina Aliane, Nasredine Semmar

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL

AI总结 本文提出面向阿拉伯语的双向状态空间编码器AraSSM，经掩码语言建模预训练后，在四项阿拉伯语NLU基准上的表现接近或优于同规模Transformer，验证了消费级硬件训练的有效性。

EFFEKT: Efficient Federated Knowledge Transfer to Foundation Models

EFFEKT：面向基础模型的高效联邦知识迁移

Matteo Caligiuri, Francesco Barbato, Pietro Zanuttigh, Francesco Restuccia

机构 * Northeastern University（东北大学） ； University of Padua（帕多瓦大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.LG

AI总结 EFFEKT是一种联邦学习框架，通过双向跨蒸馏策略，结合轻量级客户端代理模型与服务器端基础模型，实现高效的领域特定LoRA适配器训练，在低功耗边缘设备上性能优于基线。

Comments 12 main content pages, 8 appendix pages; 3 main figures, 9 appendix figures; 8 main tables, 9 appendix tables; 1 main algorithm, 4 appendix algorithms; accepted at TMLR

PTQ4SNN: Membrane-Aware Post-Training Quantization for Spiking Neural Networks

PTQ4SNN：面向脉冲神经网络的感知膜后训练量化

Hui Xie, Tong Shi, Haotong Qin, Aishan Liu, Xiaode Liu, Jinyang Guo

专题命中 效率与部署 ：post-training(title,abstract)；分类 cs.AI

AI总结 PTQ4SNN是一种仅用小型校准集联合量化SNN权重与循环膜状态的感知膜后训练量化框架，可在无需重训骨干网络的情况下，于W4量化和约4位膜精度下保持模型准确率。

ZIPBrain: Can EEG Foundation Models Be Faster, Locally Deployable, but Accurate?

ZIPBrain：脑电基础模型能否更快、可本地部署且仍保持准确？

Lingwei Li, Yirong Kan, Peng Chen, Xu Cao, Zheng Chen, Yasuhiko Nakashima

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI

AI总结 本研究提出即插即用模块ZIPBrain，利用EEG低SNR特性减少token数量，使EEG基础模型推理速度提升32.7%（最高41.8%）且平均准确率提升1.3%-10.5%，可本地部署。

Comments 7 pages(14 pages including appendix), 5 figures

Capek 0.5: An Execution-Centric Vision-Language Model for Embodied Intelligence

Capek 0.5：面向具身智能的以执行为中心的视觉语言模型

Ying Chen, Weizhen Li, Zhe Hu, Zhenjiang Li, Rui Jiang, Zhifeng Gu, Lihuang Fang, Jiangping Liu, Lei Yi, Jie Chen

机构 * Xiaopeng（小鹏汽车） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 提出以执行为中心的具身视觉语言模型Capek 0.5，通过分类法整合四类具身能力，在多维度评估中表现优于初始化模型，可迁移至闭环具身任务执行。

Bootstrap-Conditioned Action Selection with Tabular Foundation Models

基于 Bootstrap 条件的表格基础模型动作选择

Devansh Gupta, Shiv Tavker, Dmitry Efimov, Suchitra Sathyanarayana, Gitanjali Bhutani, Boris N. Oreshkin

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.LG

AI总结 该研究提出 BC-ICL 方法，将预训练表格基础模型转化为在线决策随机策略，通过 Bootstrap 重采样与臂-上下文架构优化，在上下文多臂老虎机任务上取得优于基准的遗憾性能。

Lost in Interpolation: Why Predictive Feedback Fails in Diffusion Language Models

迷失在插值中：为什么预测反馈在扩散语言模型中失效

Lavanya Nigam, Ishaan Bansal, Aryan Sood, Vidit Aggarwal, Gaurav Kumar Nayak

机构 * Indian Institute of Technology Roorkee（鲁尔基印度理工学院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL

AI总结 本文针对扩散语言模型中线性插值（LERP）不适用于超球面嵌入空间的问题，提出球形软掩码（S-SM）方法，在1.69亿参数MDLM上实现了MAUVE和困惑度的显著提升。

Comments 15 pages

Dynamic Graph Prompting via Topology-Routed Mixed-Curvature Experts

基于拓扑路由的混合曲率专家的动态图提示

Quanxin Wang, Xuanting Xie, Bingheng Li, Xingtong Yu, Shuo Wang, Ruiyi Fang, Zhao Kang

专题命中 效率与部署 ：prompting(title,abstract)；分类 cs.LG

AI总结 本研究针对动态图提示的几何适配不足问题，提出CurvPrompt框架，通过拓扑路由混合曲率专家实现自适应表示，在少样本链接预测和节点分类任务上表现优异，验证了几何自适应提示的必要性。

Comments Suggestions and comments are welcomed

BnBERT-iPET: Sparse Few-Shot Language Modeling for Bengali via Lottery Ticket Pruning

BnBERT-iPET：基于彩票剪枝的孟加拉语稀疏少样本语言建模

Sajib Hossain, Md Kamrus Samad, Anan Ghosh, Labib Imam Chowdhury, Nabeel Mohammed

机构 * North South University（北南大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.LG

AI总结 本研究提出BnBERT-iPET，一种基于彩票剪枝的孟加拉语稀疏少样本语言建模方法，仅保留初始模型10%边、实现90%稀疏度，在孟加拉语下游任务中性能可与多个最先进语言模型媲美。

Comments 14 pages, 9 tables, 13 figures. Preprint

DIVE: Dynamic Iterative Visual Evidence Construction for Efficient Vision-Language Models

DIVE：面向高效视觉-语言模型的动态迭代视觉证据构建

Chen Zhong, Xiao An, Zijie Wang, Jiepan Li, Guangyi Yang, Wei He

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.LG

AI总结 本研究针对视觉-语言模型中视觉token导致的推理瓶颈，提出无需训练的DIVE框架，通过动态迭代构建视觉证据，在减少88.9%视觉token的同时保留98.2%的平均性能。

Beyond Global Routing Aggregation: Phase-Aware Expert Merging for MoE Vision-Language Models

超越全局路由聚合：面向MoE视觉-语言模型的阶段感知专家合并

Hongyu Zhang, Cheng Yan, Xiang Xia, Wuyang Zhang

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.LG

AI总结 针对MoE-VLM全局路由聚合导致专家角色混淆的问题，提出无需训练的RoleMerge方法，通过阶段归一化路由统计合并专家，在匹配专家保留比例下性能优于现有方法，六任务宏平均相对提升最高9.6%。

Comments 17 pages, 3 figures, 17 tables

TS2TabPFN: Time Series Classification and Extrinsic Regression through Feature Extraction and a Tabular Foundation Model

TS2TabPFN：通过特征提取和表格基础模型实现时间序列分类与外生回归

Gabriel da Costa Merlin, Diego Furtado Silva

机构 * University of São Paulo (USP)（圣保罗大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.LG

AI总结 TS2TabPFN框架将显式特征提取与表格基础模型TabPFN 2.5集成，在时间序列外生回归任务中显著优于现有最优模型，为时间序列分类提供了稳健高效的替代方案，建立了新的时间序列最优水平。

Comments Accepted at ECML PKDD 2026. To appear in Springer LNCS. 18 pages; 7 figures

A game theory for foundation models shows new paths to rational cooperation through similarity inference

基础模型的博弈论：通过相似性推理实现理性合作的新路径

Alexander Meulemans, Maciej Wołczyk, Marissa A. Weis, Rajai Nasser, Roberta Rocca, Seijin Kobayashi, Guillaume Lajoie, Angelika Steger, Blake Richards, Marcus Hutter, James Manyika, Rif A. Saurous, João Sacramento, Blaise Agüera y Arcas

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI

AI总结 本文提出针对基础模型智能体的嵌入贝叶斯智能体理论模型，通过嵌入均衡机制实现相似性推理，破解经典博弈论预测的社会困境中相互背叛问题，达成稳定合作。

Comments 75 pages, 11 figures

Adaptive Two-Stage Visual Token Pruning for Efficient Inference in Video-Language Models

用于视频-语言模型高效推理的自适应两阶段视觉令牌剪枝

Paribesh Regmi, Qingshuang Chen, Chi Zhang, Heba Aly, Yelin Kim, Hongda Mao

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 针对视频-语言模型推理延迟高的问题，提出两阶段自适应令牌剪枝策略，先剪去视频冗余帧，再根据视频内容自适应剪去保留帧中的冗余令牌，无需额外训练微调，在10%令牌保留率下提升准确率7%并降低95%计算量。

OPTD: On-Policy Transition Distillation with Consistency-Guided Adaptive Compression for Few-Step Diffusion Language Models

OPTD：用于少步扩散语言模型的一致性引导自适应压缩的策略内转换蒸馏

Xiaocheng Lu, Hualei Zhang, Shuhan Guo, Jie Zhang, Xiaoyi Pang, Jian Liu, Haoxi Li, Bohai Gu, Haoxuan Che, Jingcai Guo, Song Guo

机构 * HKUST（香港科技大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL

AI总结 针对少步扩散语言模型现有离线策略蒸馏的轨迹不匹配问题，提出 OPTD 策略内转换蒸馏方法，在四个推理基准上改善质量效率权衡并取得最优质量约束 AUP。

Comments 9 pages, 4 figures, 5 tables

DAVET: Denoising-Aware Visual Evidence Trajectory Allocation for Diffusion Vision-Language Models

DAVET：面向扩散视觉-语言模型的降噪感知视觉证据轨迹分配

Yongkang Zhou, Xiang Xia, Cheng Yan, Fan Xu, Wuyang Zhang

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.LG

AI总结 DAVET 是一种无需训练的框架，通过根据扩散视觉-语言模型的生成状态自适应分配视觉证据，实现平均 1.55 倍加速且仅 1.86% 的平均性能下降，降低了视觉条件成本。

CRAFT: Compression via Recursive Adaptive Fusion of Video Tokens for Vision-Language Models

CRAFT：面向视觉语言模型的基于视频令牌递归自适应融合的压缩方法

Yu Chen, Xiaohong Li, Xiaole Wang, Jianjin Zhang, Jun Sun, Yafeng Deng

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 针对视觉语言模型视频令牌压缩效率与适应性的权衡问题，提出CRAFT方法，通过解耦令牌选择与融合实现高效压缩，在8倍压缩时保留97%主干准确率且性能优于现有方法。

Comments 11 pages, 5 figures

Linguistic Context Recodes Visual Representations in Vision-Language Models

语言上下文对视觉语言模型中的视觉表示进行重编码

Brian Song, Michael A. Lepori, Ellie Pavlick

机构 * Brown University（布朗大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 本研究揭示视觉语言模型中语言上下文会重编码视觉表示，通过对比引导向量和属性调制两种机制，为跨模态动态处理提供了因果证据。

A Cross-Architecture Audit of Direction-Based Inference-Time Defences in Vision-Language Models

跨架构视觉语言模型中基于方向的推理时防御措施审计

Xiangyu Yin, Tora Bodin, Rohan Menon, Chih-Hong Cheng

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 该研究审计了视觉语言模型中5种基于方向的推理时防御，发现其性能具架构特异性，部分防御间几何重叠，需按解码器家族单独校准。

Memory Efficient Tabular Foundation Models

内存高效的表格基础模型

Shuting Luo, Monika Mikhail Kanaan, Cameron Gordon, Anna Leontjeva, Simon Lucey

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本文研究表格基础模型的内存需求，采用模型压缩方法可实现最高7.6倍内存缩减，同时保持相近性能，降低近87%部署需求，为从业者高效部署这类模型提供见解。

Comments 12 pages, 3 figures Accepted at FMSD @ ICML 2026

Journal ref FMSD @ ICML 2026

Bits and Memories: Measuring Verbatim Extraction Across LLM Quantization

比特与记忆：测量大语言模型量化中的逐字提取

Akshay Sasi

专题命中 效率与部署 ：LLM(title)；language model(abstract)；分类 cs.LG

AI总结 研究语言模型量化中逐字提取情况，用Pythia模型及公共序列集，在多精度级别和模型大小下跟踪，发现量化是有选择性的遗忘器，但不足以成隐私保护手段，得出压缩非去记忆训练数据方法，从业者应关注提取的结论。

Comments 8 pages, 3 figures. Code: https://github.com/AkshaySasi/bits-and-memories. Data and results: https://huggingface.co/datasets/AkshaySasi/bits-and-memories

VaLiDRec: Variable-Length LLM-Aligned Semantic IDs for Generative Recommendation

VaLiDRec：用于生成式推荐的可变长度大语言模型对齐语义ID

Shutong Qiao, Wei Yuan, Tong Chen, Hao Wang, Quoc Viet Hung Nguyen, Hongzhi Yin

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.AI

AI总结 研究针对生成式推荐中固定长度语义标识符的问题，提出VaLiDRec框架，通过令牌重要性估计等构建可变长度、大语言模型对齐语义标识符，纳入图感知软提示建模用户偏好，实验证明其性能优越，为生成式推荐提供新范式。

Comments 10 pages, 4 figures, 5 tables

Patient-Agnostic Synthetic Pretraining for Efficient Patient-Specific Intraoperative 2D/3D Registration

用于高效患者特异性术中二维/三维配准的患者无关合成预训练

Minheng Chen, Youyong Kong

专题命中 效率与部署 ：pretraining(title,abstract)；分类 cs.AI

AI总结 研究术中二维/三维配准问题，提出基于患者无关合成预训练和球面相似性学习的框架，先预训练模型学习可转移表示，再用目标CT投影适应新患者，引入无分割域随机化策略，实验证明该方法能降低训练需求并保持配准精度。

From Data to Device: ELMOD An Efficient German-First 2.7B Language Model for Mobile Inference

从数据到设备：ELMOD 一种用于移动推理的高效 27 亿参数德语优先语言模型

Darina Gold, Alexander Schwirjow, Viktor Haag, Viktor Hangya, Joel Schlotthauer, Fabian Küch, Luzian Hahn

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL

AI总结 介绍 ELMOD 这个专为移动推理设计的 27 亿参数德语语言模型，在有限预算下用公开数据训练，开发特定德语数据预处理及质量过滤等步骤，使其在<3B 规模中性能最强，能与 7B 参数德语模型媲美。

Comments Accepted to KONVENS 2026

KAP: Bridging the Knowledge Selection-Runtime Consumption Gap in LLM Systems

KAP：弥合大语言模型系统中知识选择与运行时消耗的差距

Shuo Wang, Fang Xi, Wenyuan Huang, Qing Wang, Junming Su

机构 * QiYuanLab（启元实验室） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.LG

AI总结 研究大语言模型系统中知识选择与运行时消耗的差距，提出知识访问规划（KAP）范式，通过建立通用中间表示编译知识信号控制KV访问，以GraphSpec实例化，改变长上下文生成扩展轨迹，提升运行时消耗效率。

Comments 3 figures, 5 tables

GOTS: Greedy Orthogonal Token Selection for High-Resolution Vision-Language Models

GOTS：用于高分辨率视觉语言模型的贪婪正交令牌选择

Jun Ling, Tao Huang, Junzhuo Liu, Bowen Tang, Peng Wang

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 研究高分辨率视觉语言模型中令牌减少问题。提出GOTS方法，通过所选跨度互补性，无训练且与查询无关，每步选正交最大剩余能量令牌。在多主干和基准测试中性能优，还减少模型端首次令牌时间。

KroQuant: Kronecker-Structured Block Transforms for Efficient Post-Training Quantization of Diffusion Transformers

KroQuant：用于扩散Transformer高效训练后量化的克罗内克结构块变换

Yann Bouquet, Alireza Khodamoradi, Kristof Denolf, Mathieu Salzmann

机构 * EPFL（洛桑联邦理工学院） ； Advanced Micro Devices, Inc.（超威半导体公司） 纠错

专题命中 效率与部署 ：post-training(title,abstract)；分类 cs.LG

AI总结 研究针对扩散Transformer训练后量化到W4A4质量严重下降问题，提出KroQuant方法，对激活值3个2元素块应用克罗内克结构可逆变换，存储参数少，运行快，结合离线LoRaQ权重校准，输出更接近FP参考且保持或提高图像质量。

Leaky Language Models: Stealing Architecture and Inference Optimizations via Per-Token Timing

泄漏语言模型：通过逐令牌计时窃取架构和推理优化

Sadegh Majidi, Niloofar Mireshghallah, Kazem Taram

机构 * Purdue University（普渡大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.LG

AI总结 研究通过LeakyLMs攻击从生产语言模型中窃取信息，利用令牌生成时间推断关键细节。核心方法是构建令牌生成时间模型，可针对推理优化和部署策略及恢复架构属性。主要贡献是能有效窃取模型、架构和部署信息，实验效果良好。