语言大模型 / LLM

FlexMoE: One-for-All Nested Intra-Expert Pruning for MoE Language Models

FlexMoE：面向MoE语言模型的一体化嵌套专家内剪枝方法

Fan Mo, Yuxuan Han, Geng Zhang, Wangbo Zhao, Yang You

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 提出FlexMoE方法，通过专家通道重要性排序和离散动作学习，将预训练MoE大语言模型转换为嵌套子网络族，支持跨预算部署，在Qwen2-57B-A14B上剪枝50%路由专家参数仍保留约99.8%性能。

Cascaded Multi-Granularity Pruning for On-Device LLM Inference in Industrial IoT

面向工业物联网设备端大模型推理的级联多粒度剪枝

Jinghan Wang, Yanjun Chen, Wei Zhang, Xiaotong Huang, Tianchen Liu, Gaoliang Peng

专题命中 效率与部署 ：LLM(title,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出级联多粒度剪枝框架，通过粗到细顺序移除层、注意力头和前馈通道，并利用轻量级低秩恢复重新估计重要性，在MHA+GELU架构上实现13.8倍压缩和83.82%准确率，在工业物联网设备上降低推理延迟67.2%。

Comments This work has been submitted to the IEEE Internet of Things Journal for possible publication

GenRecal: Generation after Recalibration from Large to Small Vision-Language Models

GenRecal：从大到小视觉语言模型的校准后生成

Byung-Kwan Lee, Ryo Hachiuma, Yong Man Ro, Yu-Chiang Frank Wang, Yueh-Hua Wu

机构 * NVIDIA ； KAIST（韩国成均馆大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract_cn)；large language model(abstract)；分类 cs.CL

AI总结 提出GenRecal通用蒸馏框架，通过校准器对齐异构VLM特征，实现从大到小模型的有效知识迁移，在多个基准上超越大规模开源和闭源VLM。

Comments Project page: https://byungkwanlee.github.io/GenRecal-page/

FlowTrain: Flow-Based Decoupled Training for Industrial-Grade Vision-Language Models

FlowTrain：面向工业级视觉-语言模型的基于流的解耦训练

Zhida Jiang, Zhaolong Xing, Yang Pei, Xiaolong Chen, Yuanhang Xiao, Chengzhi Huang, Xiyu Liu, Haopeng Liu, Qingyuan Sang, Lingfeng Zhou, Jiaxing Wang, Zicheng Zhang, Wenzhe Wang, Xinyu Liu, Yan Li, Zhen Chen, Ke Zhang

机构 * Huawei（华为） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 提出FlowTrain框架，通过生产者-消费者数据流和统一内存池解耦编码器与主干网络训练，采用异构并行分配器和动态打包调度器，实现超过50% MFU和1.7倍吞吐量提升。

CheckMIABench: Firm Foundations For Membership Inference Attacks on Language Models

CheckMIABench: 语言模型成员推理攻击的坚实基础

Jeffrey G. Wang, Jason Wang, Marvin Li, Seth Neel

机构 * Harvard University（哈佛大学） ； Harvard Business School（哈佛商学院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 为解决成员推理攻击评估中的分布偏移问题，提出基于训练中固定点前后数据同分布的基准框架，在Pythia和OLMo模型上评估多种攻击，并开源模块化库。

Privacy from Symmetry: Orthogonally Equivariant Transformers for LLM Inference

对称性带来的隐私：用于大语言模型推理的正交等变Transformer

Alexander Yukhimchuk, Andrey Shulga, Mladen Kolar, Martin Takáč

机构 * MBZUAI（穆罕默德·本·扎耶德人工智能大学） ； University of Southern California（南加州大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对拆分推理中隐藏表示易被近邻搜索恢复的问题，提出正交混淆方法，并设计ConjFormer架构实现O(d)-等变性，在不加噪声或重加密下将令牌恢复率从35%降至1.3%，困惑度仅增0.4%。

Surpassing Scale by Efficiency: A Compact 135M Parameter Foundational LLM Natively Adapted for the Bangla Language

通过效率超越规模：一个紧凑的135M参数基础LLM原生适配孟加拉语

Rabindra Nath Nandi

机构 * Independent Researcher（独立研究者） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；language model(abstract)；分类 cs.CL

AI总结 提出一个135M参数的紧凑型解码器模型bangla-smollm-135m，通过确定性交集-追加词元合并策略解决孟加拉语子词碎片化，在零样本多任务基准上匹配或超越两倍大小模型。

Comments Submitted to a Workshop

A Spatio-Temporal Expert Prefetching Framework for Efficient MoE-based LLM Inference

面向高效MoE大语言模型推理的时空专家预取框架

Yingnan Zhao, Razvan Bunescu, Ahmed Louri, Avinash Karanth, Ke Wang

机构 * George Washington University（乔治华盛顿大学） ； University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校） ； Ohio University（俄亥俄大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对MoE大模型推理中专家加载延迟问题，通过分析专家选择行为的时空相关性，提出ST-MoE框架，结合轻量级运行时预测和可重构硬件设计，实现专家预取以重叠计算与加载，提升性能与能效。

FlashCP: Load-Balanced Communication-Efficient Context Parallelism for LLM Training

FlashCP: 面向LLM训练的负载均衡且通信高效的上下文并行

Zheng Wang, Eric Liu, Linan Jiang, Zhongkai Yu, Zaifeng Pan, Yue Guan, Yuke Wang, Yufei Ding

机构 * Stanford University（斯坦福大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；language model(abstract)；分类 cs.AI

AI总结 提出FlashCP框架，通过分片感知通信消除冗余KV传输，并设计Whole-Doc分片策略与启发式算法，实现负载均衡与通信高效，在多种数据集上取得最高1.63倍加速。

Comments 10 pages, 6 figures

AsymVLM: Asymmetric Token Pruning for Efficient Vision-Language Model Inference

AsymVLM：面向高效视觉-语言模型推理的非对称令牌剪枝

Yilin Feng, Ahmed Burak Gulhan, Mahmut Taylan Kandemir

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 针对视觉和文本令牌在预填充与解码阶段的不同特性，提出非对称剪枝方法AsymVLM，通过视觉令牌的激进剪枝和文本令牌的基于阈值的驱逐，实现高达54%的FLOPs节省并在文档和图表理解任务上提升2-3%的准确率。

Anytime-Valid Federated Conformal RAG for LLM Swarms

面向LLM群体的任意有效联邦共形RAG

Prasanjit Dubey, Xiaoming Huo

机构 * H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology（H.米尔顿·斯图尔特工业与系统工程学院，佐治亚理工学院） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；language model(abstract)；分类 cs.LG

AI总结 提出Anytime-FC-RAG，通过可累积的逐步校准偏差预算和截断投注e过程，将联邦共形RAG扩展到任意停止时间均有效的序贯覆盖，并保证时间均匀报警有效性、Hoeffding拼接累积误覆盖包络及自适应控制下的安全性。

DiffRetriever: Parallel Representative Tokens for Retrieval with Diffusion Language Models

DiffRetriever: 基于扩散语言模型的并行代表标记用于检索

Shuai Wang, Yu Yin, Shengyao Zhuang, Bevan Koopman, Guido Zuccon

机构 * The University of Queensland（昆士兰大学） ； CSIRO（澳大利亚联邦科学与工业研究组织） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 提出DiffRetriever，利用扩散语言模型的掩码位置预测直接进行检索，支持单表示和多表示检索，在多个基准上优于现有方法。

Comments Updated analysis, ablation and benchmark with sota retrievers, indexing storage/latency ablation, isolating the effectiveness gain

ReSpinQuant: Efficient Layer-Wise LLM Quantization via Subspace Residual Rotation Approximation

ReSpinQuant: 通过子空间残差旋转近似实现高效逐层大模型量化

Suyoung Kim, Sunghyun Wee, Hyeonjin Kim, Kyomin Hwang, Hyunho Lee, Nojun Kwak

机构 * Seoul National University（首尔国立大学） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 提出ReSpinQuant框架，通过离线激活旋转融合和高效子空间残差旋转匹配基，解决逐层量化方法在线计算开销大的问题，在W4A4和W3A3量化上达到最优性能。

Comments ICML 2026

The Bridge-Garden Dilemma in LLM Distillation: Why Mixing Hard and Soft Labels Works

LLM蒸馏中的桥园困境：为什么混合硬标签和软标签有效

Guanghui Wang, Kaiwen Lv Kacuila, Zhiyong Yang, Zitai Wang, Jin-Wen Wu, Longtao Huang, Qianqian Xu, Qingming Huang

机构 * School of Computer Science and Technology, University of Chinese Academy of Sciences, Beijing, China（中国科学院大学计算机科学与技术学院） ； Alibaba Group, Hangzhou, China（阿里巴巴集团） ； State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences, Beijing, China（中国科学院人工智能安全国家重点实验室） ； Beijing Academy of Artificial Intelligence, Beijing, China（北京人工智能研究院） ； Key Laboratory of Big Data Mining and Knowledge Management (BDKM), University of Chinese Academy of Sciences, Beijing, China（中国科学院大数据挖掘与知识管理重点实验室） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；language model(abstract)；分类 cs.LG

AI总结 针对大语言模型知识蒸馏中硬标签与软标签的混合使用，提出桥园分解理论解释其降低暴露偏差的机制，并开发自适应混合监督方法，在多个模型上实现性能提升和9.7倍训练成本降低。

Comments Accepted at ICML 2026

HRM-Text: Efficient Pretraining Beyond Scaling

HRM-Text: 超越规模的高效预训练

Guan Wang, Changling Liu, Chenyu Wang, Cai Zhou, Yuhao Sun, Yifei Wu, Shuai Zhen, Luca Scimeca, Yasin Abbasi Yadkori

机构 * Sapient Intelligence ； MIT（麻省理工学院） 纠错

专题命中 效率与部署 ：pretraining(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出HRM-Text模型，通过引入分层递归模型和新的训练方法，在减少计算资源消耗的同时实现了与大规模模型相当的性能，展示了高效预训练的可能性。

Efficient numeracy in language models through single-token number embeddings

通过单token数字嵌入提升语言模型的数值处理效率

Linus Kreitner, Paul Hager, Jonathan Mengedoht, Georgios Kaissis, Daniel Rueckert, Martin J. Menten

机构 * Chair for AI in Healthcare and Medicine, Technical University of Munich (TUM) and TUM University Hospital, Munich, Germany（人工智能在医疗和医学中的Chair，慕尼黑技术大学（TUM）和慕尼黑技术大学医院，德国慕尼黑） ； Department of Computing, Imperial College London, UK（计算系，伦敦帝国学院，英国） ； Munich Center for Machine Learning (MCML), Munich, Germany（慕尼黑机器学习中心（MCML），德国慕尼黑） ； Hasso Plattner Institute for Digital Engineering, University of Potsdam, Germany（哈索·platzer研究所数字工程学院，波茨坦大学，德国） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；small language model(abstract)；分类 cs.LG

AI总结 本文提出BitTokens，一种利用IEEE 754二进制浮点表示将数字编码为单token的方法，使语言模型能更高效地处理数值计算，从而提升其解决复杂问题的能力。

VeriCache: Turning Lossy KV Cache into Lossless LLM Inference

VeriCache: 将损失性KV缓存转换为无损LLM推理

Jiayi Yao, Samuel Shen, Kuntai Du, Shaoting Feng, Dongjoo Seo, Rui Zhang, Yuyang Huang, Yuhan Liu, Shan Lu, Junchen Jiang

机构 * University of Chicago（芝加哥大学） ； Tensormesh Inc.（Tensormesh公司） ； Samsung Semiconductor（三星半导体） ； Microsoft Research（微软研究院） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.LG

AI总结 本文提出VeriCache框架，通过利用压缩的KV缓存生成token并验证其与完整KV缓存的一致性，实现了与完整KV缓存解码相同输出的同时保持高解码吞吐量。

Runtime-Orchestrated Second-Order Optimization for Scalable LLM Training

面向可扩展大语言模型训练的运行时优化

Yishun Lu, Junhao Zhang, Zeyu Yang, Wes Armour

机构 * Nvidia（英伟达） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出Asteria系统，通过分离二次优化逻辑与GPU训练路径，解决大规模矩阵优化器状态维护的系统成本问题，实现在内存受限和分布式训练中提升大语言模型的训练效率。

Decoupling the Benefits of Subword Tokenization for Language Model Training via Byte-level Simulation

通过字节级模拟解耦子词分词对语言模型训练的益处

Théo Gigant, Bowen Peng, Jeffrey Quesnelle

机构 * Nous Research 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；pretraining(abstract)；分类 cs.CL

AI总结 本文通过字节级预训练流程解耦子词分词的影响，探讨其对训练效率和模型性能的贡献，揭示子词边界作为语言先验的重要性。

Comments 14 pages, 7 figures

XPERT: Expert Knowledge Transfer for Effective Training of Language Models

XPERT: 专家知识转移以有效训练语言模型

Chang Liu, Boyu Shi, Xu Yang, Xin Geng

机构 * School of Computer Science and Engineering, Southeast University, Nanjing, China（东南大学计算机科学与工程学院，南京，中国） ； Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University), Ministry of Education, China（新一代人工智能技术及其交叉应用重点实验室（东南大学），教育部，中国） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract_cn)；large language model(abstract)；分类 cs.CL

AI总结 XPERT通过提取、整合和重用预训练MoE语言模型中的专家知识，提升不同规模语言模型的训练效果，实验表明其在语言理解和对话生成任务中表现更优。

DiffAdapt: Difficulty-Adaptive Reasoning for Token-Efficient LLM Inference

DiffAdapt：面向令牌高效大语言模型推理的难度自适应推理

Xiang Liu, Xuming Hu, Xiaowen Chu, Eunsol Choi

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； New York University（纽约大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出DiffAdapt框架，通过分析推理轨迹中的熵分布，根据问题难度选择不同的推理策略，减少令牌使用量，提升推理效率。

Comments ICLR 26

TTF: Temporal Token Fusion for Efficient Video-Language Model

TTF: 时空融合用于高效的视频-语言模型

Simin Huo, Ning LI

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出TTF方法，通过利用视频中的时间冗余性，减少视频语言模型的推理成本，保留高精度的同时显著降低视觉token数量。

Comments 14 pages; manuscript submitted to NeurIPS 2026

BEAVER: An Efficient Deterministic LLM Verifier

BEAVER：一种高效的确定性大语言模型验证器

Tarun Suresh, Nalin Wadhwa, Debangshu Banerjee, Gagandeep Singh

机构 * University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 BEAVER 提出了一种计算大语言模型安全属性确定性概率界限的框架，通过新颖的 Token trie 和 Frontier 数据结构系统探索模型输出空间，提供可靠保证并识别更多高风险实例。

Valley3: Scaling Omni Foundation Models for E-commerce

Valley3：面向电商的多模态大语言模型规模化

Zeyu Chen, Guanghao Zhou, Qixiang Yin, Ziwang Zhao, Huanjin Yao, Pengjiu Xia, Min Yang, Cen Chen, Minghui Qiu

机构 * Valley Team, ByteDance Group（字节跳动集团山谷团队） 纠错

专题命中 效率与部署 ：foundation model(title)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 Valley3通过四阶段预训练管道，融合多模态能力与电商知识，实现跨模态指令跟随和长链推理，构建了涵盖6个任务的电商基准测试，展现出在电商场景中的优越性能。

Coverage-Based Calibration for Post-Training Quantization via Weighted Set Cover over Outlier Channels

基于覆盖的后训练量化校准：通过加权覆盖处理异常通道

Ibne Farabi Shihab, Sanjeda Akter, Anuj Sharma

机构 * Department of Computer Science, Iowa State University（伊阿华州立大学计算机科学系） ； Department of Civil, Construction & Environmental Engineering, Iowa State University（伊阿华州立大学土木、建设与环境工程系） 纠错

专题命中 效率与部署 ：post-training(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出通过加权覆盖异常通道来改进后训练量化校准，解决校准样本未能激活异常通道导致的动态范围低估问题，提出 COVERCAL 算法在多种模型和评估中取得显著效果。

Cost-Effective Communication: An Auction-based Method for Language Agent Interaction

高效通信：一种基于拍卖的语言代理交互方法

Yijia Fan, Jusheng Zhang, Kaitong Cai, Jing Yang, Chengpei Tang, Jian Wang, Keze Wang

机构 * Sun Yat-sen University（中山大学） ； Snap Inc. ； Guangdong Key Laboratory of Big Data Analysis and Processing（广东省大数据分析与处理重点实验室） 纠错

专题命中 效率与部署 ：language agent(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出DALA框架，通过将通信带宽视为稀缺资源，解决多代理系统中通信低效问题，实验表明其在多个基准测试中表现优异。

SparKV: Overhead-Aware KV Cache Loading for Efficient On-Device LLM Inference

SparKV：面向设备的大语言模型高效推断的开销感知KV缓存加载

Hongyao Liu, Liuqun Zhai, Junyi Wang, Zhengru Fang

专题命中 效率与部署 ：LLM(title,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 SparKV通过结合云端KV流和设备端计算，优化KV缓存加载策略，降低延迟并提升推断效率，实验显示在不同数据集和设备上均有效降低时延和能耗。

Comments IEEE INTERNET OF THINGS HOURNAL, 11 pages under major revision

What Deserves Memory: Adaptive Memory Distillation for LLM Agents

哪些信息值得记忆：面向大语言模型代理的自适应记忆蒸馏

Wenquan Ma, Jiayan Nan, Wenlong Wu, Yize Chen

机构 * Fudan University（复旦大学） ； Shanda Group（上海莎anda集团） ； Beihang University（北航） ； Shanghai University of Finance and Economics（上海财经大学） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；分类 cs.AI

AI总结 本文提出NEMORI框架，通过预测性来评估经验的未来效用，实现自适应记忆蒸馏，提升LLM代理的记忆性能与存储效率。

WikiSeeker: Rethinking the Role of Vision-Language Models in Knowledge-Based Visual Question Answering

WikiSeeker: 重新思考视觉语言模型在基于知识的视觉问答中的作用

Yingjian Zhu, Xinming Wang, Kun Ding, Ying Wang, Bin Fan, Shiming Xiang

机构 * School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； State Key Laboratory of Multimodal Artificial Intelligence Systems (MAIS), Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所多模态人工智能系统国家重点实验室 (MAIS)） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 本文提出WikiSeeker框架，通过引入多模态检索器和重新定义视觉语言模型的角色，提升多模态检索性能和答案质量，实现在EVQA、InfoSeek和M2KR数据集上的最优表现。

Comments Accepted by ACL 2026 Findings

Chain-of-Models Pre-Training: Rethinking Training Acceleration of Vision Foundation Models

模型链预训练：重新思考视觉基础模型的训练加速

Jiawei Fan, Shigeng Wang, Chao Li, Xiaolong Liu, Anbang Yao

机构 * Intel Labs China（英特尔中国实验室） ； iMotion Automotive Technology（iMotion汽车技术） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出Chain-of-Models Pre-Training方法，通过模型链实现视觉基础模型的高效训练，提升性能并降低成本，验证于45个数据集。

Comments This work is accepted to CVPR 2026. Code is available at https://github.com/deep-optimization/CoM-PT