语言大模型 / LLM

BrownoutMoE: Structure-Aware Expert Grouping for Efficient and Accurate LLM Web-based Services

BrownoutMoE：用于高效准确的基于大语言模型的网络服务的结构感知专家分组

Yi Ding, Minxian Xu, Zhengxin Fang, Kejiang Ye, Chengzhong Xu

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)

AI总结 研究基于混合专家（MoE）的大语言模型在网络服务中推理的问题，通过结构感知优化框架BrownoutMoE，将专家分组并利用强化学习找策略，减少精度下降，提升吞吐量。

Comments 15 pages

SpecFed: Accelerating Federated LLM Inference with Speculative Decoding and Compressed Transmission

SpecFed: 通过推测解码和压缩传输加速联邦大语言模型推理

Ce Zheng, Xinghan Wang, Jiahong Ning, Yuxuan Shi, Ning Huang, Tingting Yang

专题命中 效率与部署 ：LLM(title,abstract)

AI总结 本文提出SpecFed方法，通过推测解码和压缩传输技术，提升联邦学习中大语言模型推理效率，减少通信开销并保持生成质量。

Comments IEEE International Symposium on Information Theory (ISIT), 2026

CD-PIM: A High-Bandwidth and Compute-Efficient LPDDR5-Based PIM for Low-Batch LLM Acceleration on Edge-Device

CD-PIM：一种高带宽且计算高效的基于LPDDR5的存内计算架构，用于边缘设备上低批量大语言模型加速

Ye Lin, Chao Fang, Xiaoyong Song, Qi Wu, Anying Jiang, Yichuan Bai, Li Du

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)

AI总结 本文提出CD-PIM，通过高带宽计算高效模式、低批量交错模式和计算高效CU设计，解决边缘设备上低批量大语言模型执行内存密集型矩阵向量乘法时的带宽瓶颈问题，实现显著加速。

Comments To appear in 2026 Design, Automation and Test in Europe Conference (DATE 2026)

Geometric Foundation Model Distillation for Efficient Lunar 3D Reconstruction

几何基础模型蒸馏用于高效月球三维重建

Clémentine Grethen, Florient Chouteau, Géraldine Morin, Simone Gasparini

机构 * IRIT, University of Toulouse（图卢兹大学IRIT研究所） ； Airbus Defence and Space（空中客车防务与航天公司） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 针对硬件受限场景，通过知识蒸馏将MASt3R模型压缩7倍，保留大部分重建精度，提出SVD初始化方法提升训练稳定性，并揭示编码器类型、蒸馏策略等关键因素。

Comments Accepted to ECCV 2026, code can be accessed via https://clementinegrethen.github.io/publications/ECCV.html

Demystifying the Design Space and Best Practices for Heterogeneous LLM Inference and Serving

异构LLM推理与服务的解构设计空间与最佳实践

Zhixin Wang, Zhengbo Wang, Fangcheng Fu, Yinhui Lu, Jinlong Hou, Yijie Chen, Xiaowei Shen, He Liu, Xiangbin Li, Jun Chen, Ruya Gu, Dian Wang, Zhou Tan, Yuan Cheng, Hongzhou Zhang, Xiangjun Huang, Ping Zhang, Xiaohe Hu

专题命中 效率与部署 ：LLM(title,title_cn)

AI总结 针对异构预填充-解码推理，提出沿四个设计轴（加速器、精度、互连、KV驻留）的组织空间，揭示边界决策（计算放置、KV表示、KV所有权）的约束与指导。

The LLM Mirage: Economic Interests and the Subversion of Weaponization Controls

大语言模型的幻象：经济利益与武器化控制的颠覆

Ritwik Gupta, Andrew W. Reddie

专题命中 效率与部署 ：LLM(title,abstract)；language model(abstract)

AI总结 本文分析大语言模型幻象如何影响AI安全政策，提出基于效果和国际人道法的武器化定义，并构建测量基础设施。

Comments Accepted to the ACM Conference on Fairness, Accountability, and Transparency 2026 in Montreal, Canada

SpectralX: Parameter-efficient Domain Generalization for Spectral Remote Sensing Foundation Models

SpectralX: 为光谱遥感基础模型实现参数高效的领域泛化

Yuxiang Zhang, Wei Li, Mengmeng Zhang, Jiawei Han, Ran Tao, Shunlin Liang

专题命中 效率与部署 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 SpectralX通过两阶段训练方法，利用HyperT和AoMoA实现对多光谱/超光谱数据的高效适应，提升领域泛化性能。

MultiHashFormer: Hash-based Generative Language Models

MultiHashFormer: 基于哈希的生成式语言模型

Huiyin Xue, Atsuki Yamaguchi, Nikolaos Aletras

机构 * School of Computer Science, University of Sheffield, United Kingdom（谢菲尔德大学计算机科学学院，英国） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出MultiHashFormer框架，通过多哈希签名表示令牌，实现参数高效的因果语言建模，在多个规模上优于标准Transformer。

Comments Under review

Vibe Calibration: Autonomous Bring-up of a 112-Qubit Superconducting Quantum Processor by a Skill-Orchestrating Language Agent

Vibe Calibration：通过技能编排语言代理自主启动112量子比特超导量子处理器

Huikai Xu, Jiaxiu Han, Shigang Ou, Cheng Ye, Zisong Shen, Jing Gao, Yijia Wang, Tianrui Che, Yu Song, Weiyang Liu, Lei Wang, Lin-Feng Zhang, Pan Zhang, Hai-Feng Yu

专题命中 效率与部署 ：language agent(title)；large language model(abstract)；language model(abstract)

AI总结 提出Vibe Calibration系统，利用大语言模型代理将专家隐性知识转化为可复用的技能，在112量子比特处理器上实现4.7小时内自主校准108个量子比特，速度提升4-5倍，并跨设备迁移。

MOOZY: A Patient-First Foundation Model for Computational Pathology

MOOZY: 一种以患者为先的计算病理学基础模型

Yousef Kotp, Vincent Quoc-Huy Trinh, Christopher Pal, Mahdi S. Hosseini

机构 * CSSE, Concordia University, Montr\' e al, Canada Mila -- Qu\' e bec AI Institute, Montr\' e al, Canada CHUM, Universit\' e de Montr\' e al, Montr\' e al, Canada IRIC, Universit\' e de Montr\' e al, Montr\' e al, Canada Universit\' e de Montr\' e al, Montr\' e al, Canada Canada CIFAR Chair, Polytechnique Montr\' e al, Montr\' e al, Canada Dept.\ of Pathology, McGill University, Montr\' e al, Canada 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 提出以患者为基本单位的病理基础模型MOOZY，通过病例变换器建模同一患者多张切片依赖，结合多阶段自监督与低成本任务监督，在16个保留任务上优于PRISM。

AI Application Benchmarking: Power-Aware Performance Analysis for Vision and Language Models

AI应用基准测试：面向视觉和语言模型的功耗感知性能分析

Martin Mayr, Sebastian Wind, Lukas Schröder, Mohammadmoein Moradi, Georg Hager, Harald Köstler, Gerhard Wellein

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)

AI总结 本文提出一个基准框架，分析不同GPU架构下视觉和语言模型的性能与能耗，发现无统一最优功耗限制，且不同GPU在性能能耗权衡上存在差异。

Benchmarking Vision Foundation Models for Domain-Generalizable Face Anti-Spoofing

面向域泛化人脸反欺骗的视觉基础模型基准测试

Mika Feng, Pierre Gallin-Martel, Koichi Ito, Takafumi Aoki

机构 * Graduate School of Information Sciences, Tohoku University, Japan（东北大学信息科学研究生院，日本） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；language model(abstract)

AI总结 本文系统评估15种预训练视觉模型在人脸反欺骗域泛化中的表现，发现自监督ViT（尤其是DINOv2+Registers）结合数据增强和注意力损失在MICO协议上达到最优，且计算高效。

Comments 2026 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)

Improving Visual Token Reduction via Rectifying Distortions for Efficient Multimodal LLM Inference

通过纠正失真改进视觉令牌减少以实现高效多模态大语言模型推理

Hyeonwoo Cho, Donghyeon Baek, Yewon Kim, Bumsub Ham

机构 * KAIST（韩国科学技术院） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)

AI总结 提出RESTORE框架，通过校准位置和注意力失真来改进视觉令牌减少，在保持效率的同时提升多模态大语言模型性能。

Comments Accepted to ICML 2026

A Pragmatic VLA Foundation Model

一个务实的VLA基础模型

Wei Wu, Fan Lu, Yunnan Wang, Shuai Yang, Shi Liu, Fangjing Wang, Qian Zhu, He Sun, Yong Wang, Shuailei Ma, Yiyu Ren, Kejia Zhang, Hui Yu, Jingmei Zhao, Shuai Zhou, Zhenqi Qiu, Houlong Xiong, Ziyu Wang, Zechen Wang, Ran Cheng, Yong-Lu Li, Yongtao Huang, Xing Zhu, Yujun Shen, Kecheng Zheng

机构 * robbyant.com 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；post-training(abstract)

AI总结 提出LingBot-VLA，基于约2万小时真实数据和9种双臂机器人配置，在3个平台上完成100个任务，性能优于竞品，并实现高效训练吞吐。

Comments Project Webpage: https://technology.robbyant.com/lingbot-vla/, Code: https://github.com/Robbyant/lingbot-vla/, GM-100: https://huggingface.co/datasets/robbyant/lingbot-GM-100

Quantifying Subliminal Behavioral Transfer Ratios in Language Model Distillation

量化语言模型蒸馏中的潜意识行为迁移比率

Uwe König, Hamza Kazmi, Ruizhe Li, Maheep Chaudhary

机构 * University of Freiburg（弗赖堡大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 通过控制教师模型行为强度并蒸馏学生模型，量化了潜意识行为迁移比率，发现迁移具有鲁棒性且呈现不同缩放行为。

LUNA-AD: Lightweight Uncertainty-Aware Language Model with Lifelong Learning for Autonomous Driving

LUNA-AD: 面向自动驾驶的轻量级不确定性感知语言模型与终身学习

Ruoyu Yao, Pei Liu, Ruiguo Zhong, Mingxing Peng, Rui Yang, Jun Ma

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)

AI总结 提出LUNA-AD，一种结合三系统架构、多智能体分析、双头轻量模型和反思驱动终身学习的轻量级不确定性感知语言模型，在nuPlan上实现高成功率与低推理延迟。

Comments 16 pages,9 figures

Pruning and Distilling Mixture-of-Experts into Dense Language Models

将混合专家模型剪枝和蒸馏为密集语言模型

Junhyuck Kim, Jihun Yun, Haechan Kim, Gyeongman Kim, Joonghyun Bae, Jaewoong Cho

机构 * KRAFTON ； KAIST（韩国科学技术院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出首个将混合专家（MoE）模型转换为标准密集架构的系统框架，通过专家评分、选择、分组、拼接和知识蒸馏，在参数匹配条件下比密集到密集剪枝平均下游准确率提升6.3个百分点，训练速度提升1.6倍。

Component Ablation for Efficient Hybrid Language Model Architectures: Performance, Resilience, and Compression Implications

组件消融用于高效混合语言模型架构：性能、鲁棒性和压缩影响

Hector Borobia, Elies Seguí-Mas, Guillermina Tormo-Carbó

机构 * Doctoral Program in Computer Science, University of Valencia（瓦伦西亚大学计算机科学博士项目） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文通过组件消融研究混合语言模型，发现注意力机制与替代序列处理路径对性能有显著影响，揭示了模型鲁棒性与压缩优化的关键因素。

Comments 25 pages, 7 figures, 6 tables; revised title, abstract, figures, and data/code repository URL

PUMA: Layer-Pruned Language Model for Efficient Unified Multimodal Retrieval with Modality-Adaptive Learning

PUMA: 基于层剪枝的语言模型，用于具有模态自适应学习的高效统一多模态检索

Yibo Lyu, Rui Shao, Gongwei Chen, Yijie Zhu, Weili Guan, Liqiang Nie

机构 * Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)

AI总结 提出PUMA，通过层剪枝自蒸馏减少MLLM参数，并设计模态自适应对比学习损失（MAC-Loss）提升检索效率，在降低资源消耗的同时保持性能。

Topology-Aware Layer Pruning for Large Vision-Language Models

面向拓扑的层剪枝用于大型视觉-语言模型

Pengcheng Zheng, Chaoning Zhang, Ya Wen, Wang Liu, Qigan Sun, Jiarong Mo, Jiaquan Zhang, Jewon Lee, Tae-Ho Kim, Kuien Liu, Tianyu Li, Caiyan Qin, Yang Yang

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)

AI总结 本文提出了一种面向拓扑的层剪枝框架，用于大型视觉-语言模型，通过利用拓扑持续同调量化层间拓扑一致性，实现自适应剪枝以保留关键表示转换。

Comments This manuscript has been withdrawn by the authors. It reproduced the methodology of Gardinazzi et al., arXiv:2410.11042, without citation, and utilized code and data from the associated repository (github.com/RitAreaSciencePark/ZigZagLLMs) without disclosure or violate the MIT License. A revised future version with full attribution may be prepared. For any feedback, please contact Pengcheng Zheng

Symphony-Coord: Adaptive Routing for Multi-Agent LLM Systems

Symphony-Coord：多智能体大语言模型系统的自适应路由

Zhaoyang Guan, Huixi Cao, Ming Zhong, Yin Wang, Guanyu Liu, Eric Yang, Lynn Ai, Yongxin Ni, Bill Shi

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)

AI总结 针对多智能体大语言模型系统中静态路由和集中控制导致的低效与脆弱性问题，提出基于在线多臂赌博机的去中心化协调框架Symphony-Coord，通过两阶段动态信标协议和自适应LinUCB选择器实现子任务路由，并证明亚线性遗憾界。

Comments 41 pages,15 figures

CountGD++: Generalized Prompting for Open-World Counting

CountGD++: 面向开放世界计数的通用提示

Niki Amini-Naieni, Andrew Zisserman

机构 * Visual Geometry Group (VGG)（视觉几何组（VGG）） ； University of Oxford, UK（牛津大学，英国） 纠错

专题命中 效率与部署 ：prompting(title)；LLM(abstract,abstract_cn)

AI总结 提出CountGD++模型，通过扩展提示方式（包括负样本描述、伪示例自动标注和外部图像示例）提升开放世界计数的灵活性、准确性和泛化能力。

Comments CVPR 2026

Decision-Making with Lightweight Confidence-Aware Language Model for Autonomous Driving

基于轻量级置信感知语言模型的自动驾驶决策

Ruoyu Yao, Ruiguo Zhong, Pei Liu, Mingxing Peng, Rui Yang, Jun Ma

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)

AI总结 提出一种利用轻量级置信感知语言模型的决策框架，通过多智能体协作生成置信注释的决策演示并蒸馏到双头轻量模型，在nuPlan上实现SOTA成功率和低延迟。

Comments 8 Pages, 3 figures, ITSC 2026

DiLaDiff: Distilled Latent-Augmented Diffusion for Language Modeling

DiLaDiff: 蒸馏潜在增强扩散用于语言建模

Jean-Marie Lemercier, Tomas Geffner, Karsten Kreis, Morteza Mardani, Arash Vahdat, Ante Jukić

机构 * NVIDIA（英伟达） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出DiLaDiff，通过连续潜在空间、潜在扩散模型和一致性蒸馏解决扩散语言模型在解码令牌相关性上的不足，提升采样质量和推理速度。

ERFSL: An Efficient Reward Function Searcher via Language Models for Custom-Environment Multi-Objective Optimization (Student Abstract)

ERFSL: 一种基于语言模型的高效奖励函数搜索器用于定制环境多目标优化（学生摘要）

Guanwen Xie, Jingzehua Xu, Yiyuan Yang, Yimian Ding, Shuai Zhang

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)

AI总结 本文提出ERFSL，一种利用大语言模型（LLMs）的高效奖励函数搜索器，用于定制环境的多目标学习方法。ERFSL根据显式用户需求生成奖励组件，通过奖励批评者进行校正，并根据训练日志分析器生成的文本上下文迭代优化这些组件的权重。在基于模拟的基准任务中，奖励批评者仅需每次需求一个反馈迭代即可校正奖励代码，而奖励权重初始化器能够在帕累托集内获取多样化的奖励函数。即使权重偏差高达500倍，平均仅需5.2次迭代即可满足用户需求。该方法在GPT-4o mini上表现良好，且不需要高级理解能力。

Locally Coherent Parallel Decoding in Diffusion Language Models

局部相干并行解码在扩散语言模型中

Michael Hersche, Nicolas Menet, Ronan Tanios, Abbas Rahimi

机构 * IBM Research - Zurich（IBM瑞士研究实验室） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出CoDiLA方法，通过引入小型辅助自回归模型来解决扩散语言模型在并行解码中的相干性问题，从而在代码生成任务中实现更高的准确性和速度。

Comments Accepted at ICML 2026

TIDAL: Recovering Temporal Phase for Cloud Block Storage Placement from LLM-Derived Semantics

TIDAL: 从LLM衍生的语义中恢复时间相位以实现云块存储中的卷放置

Difan Tan, Changlin Wan, Jiawen Liu, Hua Wang, Ke Zhou

专题命中 效率与部署 ：LLM(title,title_cn)

AI总结 本文提出TIDAL框架，通过从租户提供的元数据中恢复时间相位信息，解决云块存储中卷放置的互补性问题，显著降低过载频率和持续时间。

CanViT: Toward Active-Vision Foundation Models

CanViT：迈向主动视觉基础模型

Yohaï-Eliel Berreby, Sabrina Du, Audrey Durand, B. Suresh Krishna

机构 * McGill University（麦吉尔大学） ； Mila - Quebec AI Institute（魁北克人工智能研究院） ； Université Laval（拉瓦尔大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 CanViT是首个任务和策略无关的主动视觉基础模型，通过场景相对RoPE结合视图Transformer和场景-wide潜在工作空间，提出Canvas Attention机制，实现高效推理和高分辨率扩展，并在ADE20K和ImageNet-1k上取得新突破。

Comments v2: additional results: 84.5% IN1k accuracy after fine-tuning and effect of canvas resolution. Code and weights: https://github.com/m2b3/CanViT-PyTorch

SiFo: Wireless Foundation Model for Low-Overhead Site-Specific CSI Feedback

SiFo：面向低开销的特定站点信道状态信息反馈无线基础模型

Cheng-Jie Zhao, Zhaolin Wang, Zongyao Zhao, Yuanwei Liu

专题命中 效率与部署 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 SiFo提出一种基于无线基础模型的框架，通过预训练和轻量级校准实现高效特定站点CSI反馈，提升频谱效率。

Mantis: Mamba-native Tuning is Efficient for 3D Point Cloud Foundation Models

Mantis：Mamba原生微调在3D点云基础模型中的高效性

Zihao Guo, Jihua Zhu, Jian Liu, Ajmal Saeed Mian

机构 * Xi’an Jiaotong University（西安交通大学） ； School of Artificial Intelligence and Robotics, Hunan University（湖南大学人工智能与机器人学院） ； University of Western Australia（西澳大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；prompting(abstract)

AI总结 针对Mamba架构基础模型的微调问题，提出Mantis框架，通过引入状态感知适配器和双序列一致性蒸馏，实现高效且稳定的微调，仅需约5%的可训练参数。