语言大模型 / LLM

SteganoBackdoor: Stealthy and Data-Efficient Backdoor Attacks on Language Models

SteganoBackdoor: 语言模型上的隐蔽且数据高效的后门攻击

Eric Xue, Ruiyi Zhang, Pengtao Xie

机构 * UC San Diego（圣迭戈大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 SteganoBackdoor通过隐写学方法在流畅句子中隐蔽地植入后门，实现对语言模型的高效隐蔽攻击。

Towards Long-window Anchoring in Vision-Language Model Distillation

迈向视觉-语言模型蒸馏中的长窗口锚定

Haoyi Zhou, Shuo Li, Tianyu Chen, Qi Song, Chonghan Gao, Jianxin Li

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出LAid方法，通过改进注意力机制和RoPE响应调节，提升视觉-语言模型的长上下文理解能力，使蒸馏模型的有效上下文窗口长度增加3.2倍。

Comments Accepted by AAAI 2026

Masking Teacher and Reinforcing Student for Distilling Vision-Language Models

掩码教师与强化学生用于蒸馏视觉-语言模型

Byung-Kwan Lee, Yu-Chiang Frank Wang, Ryo Hachiuma

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 Masters通过掩码教师和强化学生的方法，解决视觉-语言模型蒸馏中的大小差距问题，提升学生模型的表示学习能力。

MatKV: Trading Compute for Flash Storage in LLM Inference

MatKV: 用闪存存储替代计算以提升大语言模型推理效率

Kun-Woo Shin, Jay H. Park, Moonwook Oh, Yohan Jo, Jaeyoung Do, Sang-Won Lee

机构 * Seoul National University（首尔国立大学） ； Samsung Electronics（三星电子） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.AI、cs.LG

AI总结 MatKV通过预先计算并存储键值向量以提升RAG推理效率，减少能耗和时间，同时保持问答准确性。

Comments Accepted for publication in ICDE 2026

Hierarchical Federated Foundation Models over Wireless Networks for Multi-Modal Multi-Task Intelligence: Integration of Edge Learning with D2D/P2P-Enabled Fog Learning Architectures

无线网络上的分层联邦基础模型用于多模态多任务智能：整合边缘学习与D2D/P2P-enabled雾学习架构

Payam Abdisarabshali, Fardis Nadimi, Kasra Borazjani, Naji Khosravan, Minghui Liwang, Wei Ni, Dusit Niyato, Michael Langberg, Seyyedali Hosseinalipour

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出分层联邦基础模型，整合边缘学习与D2D/P2P-enabled雾学习架构，解决多模态多任务智能中的异构性问题。

Comments 7 pages, 2 figures, 1 table

Journal ref IEEE Communications Magazine, 2026

SAP: Syntactic Attention Pruning for Transformer-based Language Models

SAP：基于Transformer语言模型的句法注意力剪枝

Tzu-Yun Lee, Ding-Yong Hong, Jan-Jan Wu

机构 * Institute of Information Science, Academia Sinica（学术院信息研究所） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 SAP通过结合句法结构和注意力模式，提升Transformer模型的剪枝效果和可解释性，优于现有方法。

Less is More: Unlocking Specialization of Time Series Foundation Models via Structured Pruning

少即是多：通过结构化剪枝解锁时间序列基础模型的专精

Lifan Zhao, Yanyan Shen, Zhaoyang Liu, Xue Wang, Jiaji Deng

机构 * Shanghai Jiao Tong University（上海交通大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出结构化剪枝方法，通过剪枝后再微调提升时间序列基础模型的预测性能，使其在多个基准测试中超越专用模型。

Comments Accepted by NeurIPS 2025

Secret mixtures of experts inside your LLM

LLM中隐藏的专家混合物

Enric Boix-Adsera

机构 * Wharton School of Statistics and Data Science at the University of Pennsylvania（宾夕法尼亚大学沃顿统计与数据科学学院） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出LLM中MLP层可能通过稀疏计算近似MoE结构，并通过实验验证激活分布对结果的影响，揭示了MLP和MoE的有效性原理。

Comments 8 pages in main text; 23 pages total

Kascade: A Practical Sparse Attention Method for Long-Context LLM Inference

Kascade：一种适用于长上下文LLM推理的实用稀疏注意力方法

Dhruv Deshmukh, Saurabh Goyal, Nipun Kwatra, Ramachandran Ramjee

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.AI、cs.LG

AI总结 Kascade是一种无需训练的稀疏注意力方法，通过锚定层计算Top-k索引并重用，实现长上下文LLM推理中的高效注意力处理。

Comments 11 pages, 8 figures, 3 tables and 1 algorithm

HPU: High-Bandwidth Processing Unit for Scalable, Cost-effective LLM Inference via GPU Co-processing

HPU：通过GPU协同处理实现可扩展且经济高效的LLM推理的高带宽处理单元

Myunghyun Rhee, Joonseop Sim, Taeyoung Ahn, Seungyong Lee, Daegun Yoon, Euiseok Kim, Kyoung Park, Youngpyo Joo, Hoshik Kim

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出HPU，通过GPU协同处理实现大规模LLM推理的高带宽处理单元，提升性能和能效

Comments 6 pages

Cross-Tokenizer Likelihood Scoring Algorithms for Language Model Distillation

跨分词器似然评分算法用于语言模型蒸馏

Buu Phan, Ashish Khisti, Karen Ullrich

机构 * University of Toronto（多伦多大学） ； Meta AI 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本研究提出跨分词器似然评分算法，通过BPE递归结构解决词汇不匹配问题，提升蒸馏效率和性能。

Light-Weight Benchmarks Reveal the Hidden Hardware Cost of Zero-Shot Tabular Foundation Models

轻量级基准揭示零样本表格基础模型的隐藏硬件成本

Ishaan Gangwani, Aayam Bansal

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究通过轻量级基准测试揭示了零样本表格基础模型在准确率与硬件开销之间的权衡，发现树形模型在多个数据集上表现优异且硬件消耗更低。

Comments ICML NewInML

REP: Resource-Efficient Prompting for Rehearsal-Free Continual Learning

REP：无回放持续学习的资源高效提示

Sungho Jeon, Xinyue Ma, Kwang In Kim, Myeongjae Jeon

机构 * POSTECH 纠错

专题命中 效率与部署 ：prompting(title,abstract)；分类 cs.AI、cs.LG

AI总结 REP通过高效提示方法提升无回放持续学习的资源效率，减少计算和内存消耗，同时保持较高的准确性。

Comments NeurIPS 2025

VFMF: World Modeling by Forecasting Vision Foundation Model Features

VFMF：通过预测视觉基础模型特征进行世界建模

Gabrijel Boduljak, Yushi Lan, Christian Rupprecht, Andrea Vedaldi

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种基于VFM特征的生成预测器，通过自回归流匹配在潜在空间中实现更准确的预测，提升世界建模的效率和效果。

Provably Learning from Modern Language Models via Low Logit Rank

通过低logit秩从现代语言模型中获得可证明的学习

Noah Golowich, Allen Liu, Abhishek Shetty

机构 * Microsoft Research（微软研究院） ； UC Berkeley（加州大学伯克利分校） ； MIT（麻省理工学院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种基于低logit秩结构的高效算法，用于从查询中获得现代语言模型的可证明学习保证。

Noise-Robust Abstractive Compression in Retrieval-Augmented Language Models

在检索增强语言模型中实现抗噪的抽象压缩

Singon Kim

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出ACoRN方法，通过细粒度文档分类和离线数据增强提升检索增强语言模型中抗噪的抽象压缩性能，实验表明其在保持答案准确性的同时提升了评估指标。

Comments Master's thesis, Korea University, 2025

LIME: Making LLM Data More Efficient with Linguistic Metadata Embeddings

LIME：通过语言元数据嵌入使LLM数据更高效

Sebastian Sztwiertnia, Felix Friedrich, Kristian Kersting, Patrick Schramowski, Björn Deiseroth

专题命中 效率与部署 ：LLM(title)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 LIME通过语言元数据嵌入提升LLM预训练效率，显著增强语言建模和生成任务表现

OsmT: Bridging OpenStreetMap Queries and Natural Language with Open-source Tag-aware Language Models

OsmT: 通过开源标签感知语言模型连接OpenStreetMap查询与自然语言

Zhuoyue Wan, Wentao Hu, Chen Jason Zhang, Yuanfeng Song, Shuaimin Li, Ruiqiang Xiao, Xiao-Yong Wei, Raymond Chi-Wing Wong

机构 * The Hong Kong Polytechnic University（香港理工大学） ； WeBank ； Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（深圳先进技术研究院，中国科学院） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 OsmT通过开源标签感知语言模型连接自然语言与OpenStreetMap查询，提升查询生成和解释的准确性与可访问性。

Comments 42nd IEEE International Conference on Data Engineering (ICDE)

Training Foundation Models on a Full-Stack AMD Platform: Compute, Networking, and System Design

在全栈AMD平台上训练基础模型：计算、网络和系统设计

Quentin Anthony, Yury Tokpanov, Skyler Szot, Srivatsan Rajagopal, Praneeth Medepalli, Anna Golubeva, Vasu Shyam, Robert Washbourne, Rishi Iyer, Ansh Chaurasia, Tomas Figliolia, Xiao Yang, Abhinav Sarje, Drew Thorstensen, Amartey Pearson, Zack Grossbart, Jason van Patten, Emad Barsoum, Zhenyu Gu, Yao Fu, Beren Millidge

机构 * IBM 纠错

专题命中 效率与部署 ：foundation model(title)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 本文介绍了在AMD全栈平台上训练大规模混合专家模型的方法，展示了ZAYA1模型在预训练中的性能表现。

Just-in-time and distributed task representations in language models

语言模型中的即时任务表示与分布式任务表示

Yuxuan Li, Declan Campbell, Stephanie C. Y. Chan, Andrew Kyle Lampinen

机构 * Google DeepMind（谷歌DeepMind） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究揭示了语言模型通过即时任务表示和持续敏感性来实时处理新任务的机制。

First On-Orbit Demonstration of a Geospatial Foundation Model

地球观测基础模型的首次在轨演示

Andrew Du, Roberto Del Prete, Alejandro Mousist, Nick Manser, Fabrice Marre, Andrew Barton, Carl Seubert, Gabriele Meoni, Tat-Jun Chin

机构 * SmartSat CRC ； Thales Alenia Space（泰雷兹阿莱尼亚空间） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种紧凑的地球观测基础模型，通过模型压缩和领域适应，在国际空间站实现了可靠的在轨推理，展示了在资源受限环境下高效执行地球观测任务的可能性。

Evaluating Spatio-Temporal Forecasting Trade-offs Between Graph Neural Networks and Foundation Models

评估图神经网络与基础模型在时空预测中的权衡

Ragini Gupta, Naman Raina, Bo Chen, Li Chen, Claudiu Danilov, Josh Eckhardt, Keyshla Bernard, Klara Nahrstedt

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Louisiana at Lafayette（路易斯安那州立大学拉斐特分校） ； Boeing Research and Technology（波音研究与技术） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了不同模型在时空预测中的表现，发现STGNNs在稀疏部署中有效，而TSFMs在高频下表现良好，但空间覆盖减少时退化，Moirai模型表现最佳。

Flexible Swarm Learning May Outpace Foundation Models in Essential Tasks

灵活的群体学习可能在关键任务上超越基础模型

Moein E. Samadi, Andreas Schuppert

机构 * Institute for Computational Biomedicine, RWTH Aachen University（计算生物医学研究所，亚琛工业大学） ； Center for Computational Life Sciences, RWTH Aachen University（计算生命科学中心，亚琛工业大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种去中心化的群体学习架构，通过多个小代理网络实现自我适应，以在动态环境中超越传统基础模型。

From Bits to Rounds: Parallel Decoding with Exploration for Diffusion Language Models

从比特到轮次：为扩散语言模型的并行解码探索

Hengyu Fu, Baihe Huang, Virginia Adams, Charles Wang, Venkat Srinivasan, Jiantao Jiao

机构 * University of California, Berkeley（加州大学伯克利分校） ； NVIDIA 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出ETE策略，通过探索高不确定token提升扩散语言模型的解码效率，减少轮次并保持生成质量。

Comments 24 pages, 6 figures

Reducing Latency of LLM Search Agent via Speculation-based Algorithm-System Co-Design

通过基于猜测的算法-系统联合设计降低LLM搜索代理的延迟

Zixiao Huang, Wen Zeng, Tianyu Fu, Tengxuan Liu, Yizhou Sun, Ke Hong, Xinhao Yang, Chengchun Liu, Yan Li, Quanlu Zhang, Guohao Dai, Zhenhua Zhu, Yu Wang

机构 * Tsinghua University（清华大学） ； Infinigence ； Lenovo（联想） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.AI、cs.LG

AI总结 SPAgent通过基于猜测的算法-系统联合设计框架，减少LLM搜索代理的延迟，实现端到端加速并保持高准确性。

Harnessing Vision-Language Models for Time Series Anomaly Detection

利用视觉语言模型进行时间序列异常检测

Zelin He, Sarah Alnegheimish, Matthew Reimherr

机构 * Amazon（亚马逊公司） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出基于视觉语言模型的两阶段方法，无需时间序列训练即可提升时间序列异常检测的准确性和效率。

Comments Accepted at AAAI 2026 (Oral)

VLM in a flash: I/O-Efficient Sparsification of Vision-Language Model via Neuron Chunking

VLM即刻：通过神经元分块实现高效的I/O压缩

Kichang Yang, Seonjun Kim, Minjae Kim, Nairan Zhang, Chi Zhang, Youngki Lee

机构 * Seoul National University（首尔国立大学） ； Meta ； Amazon（亚马逊公司） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Neuron Chunking方法，通过神经元分块实现高效的I/O压缩，提升边缘部署VLMs的性能。

FlowCut: Rethinking Redundancy via Information Flow for Efficient Vision-Language Models

FlowCut: 通过信息流重新思考冗余性以提高视觉-语言模型的效率

Jintao Tong, Wenwei Jin, Pengda Qin, Anqi Li, Yixiong Zou, Yuhong Li, Yuhua Li, Ruixuan Li

机构 * School of Computer Science and Technology, Huazhong University of Science and Technology（华中科技大学计算机科学与技术学院） ； Xiaohongshu Inc.（小红书公司） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 FlowCut通过信息流视角改进视觉-语言模型的冗余识别，实现更高效的剪枝效果。

Comments Accepted by NeurIPS 2025

Sometimes Painful but Certainly Promising: Feasibility and Trade-offs of Language Model Inference at the Edge

有时痛苦但无疑有前途：边缘设备上语言模型推断的可行性和权衡

Maximilian Abstreiter, Sasu Tarkoma, Roberto Morabito

机构 * University of Helsinki（赫尔辛基大学） ； EURECOM 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究探讨了边缘设备上语言模型推断的可行性及权衡，评估了不同设备的性能指标，揭示了模型大小与效率之间的平衡问题。

Comments Paper currently under review in an ACM journal. This version reflects reviewer-driven revisions: calibrated power measurements validated with external hardware, updated figures and conclusions, added downstream benchmarks (HellaSwag, Winogrande, TruthfulQA, ARC), clarified hardware scope and cold-start behavior, corrected Orin GPU Q4_0 results, improved visuals, and discussed emerging GenAI NPUs

TOFA: Training-Free One-Shot Federated Adaptation for Vision-Language Models

TOFA: 无需训练的一次性联邦适应用于视觉-语言模型

Li Zhang, Zhongxuan Han, XiaoHua Feng, Jiaming Zhang, Yuyuan Li, Linbo Jiang, Jianan Lin, Chaochao Chen

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 TOFA提出一种无需训练的一次性联邦适应方法，通过视觉和文本管道提取任务相关表示，以高效适应视觉-语言模型在联邦学习中的应用。

Comments Accepted by AAAI 2026