语言大模型 / LLM

Assessing the Operational Viability of Foundation Models for Time Series Forecasting

评估基础模型在时间序列预测中的操作可行性

Kavin Soni, Debanshu Das, Vamshi Guduguntla

机构 * Google, USA（谷歌公司，美国） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；LLM(abstract_cn)；分类 cs.AI、cs.LG

AI总结 通过对比基础模型与监督学习方法在四种操作场景下的性能，提出基于经验特征的复杂度路由器以实现精度与效率的平衡。

Comments 21 pages, 8 Figures, Code available at [https://github.com/kavin-soni/timeseries-zeroshot-eval]

TextSeal: A Localized LLM Watermark for Provenance & Distillation Protection

TextSeal: 一种用于溯源与蒸馏保护的本地化大语言模型水印

Tom Sander, Hongyan Chang, Tomáš Souček, Tuan Tran, Valeriu Lacatusu, Sylvestre-Alvise Rebuffi, Alexandre Mourachko, Surya Parimi, Christophe Ropers, Rashel Moritz, Vanessa Stark, Hady Elsahar, Pierre Fernandez

机构 * FAIR, Meta Superintelligence Labs（FAIR，Meta超智能实验室） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出TextSeal，一种先进的大语言模型水印技术，通过Gumbel-max采样引入双密钥生成以恢复输出多样性，并结合熵加权评分和多区域定位提升检测性能。该方法支持推测解码和多令牌预测等服务优化，不增加推理开销。在检测强度上严格优于基线方法SynthID-text，并对稀释具有鲁棒性，即使在混合的人类/AI文档中也能保持自信的本地化检测。理论上该方案无失真，经推理基准评估证实其保持下游性能；同时通过多语言人工评估（6000次A/B对比，5种语言）显示无明显质量差异。除了用于溯源检测外，TextSeal还具有'放射性'特性：其水印信号通过模型蒸馏传递，可检测未经授权的使用。

Charon: A Unified and Fine-Grained Simulator for Large-Scale LLM Training and Inference

Charon：一种用于大规模大语言模型训练和推理的统一且细粒度模拟器

Mengtian Yang, Zhekun Zhang, Mingheng Wu, Jianwen Yan, Hanshi Sun, Li-wen Chang

机构 * University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Charon模拟器，通过统一、模块化和细粒度的方法，准确预测大语言模型性能，实验显示其在不同模型和配置上具有高精度，预测误差低于5.35%，并在实际推理部署中发现提升系统吞吐量的配置，展示了其实际价值。

Comments Accepted by MLSys 2026

Membership Inference Attacks on Discrete Diffusion Language Models

对离散扩散语言模型的成员推断攻击

Shailesh Kasivelrajan

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了对微调后的MDLMs的成员推断攻击，发现其比现有灰盒基线更易受攻击，并设计了阴影模型转移攻击以证明其有效性。

Comments Citations and Co Authors need to be verified and updated. Will submit a new version soon

RAP: Runtime Adaptive Pruning for LLM Inference

RAP: 用于大语言模型推理的运行时自适应剪枝

Huanrong Liu, Chunlin Tian, Xuyang Wei, Qingbiao Li, Li Li

机构 * Faculty of Science and Technology, University of Macau, Macau, China（澳门大学科学与技术学院） ； School of Information and Software Engineering, University of Electronic Science and Technology of China, Chengdu, China（电子科技大学信息与软件工程学院） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出RAP，一种基于强化学习的弹性剪枝框架，通过动态调整压缩策略来适应运行时内存变化和异构KV缓存需求，首次在推理过程中同时考虑模型权重和KV缓存。

Compress the Context, Keep the Commitments: A Formal Framework for Verifiable LLM Context Compression

压缩上下文，保持承诺：可验证大语言模型上下文压缩的正式框架

Natalia Trukhina, Vadim Vashkelis

机构 * Embedded Intelligence Lab (EMILAB)（嵌入式智能实验室） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出Context Codec框架，通过语义层面的压缩方法，确保在压缩对话历史时保留关键承诺，解决现有方法在压缩过程中缺乏对语义承诺保留的明确规范的问题。

When Dynamics Shift, Robust Task Inference Wins: Offline Imitation Learning with Behavior Foundation Models Revisited

当动态变化时，鲁棒任务推断胜出：重新审视具有行为基础模型的离线模仿学习

Rishabh Agrawal, Rahul Jain, Ashutosh Nayyar

机构 * University of Southern California（南加州大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种基于行为基础模型（BFM）的框架，通过将任务推断建模为鲁棒最小最大优化问题，以应对动态变化，从而在不修改预训练的情况下实现对最坏动态扰动的适应。该方法在动态变化下显著优于标准BFM和鲁棒离线模仿学习基线。

Small Generalizable Prompt Predictive Models Can Steer Efficient RL Post-Training of Large Reasoning Models

小规模可泛化提示预测模型可引导大推理模型的高效强化学习后训练

Yun Qu, Qi Wang, Yixiu Mao, Heming Zou, Yuhang Jiang, Weijie Liu, Clive Bai, Kai Yang, Yangkun Chen, Saiyong Yang, Xiangyang Ji

机构 * Department of Automation, Tsinghua University, Beijing, China（自动化系，清华大学，北京，中国） ； LLM Department, Tencent, Beijing, China（大模型部门，腾讯，北京，中国） 纠错

专题命中 效率与部署 ：post-training(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出GPS方法，通过轻量级生成模型进行提示难度的贝叶斯推断，结合中间难度优先和历史锚定多样性，提升大模型强化学习后的训练效率和测试效率。

Graph-Regularized Sparse Autoencoders for LLM Safety Steering

图正则化稀疏自编码器用于LLM安全引导

Jehyeok Yeon, Federico Cinus, Yifan Wu, Luca Luceri

机构 * ELLIS Institute Tübingen（图宾根ELLIS研究所） ； Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所） ； Intesa Sanpaolo（Intesa Sanpaolo公司） ； University of Southern California（南加州大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 本文提出图正则化稀疏自编码器，通过在神经元共激活图上平滑解码器向量并应用方向库，提升安全引导效果，在多个基准测试中显著提高有害请求拒绝率。

BiSpikCLM: A Spiking Language Model integrating Softmax-Free Spiking Attention and Spike-Aware Alignment Distillation

BiSpikCLM: 一种整合无Softmax脉冲注意力和脉冲感知对齐蒸馏的脉冲语言模型

Sihang Guo, Chenlin Zhou, Jiaqi Wang, Kehai Chen, Qingyan Meng, Zhengyu Ma

机构 * School of Electronic and Computer Engineering, Shenzhen Graduate School, Peking University, Shenzhen, China（电子工程学院，深圳研究生院，北京大学，深圳，中国） ； Peng Cheng Laboratory, Shenzhen, China（鹏城实验室，深圳，中国） ； Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学，深圳，中国） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.AI、cs.LG

AI总结 BiSpikCLM是首个完全二进制脉冲MatMul-free因果语言模型，通过无Softmax脉冲注意力和脉冲感知对齐蒸馏实现高效训练，显著降低计算成本。

FOAM: Blocked State Folding for Memory-Efficient LLM Training

FOAM：用于内存高效大语言模型训练的阻塞状态折叠

Ziqing Wen, Jiahuan Wang, Ping Luo, Dongsheng Li, Tao Sun

机构 * National Key Laboratory of Parallel and Distributed Computing（并行与分布式计算国家重点实验室） ； College of Computer Science and Technology（计算机科学与技术学院） ； National University of Defense Technology（国防科技大学） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 FOAM通过计算块级梯度均值压缩优化器状态，并引入残差校正以恢复丢失信息，从而减少内存开销并加速收敛。

Bridging the Missing-Modality Gap: Improving Text-Only Calibration of Vision Language Models

弥合缺失模态的差距：改进纯文本校准的视觉语言模型

Mingyeong Kim, Jungwon Choi, Chaeyun Jang, Juho Lee

机构 * Graduate School of AI, KAIST（人工智能研究生院，韩国科学技术院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Latent Imagination Module，通过预测文本输入的潜在嵌入来提升纯文本环境下视觉语言模型的准确性和校准性能。

Comments 9 pages, 16 figures. Accepted at the ICLR 2026 Workshop on Principled Design for Trustworthy AI: Interpretability, Robustness, and Safety across Modalities

Enabling Performant and Flexible Model-Internal Observability for LLM Inference

使LLM推理具备高效且灵活的模型内部可观察性

Nengneng Yu, Sixian Xiong, Yibo Zhao, Wei Wang, Zaoxing Liu

机构 * Department of Computer Science（计算机科学系） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 本文提出DMI-Lib，通过异步可观察性子系统实现模型内部状态的高效观测，减少推理延迟并优化资源使用。

Selective Neuron Amplification in Transformer Language Models

Transformer语言模型中的选择性神经元放大

Ryyan Akhtar, Payal Pahwa, Monika Arora

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究发现Transformer语言模型在看似理解的任务上表现不佳，可能是内部电路未被激活而非知识缺失。提出选择性神经元放大方法，在推理时增强任务相关神经元的影响，不影响模型参数，主要在模型不确定时有效。

Comments 11 pages, 3 figures. Preprint. Code and experiments conducted independently

TAD: Temporal-Aware Trajectory Self-Distillation for Fast and Accurate Diffusion LLM

TAD: 时空感知轨迹自蒸馏用于快速准确的扩散大语言模型

Haoyang Zhou, Li Kong, Shijie Ren, Xiting Wang, Shuang Liang, Guowei Wang, Zhenxuan Pan

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学北京校区人工智能学院） ； Ant Group（蚂蚁集团） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 TAD通过时空感知轨迹自蒸馏方法，在提升生成速度的同时保持准确性，实验表明在LLaDA上质量模型将平均准确率提升至51.6%，速度模型将AUP提升至257.1。

Semantic Voting: Execution-Grounded Consensus for LLM Code Generation

语义投票：基于执行的共识机制用于大语言模型代码生成

Shan Jiang, Zijian Yi, Chenguang Zhu

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了大语言模型代码生成中基于执行的共识机制，通过比较不同方法发现输入质量对结果影响更大，语义投票在多数配置中表现最佳。

Continuous Latent Diffusion Language Model

连续潜在扩散语言模型

Hongcan Guo, Qinyu Zhao, Yian Zhao, Shen Nie, Rui Zhu, Qiushan Guo, Feng Wang, Tao Yang, Hengshuang Zhao, Guoqiang Wei, Yan Zeng

机构 * The University of Hong Kong（香港大学） ； The Australian National University（澳大利亚国立大学） ； Peking University（北京大学） ； Renmin University of China（中国人民大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Cola DLM，通过层次化信息分解实现文本生成，结合文本到潜在空间的映射、连续潜在空间中的全局语义先验建模及条件解码，提升生成效率和语义建模能力。

Comments 99 pages, 31 figures, 9 tables. Project page: https://hongcanguo.github.io/Cola-DLM/

Is One Layer Enough? Understanding Inference Dynamics in Tabular Foundation Models

一层够吗？理解表格基础模型的推理动态

Amir Rezaei Balef, Mykhailo Koshil, Katharina Eggensperger

机构 * TU Dortmund University（杜伊斯堡-埃森大学） ； Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔人工智能与机器学习研究所） ； University of Tübingen（图宾根大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究分析了表格基础模型的分层动态，揭示了推理过程中的不同阶段和潜在空间动态，设计了参数减少的单层模型以验证发现。

Comments Accepted at the 43rd International Conference on Machine Learning (ICML 2026)

Sampling from Your Language Model One Byte at a Time

逐字采样你的语言模型

Jonathan Hayase, Alisa Liu, Noah A. Smith, Sewoong Oh

机构 * University of Washington（华盛顿大学） ； Allen Institute for AI（人工智能算法研究所） 纠错

专题命中 效率与部署 ：language model(title,abstract)；post-training(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出一种方法，将自回归语言模型转换为字符或字节级模型，解决提示边界问题，统一不同分词器的语言模型词汇。

Comments 28 pages, 9 figures

Accelerating RL Post-Training Rollouts via System-Integrated Speculative Decoding

通过系统集成的推测解码加速RL训练后的 rollout

Hayate Iso, Tiyasa Mitra, Sudipta Mondal, Rasoul Shafipour, Venmugil Elango, Terry Kong, Yuki Huang, Seonjin Na, Izzy Putterman, Benjamin Chislett, Maor Ashkenazi, Joseph Guman, Gerald Shen, Tugrul Konuk, Ashwath Aithal, Ritika Borkar, Ran Zilberstein, Bita Rouhani

机构 * NeMo-RL ； vLLM 纠错

专题命中 效率与部署 ：post-training(title,abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文研究了通过系统集成的推测解码技术提升RL训练后rollout效率的方法，展示了在大规模模型上实现1.8倍的吞吐量提升，并通过模拟预测异步RL可实现2.5倍的训练加速。

RouteNLP: Closed-Loop LLM Routing with Conformal Cascading and Distillation Co-Optimization

RouteNLP: 带有符合性级联和蒸馏协同优化的闭环大语言模型路由

Dongxin Guo, Jikun Wu, Siu Ming Yiu

机构 * The University of Hong Kong（香港大学） ； Stellaris AI Limited（Stellaris AI有限公司） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 RouteNLP通过闭环框架优化大语言模型在多样化NLP任务中的路由，减少成本并满足任务质量约束，通过级联和蒸馏协同优化实现显著成本降低。

Comments Accepted at ACL 2026 Industry Track. 13 pages, 2 figures, 15 tables, 1 algorithm

MoBiE: Efficient Inference of Mixture of Binary Experts under Post-Training Quantization

MoBiE: 一种在后训练量化下高效混合二进制专家的推理方法

Zhixiong Zhao, Zukang Xu, Zhixuan Chen, Dawei Yang

专题命中 效率与部署 ：post-training(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出MoBiE，一种专为基于混合专家（MoE）的大型语言模型（LLMs）设计的二进制化框架，通过减少交叉专家冗余、增强权重重要性估计和缓解路由扭曲，提升效率与性能。

Comments Although previously revised, per strict university regulations regarding incorrect affiliation, I am unauthorized to retain this manuscript. Furthermore, fundamental derivation errors in the NGES section compromise the mathematical framework, alongside misleading overlapping wording. The paper is therefore withdrawn

SelfBudgeter: Adaptive Token Allocation for Efficient LLM Reasoning

SelfBudgeter：面向高效大语言模型推理的自适应令牌分配

Zheng Li, Qingxiu Dong, Jingyuan Ma, Di Zhang, Kai Jia, Zhifang Sui

机构 * State Key Laboratory for Multimedia Information Processing, School of Computer Science, Peking University（多媒体信息处理国家重点实验室，计算机学院，北京大学） ； BandAI, Bytedance（字节跳动BandAI） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；分类 cs.CL、cs.AI

AI总结 本文提出SelfBudgeter策略，通过自适应预算分配提升LLM推理效率，实验显示在数学推理任务中平均响应长度压缩61%并保持准确性。

Fast and Low-Cost Genomic Foundation Models via Outlier Removal

通过异常值去除实现快速且低成本的基因组基础模型

Haozheng Luo, Chenghao Qiu, Maojiang Su, Zhihan Zhou, Zoe Mehta, Guo Ye, Jerry Yao-Chieh Hu, Han Liu

机构 * Northwestern University（西北大学） ； Tianjin University（天津大学） ； Vernon Hills High School（弗农希尔斯高中） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出GERM模型，通过去除异常值提升基因组模型的压缩性能和适应速度，有效提高效率和鲁棒性，并在实验中验证了其在微调和量化方面的优越表现。

Comments International Conference on Machine Learning (ICML) 2025

Journal ref Proceedings of the 42nd International Conference on Machine Learning, PMLR 267:41254-41289, 2025

Efficient Training for Cross-lingual Speech Language Models

多语言语音语言模型的高效训练

Yan Zhou, Qingkai Fang, Yun Hong, Yang Feng

机构 * Key Laboratory of Intelligent Information Processing, Institute of Computing Technology, Chinese Academy of Sciences (ICT/CAS)（中国科学院计算技术研究所智能信息处理重点实验室） ； State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所人工智能安全国家重点实验室） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出CSLM，通过离散语音标记实现多语言语音大模型的高效训练，采用持续预训练策略提升模态对齐质量，减少延迟，展现良好的语言扩展能力。

Comments Accepted to Findings of ACL 2026

Cross-Lingual Transfer and Parameter-Efficient Adaptation in the Turkic Language Family: A Theoretical Framework for Low-Resource Language Models

跨语言迁移与参数高效适应在突厥语系中的研究：突厥语系低资源语言模型的理论框架

O. Ibrahimzade, K. Tabasaransky

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出突厥语系多语言模型跨语言迁移与参数高效适应的理论框架，通过突厥语系语言的共性与差异分析，构建了基于形态相似性、词汇重叠和语法结构的突厥迁移系数模型。

Comments 22 pages, no figures, 1 table

ShadowNPU: System and Algorithm Co-design for NPU-Centric On-Device LLM Inference

ShadowNPU：面向NPU为中心的设备端LLM推理的系统与算法协同设计

Wangsong Yin, Daliang Xu, Mengwei Xu, Gang Huang, Xuanzhe Liu

机构 * Key Lab of High Confidence Software Technologies (Peking University)（高可信软件技术重点实验室（北京大学）） ； State Key Laboratory of Networking and Switching Technology (BUPT)（网络与交换技术国家重点实验室（北京邮电大学）） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出ShadowAttn，一种稀疏注意力模块，通过在NPU上稀疏计算少量token，减少对CPU/GPU的依赖，提升设备端LLM推理的效率和准确性。

Comments To Appear at MobiSys'26

A State-Update Prompting Strategy for Efficient and Robust Multi-turn Dialogue

一种用于高效且鲁棒多轮对话的状态更新提示策略

Ziyi Liu

机构 * School of Artificial Intelligence Beijing University of Posts 纠错

专题命中 效率与部署 ：prompting(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一种无需训练的提示工程方法，通过状态重建和历史提醒机制优化多轮对话，提升信息过滤和问答性能，同时减少推理时间和token消耗。

SuperLocalMemory V3.3: The Living Brain -- Biologically-Inspired Forgetting, Cognitive Quantization, and Multi-Channel Retrieval for Zero-LLM Agent Memory Systems

SuperLocalMemory V3.3：活脑——生物启发的遗忘、认知量化与多通道检索用于零LLM代理记忆系统

Varun Pratap Bhardwaj

机构 * Independent Researcher（独立研究员） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；SLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出SuperLocalMemory V3.3，通过生物启发的遗忘机制、认知量化和多通道检索，实现零LLM代理的记忆系统，提升了多跳和对抗场景下的性能。

Comments 19 pages, 4 figures, 11 tables. Third paper in the SuperLocalMemory trilogy. Code: https://github.com/qualixar/superlocalmemory (v3.3.26). npm: superlocalmemory. PyPI: superlocalmemory

Parallel Universes, Parallel Languages: A Comprehensive Study on LLM-based Multilingual Counterfactual Example Generation

平行宇宙，平行语言：对基于大语言模型的多语言反事实示例生成的全面研究

Qianli Wang, Van Bach Nguyen, Yihong Liu, Fedor Splitt, Nils Feldhus, Christin Seifert, Hinrich Schütze, Sebastian Möller, Vera Schmitt

机构 * Technische Universität Berlin（柏林工业大学） ； German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI）） ； University of Marburg（马尔堡大学） ； LMU Munich（慕尼黑大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML）） ； BIFOLD – Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所（BIFOLD）） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了大语言模型在多语言反事实示例生成中的有效性，发现翻译生成的反事实示例在有效性上优于直接生成，但质量仍不如英文反事实示例，并揭示了多语言反事实数据增强对模型性能的提升效果。

Comments ACL 2026 main conference; camera-ready version