语言大模型 / LLM

Optimizing Large Language Model Training Using FP4 Quantization

使用FP4量化优化大型语言模型训练

Ruizhe Wang, Yeyun Gong, Xiao Liu, Guoshuai Zhao, Ziyue Yang, Baining Guo, Zhengjun Zha, Peng Cheng

机构 * University of Science and Technology of China（科学技术大学） ； Microsoft Research Asia（微软亚洲研究院） ； Microsoft SIGMA Team（微软SIGMA团队） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出首个FP4训练框架，通过可微量化估计器和异常值钳制补偿策略，解决量化误差和表示能力限制问题，实现与BF16和FP8相近的精度，适用于大规模语言模型训练。

Journal ref Proceedings of the 42nd International Conference on Machine Learning, PMLR 267:62937-62957, 2025

The Expressivity Boundary of Probabilistic Circuits: A Comparison with Large Language Models

概率电路的表达性边界：与大语言模型的比较

Zhiyu Zhao, Xuejie Liu, Muhan Zhang, Anji Liu

机构 * School of Computing, National University of Singapore（新加坡国立大学计算机学院） ； Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院） ； School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文比较概率电路与大语言模型在自回归框架下的表现，发现概率电路通过logit空间参数化和结构分解可缩小表达性差距，但其在异质依赖拓扑下仍存在表达限制。

Deterministic Differentiable Structured Pruning for Large Language Models

确定性可微结构剪枝用于大语言模型

Weiyu Huang, Pengle Zhang, Xiaolu Zhang, Jun Zhou, Jun Zhu, Jianfei Chen

机构 * Department of Computer Science and Technology, Tsinghua University, Beijing, China（清华大学计算机科学与技术系） 纠错

专题命中 效率与部署 ：large language model(title)；language model(title)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 本文提出确定性可微剪枝方法，通过优化离散l0目标的确定性软替代，减少训练-测试不匹配并提升收敛速度，实验证明在大语言模型中实现高效剪枝。

Comments Published at ICML26;

CoreQ: Learning-Free Mismatch Correction and Successive Rounding for Quantization

CoreQ: 无学习的不匹配校正与连续舍入用于量化

Seohyeon Cha, Huancheng Chen, Dongjun Kim, Haoran Zhang, Kevin Chan, Gustavo de Veciana, Haris Vikalo

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； DEVCOM Army Research Laboratory（陆军研究实验室） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 CoreQ提出一种无学习的PTQ框架，通过几何分解得到闭式系数校正不匹配，减少过拟合并提升性能，适用于多种LLM场景。

Focus on the Core: Empowering Diffusion Large Language Models by Self-Contrast

聚焦核心：通过自对比增强扩散大语言模型

Jinyuan Feng, Xin Yu, Yiqun Chen, Xiaochi Wei, Yan Gao, Yi Wu, Yao Hu, Zhiqiang Pu

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Renmin University of China（中国人民大学） ； Xiaohongshu Inc.（小红书公司） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文通过研究高信息密度token，提出FoCore解码策略，利用自对比提升生成质量与效率，实验表明在数学、代码和逻辑推理任务中效果显著。

ADE: Adaptive Dictionary Embeddings -- Scaling Multi-Anchor Representations to Large Language Models

ADE：自适应词典嵌入——将多锚表示扩展到大语言模型

Orhan Demirci, Sezer Aptourachman, Aydın Kaya

机构 * Department of Computer Engineering（计算机工程系） ； Hacettepe University（哈切塔佩大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 ADE通过引入词汇投影、分组位置编码和上下文感知锚重加权，有效扩展多锚表示到大语言模型，减少参数并提升性能。

Comments 13 pages (9 pages main text + 4 pages appendix), 6 tables, 1 algorithm

GWT: Scalable Optimizer State Compression for Large Language Model Training

GWT: 大规模语言模型训练中的可扩展优化器状态压缩

Ziqing Wen, Ping Luo, Jiahuan Wang, Kun Yuan, Dongsheng Li, Tao Sun

机构 * National Key Laboratory of Parallel and Distributed Computing（并行与分布式计算国家重点实验室） ； National University of Defense Technology（国防科技大学） ； Center for Machine Learning Research（机器学习研究中心） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出GWT，一种基于小波变换的优化器状态压缩方法，有效减少内存开销，同时保持模型精度，适用于大规模预训练和任务微调。

In-Sync: Adaptation of Speech Aware Large Language Models for ASR with Word Level Timestamp Predictions

In-Sync: 语音感知大语言模型在ASR中的适应性改进：基于词级时间戳预测

Xulin Fan, Vishal Sunder, Samuel Thomas, Mark Hasegawa-Johnson, Brian Kingsbury, George Saon

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； IBM Research（IBM研究院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出通过词级时间戳预测提升ASR性能，采用轻量训练策略增强对齐鲁棒性，实验证明在多个数据集上提升了时间戳准确性和整体ASR表现。

Comments Accepted to ICASSP 2026

LATMiX: Learnable Affine Transformations for Microscaling Quantization of LLMs

LATMiX：用于LLM微缩量化的学习可逆变换

Ofir Gordon, Lior Dikstein, Arnon Netzer, Idan Achituve, Hai Victor Habi

机构 * Department of XXX, University of YYY, Location, Country（XXX系，YYY大学，地点，国家） ； School of ZZZ, Institute of WWW, Location, Country（ZZZ学院，WWW研究所，地点，国家） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文提出LATMiX方法，通过学习可逆仿射变换提升LLM微缩量化精度，实验显示在多种零样本基准上优于现有方法。

Comments 32 pages, 6 figures

MATA: Multi-Agent Framework for Reliable and Flexible Table Question Answering

MATA：用于可靠和灵活的表格问答的多智能体框架

Sieun Hyeon, Jusang Oh, Sunghwan Steve Cho, Jaeyoung Do

机构 * Department of Electrical and Computer Engineering, Seoul National University（首尔国立大学电气与计算机工程系） ； Interdisciplinary Program in Artificial Intelligence, Seoul National University（首尔国立大学人工智能跨学科项目） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；small language model(abstract)

AI总结 MATA通过多智能体框架和小语言模型工具，提升表格问答的可靠性与灵活性，实验显示其在不同LLM上均取得最佳准确率和高效推理。

Comments Accepted to ACL 2026 (findings)

TROJail: Trajectory-Level Optimization for Multi-Turn Large Language Model Jailbreaks with Process Rewards

TROJail: 多轮对话中针对大语言模型的多轮攻击优化

Xiqiao Xiong, Ouxiang Li, Zhuo Liu, Moxin Li, Wentao Shi, Fengbin Zhu, Qifan Wang, Fuli Feng

机构 * University of Science and Technology of China（中国科学技术大学） ； National University of Singapore（新加坡国立大学） ； Meta AI 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出TROJail，通过多轮强化学习优化攻击策略，引入过程奖励提升攻击成功率，实验显示在多个模型和基准上效果显著。

Comments Accepted to ACL 2026 Main Conference

ReflexiCoder: Teaching Large Language Models to Self-Reflect on Generated Code and Self-Correct It via Reinforcement Learning

ReflexiCoder：通过强化学习教大语言模型自我反思和自我纠正生成的代码

Juyong Jiang, Jiasi Shen, Sunghun Kim, Kang Min Yoo, Jeonghoon Kim, Sungju Kim

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； The Hong Kong University of Science and Technology（香港科技大学） ； Amazon AGI（亚马逊人工智慧实验室） ； NAVER Cloud（NAVER云） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出ReflexiCoder，一种基于强化学习的框架，使大语言模型在推理过程中自我反思和纠正代码，通过细粒度奖励函数优化整个反思-纠正过程，实现无需外部反馈的自我调试能力，实验表明其在多个基准测试中表现优异，且在推理效率上更高效。

Emergent Structured Representations Support Flexible In-Context Inference in Large Language Models

涌现的结构化表示支持大型语言模型中的灵活上下文推理

Ningyu Xu, Qi Zhang, Xipeng Qiu, Xuanjing Huang

机构 * College of Computer Science and Artificial Intelligence（计算机科学与人工智能学院） ； Fudan University（复旦大学） ； Shanghai, China（中国上海） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究揭示大型语言模型在上下文推理中通过结构化表示动态构建和利用潜在表示，为灵活适应的计算过程提供新见解。

Comments 36 pages, 23 figures

The Cognitive Penalty: Ablating System 1 and System 2 Reasoning in Edge-Native SLMs for Decentralized Consensus

认知惩罚：在边缘原生SLM中消融系统1和系统2推理以实现去中心化共识

Syed Muhammad Aqdas Rizvi

机构 * Independent Researcher（独立研究者） ； Lahore University of Management Sciences（拉合尔管理科学大学） 纠错

专题命中 效率与部署 ：SLM(title_cn,summary_cn)；language model(abstract)；small language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了边缘原生SLM中系统1和系统2推理对去中心化共识的影响，发现系统1在对抗性环境中表现更优，而系统2导致计算准确率倒置和稳定性下降。

Comments Working paper. 14 pages, 3 figures, 6 tables. Code and dataset: https://github.com/smarizvi110/sentinel-bench

Lizard: An Efficient Linearization Framework for Large Language Models

Lizard：一种高效的大型语言模型线性化框架

Chien Van Nguyen, Huy Nguyen, Ruiyi Zhang, Hanieh Deilamsalehy, Puneet Mathur, Viet Dac Lai, Haoliang Wang, Jayakumar Subramanian, Ryan A. Rossi, Trung Bui, Nikos Vlassis, Franck Dernoncourt, Thien Huu Nguyen

机构 * University of Oregon（俄勒冈大学） ； Adobe Research（Adobe研究院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 Lizard提出一种高效线性化框架，将预训练的Transformer大型语言模型转换为亚二次架构，通过亚二次注意力机制提升计算效率，实现模型质量与内存控制的平衡。

Comments ACL 2026 (Main)

From 2:4 to 8:16 sparsity patterns in LLMs for Outliers and Weights with Variance Correction

从2:4到8:16稀疏模式在LLM中的应用：用于异常值和方差校正的权重

Egor Maximov, Yulia Kuzkina, Azamat Kanametov, Alexander Prutko, Aleksei Goncharov, Maxim Zhelnin, Egor Shvetsov

机构 * Moscow Independent Research Institute of Artificial Intelligence（莫斯科独立人工智能研究 institute） ； MIL Team（MIL 团队） ； MWS AI（MWS 人工智能） ； Applied AI（应用人工智能） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了8:16半结构化稀疏模式在LLM中的应用，通过方差校正和权重平等化技术提升稀疏模型性能，展示其在压缩与精度间的平衡优势。

SPaCe: Unlocking Sample-Efficient Large Language Models Training With Self-Pace Curriculum Learning

SPaCe：通过自适应课程学习解锁高效大语言模型训练

Dai Do, Manh Nguyen, Svetha Venkatesh, Hung Le

机构 * Deakin Applied AI Initiative, Deakin University, Australia（德金应用人工智能倡议，德金大学，澳大利亚） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 SPaCe通过自适应课程学习框架，优化数据选择与训练时机，提升大语言模型的训练效率，实验表明其在多个推理基准上性能优于现有方法，样本使用减少达100倍。

Resource Consumption Threats in Large Language Models

大语言模型中的资源消耗威胁

Yuanhe Zhang, Xinyue Wang, Zhican Chen, Weiliu Wang, Zilu Zhang, Zhengshuo Gong, Zhenhong Zhou, Kun Wang, Li Sun, Yang Liu, Sen Su

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Hangzhou Dianzi University（杭州电子科技大学） ； Nanyang Technological University（南洋理工大学） ； Chongqing University of Posts and Telecommunications（重庆邮电大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文系统回顾了大语言模型中资源消耗威胁，分析其影响并提出统一视角，旨在明确问题领域以支持后续建模和缓解措施。

Optimizing Large Language Models: Metrics, Energy Efficiency, and Case Study Insights

优化大语言模型：指标、能效与案例研究洞察

Tahniat Khan, Soroor Motie, Sedef Akinli Kocak, Shaina Raza

机构 * Vector Institute（向量研究所） ； University of Ottawa（渥太华大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文探讨了在大语言模型部署中整合能效优化技术，通过量化和本地推断技术降低碳足迹，实验表明可减少45%的能耗和碳排放，适用于资源受限环境。

Leave My Images Alone: Preventing Multi-Modal Large Language Models from Analyzing Images via Visual Prompt Injection

别让我看图片：通过视觉提示注入防止多模态大语言模型分析图片

Zedian Shao, Hongbin Liu, Yuepeng Hu, Neil Zhenqiang Gong

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Duke University（杜克大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出ImageProtector，通过在图像中嵌入精心设计的微小扰动，使多模态大语言模型在分析时产生拒绝响应，同时评估了三种潜在的防御措施，发现它们在降低ImageProtector效果的同时影响模型性能。

Comments Appeared in ACL 2026 main conference

Journal ref The 64th Annual Meeting of the Association for Computational Linguistics (ACL 2026)

GRASS: Gradient-based Adaptive Layer-wise Importance Sampling for Memory-efficient Large Language Model Fine-tuning

GRASS：基于梯度的自适应层级重要性采样用于内存高效的大型语言模型微调

Kaiyuan Tian, Yu Tang, Gongqingjian Jiang, Baihui Liu, Yifu Gao, Xialin Su, Linbo Qiao, Dongsheng Li

机构 * National University of Defense Technology（国防科技大学） ； Information Support Force Engineering University（信息支援部队工程大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 GRASS提出一种基于梯度的自适应层级重要性采样方法，通过动态调整层采样概率和优化器状态卸载机制，在降低内存使用的同时提升微调性能，实验显示其在多个模型和基准测试中均优于现有方法。

Comments Accepted by ACL 2026 Findings

Playing DOOM with 1.3M Parameters: Specialized Small Models vs Large Language Models for Real-Time Game Control

用130万参数进行DOOM游戏：专用小型模型与大型语言模型在实时游戏控制中的对比

David Golchinfar, Daryoush Vaziri, Alexander Marquardt

机构 * VAGO Solutions ； University of Applied Sciences Bonn-Rhein-Sieg（波恩-莱茵-锡格应用技术大学） ； Cybernetics and Reality Engineering (CARE) Laboratory, Nara Institute of Science and Technology（奈良先端科学技术大学院大学控制论与真实工程实验室） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出SauerkrautLM-Doom-MultiVec模型，通过31ms/决策的ASCII帧表示选择游戏动作，在实时DOOM游戏中超越了包括Nemotron-120B在内的大型语言模型，展示了专用小型模型在实时控制任务中的优势。

Comments 17 pages, 3 figures, 3 tables. Code and model weights available at https://github.com/VAGOsolutions/SauerkrautLM-Doom-MultiVec

SLaB: Sparse-Lowrank-Binary Decomposition for Efficient Large Language Models

SLaB：用于高效大语言模型的稀疏低秩二进制分解

Ziwei Li, Yuang Ma, Yi Kang

机构 * School of Microelectronics, University of Science and Technology of China（中国科学技术大学微电子学院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 SLaB通过将线性层权重分解为稀疏矩阵、低秩矩阵和二进制矩阵，实现大语言模型的高效压缩，在50%压缩下使困惑度降低36%，在零样本任务中提升准确率8.98%。

Spectral Compact Training: Pre-Training Large Language Models via Permanent Truncated SVD and Stiefel QR Retraction

谱紧凑训练：通过永久截断SVD和Stiefel QR回退预训练大语言模型

Björn Roman Kohlberger

机构 * EctoSpace 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出SCT方法，通过永久截断SVD和Stiefel QR回退减少内存占用，实现大语言模型的高效预训练，实验显示内存占用降低达199倍，提升训练效率。

Comments 8 pages, 3 figures, 4 tables. Patent pending: Irish Application PTIE20260000000219. Code at https://github.com/EctoSpace/SCT

MicroMix: Efficient Mixed-Precision Quantization with Microscaling Formats for Large Language Models

MicroMix：基于微缩格式的高效混合精度量化用于大语言模型

Wenyuan Liu, Haoqian Meng, Yilun Luo, Yafei Zhao, Peng Zhang, Xindian Ma

机构 * College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 MicroMix通过引入微缩格式实现大语言模型的高效混合精度量化，平衡精度与效率，实现接近FP16的性能，且在多个任务中保持无损准确性。

Journal ref ICLR 2026

Sovereign Context Protocol: An Open Attribution Layer for Human-Generated Content in the Age of Large Language Models

主权上下文协议：大型语言模型时代的人类生成内容开放归属层

Praneel Panchigar, Torlach Rush, Matthew Canabarro

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Sovereign Context Protocol，旨在为大型语言模型提供开放的归属层，解决人类生成内容在价值链中的可见性问题，通过标准化LLM与创作者数据的连接方式，实现访问事件的记录、许可和归属。

Comments 7 pages

DiffuGuard: How Intrinsic Safety is Lost and Found in Diffusion Large Language Models

DiffuGuard: 差分扩散语言模型中内在安全的丧失与恢复

Zherui Li, Zheng Nie, Zhenhong Zhou, Yue Liu, Yitong Zhang, Yu Cheng, Qingsong Wen, Kun Wang, Yufei Guo, Jiaheng Zhang

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； National University of Singapore（新加坡国立大学） ； Nanyang Technological University（南洋理工大学） ； Tsinghua University（清华大学） ； The Chinese University of Hong Kong（香港中文大学） ； Squirrel Ai Learning（松鼠AI） ； Peking University（北京大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文分析了差分扩散语言模型在对抗攻击中的脆弱性，提出DiffuGuard框架通过随机退火重标记和块级审计修复提升模型安全性，有效降低攻击成功率。

Comments Accepted by ICLR2026

Demystifying Low-Rank Knowledge Distillation in Large Language Models: Convergence, Generalization, and Information-Theoretic Guarantees

解析大型语言模型中低秩知识蒸馏：收敛性、泛化能力和信息论保证

Alberlucia Rafael Soarez, Daniel Kim, Mariana Costa, Alejandro Torre

机构 * Department of Computer Science, University of Brasilia（巴西布拉兹利亚大学计算机科学系） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文研究了大型语言模型中低秩知识蒸馏的理论基础，推导了收敛率、泛化界限及信息论分析，提出最优秩选择原则，并通过实验验证理论结果。

Capability-Guided Compression: Toward Interpretability-Aware Budget Allocation for Large Language Models

基于能力的压缩：迈向大语言模型中可解释性感知的预算分配

Rishaank Gupta

机构 * Independent Researcher（独立研究者） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出基于能力的压缩方法，通过能力密度图分配不同压缩预算，解决传统压缩方法中缺乏对模型组件功能编码表示的问题，证明高能力密度组件具有更低的结构冗余和更早达到相变点。

ES-dLLM: Efficient Inference for Diffusion Large Language Models by Early-Skipping

ES-dLLM：通过早期跳过实现扩散大语言模型的高效推理

Zijian Zhu, Fei Ren, Zhanhong Tan, Kaisheng Ma

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 ES-dLLM通过早期跳过技术提升扩散大语言模型的推理效率，实现高达16.8倍的加速效果。

Comments Accepted at ICLR 2026