语言大模型 / LLM

Constitutional On-Policy Safe Distillation

宪法性在策略安全蒸馏

Ming Wen, Yuxuan Liu, Kun Yang, Yunhao Feng, Zhuoer Xu, Yuhao Sun, Shiwen Cui, Xiang Zheng, Yi Liu, Xingjun Ma, Yu-Gang Jiang

机构 * Institute of Trustworthy Embodied AI（可信具身人工智能研究院） ； Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； Ant Group（蚂蚁集团） ； Zhejiang University（浙江大学） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 效率与部署 ：SFT(summary_cn,abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 针对在策略自蒸馏在安全对齐中因宪法条件导致教师分布收缩、表达能力下降的问题，提出宪法性在策略安全蒸馏（COPSD），通过交叉SFT冷启动校准教师分布，再进行宪法条件在策略蒸馏，在12个基准上实现了更优的安全-有用性权衡并降低安全税。

Robust and Secure Code Watermarking for Large Language Models via ML/Crypto Codesign

基于ML/密码学协同设计的大语言模型鲁棒安全代码水印

Ruisi Zhang, Neusha Javidnia, Nojan Sheybani, Farinaz Koushanfar

专题命中 效率与部署 ：large language model(title)；language model(title)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 该研究提出首个ML/密码学协同设计的RoSeMary框架，通过端到端训练结合CodeT5实现高质量代码水印，用零知识证明安全验证，兼具高检测准确率、抗攻击能力与高效性。

Comments accept to ACM TAISAP

Quantization Undoes Alignment: Bias Emergence in Compressed LLMs Across Models and Precision Levels

量化消除了对齐：跨模型和精度水平的压缩LLM中的偏见涌现

Plawan Kumar Rath, Rahul Maliakkal

机构 * Meta 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 研究通过压缩LLM的量化过程，发现3位量化导致6-21%的原本无偏项目出现新偏见，且标准质量指标无法检测到公平性关键的退化。

Comments 7 pages, 4 figures, 4 tables. Accepted at IEEE Cloud Summit 2026. This is the author's accepted version; the version of record will appear in IEEE Xplore

SODA: Semi On-Policy Black-Box Distillation for Large Language Models

SODA：大语言模型的半在线盒式知识蒸馏

Xiwen Chen, Jingjing Wang, Wenhui Zhu, Peijie Qiu, Xuanzhao Dong, Yueyue Deng, Hejian Sang, Zhipeng Wang, Alborz Geramifard, Feng Luo

机构 * Clemson University（克莱姆森大学） ； LinkedIn（领英） ； Washington University in St. Louis（圣路易斯华盛顿大学） ； Arizona State University（亚利桑那州立大学） ； Columbia University（哥伦比亚大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出SODA，一种高效的半在线盒式知识蒸馏方法，通过对比教师最优响应与学生静态输出，实现高质量分布对齐，无需动态回放和对抗平衡，提升蒸馏效率和稳定性。

Comments Efficient Reasoning@COLM

The Asymmetric Effects of Knowledge Distillation on Bias in Small Language Models

知识蒸馏对小型语言模型偏见的非对称影响

Plawan Kumar Rath

机构 * Meta 纠错

专题命中 效率与部署 ：language model(title,abstract)；small language model(title)；SFT(abstract_cn)；分类 cs.CL、cs.AI

AI总结 该研究发现知识蒸馏对小型语言模型偏见存在非对称影响，明确任务下提升上下文遵循能力，模糊任务下破坏弃权校准，提出PCCD协议可捕捉聚合指标遗漏的危害。

Comments 18 pages, 5 figures. Preprint

Low-Precision Training of Large Language Models: Methods, Challenges, and Opportunities

大语言模型的低精度训练：方法、挑战与机遇

Zhiwei Hao, Jianyuan Guo, Li Shen, Yong Luo, Han Hu, Guoxia Wang, Dianhai Yu, Yonggang Wen, Dacheng Tao

机构 * School of Information and Electronics, Beijing Institute of Technology（信息与电子学院，北京理工大学） ； Department of Computer Science, City University of Hong Kong（计算机科学系，香港城市大学） ； School of Cyber Science and Technology, Shenzhen Campus of Sun Yat-sen University（网络科学与技术学院，中山大学深圳校区） ； School of Computer Science, Wuhan University（计算机科学学院，武汉大学） ； Baidu Inc.（百度公司） ； College of Computing and Data Science, Nanyang Technological University（计算与数据科学学院，南洋理工大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本综述全面梳理大语言模型低精度训练方法，按数值格式分类并探讨相关挑战、鲁棒性及研究方向，助力统一该领域研究视角。

Hierarchical Grading in Large Language Models

大语言模型中的分层分级

T. Shaska

机构 * Oakland University（奥克兰大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究提出分级大语言模型（GLLMs）框架，通过代数方法为变换器表示空间分级并传播加权标量作用，扩展相关理论到自回归语言模型。证明分层目标下分级与无分级的极小极大分离，最优分级可离线估计，训练后编译成标准变换器，兼具多种优势。

CSV-Decode: Certifiable Sub-Vocabulary Decoding for Efficient Large Language Model Inference

CSV-Decode: 可证的子词汇解码以实现高效的大型语言模型推理

Dong Liu, Shu Wang, Yanxuan Yu, Haisheng Wang, Ben Lengerich

机构 * Department of Computer Science, Yale University（耶鲁大学计算机科学系） ； College of Engineering, Columbia University（哥伦比亚大学工程学院） ； Department of Statistics, University of Wisconsin-Madison（威斯康星大学麦迪逊分校统计学系） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 CSV-Decode通过构建子词汇表实现高效的大语言模型推理，提供精确的top-k认证和ε-认证的softmax近似，显著提升速度并保持分布保证。

NanoZK: Privacy-Preserving Verifiable Inference for Large Language Models via Layerwise Zero-Knowledge Proofs

NANOZK：用于可验证大语言模型推理的分层零知识证明

Zhaohui Wang

机构 * USC Viterbi School of Engineering（USC维特里维学院工程学院） 纠错

专题命中 效率与部署 ：large language model(title)；language model(title)；LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 NANOZK通过分层零知识证明验证大语言模型推理，采用分层证明框架实现常数大小证明，提升可扩展性与并行证明效率，同时保持形式正确性。

Comments Extended version. The first 12 pages correspond to the ICICS 2026 (Springer LNCS) camera-ready paper. This version supersedes the earlier ICLR 2026 VeriFAI Workshop preprint and adds full security proofs, Halo2 circuit details, lookup-table derivations, extended experiments, verifier-cost analysis, GPU scaling, reproducibility instructions, and appendices omitted from the proceedings

Sensitivity-Aware Thresholding and Token Routing for Activation Sparsification in Large Language Models

大语言模型中用于激活稀疏化的灵敏度感知阈值处理和令牌路由

Bishmoy Paul, Youngmin Yi, Hoeseok Yang

机构 * Santa Clara University（圣塔克拉拉大学） ； Sogang University（西江大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 研究大语言模型中如何在保留模型质量时减少计算，提出灵敏度感知阈值处理方法SATS及轻量级令牌路由框架，经实验评估，SATS在匹配稀疏度时优于基线，令牌路由有更好的质量-吞吐量权衡，改进方法可提升大语言模型权衡效果。

Accelerating Large Language Model Inference with Self-Supervised Early Exits

通过自监督早期退出加速大语言模型推理

Florian Valade

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 研究通过在中间层添加自监督早期退出头加速大语言模型推理，评估多种置信度指标，实验表明可降成本保精度，还应用于推测性解码提出DSSD，高令牌接受率且少超参数调整。

Structured Pruning of Large Language Models via Power Transformation and Sign-Preserving Score Aggregation with Adaptive Feature Retention

通过幂变换和符号保留分数聚合与自适应特征保留对大语言模型进行结构化剪枝

Ryota Kobayashi, Tsubasa Hirakawa, Takayoshi Yamashita, Hironobu Fujiyoshi, Yasunori Ishii, Tomoyuki Okuno, Kazuki Kozuka

机构 * Chubu University（楚ubu大学） ； Panasonic Holdings Corporation（松下电器控股公司） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究针对大语言模型结构化剪枝，改进自适应特征保留技术。结合幂变换、符号保留分数聚合及异常值去除方法，解决应用中出现的分布不匹配等问题。实验表明该方法能保持准确率，通过结构化剪枝加速推理。

Future Confidence Distillation in Large Language Models

大语言模型中的未来置信度蒸馏

Sahil Kale

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究大语言模型置信度估计，通过比较解决问题前后的置信度，发现其在回答过程中演变。基于此引入未来置信度蒸馏，用解决问题后的置信度估计训练解决问题前隐藏表征的预测器，实现可靠且低成本的置信度估计。

Comments 16 pages, 5 figures

OmniFocus: Query-Guided Modality-Balanced Token Compression for Omni-Modal Large Language Models

OmniFocus：用于全模态大语言模型的查询引导模态平衡令牌压缩

Shijie Cao, Qingyu Zhang, Boxi Yu, Yuzhong Zhang, Boxi Cao, Yaojie Lu, Hongyu Lin, Xianpei Han, Le Sun

机构 * School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学先进交叉科学学院） ； Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所中文信息处理实验室） ； University of Limerick（利默里克大学） ； CUHK, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究全模态大语言模型推理成本高的问题，提出无训练的查询引导令牌压缩方法OmniFocus，独立评估音视频重要性，实现模态对称压缩，提升性能。

When Less is More: 8-bit Quantization Improves Continual Learning in Large Language Models

少即是多：8位量化改善大型语言模型的持续学习

Michael S. Zhang, Rishi A. Ruia, Arnav Kewalram, Saathvik Dharmapuram, Utkarsh Sharma, Kevin Zhu

机构 * Algoverse 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文系统研究量化精度（FP16、INT8、INT4）与重放缓冲区策略在大型语言模型持续学习中的交互，发现量化模型在后续任务上优于FP16，INT8在学习可塑性与知识保留间取得最佳平衡，量化噪声充当隐式正则化防止过拟合。

AnTenA: Actionable and Explainable Tensor Analysis System with Large Language Models

AnTenA: 基于大语言模型的可操作且可解释的张量分析系统

Dawon Ahn, Auder Der, Evangelos E. Papalexakis

机构 * University of California, Riverside CA 92507, USA（加州大学河滨分校） ； Neuralix AI 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 提出AnTenA系统，利用大语言模型知识解释张量分解提取的共聚类潜在模式，通过前向和反向推理任务评估解释质量。

Enabling Cloud-Level Accuracy in Edge AI through IoT Data Preprocessing

通过物联网数据预处理实现边缘AI的云端级精度

Aygün Varol, Katarzyna Kołodziej, Łukasz Sobczak, Michał Romaszewski, Przemysław Głomb, Naser Hossein Motlagh, Mirka Leino, Johanna Virkki

机构 * Faculty of Information Technology and Communication Sciences, Tampere University（信息科技与通信科学学院，塔尔皮耶大学） ； Institute of Theoretical and Applied Informatics, Polish Academy of Sciences（理论与应用信息学研究所，波兰科学院） ； Department of Computer Science, University of Helsinki（计算机科学系，赫尔辛基大学） ； Satakunta University of Applied Sciences（萨塔昆塔应用科学大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 针对边缘部署的紧凑型LLM在原始传感器读数下数值推理弱的问题，提出结构化提示构建框架，通过逐步丰富文本表示（原始值、阈值描述、环境摘要标志）提升局部模型精度，实验表明该方法可将局部准确率从约50%提升至80%以上，同时保持低延迟。

On the Expressive Power of Weight Quantization in Large Language Models

大语言模型中权重量化的表达能力

Shao-Qun Zhang

机构 * National Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室） ； School of Intelligent Science and Technology（智能科学与技术学院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文通过理论分析，证明1.58比特是权重量化的极限精度，并揭示量化比特数减少会导致表达能力多项式级退化。

MultiCNKG: Integrating Cognitive Neuroscience, Gene, and Disease Knowledge Graphs Using Large Language Models

MultiCNKG: 利用大语言模型整合认知神经科学、基因和疾病知识图谱

Ali Sarabadani, Kheirolah Rahsepar Fard

机构 * Department of Computer Engineering and Information Technology, University of Qom（卡姆大学计算机工程与信息科技系） ； University of Qom（卡姆大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出MultiCNKG框架，整合认知神经科学、基因和疾病知识图谱，利用大语言模型实现实体对齐和图谱增强，提升生物医学领域知识图谱的整合与应用能力。

Journal ref Transactions on Machine Intelligence, 9(1), 1-15 (2026)

PocketLLM: Ultimate Compression of Large Language Models via Meta Networks

PocketLLM: 通过元网络实现大语言模型的终极压缩

Ye Tian, Chengcheng Wang, Jing Han, Yehui Tang, Kai Han

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出PocketLLM，通过元网络在潜在空间压缩大语言模型，利用编码器和解码器实现高效压缩，实验表明在高压缩比下仍保持高精度。

Comments AAAI 2026 camera ready

Journal ref Proceedings of the AAAI Conference on Artificial Intelligence, 40(39), 33250-33258 (2026)

More Bang for the Buck: Improving the Inference of Large Language Models at a Fixed Budget using Reset and Discard (ReD)

更高效利用预算：使用重置与丢弃（ReD）方法在固定预算下提升大型语言模型的推理性能

Sagi Meir, Tommer D. Keidar, Noam Levi, Shlomi Reuveni, Barak Hirshberg

机构 * School of Chemistry, Tel Aviv University（特拉维夫大学化学系） ； The Center for Physics and Chemistry of Living Systems, Tel Aviv University（特拉维夫大学生命系统物理与化学中心） ； School of Physics and Astronomy, Tel Aviv University（特拉维夫大学物理与天文学系） ； The Center for Computational Molecular and Materials Science, Tel Aviv University（特拉维夫大学计算分子与材料科学中心） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 针对固定预算下大型语言模型推理的收益递减问题，提出重置与丢弃（ReD）查询方法，通过优化尝试分配提升覆盖率，并在编码、数学和推理基准上验证了其成本节约效果。

The Shape of Addition: Geometric Structures of Arithmetic in Large Language Models

加法的形状：大型语言模型中算术的几何结构

Liuyuan Wen, Xun Zhu, Lihao Huang, Wenbin Li, Yang Gao

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 通过分析多操作数加法中残差流的几何结构，发现等原始和轨迹（IRST）并建立噪声量化模型，将算术错误解释为由内部神经噪声引起的几何滑移，并利用几何一致性检查方法检测和纠正量化失败。

Comments Accepted by ICML 2026

ToxSearch: Evolving Prompts for Toxicity Search in Large Language Models

ToxSearch: 面向大型语言模型毒性搜索的提示演化

Onkar Shelar, Travis Desell

机构 * Rochester Institute of Technology（罗切斯特技术研究所） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出ToxSearch，一种黑盒演化框架，通过同步稳态循环演化提示来测试大型语言模型的安全性，并分析不同操作符的行为及跨模型迁移性。

Comments 16 pages

Journal ref In: García-Sánchez, P., Díaz Álvarez, J., Murphy, A. (eds) Applications of Evolutionary Computation. EvoApplications 2026. Lecture Notes in Computer Science, vol 16525. Springer, Cham

Efficient Pre-Training of LLMs through Truncated SVD Layers

通过截断SVD层实现LLM的高效预训练

Kaivan Kamali, Kajetan Schweighofer, Hormoz Shahrzad, Olivier Francon, Babak Hodjat, Risto Miikkulainen

机构 * Cognizant AI Lab（认知AI实验室） ； UT Austin（得克萨斯大学奥斯汀分校） 纠错

专题命中 效率与部署 ：LLM(title_cn,abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 提出TSVD框架，利用谱能量启发式自适应秩选择和缓存机制保持低秩与严格正交性，在减少计算开销的同时匹配或超越全参数基线的性能。

CreditDecoding: Accelerating Parallel Decoding in Diffusion Large Language Models with Trace Credit

CreditDecoding: 利用轨迹信用加速扩散大语言模型中的并行解码

Kangyu Wang, Zhiyun Jiang, Haibo Feng, Weijia Zhao, Lin Liu, Jianguo Li, Zhenzhong Lan, Weiyao Lin

机构 * Shanghai Jiao Tong University（上海交通大学） ； Ant Group（蚂蚁集团） ； Westlake University（西湖大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对扩散大语言模型并行解码中正确令牌被反复重掩导致冗余迭代的问题，提出基于轨迹信用的无训练并行解码方法CreditDecoding，融合历史证据与当前logits提升低置信度正确令牌的置信度，实现高达5.48倍加速并提升准确性。

Comments 19 pages, 13 figures, 9 tables, Accepted to ACL 2026 main conference

BarrierSteer: LLM Safety via Learning Barrier Steering

BarrierSteer: 通过学习障碍引导实现大语言模型安全

Thanh Q. Tran, Arun Verma, Kiwan Wong, Bryan Kian Hsiang Low, Daniela Rus, Wei Xiao

机构 * Department of Computer Science, National University of Singapore（新加坡国立大学计算机科学系） ； Singapore-MIT Alliance for Research and Technology Centre（新加坡-麻省理工联合研究中心） ； CSAIL, Massachusetts Institute of Technology（麻省理工学院计算机科学与人工智能实验室） ； Worcester Polytechnic Institute（沃斯堡理工学院） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract,comments)；language model(abstract,comments)；分类 cs.AI、cs.LG

AI总结 提出 BarrierSteer 框架，通过将学习到的非线性安全约束作为控制障碍函数嵌入潜在表示空间，在推理时引导模型生成安全内容，理论保证且不修改模型参数。

Comments This paper introduces SafeBarrier, a framework that enforces safety in large language models by steering their latent representations with control barrier functions during inference, reducing adversarial and unsafe outputs

Beyond Inference-Time Search: Reinforcement Learning Synthesizes Reusable Solvers

超越推理时间搜索：强化学习合成可重用求解器

Soheyl Massoudi, Gabriel Apaza, Milad Habibi, Mark Fuge

机构 * ETH Zürich（苏黎世联邦理工学院） ； University of Maryland（马里兰大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文探讨了强化学习能否将组合优化的推理成本转移到代码LLM的权重中，从而合成可重用的求解器。通过Synergistic Dependency Selection问题，研究发现强化学习能有效生成约束感知的模拟退火模板，并在多个领域展示出更高的效率和鲁棒性。

Training-Free Cultural Alignment of Large Language Models via Persona Disagreement

通过人格分歧实现无训练的文化对齐大语言模型

Huynh Trung Kiet, Dao Sy Duy Minh, Tuan Nguyen, Chi-Nguyen Tran, Phu-Hoa Pham, Nguyen Lam Phu Quy, The Anh Han, Long Tran-Thanh

机构 * Faculty of Information and Technology, University of Science, Vietnam National University（信息与技术学院，科学大学，越南国家大学） ； Department of Computer Science, University of Warwick（计算机科学系，沃里克大学） ； School of Computing, Engineering and Digital Technologies, Teesside University（计算、工程和数字技术学院，泰赛德大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出DISCA方法，在不改变模型权重的情况下，通过人格分歧校准减少大语言模型在多任务测试中的文化偏差，为服务全球道德偏好提供了可扩展的替代方案。

Comments 57 pages, 1 figure, 6 MultiTP moral dimensions

Distinguishable Deletion: Unifying Knowledge Erasure and Refusal for Large Language Model Unlearning

可区分删除：统一知识擦除与拒绝用于大语言模型去学习

Puning Yang, Junchi Yu, Qizhou Wang, Philip Torr, Bo Han, Xiuying Chen

机构 * Department of Natural Language Processing, MBZUAI. ； University of Oxford. ； RIKEN Center for Advanced Intelligence Project. ； TMLR Group, Department of Computer Science, Hong Kong Baptist University 纠错

专题命中 效率与部署 ：large language model(title)；language model(title)；LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文提出D^2方法，通过限制潜在表示中的响应分布来擦除不受欢迎的知识，同时区分保留知识，从而实现安全且一致的拒绝机制，以提高大语言模型去学习的效果。

Comments ICML2026 Accepted

Measuring and Mitigating Toxicity in Large Language Models: A Comprehensive Replication Study

对大语言模型毒性进行测量与缓解：一项全面的复制研究

Mokshit Surana, Archit Rathod, Akshaj Satishkumar

机构 * University of Illinois Chicago（伊利诺伊大学芝加哥分校） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文通过复制研究评估DExperts在缓解显性毒性中的有效性，发现其在显性毒性基准上安全性接近完美，但对隐性仇恨言论存在脆性，并引入了10倍的延迟惩罚。