语言大模型 / LLM

Modelling Language using Large Language Models

利用大语言模型建模语言

Jumbly Grindrod

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文探讨了大型语言模型作为公共语言科学模型的潜力，提出通过计算语言学研究开发模型诠释以理解语言结构。

Comments Philosophical Studies (2026)

Window-based Membership Inference Attacks Against Fine-tuned Large Language Models

基于窗口的细调大语言模型成员推断攻击

Yuetian Chen, Yuntao Du, Kaiyuan Zhang, Ashish Kundu, Charles Fleming, Bruno Ribeiro, Ninghui Li

机构 * Purdue University（普渡大学） ； Cisco Research（思科研究） ； Cisco Systems（思科系统） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出WBC方法，通过滑动窗口和符号聚合技术，有效识别细调大语言模型中的训练数据，显著提升检测性能。

Comments Accepted to USENIX Security 2026. This extended arXiv version includes complete experimental results. The source code is publicly available at: https://github.com/Stry233/WBC/

Inference-Cost-Aware Dynamic Tree Construction for Efficient Inference in Large Language Models

面向推理成本的动态树结构构建用于大型语言模型高效推理

Yinrong Hong, Zhiquan Tan, Kai Hu

机构 * Beihang University（北航大学） ； E Fund Management Co., Ltd.（E基金管理有限公司） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出CAST方法，通过考虑推理成本优化动态树结构，显著提升大型语言模型的推理效率。

Structure and Redundancy in Large Language Models: A Spectral Study via Random Matrix Theory

大语言模型的结构与冗余：通过随机矩阵理论的谱研究

Davide Ettori

机构 * Laurea Magistrale in Computer Science Engineering - Ingegneria Informatica（计算机科学工程硕士课程 - 信息工程） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本研究通过谱几何和随机矩阵理论，提出EigenTrack用于检测大语言模型幻觉和分布外行为，以及RMT-KD用于压缩深度网络，提升模型可靠性与效率。

Comments Executive Summary of Master Thesis in Computer Science Engineering, Politecnico di Milano

KBVQ-MoE: KLT-guided SVD with Bias-Corrected Vector Quantization for MoE Large Language Models

KBVQ-MoE：基于KLT引导SVD与偏置校正向量量化的大语言模型MoE

Zukang Xu, Zhixiong Zhao, Xing Hu, Zhixuan Chen, Dawei Yang

机构 * Houmo AI ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 KBVQ-MoE通过KLT引导SVD和偏置校正输出稳定化，提升MoE大语言模型的极低比特量化精度与部署效率。

Comments Accepted by ICLR 2026

On Predictability of Reinforcement Learning Dynamics for Large Language Models

关于大型语言模型强化学习动态的可预测性

Yuchen Cai, Ding Cao, Xin Xu, Zijun Yao, Yuqing Huang, Zhenyu Tan, Benyi Zhang, Guangzhong Sun, Guiquan Liu, Junfeng Fang

机构 * USTC（中国科学技术大学） ； NUS（新加坡国立大学） ； HKUST（香港科技大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本研究发现大型语言模型强化学习动态的两个基本特性，并提出AlphaRL框架实现加速训练，保留高推理性能。

Comments 48 pages, 28 figures;

Efficient Reinforcement Learning for Large Language Models with Intrinsic Exploration

为大语言模型高效强化学习引入内在探索

Yan Sun, Jia Guo, Stanley Kok, Zihao Wang, Zujie Wen, Zhiqiang Zhang

机构 * National University of Singapore（新加坡国立大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 PREPO通过利用内在数据属性提升大语言模型强化学习的数据效率，减少回放需求同时保持性能。

Robust Multi-Objective Controlled Decoding of Large Language Models

鲁棒多目标控制解码大型语言模型

Seongho Son, William Bankes, Sangwoong Yoon, Shyam Sundhar Ramesh, Xiaohang Tang, Ilija Bogunovic

机构 * University College London（伦敦大学学院） ； Ulsan National Institute of Science and Technology（釜山国立科学技术研究所） ； University of Basel（巴塞尔大学） ； University College London AI Centre（伦敦大学学院人工智能中心） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出RMOD算法，通过最大化最坏情况奖励实现鲁棒多目标解码，有效提升大型语言模型在多个人类目标上的对齐性能。

Comments Accepted to ICLR 2026

Inference-Aware Prompt Optimization for Aligning Black-Box Large Language Models

面向推理的提示优化以对齐黑盒大语言模型

Saaduddin Mahmud, Mason Nakamura, Kyle Hollins Wray, Shlomo Zilberstein

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出IAPO框架，通过联合优化提示和推理规模，提升黑盒大语言模型对齐效果。

Comments Accepted to AAAI 2026. Extended 17-page version

Investigating Data Pruning for Pretraining Biological Foundation Models at Scale

大规模预训练生物基础模型的数据剪枝研究

Yifan Wu, Jiyue Jiang, Xichen Ye, Yiqi Wang, Chang Zhou, Yitao Xu, Jiayang Chen, He Hu, Weizhong Zhang, Cheng Jin, Jiao Yuan, Yu Li

专题命中 效率与部署 ：foundation model(title,abstract)；pretraining(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种影响引导的数据剪枝方法，用于大规模预训练生物基础模型，通过有效减少计算成本和数据冗余，提升生物信息学任务的可重复性和可访问性。

Comments Accepted by AAAI 2026

SparseEval: Efficient Evaluation of Large Language Models by Sparse Optimization

SparseEval: 通过稀疏优化高效评估大语言模型

Taolin Zhang, Hang Guo, Wang Lu, Tao Dai, Shu-Tao Xia, Jindong Wang

机构 * College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机科学与软件工程学院） ； Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 SparseEval通过稀疏优化方法高效评估大语言模型，利用梯度下降和迭代细化策略提升基准测试效率，展现高鲁棒性和实用性。

Comments ICLR2026

Understanding and Guiding Layer Placement in Parameter-Efficient Fine-Tuning of Large Language Models

理解并指导大语言模型参数高效微调中的层放置

Yichen Xu, Yuyang Liang, Shan Dai, Tianyang Hu, Tsz Nam Chan, Chenhao Ma

机构 * University of California, Berkeley（加州大学伯克利分校） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Shenzhen University（深圳大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Layer Card工具，通过分析层的残差信号强度、计算成本和性能，指导大语言模型参数高效微调中的层选择，以实现性能与成本的平衡。

Efficient Attention Mechanisms for Large Language Models: A Survey

大型语言模型中的高效注意力机制：综述

Yutao Sun, Zhenyu Li, Yike Zhang, Tengyu Pan, Bowen Dong, Yuyi Guo, Jianyong Wang

机构 * Tsinghua University（清华大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文综述了大型语言模型中高效注意力机制的发展，包括线性注意力和稀疏注意力方法，并分析了其在大规模预训练模型中的应用与设计。

Comments work in progress

Bootstrapping Cognitive Agents with a Large Language Model

通过大语言模型提升认知代理

Feiyu Zhu, Reid Simmons

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 通过大语言模型提升认知代理，结合两者优势以提高效率和领域适应性。

Journal ref Proceedings of the AAAI Conference on Artificial Intelligence, 38(1), 655-663 (2024)

A Practical Tensor-Network Compression Pipeline for Production-Scale Large Language Models

一种用于生产级大语言模型的实用张量网络压缩管道

Sergii Kozyrev, Davyd Maiboroda

机构 * Minima AI, Inc.（Minima AI 公司） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 Minima是一种用于大语言模型的实用张量网络压缩管道，通过结构压缩和自定义内核提升推理效率和吞吐量。

Comments 13 pages, 5 figures

MiniLLM: On-Policy Distillation of Large Language Models

MiniLLM: 大语言模型的在线策略蒸馏

Yuxian Gu, Li Dong, Furu Wei, Minlie Huang

机构 * The CoAI Group, Tsinghua University（清华大学CoAI小组） ； Microsoft Research（微软研究院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 MiniLLM通过反向KLD和在线策略优化，实现了对大语言模型的有效蒸馏，提升小型模型的生成质量和校准性能。

Comments Published as a conference paper in ICLR 2024

Language Lives in Sparse Dimensions: Toward Interpretable and Efficient Multilingual Control for Large Language Models

语言存在于稀疏维度：迈向可解释且高效的多语言控制大型语言模型

Chengzhi Zhong, Fei Cheng, Qianying Liu, Yugo Murawaki, Chenhui Chu, Sadao Kurohashi

机构 * Kyoto University（京都大学） ； NII（日本信息机构） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种无需训练的方法，通过稀疏维度实现多语言控制，提升大型语言模型的可解释性和效率。

Comments Accepted at EACL 2026 (Main). Our code will be available at: https://github.com/ku-nlp/language-specific-dimensions

NoWag: A Unified Framework for Shape Preserving Compression of Large Language Models

NoWag：一种用于大型语言模型形状保持压缩的统一框架

Lawrence Liu, Inesh Chakrabarti, Yixiao Li, Mengdi Wang, Tuo Zhao, Lin F. Yang

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； Georgia Institute of Technology（佐治亚理工学院） ； Princeton University（普林斯顿大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 NoWag提出了一种统一的单次形状保持压缩框架，通过向量量化和剪枝技术有效压缩大型语言模型，展示了其在性能上的优势。

Is Finer Better? The Limits of Microscaling Formats in Large Language Models

更细更好吗？微缩格式在大语言模型中的局限性

Andrea Fasoli, Monodeep Kar, Chi-Chun Liu, Swagath Venkataramani, Viji Srinivasan, Leland Chang, Naigang Wang

机构 * IBM Research, USA（IBM研究院，美国） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 研究发现微缩格式中块大小过小会导致模型输出退化，提出 FP8 无符号 E5M3 作为更高效的硬件友好格式，提升大语言模型的压缩性能。

Comments 31 pages, 17 figures, 3 tables; accepted to ICLR 2026

Domain Specific Specialization in Low-Resource Settings: The Efficacy of Offline Response-Based Knowledge Distillation in Large Language Models

低资源环境下领域特定专业化：基于离线响应的知识蒸馏在大语言模型中的有效性

Erdem Aslan, Pakize Erdoğmuş

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种基于离线响应的知识蒸馏方法，通过优化硬件资源，在低资源环境下实现高精度领域专用助手，验证了数据质量和结构对齐比数量更重要。

Comments 10 pages, 10 tables

EfficientXpert: Efficient Domain Adaptation for Large Language Models via Propagation-Aware Pruning

EfficientXpert: 通过传播感知剪枝实现大语言模型的高效领域适应

Songlin Zhao, Michael Pitts, Zhuwei Qin

机构 * Univeristy of California, Berkeley（加州大学伯克利分校） ； San Francisco State University（旧金山州立大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 EfficientXpert通过传播感知剪枝方法，实现大语言模型在领域适应中的高效压缩，达到接近密集性能的稀疏效果，同时保持训练时间和内存效率。

PrivTune: Efficient and Privacy-Preserving Fine-Tuning of Large Language Models via Device-Cloud Collaboration

PrivTune: 通过设备-云协作实现高效且隐私保护的大型语言模型微调

Yi Liu, Weixiang Han, Chengjun Cai, Xingliang Yuan, Cong Wang

机构 * City University of Hong Kong（香港城市大学） ； City University of Hong Kong (Dongguan)（香港城市大学（东莞）） ； University of Melbourne（墨尔本大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 PrivTune通过分割学习框架，在设备-云协作中实现高效且隐私保护的大型语言模型微调，有效降低攻击成功率并保持性能。

Comments Accepted at IEEE INFOCOM 2026 (full version). Update the cited references

From Symbolic to Natural-Language Relations: Rethinking Knowledge Graph Construction in the Era of Large Language Models

从符号关系到自然语言关系：在大语言模型时代重新思考知识图谱构建

Kanyao Han, Yushang Lai

机构 * Walmart Global Tech（沃尔玛全球科技） 纠错

专题命中 效率与部署 ：large language model(title)；language model(title)；LLM(abstract)；prompting(abstract)

AI总结 本文探讨在大语言模型时代，知识图谱构建应从符号关系转向自然语言关系描述，提出混合设计原则以实现更灵活的关系表示。

TrueBrief: Faithful Summarization through Small Language Models

TrueBrief: 通过小语言模型实现忠实的摘要生成

Kumud Lakara, Ruibo Shi, Fran Silavong

专题命中 效率与部署 ：language model(title,abstract)；small language model(title)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 TrueBrief通过偏好优化范式提升小语言模型在文本摘要任务中的忠实性，通过受控幻觉注入生成合成数据以增强模型性能。

Exploring the limits of strong membership inference attacks on large language models

探索对大型语言模型的强大成员推断攻击的极限

Jamie Hayes, Ilia Shumailov, Christopher A. Choquette-Choo, Matthew Jagielski, George Kaissis, Milad Nasr, Sahra Ghalebikesabi, Meenatchi Sundaram Mutu Selva Annamalai, Niloofar Mireshghallah, Igor Shilov, Matthieu Meeus, Yves-Alexandre de Montjoye, Katherine Lee, Franziska Boenisch, Adam Dziedzic, A. Feder Cooper

机构 * Google DeepMind（谷歌DeepMind） ； University College London（伦敦大学学院） ； University of Washington（华盛顿大学） ； Imperial College London（伦敦帝国学院） ； CISPA Helmholtz Center for Information Security（信息安全赫尔姆霍兹中心） ； Stanford University（斯坦福大学） ； Microsoft Research（微软研究院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(title)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 本研究通过扩展LiRA攻击至GPT-2模型，揭示了强成员推断攻击在大型语言模型上的有效性及局限性，发现其在实际应用中仍存在显著的AUC限制和决策不稳定问题。

Comments NeurIPS 2025

E$^2$AT: Multimodal Jailbreak Defense via Dynamic Joint Optimization for Multimodal Large Language Models

E$^2$AT: 通过动态联合优化实现多模态对抗防御

Liming Lu, Xiang Gu, Shuchao Pang, Siyuan Liang, Haotian Zhu, Xiyu Zeng, Xu Zheng, Yongbin Zhou

机构 * School of Cyber Science and Engineering, Nanjing University of Science and Technology, China（南京理工大学信息科学与工程学院） ； HKUST(GZ) and INSAIT, Sofia University St. Kliment Ohridski（香港科技大学（广州）及INSAIT，索菲亚大学圣克莱门特·奥赫里迪斯学院） ； College of Computing and Data Science, Nanyang Technological University, Singapore（南洋理工大学计算与数据科学学院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 E$^2$AT通过动态联合优化提升多模态大语言模型对对抗攻击的鲁棒性，实验显示其在文本和图像模态上性能优于现有方法34%。

ToMoE: Converting Dense Large Language Models to Mixture-of-Experts through Dynamic Structural Pruning

通过动态结构剪枝将密集大语言模型转换为专家混合架构

Shangqian Gao, Ting Hua, Reza Shirkavand, Chi-Heng Lin, Zheng Tang, Zhengao Li, Longge Yuan, Fangyi Li, Zeyu Zhang, Alireza Ganjdanesh, Lou Qian, Xu Jie, Yen-Chang Hsu

机构 * Department of Computer Science, Florida State University（佛罗里达州立大学计算机科学系） ； Department of Computer Science and Engineering, University of Notre Dame（圣母大学计算机科学与工程系） ； Department of Computer Science, University of Maryland, College Park（马里兰大学学院市计算机科学系） ； Samsung Research America（三星美国研究机构） ； Department of Computer Science, University of Central Florida（中央佛罗里达大学计算机科学系） ； Department of Health Outcomes and Biomedical Informatics, University of Florida（佛罗里达大学健康结果与生物医学信息学系） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 通过动态结构剪枝将密集大语言模型转换为专家混合架构，提升模型效率与性能。

Conformal Prediction Sets for Next-Token Prediction in Large Language Models: Balancing Coverage Guarantees with Set Efficiency

针对大语言模型的下一个标记预测的符合预测集：在覆盖保证与集合效率之间平衡

Yoshith Roy Kotla, Varshith Roy Kotla

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出VACP框架，通过语义掩码和温度调整评分，在保证覆盖的前提下显著提升预测集效率，实验证明其在大语言模型下一个标记预测中的有效性。

Comments 10 pages, 5 tables and 1 algorithm

Advancing Generative Artificial Intelligence and Large Language Models for Demand Side Management with Internet of Electric Vehicles

推动生成式人工智能和大语言模型在电动汽车互联网中的需求侧管理

Hanwen Zhang, Ruichen Zhang, Wei Zhang, Dusit Niyato, Yonggang Wen, Chunyan Miao

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出利用生成式人工智能和大语言模型优化电动汽车互联网中的需求侧管理，通过检索增强生成提升能源效率和用户适应性。

Comments 15 Pages

Quantifying the Impact of Structured Output Format on Large Language Models through Causal Inference

通过因果推理量化结构化输出格式对大语言模型的影响

Han Yuan, Yue Zhao, Li Zhang, Wuqiong Luo, Zheng Ma

机构 * Global Decision Science, American Express（全球决策科学，美国运通） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文通过因果推理分析结构化输出对大语言模型生成的影响，发现多数情况下无显著因果效应，但特定情况下受指令影响。