语言大模型 / LLM

Cost-Aware Model Selection for Text Classification: Multi-Objective Trade-offs Between Fine-Tuned Encoders and LLM Prompting in Production

面向成本的模型选择用于文本分类：在生产环境中细调编码器与LLM提示之间的多目标权衡

Alberto Andres Valdes Gonzalez

机构 * Pontifical Catholic University of Chile（天主教智利大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；prompting(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出在生产环境中细调编码器与LLM提示之间的多目标权衡，发现微调编码器在成本和性能上优于LLM提示。

Comments 26 pages, 12 figures. Empirical benchmark comparing fine-tuned encoders and LLM prompting for text classification under cost and latency constraints

DiffPO: Diffusion-styled Preference Optimization for Efficient Inference-Time Alignment of Large Language Models

Ruizhe Chen, Wenhao Chai, Zhifei Yang, Xiaotian Zhang, Joey Tianyi Zhou, Tony Quek, Soujanya Poria, Zuozhu Liu

机构 * Zhejiang Key Laboratory of Medical Imaging Artificial Intelligence（浙江医学影像人工智能重点实验室） ； Zhejiang University（浙江大学） ； SUTD（新加坡科技设计大学） ； Princeton University（普林斯顿大学） ； Peking University（北京大学） ； Nanyang Technological University（南洋理工大学） ； A*STAR Centre for Frontier AI Research（A*STAR前沿人工智能研究中心） 纠错

专题命中 效率与部署 ：preference optimization(title,abstract)；large language model(title)；language model(title)；RLHF(abstract)

Comments ACL 2025

TCRA-LLM: Token Compression Retrieval Augmented Large Language Model for Inference Cost Reduction

Junyi Liu, Liangzhi Li, Tong Xiang, Bowen Wang, Yiming Qian

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(title)；分类 cs.CL

Comments EMNLP 2023 Findings

Understanding the Impact of Post-Training Quantization on Large Language Models

Somnath Roy

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；post-training(title)；分类 cs.CL

From Prompts to Constructs: A Dual-Validity Framework for Large Language Model Research in Psychology

从提示到构念：面向心理学研究的大语言模型双效度框架

Zhicheng Lin

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本研究针对大语言模型应用于心理学研究时的测量幻影问题，构建了双效度框架，明确不同研究目标对应的证据要求，强调需开发心理构念的计算类似物而非直接套用人类测量工具。

Journal ref Annu. Rev. Psychol. 2027. 78:2.1-2.26

SPIEval: Evaluating Large Language Models as Mobile Assistants over Scattered Personal Information

SPIEval：评估大型语言模型作为处理分散个人信息的移动助手的能力

Junjie Ye, Zhuohui Sheng, Shaofan Liu, Yulun Zhu, Wenjie Fu, Dingwei Zhu, Ming Zhang, Yujiong Shen, Weichao Wang, Xin Zhao, Shihan Dou, Tao Gui, Qi Zhang, Xuanjing Huang, Pluto Zhou

机构 * Fudan University（复旦大学） ； Tencent Hunyuan Team（腾讯混元团队） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本研究推出基于五种认知能力的人工策划基准SPIEval，评估9种LLMs作为移动助手处理分散个人信息的能力，发现其准确率最高仅57.3%，存在信息定位等显著局限。

On the Limits of Layer Pruning for Generative Reasoning in Large Language Models

关于生成推理中大语言模型层剪枝的极限

Safal Shrestha, Anubhav Shrestha, Aadim Nepal, Minwu Kim, Keith Ross

机构 * New York University Abu Dhabi（纽约大学阿布扎比分校） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；pretraining(abstract)；post-training(abstract)

AI总结 研究发现层剪枝在分类任务中有效压缩模型但生成推理任务表现较差，揭示了剪枝对算法能力如算术和括号生成的影响，指出在受限条件下生成推理能力恢复有限。

ARC-Encoder: learning compressed text representations for large language models

ARC-Encoder：为大语言模型学习压缩文本表示

Hippolyte Pilchen, Edouard Grave, Patrick Pérez

机构 * Kyutai 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(title)；language model(title)；分类 cs.CL、cs.AI

AI总结 ARC-Encoder是可将文本压缩为原词元数1/4或1/8的编码器，适配多类LLM解码器，在提升推理效率的同时保持最优性能，为大语言模型提供灵活高效的上下文压缩方案。

Comments Featured Certification

Journal ref Transactions on Machine Learning Research 2026 (https://openreview.net/forum?id=lU1P9dsqfn)

One Token Is Enough: Fingerprinting and Verifying Large Language Models from Single-Token Output Distributions

一个令牌就够了：从单令牌输出分布中对大语言模型进行指纹识别和验证

Tomas Bruckner

机构 * Faculty of Informatics and Statistics, Prague University of Economics and Business（信息与统计学院，布拉格经济与商业大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 研究如何从大语言模型单令牌输出分布中进行指纹识别和验证。通过定义行为指纹，利用对简单提示的回答分布，实现模型谱系恢复和验证，还发现生态系统异常，且相关协议等已发布。

SVD-Surgeon: Optimal Singular-Value Surgery for Large Language Model Compression

SVD-Surgeon：面向大语言模型压缩的最优奇异值手术

Mahmoud Safari, Frank Hutter

机构 * University of Freiburg（弗莱堡大学） ； Prior Labs ； ELLIS Institute Tübingen（蒂宾根ELLIS研究所） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 提出SVD-Surgeon，一种无需训练的方法，将最优脑外科医生框架引入奇异值基，通过闭式更新保留的奇异值补偿截断损失，并基于显著性选择修剪值，可叠加于现有SVD压缩器上，改善困惑度-压缩权衡。

Comments 8 pages, 3 figures, 5 tables; appendix

$π$-RAG: Oblivious Retrieval via Semantic Quantization and Transcendental Addressing for Large Language Models

$\pi$-RAG：通过语义量化和超越寻址实现的大语言模型遗忘检索

Aniket Wattamwar, Mrunal Kakirwar

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出$\pi$-RAG架构，利用$\pi$的数字作为超越熵源，通过语义量化层将用户输入映射到规范意图质心，生成$\pi$-key实现遗忘检索，保障数据隐私。

A Survey of On-Policy Distillation for Large Language Models

大型语言模型的在线策略蒸馏综述

Mingyang Song, Mao Zheng

机构 * Tencent, China（腾讯，中国） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；RLHF(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 本文综述了大型语言模型的在线策略蒸馏方法，探讨了蒸馏过程中如何通过反馈减少累积误差，提出了基于f-散度最小化的蒸馏框架，并分析了蒸馏与强化学习之间的联系。

Comments Ongoing Work

Physics-Distilled Neural Network enabled by Large Language Models for Manufacturing Process-Property Predictive Modeling

基于大语言模型的物理蒸馏神经网络用于制造过程-性能预测建模

Ge Song, Kiarash Naghavi Khanghah, Anandkumar Patel, Rajiv Malhotra, Hongyi Xu

机构 * School of Mechanical, Aerospace and Manufacturing Engineering, University of Connecticut（康奈尔大学机械、航空航天与制造工程学院） ； Department of Mechanical & Aerospace Engineering, Rutgers, the State University of New Jersey（新泽西州立大学鲁特大学机械与航空航天工程学院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出一种知识蒸馏框架，利用大语言模型从文献中提取物理先验，通过图掩码注意力层捕获变量依赖，蒸馏至轻量学生模型，在数据稀缺下实现高精度预测与实时部署。

Comments Under review, Journal of Computing and Information Science in Engineering

InvEvolve: Evolving White-Box Inventory Policies via Large Language Models with Performance Guarantees

InvEvolve：通过具有性能保证的大语言模型进化白盒库存策略

Chenyu Huang, Jianghao Lin, Zhengyang Tang, Bo Jiang, Ruoqing Jiang, Benyou Wang, Lai Wei

机构 * Shanghai University of Finance and Economics（上海财经大学） ； Shanghai Jiao Tong University（上海交通大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Tsinghua University（清华大学） ； Boston College（波士顿大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出InvEvolve框架，利用强化学习训练的大语言模型，结合置信区间认证，在线生成具有统计安全保证的白盒库存策略，在合成和真实零售数据上优于经典和深度学习方法。

Channel-Wise Mixed-Precision Quantization for Large Language Models

通道级混合精度量化用于大语言模型

Zihan Chen, Bike Xie, Jundong Li, Cong Shen

机构 * Department of Electrical and Computer Engineering, University of Virginia（电气与计算机工程系，弗吉尼亚大学） ； Kneron Inc.（芯驰科技） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出通道级混合精度量化（CMPQ），通过根据激活分布分配不同精度级别来优化大语言模型的量化过程，从而在低比特范围内实现任意平均比特宽度，并在内存使用增加有限的情况下提升性能。

Multi-Segment Attention: Enabling Efficient KV-Cache Management for Faster Large Language Model Serving

多段注意力：实现高效KV缓存管理以加速大型语言模型服务

Chunan Shi, Yilei Chen, Yilin Chen, Xupeng Miao, Bin Cui

机构 * Peking University（北京大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 提出AsymCache，一种计算延迟感知的KV缓存管理系统，通过多段注意力、缓存驱逐策略和自适应分块调度器，在保持无损精度的同时显著降低TTFT和TPOT。

ReaLM: Residual Quantization Bridging Knowledge Graph Embeddings and Large Language Models

ReaLM：残差量化桥接知识图谱嵌入与大型语言模型

Wenbin Guo, Xin Wang, Jiaoyan Chen, Lingbing Guo, Zhao Li, Zirui Chen

机构 * Tianjin University（天津大学） ； The University of Manchester（曼彻斯特大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出ReaLM框架，通过残差向量量化将知识图谱嵌入离散化为可学习标记，融入大型语言模型词汇表，结合本体约束实现结构化知识与语言模型的语义对齐，在知识图谱补全任务上取得最优性能。

MiCU: End-to-End Smart Home Command Understanding with Large Language Model

MiCU: 基于大语言模型的端到端智能家居指令理解

Haowei Han, Kexin Hu, Weiwei Cai, Debiao Zhang, Bin Qin, Yuxiang Wang, Jiawei Jiang, Xiao Yan, Bo Du

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） ； Xiaomi Corporation（小米公司） ； Institute for Math & AI, Wuhan University（武汉大学数学与人工智能研究院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出MiCU，一种利用课程学习、强化学习和令牌压缩技术的领域特定大语言模型，用于解决智能家居中模糊指令理解问题，平均准确率提升20.01%。

Failure of contextual invariance in large language models

大型语言模型中语境不变性的失效

Sagar Kumar, Ariel Flint, Luca Maria Aiello, Andrea Baronchelli

机构 * Network Science Institute, Northeastern University（网络科学研究所，东北大学） ； Center for Health Informatics Program, Boston Children’s Hospital（健康信息学计划中心，波士顿儿童医院） ； Dept. of Mathematics, City St George’s, University of London（伦敦大学城市圣乔治学院数学系） ； IT University of Copenhagen（哥本哈根IT大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 通过代词选择任务发现，在语境等价但无信息量的干扰下，大语言模型输出发生系统性偏移，表明其违反语境不变性，影响偏见评估与高风险应用。

Distillation of Large Language Models via Concrete Score Matching

通过具体分数匹配进行大型语言模型的蒸馏

Yeongmin Kim, Donghyeok Shin, Mina Kang, Byeonghu Na, Il-Chul Moon

机构 * Korea Advanced Institute of Science and Technology（韩国科学技术院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出具体分数蒸馏（CSD）目标，通过离散分数匹配克服softmax平滑和logit平移不变性限制，实现学生与教师模型间所有词汇对相对logit差异的灵活加权，在GPT-2、OpenLLaMA和GEMMA上优于现有蒸馏方法。

Comments ICLR 2026

Human-Alignment and Calibration of Inference-Time Uncertainty in Large Language Models

大型语言模型中推理时间不确定性的人类对齐与校准

Kyle Moore, Jesse Roberts, Daryl Watson

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文评估了多种推理时间不确定性度量，发现它们与人类群体不确定性高度对齐，尽管与人类答案偏好不一致，但在正确性相关性和分布分析上表现出中等到强校准证据。

Comments We have discovered a critical error in the normalized entropy calculation that may have substantially inflated nearly all results herein. We have since fixed this error in a new work, but we believe that the new work is sufficiently dissimilar in focus, methods, dataset, and results as to be misleading if presented as a simple replacement. As such, we propose removal and retraction instead

Jailbreaking and Mitigation of Vulnerabilities in Large Language Models

大语言模型的越狱与漏洞缓解

Benji Peng, Hanxuan Chen, Keyu Chen, Qian Niu, Ziqian Bi, Ming Liu, Pohsun Feng, Tianyang Wang, Lawrence K. Q. Yan, Yizhu Wen, Yichao Zhang, Caitlyn Heqi Yin, Xinyuan Song, Riyang Bao, Jiacheng Shi

机构 * Hunan University Changsha, PRC ； Georgia Institute of Technology Atlanta, USA ； Kyoto University Kyoto, Japan ； Purdue University West Lafayette, USA ； National Taiwan Normal University Taipei, ROC ； University of Liverpool Suzhou, PRC ； Hong Kong University of Science ； University of Hawaii Honolulu, USA ； The University of Texas at Dallas Dallas, USA ； University of Wisconsin-Madison Madison, USA ； Emory University Atlanta, USA ； College of William \& Mary Williamsburg, USA 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；prompting(abstract)

AI总结 本文综述了大语言模型在提示注入和越狱攻击下的漏洞，分类攻击方法并评估防御策略，指出研究空白与未来方向。

Journal ref Eureka 1(1) (2026) 26-61

From Token to Token Pair: Efficient Prompt Compression for Large Language Models in Clinical Prediction

从标记到标记对：用于临床预测的大型语言模型高效提示压缩

Mingcheng Zhu, Zhiyao Luo, Yu Liu, Tingting Zhu

机构 * Department of Engineering Science, University of Oxford, Oxford, United Kingdom（牛津大学工程科学系，英国牛津） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 本文提出MedTPE方法，通过将频繁共现的医疗标记对合并为复合标记，实现无损压缩，减少输入标记长度和推理延迟，同时保持或提升预测性能。

Comments 21 pages, 6 figures, 13 tables

A Study on Hidden Layer Distillation for Large Language Model Pre-Training

针对大语言模型预训练的隐藏层蒸馏研究

Maxime Guigon, Lucas Dixon, Michaël E. Sander

机构 * Google DeepMind（谷歌DeepMind） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文研究了隐藏层蒸馏在大语言模型预训练中的应用，对比了蒸馏与基于输出logits的方法，发现蒸馏在某些配置下能提升困惑度，但未在下游任务中超越标准蒸馏。

MAC: Masked Agent Collaboration Boosts Large Language Model Medical Decision-Making

MAC：掩码代理协作提升大语言模型医疗决策能力

Zhihao Peng, Liuxin Bao, Yixuan Yuan

机构 * School of Automation, Hangzhou Dianzi University（杭州电子大学自动化学院） ； Department of Electronic Engineering, Chinese University of Hong Kong（香港中文大学电子工程系） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文提出MAC框架，通过帕累托最优代理构建和交叉一致性最大化机制，提升医疗决策能力。

TetraJet-v2: Accurate NVFP4 Training for Large Language Models with Oscillation Suppression and Outlier Control

TetraJet-v2：用于大语言模型的准确NVFP4训练方法，具有振荡抑制和异常值控制

Yuxiang Chen, Yifan Liu, Xiaoming Xu, Pengle Zhang, Michael Beyer, Martin Rapp, Jun Zhu, Jianfei Chen

机构 * Dept. of Comp. Sci. and Tech., Institute for AI, BNRist Center, THBI Lab, Tsinghua-Bosch Joint ML Center, Tsinghua University（计算机科学与技术系，人工智能研究所，BNRist中心，THBI实验室，清华-博世联合机器学习中心，清华大学） ； Zhili College, Tsinghua University（紫荆学院，清华大学） ； Bosch AI Research, Renningen, Germany（博世人工智能研究，德国Renningen） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 TetraJet-v2通过NVFP4格式实现低精度训练，解决权重振荡和异常值问题，提升大语言模型性能，减少与BF16的性能差距达51.3%，并实现1.67倍速度提升。

Journal ref Proceedings of the 43rd International Conference on Machine Learning, Seoul, South Korea. PMLR 306, 2026 (ICML 2026)

Saliency-Aware Regularized Quantization Calibration for Large Language Models

具有显著性感知的正则化量化校准用于大语言模型

Yanlong Zhao, Xiaoyuan Cheng, Huihang Liu, Baihua He, Xinyu Zhang, Harrison Bo Hua Zhu, Wenlong Chen, Li Zeng, Zhuo Sun

机构 * University of Science and Technology of China（中国科学技术大学） ； University College London（伦敦大学学院） ； Shanghai University of Finance and Economics（上海财经大学） ； Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院） ； University of Copenhagen（哥本哈根大学） ； Imperial College London（伦敦帝国学院） ； Technical University of Denmark（丹麦技术大学） ； Peking University（北京大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；post-training(abstract)

AI总结 本文提出SARQC，通过引入显著性感知正则化改进量化校准，提升大语言模型的泛化能力，实验表明在密集和专家混合模型中提升了困惑度和零样本准确率。

Large Language Model Prompt Datasets: An In-depth Analysis and Insights

大语言模型提示数据集：深入分析与洞察

Yuanming Zhang, Yan Lin, Arijit Khan, Huaiyu Wan

机构 * School of Computer Science and Technology（计算机科学与技术学院） ； Beijing Jiaotong University（北京交通大学） ； Department of Computer Science（计算机科学系） ； Aalborg University（奥尔堡大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(title)；language model(title)；分类 cs.CL、cs.LG

AI总结 本文深入分析了129个异构LLM提示数据集，通过多层级语言分析揭示提示与一般文本的区别模式，并通过三个下游实验验证了提示过滤、领域分类和提示质量预测的实用性。

WebGen-R1: Incentivizing Large Language Models to Generate Functional and Aesthetic Websites with Reinforcement Learning

WebGen-R1: 通过强化学习激励大语言模型生成功能性和美观的网站

Juyong Jiang, Chenglin Cai, Chansung Park, Jiasi Shen, Sunghun Kim, Jianguo Li, Yue Wang

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； The Hong Kong University of Science and Technology（香港科技大学） ； Tongyi Lab, Alibaba Group（阿里云实验室） ； Electronics and Telecommunications Research Institute（电子电信研究院） ； Ant Group（蚂蚁集团） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 本文提出WebGen-R1框架，通过强化学习生成多页面功能性和美观的网站，解决了传统方法在多页面交互和审美评估上的不足。

LBLLM: Lightweight Binarization of Large Language Models via Three-Stage Distillation

LBLLM：通过三阶段蒸馏实现大语言模型的轻量二值化

Siqing Song, Chuang Wang, Yong Lang, Yi Yang, Xu-Yao Zhang

机构 * MAIS, Institute of Automation, Chinese Academy of Sciences（自动化研究所，中国科学院） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Central Media Technology Institute, Huawei（华为中央媒体技术研究所） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 LBLLM通过三阶段蒸馏策略实现大语言模型的轻量二值化，采用W(1+1)A4量化方法，在单GPU上仅用0.016B tokens训练，超越现有二值化方法，在语言模型、常识问答和语言理解任务中表现出色。