语言大模型 / LLM

A Comprehensive Evaluation on Quantization Techniques for Large Language Models

对大语言模型量化技术的全面评估

Yutong Liu, Cairong Zhao, Guosheng Hu

机构 * School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院） ； School of Engineering Math and Technology, University of Bristol（布里斯托大学工程数学与技术学院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；post-training(abstract)；分类 cs.LG

AI总结 本文对大语言模型的量化技术进行了全面评估，分析了预量化转换与误差缓解步骤，揭示了不同设置对性能的影响，并评估了最新数据格式的性能表现。

Boosting Large Language Models for Mental Manipulation Detection via Data Augmentation and Distillation

通过数据增强和蒸馏提升大语言模型用于心理操控检测

Yuansheng Gao, Peng Gao, Han Bao, Bin Li, Jixiang Luo, Zonghui Wang, Wenzhi Chen

机构 * Zhejiang University（浙江大学） ； Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（深圳先进技术研究院，中国科学院） ； Institute of Artificial Intelligence (TeleAI), China Telecom（人工智能研究所（TeleAI），中国电信） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.CL

AI总结 通过数据增强和蒸馏提升大语言模型用于心理操控检测，提高检测准确率和F1指标

Comments Accepted to WWW 2026

Attributing and Exploiting Safety Vectors through Global Optimization in Large Language Models

通过全局优化在大语言模型中归因和利用安全向量

Fengheng Chu, Jiahao Chen, Yuhong Wang, Jun Wang, Zhihui Fu, Shouling Ji, Songze Li

机构 * Southeast University（东南大学） ； Zhejiang University（浙江大学） ； OPPO Research Institute（OPPO研究院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.LG

AI总结 通过全局优化方法识别大语言模型中的安全向量，揭示安全机制的协作交互，并提出新的白盒劫持方法提升攻击效果。

Adaptive Constraint Propagation: Scaling Structured Inference for Large Language Models via Meta-Reinforcement Learning

自适应约束传播：通过元强化学习扩展大型语言模型的结构推断

Ibne Farabi Shihab, Sanjeda Akter, Anuj Sharma

机构 * Department of Computer Science, Iowa State University（计算机科学系，爱荷华州立大学） ； Department of Civil, Construction & Environmental Engineering, Iowa State University（土木、建设与环境工程系，爱荷华州立大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 MetaJuLS通过元强化学习实现高效结构化推断，提升大型语言模型的跨语言和跨任务适应能力，减少推断碳足迹。

Predictive Coding and Information Bottleneck for Hallucination Detection in Large Language Models

预测编码与信息瓶颈用于大语言模型中的幻觉检测

Manish Bhatt

机构 * AI Offensive Security Researcher, OWASP（AI攻击防御安全研究员，OWASP） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 本研究提出了一种结合预测编码和信息瓶颈的轻量级框架，用于高效检测大语言模型中的幻觉，实现了比传统方法更高的准确率和效率。

Online Operator Design in Evolutionary Optimization for Flexible Job Shop Scheduling via Large Language Models

通过大语言模型进行进化优化的在线运算符设计用于灵活作业车间调度

Rongjie Liao, Junhao Qiu, Xin Chen, Xiaoping Li

机构 * School of Computer Science, Guangdong University of Technology（广东工业大学计算机科学学院） ； Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 本文通过大语言模型实现进化优化中的在线运算符设计，提升EAs的效率和适应性。

Large Language Models for Large-Scale, Rigorous Qualitative Analysis in Applied Health Services Research

大型语言模型在应用健康服务研究中的大规模、严谨定性分析中的应用

Sasha Ronaghi, Emma-Louise Aveling, Maria Levis, Rachel Lauren Ross, Emily Alsentzer, Sara Singer

机构 * Department of Computer Science（计算机科学系） ； Stanford University（斯坦福大学） ； Department of Biomedical Data Science（生物医学数据科学系） ； Stanford School of Medicine（斯坦福医学院） ； Harvard T.H. Chan School of Public Health（哈佛T.H. Chan公共卫生学院） ； Impactivo LLC 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 本文提出了一种人-LLM定性分析框架，用于在应用健康服务研究中提升效率并保持严谨性，通过整合大型语言模型来改进定性数据的分析和反馈。

Comments 20 pages, 6 figures

Explicit Cognitive Allocation: A Principle for Governed and Auditable Inference in Large Language Models

显式认知分配：一种用于受控和可审计的大语言模型推理的原则

Héctor Manuel Manzanilla-Granados, Zaira Navarrete-Cazales, Miriam Pescador-Rojas, Tonahtiu Ramírez-Romero

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 本文提出显式认知分配原则，通过认知通用代理架构实现结构化推理，提升大语言模型在高责任场景下的可追溯性和可审计性。

Comments Preprint. This version corresponds to the initial public release of the CUA architecture and associated evaluation metrics

On-Device Large Language Models for Sequential Recommendation

设备端的大语言模型用于序列推荐

Xin Xia, Hongzhi Yin, Shane Culpepper

机构 * The University of Queensland（昆士兰大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 本文提出OD-LLM框架，通过低秩压缩和分词归一化技术，实现设备端高效准确的序列推荐模型部署。

Comments WSDM'26

Revisiting Disaggregated Large Language Model Serving for Performance and Energy Implications

重新审视解耦大规模语言模型服务的性能和能耗影响

Jiaxi Li, Yue Zhu, Eun Kyung Lee, Klara Nahrstedt

机构 * IBM Research Yorktown Heights, New York（IBM研究院约克镇高地，纽约） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 本文重新评估了预填充-解码解耦服务的性能和能耗影响，发现其性能优势依赖于请求负载和KV传输介质，且解耦服务本身能耗较高。

AdaSpec: Adaptive Speculative Decoding for Fast, SLO-Aware Large Language Model Serving

AdaSpec: 一种适应性推测解码用于快速、面向SLO的大型语言模型服务

Kaiyu Huang, Hao Wu, Zhubo Shi, Han Zou, Minchen Yu, Qingjiang Shi

机构 * Tongji University（同济大学） ； Shenzhen Research Institute of Big Data, The Chinese University of Hong Kong, Shenzhen（深圳大数据研究院，香港中文大学（深圳）） ； Huazhong University of Science and Technology（华中科技大学） ； School of Data Science, The Chinese University of Hong Kong, Shenzhen（数据科学学院，香港中文大学（深圳）） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 AdaSpec通过动态调整推测策略，提高大型语言模型服务的响应速度和SLO满足度，实验显示性能提升达66%。

Comments This paper is accepted by ACM SoCC 2025

Journal ref In ACM Symposium on Cloud Computing (SoCC '25), November 19-21, 2025, Online, USA

GPU-Accelerated INT8 Quantization for KV Cache Compression in Large Language Models

GPU加速的INT8量化用于大型语言模型中KV缓存压缩

Maanas Taneja, Purab Shingvi

机构 * Maanas Taneja, Purab Shingvi（独立研究者） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.LG

AI总结 本研究通过GPU加速的INT8量化技术，实现了大型语言模型中KV缓存压缩，达到4倍内存减少，同时保持高精度和低计算开销。

ELLA: Efficient Lifelong Learning for Adapters in Large Language Models

ELLA：为大语言模型适配器实现高效的终身学习

Shristi Das Biswas, Yue Zhang, Anwesan Pal, Radhika Bhargava, Kaushik Roy

机构 * Purdue University（普渡大学） ； AWS（亚马逊公司） ； AWS AI Labs（亚马逊人工智能实验室） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.LG

AI总结 ELLA通过选择性子空间去相关原理，实现高效终身学习，无需数据重放或架构扩展，显著提升连续学习性能和零样本泛化能力。

Comments Accepted at EACL (Main Conference) 2026

Can Large Language Models Solve Engineering Equations? A Systematic Comparison of Direct Prediction and Solver-Assisted Approaches

大型语言模型能解决工程方程吗？直接预测与求解器辅助方法的系统比较

Sai Varun Kodathala, Rakesh Vunnam

机构 * Research and Development Sports Vision, Inc.（Sports Vision公司研发部） ； Research and Development Vizworld, Inc.（Vizworld公司研发部） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 本文研究了大型语言模型在解决工程方程中的表现，发现求解器辅助方法在精度上显著优于直接预测，尤其在电子领域效果突出。

Comments 14 pages

LeanQuant: Accurate and Scalable Large Language Model Quantization with Loss-error-aware Grid

LeanQuant: 一种准确且可扩展的大型语言模型量化方法，具有损失误差感知的网格

Tianyi Zhang, Anshumali Shrivastava

机构 * Dept. of Computer Science, Rice University（计算机科学系， Rice大学） ； ThirdAI Corp.（ThirdAI公司） ； Ken Kennedy Institute（肯尼迪研究所） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；post-training(abstract)；分类 cs.LG

AI总结 LeanQuant通过学习损失误差感知的网格，实现了准确且可扩展的大型语言模型量化，适用于多种量化类型并兼容更多框架。

Comments Published in ICLR 2025

Optimizing Resource Allocation for Geographically-Distributed Inference by Large Language Models

通过大语言模型进行地理分布式推断的资源分配优化

Tingyang Sun, Ting He, Bo Ji, Parimal Parag

机构 * Department of Computer Science and Engineering, Pennsylvania State University, University Park, PA, USA（计算机科学与工程系，宾夕法尼亚州立大学，大学公园，PA，USA） ； Department of Computer Science, Virginia Tech, Blacksburg, VA, USA（计算机科学系，弗吉尼亚理工大学，布莱克堡，VA，USA） ； Department of Electrical Communication Engineering, Indian Institute of Science, Bangalore, India（电子通信工程系，印度科学研究院，班加罗尔，印度） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 本文提出了一种系统研究分布式LLM推断中的资源分配问题，通过块放置和请求路由的优化，显著减少推断时间并开发了轻量级CPU模拟器。

Journal ref Performance Evaluation, Vol. 170, pp. 102527, November 2025

Computational Economics in Large Language Models: Exploring Model Behavior and Incentive Design under Resource Constraints

在大型语言模型中进行计算经济学：在资源限制下探索模型行为和激励设计

Sandeep Reddy, Kabir Khan, Rohit Patil, Ananya Chakraborty, Faizan A. Khan, Swati Kulkarni, Arjun Verma, Neha Singh

机构 * Department of Computer Science and Engineering, Jorhat Engineering College（计算机科学与工程系，贾尔哈特工程学院） ； School of Computer Science, KLE Technological University（计算机科学学院，KLE技术大学） ； Department of Computer Applications, Bundelkhand University（计算机应用系，邦德尔坎德大学） ； Department of Computer Science, Sant Gadge Baba Amravati University（计算机科学系，桑塔·加德·巴瓦·阿姆拉瓦蒂大学） ； San Francisco State University（旧金山州立大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 本文提出了一种基于计算经济学的LLM训练方法，通过引入计算成本项促进高效激活，实现更高效的模型和更可解释的注意力模式。

Comments Preprint; 7 figures, 4 tables, 1 algorithm. Experiments on GLUE (MNLI, STS-B, CoLA) and WikiText-103 with BERT-base; evaluation includes FLOPS, latency, Gini and entropy metrics

Efficient Multi-Model Orchestration for Self-Hosted Large Language Models

高效多模型编排用于自托管大型语言模型

Bhanu Prakash Vangala, Tanu Malik

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 Pick和Spin框架通过混合路由模块和自适应自动化，提升自托管LLM的效率和经济性，实现更高的成功率、更低的延迟和成本。

Operationalizing a Threat Model for Red-Teaming Large Language Models (LLMs)

为大规模语言模型（LLMs）的红队测试构建威胁模型

Apurv Verma, Satyapriya Krishna, Sebastian Gehrmann, Madhavan Seshadri, Anu Pradhan, Tom Ault, Leslie Barrett, David Rabinowitz, John Doucette, NhatHai Phan

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 本文提出了一种针对大规模语言模型的威胁模型，并系统化地总结了红队攻击的分类、防御方法及实践策略，以提升LLM系统的安全性和鲁棒性。

Comments Transactions of Machine Learning Research (TMLR)

Journal ref Transactions on Machine Learning Research, 2025

Making Large Language Models Efficient Dense Retrievers

使大语言模型成为高效密集检索器

Yibin Lei, Shwai He, Ang Li, Andrew Yates

机构 * University of Amsterdam（阿姆斯特丹大学） ； University of Maryland, College Park（马里兰大学 College Park 分校） ； Johns Hopkins University, HLTCOE（约翰霍普金斯大学 HLTCOE） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 EffiR通过粗到细的MLP压缩策略和检索特定微调，使大语言模型在保持性能的同时显著减少模型大小和推理成本。

Can abstract concepts from LLM improve SLM performance?

能否从LLM中提取的抽象概念提升SLM性能？

Siddharth Tandon

机构 * Google AI, Global Services Delivery（谷歌人工智能，全球服务交付） 纠错

专题命中 效率与部署 ：SLM(title,abstract)；LLM(title)；large language model(abstract)；language model(abstract)

AI总结 本文提出通过从大型语言模型中提取抽象概念来提升小型语言模型的性能，通过实验验证了概念的可转移性，并引入了动态调整引导强度的推理时缩放技术，提升了多个任务的准确率。

TOGGLE: Temporal Logic-Guided Large Language Model Compression for Edge

TOGGLE: 基于时序逻辑的大型语言模型压缩用于边缘

Khurram Khalil, Khaza Anuarul Hoque

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 TOGGLE通过结合时序逻辑与贝叶斯优化，实现了在不重新训练的情况下，对大型语言模型进行高效压缩，同时保持语言属性的正式保证。

Comments Published in the IEEE ICCAD 2025 conference

The Evolution of Reranking Models in Information Retrieval: From Heuristic Methods to Large Language Models

信息检索中重排序模型的演变：从启发式方法到大语言模型

Tejul Pandit, Sakshi Mahendru, Meet Raval, Dhvani Upadhyay

机构 * Palo Alto Networks, USA（帕洛阿尔托网络公司，美国） ； University of Southern California, USA（南加州大学，美国） ； Dhirubhai Ambani University, India（迪鲁布希·阿姆巴尼大学，印度） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.AI

AI总结 本文综述了信息检索中重排序模型的发展历程，从传统方法到大语言模型的应用，探讨了不同模型的优缺点及效率提升方法。

Comments 15 pages, 1 figure, Accepted in CLNLP'25

HyperVL: An Efficient and Dynamic Multimodal Large Language Model for Edge Devices

HyperVL: 一种高效的多模态大语言模型用于边缘设备

HyperAI Team, Yuchen Liu, Kaiyang Han, Zhiqiang Xia, Yuhang Dong, Chen Song, Kangyu Tang, Jiaming Xu, Xiushi Feng, WenXuan Yu, Li Peng, Mingyang Wang, Kai Wang, Changpeng Yang, Yang Li, Haoyu Lu, Hao Wang, Bingna Xu, Guangyao Liu, Long Huang, Kaibin Guo, Jinyang Wu, Dan Wu, Hongzhen Wang, Peng Zhou, Shuai Nie, Shande Wang, Runyu Shi, Ying Huang

机构 * HyperAI Team（HyperAI团队） ； Xiaomi Corporation（小米公司） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 HyperVL是一种为边缘设备优化的高效多模态大语言模型，通过图像分块、视觉分辨率压缩和双一致性学习技术，实现低延迟、低功耗的多模态推理。

Comments Technical report of Xiaomi HyperAI Team

Advanced Black-Box Tuning of Large Language Models with Limited API Calls

大语言模型有限API调用下的高级黑盒调优

Zhikang Xie, Weilin Wan, Peizhu Gong, Weizhong Zhang, Cheng Jin

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；foundation model(abstract)；分类 cs.AI

AI总结 本文提出了一种基于高斯过程替代模型的高级黑盒调优方法，通过减少API调用次数提升大语言模型的准确性。

Comments 15 pages, 6 figures

CogMCTS: A Novel Cognitive-Guided Monte Carlo Tree Search Framework for Iterative Heuristic Evolution with Large Language Models

CogMCTS: 一种用于基于大语言模型的迭代启发式进化的大脑引导蒙特卡洛树搜索框架

Hui Wang, Yang Liu, Xiaoyu Zhang, Chaoxu Mu

机构 * School of Artificial Intelligence, Anhui University（安徽大学人工智能学院） ； Anhui Provincial Key Laboratory of Security Artificial Intelligence, Anhui University（安徽省安全人工智能重点实验室） ； Pengcheng Laboratory, Shenzhen, China（深圳鹏城实验室） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 CogMCTS通过整合大语言模型的认知引导机制与MCTS，实现高效的自动启发式优化，提升搜索多样性与解质量。

Vision-centric Token Compression in Large Language Model

以视觉为中心的标记压缩在大语言模型中

Ling Xing, Alex Jinpeng Wang, Rui Yan, Xiangbo Shu, Jinhui Tang

机构 * Nanjing University of Science and Technology（南京理工大学） ； Central South University（中南大学） ； Nanjing Forestry University（南京林业大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 Vist通过视觉与语言结合的压缩方法，在减少标记数量的同时保持模型准确性，提升了大语言模型的效率。

Comments NeurIPS 2025 spotlight

You May Speak Freely: Improving the Fine-Grained Visual Recognition Capabilities of Multimodal Large Language Models with Answer Extraction

你可能可以自由发言：通过答案提取提升多模态大语言模型的细粒度视觉识别能力

Logan Lawrence, Oindrila Saha, Megan Wei, Chen Sun, Subhransu Maji, Grant Van Horn

机构 * University of Massachusetts, Amherst（马萨诸塞大学阿姆赫斯特分校） ； Brown University（布朗大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 本文提出nlg2choice方法，通过两阶段策略提升多模态大语言模型在细粒度视觉识别任务中的表现，通过开放性问题和受限解码提高检索效率。

Comments Accepted to WACV26. 12 pages, 8 tables, 5 figures

Large Causal Models from Large Language Models

从大语言模型构建大规模因果模型

Sridhar Mahadevan

机构 * Adobe Research and University of Massachusetts, Amherst（Adobe研究院和马萨诸塞大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 利用大语言模型构建大规模因果模型，通过DEMOCRITUS系统整合跨领域因果关系，实现因果陈述的组织与可视化。

Comments 29 pages

CryptoTensors: A Light-Weight Large Language Model File Format for Highly-Secure Model Distribution

CryptoTensors: 一种轻量级的大语言模型文件格式，用于高安全性的模型分发

Huifeng Zhu, Shijie Li, Qinfeng Li, Yier Jin

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 CryptoTensors是一种轻量级的大语言模型文件格式，通过张量级加密和嵌入式访问控制策略，实现高安全性的模型分发与保护。