A Survey on Efficient Inference for Large Language Models
Infinigence-AI(智源人工智能);Tsinghua University(清华大学);Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);Peking University(北京大学)
本文综述了大型语言模型高效推理技术,分析低效原因,提出数据级、模型级和系统级优化分类,并通过对比实验提供定量见解,展望未来方向。
2024-07-19 cs.AI cs.CL
Large Language Models and Causal Inference in Collaboration: A Survey
University of Maryland(马里兰大学);University of California San Diego(加利福尼亚大学圣迭戈分校);Adobe Research(奥多比研究院)
该综述探讨因果推断与大语言模型(LLMs)的双向协作:既从因果视角评估、改进LLMs的推理、公平安全、可解释性及多模态能力,也利用LLMs助力因果推断研究,推动更先进公平的AI系统发展。
2025-03-21 cs.AI cs.CL
Accelerating Masked Diffusion Large Language Models: A Survey of Efficient Inference Techniques
KAIST AI(韩国科学技术院人工智能研究所);Yonsei University(延世大学)
综述介绍用于扩散大语言模型的统一延迟分解框架,以理清算法、架构和系统因素对推理速度的影响,将加速技术分类,提供可重复基准测试指导方针并强调实现并行生成潜力的挑战。
2026-07-15 cs.AI cs.CL cs.LG
A Survey on Model Compression and Acceleration for Pretrained Language Models
University of California, San Diego(加州大学圣地亚哥分校)
尽管在许多NLP任务上实现了最先进的性能,但高能量成本和长推理延迟阻止了基于transformer的预训练语言模型(PLM)被更广泛地采用,包括边缘和移动计算。高效的NLP研究旨在全面考虑NLP整个生命周期的计算,时间和碳排放,包括数据准备,模型训练和推理。在本次调查中,我们重点关注推理阶段,并回顾了预训练语言模型的模型压缩和加速的现状,包括基准测试,指标和方法。
2022-11-29 cs.AI cs.CL cs.LG
Pretraining Data Exposure in Large Language Models: A Survey of Membership Inference, Data Contamination, and Security Implications
Japan Advanced Institute of Science and Technology(日本先进科学研究院)
本文首次统一综述了大型语言模型中的预训练数据暴露问题,涵盖成员推断和数据污染,形式化定义了暴露级别,回顾了攻击与防御方法,并总结了实证发现及未来研究方向。
2026-05-21 cs.AI cs.CL cs.LG
Inference Acceleration for Large Language Models on CPUs
本文提出利用现代CPU并行能力、请求批处理及NUMA隔离的多worker方案加速LLM推理,实现最高22倍吞吐提升并降低48.9%功耗。
2024-03-04 cs.CL cs.DC
LLM Inference Unveiled: Survey and Roofline Model Insights
Infinigence-AI(智源人工智能);Illinois Institute of Technology(伊利诺伊理工学院);Carnegie Mellon University(卡内基梅隆大学);University of California, Berkeley(加利福尼亚大学伯克利分校);Peking University(北京大学);Tencent AI Lab(腾讯人工智能实验室);Institute of Automation, CAS(中国科学院自动化研究所);University of Wisconsin, Madison(威斯康星大学麦迪逊分校)
本文综述高效LLM推理技术,提出基于roofline模型的分析框架,系统梳理模型压缩、算法改进及硬件系统优化方法,并开源LLM-Viewer工具,为理解部署瓶颈和硬件选择提供指导。
2024-05-01 cs.AI cs.CL
Faster and Lighter LLMs: A Survey on Current Challenges and Way Forward
Nyun AI;Khalifa University of Science and Technology(哈利法科技大学)
本综述探讨了LLM推理的计算与内存挑战,概述了模型压缩与系统级优化方法,并在LLaMA(/2)-7B上评估了各种压缩技术,为高效部署LLM提供了实用见解和未来方向。
2024-04-24 cs.AI cs.CL cs.LG
From Static Inference to Dynamic Interaction: A Survey of Streaming Large Language Models
Shanghai Jiao Tong University(上海交通大学);Institute of Digital Twin, Eastern Institute of Technology(数字孪生研究院,东部技术研究院)
本文统一了流式LLM的定义,提出系统分类法,综述其方法、应用与未来方向。
2026-06-16 cs.CL cs.CV
Learning from Failure: Inference-Time Self-Improvement for Computer-Use Agents
Stanford University(斯坦福大学);Tsinghua University(清华大学)
提出失败驱动的自我改进循环,利用LLM诊断失败模式并生成代码补丁,在OSWorld基准上将OpenCUA-72B模型成功率从42.3%提升至48.9%,无需额外训练成本。
2026-07-01 cs.AI cs.CL cs.CV
Taming the Titans: A Survey of Efficient LLM Inference Serving
Soochow University(苏州大学);Huawei Cloud(华为云)
本文综述了高效LLM推理服务的方法,涵盖实例级(如模型放置、请求调度)、集群级(如GPU集群部署、负载均衡)及新兴场景策略,并提出了未来研究方向。
2025-04-28 cs.AI cs.CL cs.DC
Self-Improvements in Modern Agentic Systems: A Survey
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院);King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);University of Alberta(阿尔伯塔大学);The Swiss AI Lab IDSIA/USI/SUPSI(瑞士人工智能实验室IDSIA/USI/SUPSI)
综述现代自我改进智能体从研究走向部署,目标是经验驱动的可控进化。提出系统级框架,将智能体视为基础模型与操作支架的耦合配置,自我改进形式化为更新算子,还组织回顾了相关工作、应用、评估等内容并展望未来。
2026-07-16 cs.AI cs.CL cs.LG
Why Is Video Still So Expensive? A Survey of Inference-Efficiency Mechanisms in Video and Audiovisual LLMs
SAMOVAR Laboratory, Télécom SudParis, Institut Polytechnique de Paris(萨莫瓦尔实验室,巴黎电信学院,巴黎综合理工学院);Moments Lab(Moments Lab公司)
本综述系统梳理视频与视听大语言模型的推理效率优化机制,按流水线阶段组织帧采样、模态编码、标记缩减及预填充解码等方法,汇总共享条件下的精度-成本对比,指出视听效率与标准化评估的空白。
2026-09-10 cs.CL cs.CV cs.MM
Recent Advances in Natural Language Inference: A Survey of Benchmarks, Resources, and Approaches
University of Michigan(密歇根大学);Michigan State University(密歇根州立大学);Computer Science and Engineering(计算机科学与工程学院)
在NLP社区中,近年来出现了大量研究活动,这些研究活动旨在解决机器执行深度语言理解的能力,这种能力超越了文本中明确陈述的内容,而是依赖于推理和对世界的了解。已经创建了许多基准任务和数据集来支持这种自然语言推理能力的开发和评估。随着这些基准成为NLP研究社区的工具和驱动力,本文旨在概述最近的基准,相关知识资源以及最先进的学习和推理方法,以支持更好地理解这个不断发展的领域。
2020-02-26 cs.CL
Beyond Leaderboards: A survey of methods for revealing weaknesses in Natural Language Inference data and models
University of Manchester(曼彻斯特大学)
近年来,越来越多的出版物分析了自然语言推理(NLI)数据集的表面线索,它们是否破坏了这些数据集背后的任务的复杂性,以及它们如何影响这些数据优化和评估的模型。这种结构化的调查提供了一个不断发展的研究领域的概述,通过分类报告的模型和数据集的弱点,并提出了方法,以揭示和减轻这些弱点的英语。我们总结和讨论的结果,并得出结论,为未来可能的研究方向的一组建议。我们希望这将是一个有用的资源,为研究人员谁提出新的数据集,有一套工具来评估他们的数据的适用性和质量,以评估各种感兴趣的现象,以及那些谁开发新的架构,以进一步了解他们的改进的影响,就其模型的后天能力。
2020-05-29 cs.CL
Towards a Mechanistic Understanding of Large Reasoning Models: A Survey of Training, Inference, and Failures
Peking University(北京大学);Tsinghua University(清华大学);Nanyang Technological University(南洋理工大学)
本文综述了大规模推理模型的训练、推理及失败机制,旨在揭示其内部运作并为未来研究提供方向。
2026-01-11 cs.CL
A Short Survey on Small Reasoning Models: Training, Inference, Applications and Research Directions
Alibaba Cloud Computing(阿里云);School of Computer Science and Information Engineering, Hefei University of Technology(合肥工业大学计算机与信息工程学院)
本综述调研170篇论文,分析小型推理模型(SRMs)的训练、推理技术、特定领域应用及未来方向,为开发高效高级推理功能的SRMs提供参考,以应对大型推理模型的计算挑战。
2025-04-12 cs.AI cs.CL
A Survey of Early Exit Deep Neural Networks in NLP
Department of IEOR, IIT Bombay(印度理工学院孟买分校工业与运筹工程系)
本文针对大规模DNN计算成本高、需适配样本难度的问题,系统综述了通过在不同层附加分类器实现自适应推理的早退策略,及其在NLP领域的应用与降延迟、提鲁棒性的优势。
2025-01-13 cs.CL cs.LG
Towards Efficient Large Vision-Language Models: A Comprehensive Survey on Inference Strategies
George Mason University(乔治梅森大学)
本文综述了提升大型视觉语言模型推理效率的最新方法,从视觉token压缩、内存管理、架构设计和解码策略四个维度进行分类,并指出当前方法的局限性及未来研究方向。
2026-04-11 cs.CL cs.CV cs.LG
Natural Language Understanding and Inference with MLLM in Visual Question Answering: A Survey
Sun Yat-sen University(中山大学);Tsinghua University(清华大学);Worcester Polytechnic Institute(伍斯特理工学院)
该综述概述视觉问答(VQA)发展历程,详述多模态大语言模型(MLLMs)在VQA的自然语言理解、模态信息处理、知识推理方面的最新进展,还介绍数据集、评估指标及未来方向。
2024-11-26 cs.CL cs.CV
A Survey of Techniques for Optimizing Transformer Inference
Indian Institute of Technology Roorkee(印度理工学院鲁尔基分校);Argonne National Laboratory(阿贡国家实验室)
本文系统综述Transformer推理在算法与硬件层面的优化技术,定量总结参数量、FLOPs与准确率权衡,并指出未来研究方向。
2023-07-16 cs.AR cs.CL cs.CV
Full Stack Optimization of Transformer Inference: a Survey
UC Berkeley(加州大学伯克利分校);NVIDIA(英伟达);ICSI(国际计算机科学研究所);LBNL(劳伦斯伯克利国家实验室)
本综述梳理了Transformer推理效率优化的五类研究方向,并通过Gemmini加速器案例验证,证实全栈协同设计可实现最高88.7倍的推理加速且性能损耗极小。
2023-02-27 cs.CL cs.LG
A Survey of Test-Time Compute: From Intuitive Inference to Deliberate Reasoning
Soochow University(苏州大学);National University of Singapore(新加坡国立大学)
本文全面综述了测试时计算扩展,追溯其从System-1到System-2模型的演进,探讨了通过参数更新、树搜索等技术提升模型推理与泛化能力的方法及未来方向。
2025-06-29 cs.AI cs.CL cs.LG