Serving Heterogeneous LoRA Adapters in Distributed LLM Inference Systems
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft(微软);National Technical University of Athens(雅典国家技术大学)
LoRAServe通过动态适配器放置和路由框架,有效解决异构LoRA适配器在分布式大语言模型推理中的性能偏斜问题,提升吞吐量并降低延迟。
2025-11-28 cs.AI cs.DC cs.LG
Taming Latency-Memory Trade-Off in MoE-Based LLM Serving via Fine-Grained Expert Offloading
Stevens Institute of Technology(史蒂文斯理工学院);Rice University(Rice大学);University of Waterloo(多伦多大学);Rutgers University(罗格斯大学)
针对基于MoE的大语言模型服务中粗粒度专家卸载存在的延迟与内存权衡问题,提出细粒度专家卸载系统FineMoE,利用专家选择模式和输入语义指导卸载决策,显著降低推理延迟并提升专家命中率。
2025-10-04 cs.AI cs.DC cs.LG
LLM-PQ: Serving LLM on Heterogeneous Clusters with Phase-Aware Partition and Adaptive Quantization
University of Hong Kong(香港大学);ByteDance Inc.(字节跳动公司)
针对异构 GPU 集群上 LLM 服务成本高、现有方案仅适合同构设备的问题,本文提出 LLM-PQ,通过自适应混合精度量化、阶段感知划分和微批次设置,在满足质量目标下最高提升推理吞吐量 2.88 倍。
2024-03-02 cs.AI cs.DC cs.LG
CoLLM: Continuous Adaptation for SLO-Aware LLM Serving on Shared GPU Clusters
Tianjin University(天津大学);King's College London(伦敦大学国王学院);Paiou Cloud Computing (Shanghai) Company, Ltd.(上海帕优云计算有限公司)
CoLLM通过统一联邦参数高效微调与推理,实现LLM服务在共享GPU集群中的连续适应,提升模型质量和效率,实验显示其在吞吐量上表现优异。
2026-05-15 cs.AI cs.DC cs.LG
BucketServe: Bucket-Based Dynamic Batching for Smart and Efficient LLM Inference Serving
Southern University of Science and Technology(南方科技大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(深圳先进技术研究所,中国科学院)
BucketServe通过基于桶的动态分组优化LLM推理性能,提升吞吐量并确保服务等级目标合规。
2025-07-23 cs.AI cs.DC
MoEless: Efficient MoE LLM Serving with Serverless Experts
Stevens Institute of Technology(史蒂文斯理工学院);University of Maryland College Park(马里兰大学帕克分校)
MoEless通过无服务器计算实现高效的MoE大语言模型服务,减少推理延迟和成本。
2026-10-01 cs.AI cs.DC cs.LG
PTStore (Prefix Tensor Store): Distributed Prefix Caching and Replication for High Throughput Inference Serving
Johns Hopkins University(约翰霍普金斯大学);Argonne National Laboraotory(阿贡国家实验室)
PTStore 受 CDN 客户端缓存设计启发,通过分发和复制流行张量形成可重用 KV 缓存前缀来加速推理,减少缓存访问延迟与负载不平衡,能大幅扩大 KV 缓存大小,使长文本问答推理效率比基线高 5 至 6 倍。
2026-07-28 cs.AI cs.DC
Taming the Titans: A Survey of Efficient LLM Inference Serving
Soochow University(苏州大学);Huawei Cloud(华为云)
本文综述了高效LLM推理服务的方法,涵盖实例级(如模型放置、请求调度)、集群级(如GPU集群部署、负载均衡)及新兴场景策略,并提出了未来研究方向。
2025-04-28 cs.AI cs.CL cs.DC
Loquetier: A Virtualized Multi-LoRA Framework for Unified LLM Fine-tuning and Serving
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术全国重点实验室)
提出虚拟化多LoRA框架Loquetier,通过虚拟化模块与优化的计算流程,在单一运行时内无缝集成LLM微调与服务,实现高效批处理并显著提升吞吐量与SLO达成率。
2025-10-30 cs.AI cs.LG
DeServe: Towards Affordable Offline LLM Inference via Decentralization
University of California, Berkeley(加州大学伯克利分校)
本文提出去中心化离线LLM推理系统DeServe,利用空闲GPU降低成本,并在高延迟网络中通过优化吞吐量实现6.7-12.6倍性能提升。
2025-01-04 cs.AI cs.DC
Frontier: Towards Comprehensive and Accurate LLM Inference Simulation
The Chinese University of Hong Kong(香港中文大学);Anuttacon;StepFun
本文提出Frontier,一种用于现代LLM推理服务的离散事件模拟器,通过离散化抽象和对关键运行时优化的建模,实现了对复杂工作负载的准确预测,从而在不同服务场景中提供更精确的计算、通信和内存成本预测。
2026-06-16 cs.AI cs.DC cs.LG
Recency/Frequency Adaptive KV Caching for Large Language Model Serving
Department of Computer Science, Johns Hopkins University, Baltimore, USA(约翰霍普金斯大学计算机科学系);Argonne National Laboratory, Lemont, USA(阿贡国家实验室);Parasail, Inc., San Mateo, USA(Parasail公司)
针对LRU策略在多工作负载下缓存失效问题,提出自适应KV缓存,动态分配近期与高频KV块的空间,在合成文档问答中缓存命中率提升10.8%,首令牌时间降低12.6%。
2026-06-23 cs.AI cs.DC cs.LG
SLO-aware GPU Frequency Scaling for Energy Efficient LLM Inference Serving
ETH Zürich(苏黎世联邦理工学院);National Technical University of Athens(雅典国家技术大学)
throttLL'eM通过预测KV缓存使用和批处理大小,利用机器学习模型减少GPU频率和实例规模,从而在满足SLOs的前提下降低LLM推理的能耗达43.8%并提升能效1.71倍。
2025-12-03 cs.AI cs.AR cs.DC
LeMix: Unified Scheduling for LLM Training and Inference on Multi-GPU Systems
University of California, Riverside(加州大学河滨分校)
针对LLM训练与推理分离部署导致的GPU低效利用问题,提出整合离线剖析、执行预测与运行时调度的LeMix系统,可动态适配资源分配,显著提升吞吐量、降低推理损失并提高SLO达标率。
2025-07-28 cs.AI cs.CL cs.DC
AIConfigurator: Lightning-Fast Configuration Optimization for Multi-Framework LLM Serving
NVIDIA
AIConfigurator通过统一性能建模系统实现多框架LLM服务的快速配置优化,提升性能40%-50%并缩短搜索时间至30秒。
2026-01-09 cs.AI cs.DC cs.LG
Position: LLM Serving Needs Mathematical Optimization and Algorithmic Foundations, Not Just Heuristics
Department of Industrial Engineering and Decision Analytics(工业工程与决策分析系)
本文指出大语言模型推理服务已超越通用启发式方法,需数学优化和算法基础。现有服务系统如vLLM和SGLang的算法核心仍沿用传统分布式计算方法,无法适应LLM推理的动态KV缓存、prefill-decode阶段不对称性等特性。
2026-05-02 cs.AI cs.DC
Improving the Serving Performance of Multi-LoRA Large Language Models via Efficient LoRA and KV Cache Management
Shanghai Jiao Tong University(上海交通大学)
本文提出多LoRA缓存系统FASTLIBRA,通过依赖感知的缓存管理和性能驱动的缓存交换策略优化LoRA与KV缓存的HBM调度,相比现有方法平均降低首token时间63.4%。
2025-04-19 cs.AI cs.AR cs.LG
SPECTRE: Hybrid Ordinary-Parallel Speculative Serving for Resource-Efficient LLM Inference
Tsinghua University(清华大学);AI Infra Team at JDT(AI基础设施团队);JD iCity, JD Technology, JD Intelligent Cities Research(京东i城、京东科技、京东智能城市研究院)
SPECTRE通过利用未充分利用的尾部模型服务作为远程草稿生成器,提升大型模型推理效率,采用混合策略、推测优先调度和草稿压缩技术,实现并行处理,提升吞吐量并减少干扰。
2026-05-12 cs.AI cs.DC
Continuous Discovery of Vulnerabilities in LLM Serving Systems with Fuzzing
University of Maryland(马里兰大学);New York University(纽约大学)
本文提出GRIEF模糊器,通过时间多请求追踪发现LLM服务层漏洞,包括15个漏洞,10个已确认,涉及缓存隔离失败、跨请求性能干扰和崩溃问题。
2026-05-11 cs.AI cs.CR cs.LG
Ranking Before Serving: Low-Latency LLM Serving via Pairwise Learning-to-Rank
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Argonne National Laboratory(阿贡国家实验室)
提出PARS调度器,通过成对排序预测任务响应长度,近似最短作业优先调度,减少队头阻塞,在vLLM上实现高达15.7倍延迟降低。
2026-06-29 cs.AI cs.DC cs.LG
WISP: Waste- and Interference-Suppressed Distributed Speculative LLM Serving at the Edge via Dynamic Drafting and SLO-Aware Batching
University College Dublin(都柏林大学学院);National Technical University of Athens(雅典国家技术大学);Queen's University Belfast(贝尔法斯特女王大学)
本文提出WISP系统,通过动态草稿和SLO感知批处理优化边缘和云的负载平衡,提升系统容量和吞吐量。
2026-04-07 cs.AI cs.DC
PreFT: Prefill-only finetuning for efficient inference
Stanford University(斯坦福大学);Tilde Research(Tilde研究)
本文提出PreFT,通过仅在前缀阶段应用适配器以提高多适配器服务的吞吐量,实验显示其在不同任务中均优于传统PEFT。
2026-05-14 cs.AI cs.CL cs.LG
From Inference Engine to Inference Control Plane: Connecting vLLM, llm-d, and the Evolution of Efficient Distributed LLM Serving
本文综述LLM推理从引擎优化向分布式控制平面演进的趋势,提出推理执行规划器选择可行执行计划,并给出基准图谱、部署指南与评估框架,核心贡献在于综合现有研究而非新基准。
2026-09-22 cs.AI cs.PF
ALISE: Accelerating Large Language Model Serving with Speculative Scheduling
University of Central Florida(中佛罗里达大学)
针对现有大语言模型服务先到先服务调度存在的队头阻塞等问题,本文提出ALISE框架,通过推测式调度、自适应内存管理与量化压缩技术,在相同延迟下较vLLM最高提升1.8-2.1倍吞吐量。
2024-10-31 cs.AI cs.PF
Harmonia: End-to-End RAG Serving Optimization
UT Austin(德克萨斯大学奥斯汀分校);Cisco Research(思科研究);Cisco Systems(思科系统)
提出Harmonia框架,通过灵活管道接口、异构感知部署和闭环运行时控制器,优化RAG服务,吞吐量提升2.04倍以上,SLO违规减少78.4%。
2026-06-04 cs.AI cs.DC cs.MA
Understanding Efficient LLM Serving: An Empirical Study of Frameworks, Optimizations Algorithms, and Real-World Adoption
Polytechnique Montréal(蒙特利尔理工学院)
本研究通过实证分析开源软件系统中5种LLM服务框架的应用情况,明确了框架使用特点、常用服务方法及应用场景,为相关人员提供了实践见解。
2026-11-10 cs.AI cs.LG cs.SE
FlashSVD v1.5: Making Low-Rank Transformers Inference Actually Fast
Department of Electrical & Computer Engineering(电气与计算机工程系);Department of Statistical Science(统计科学系);Department of Computer Science(计算机科学系)
本文提出FlashSVD v1.5,通过统一的推断运行时优化低秩变换器的推断速度,实现解码和端到端加速。
2026-05-08 cs.AI cs.LG cs.PF
MACE: A Hybrid LLM Serving System with Colocated SLO-aware Continuous Retraining Alignment
针对边缘LLM重训练与推理的资源冲突问题,提出迭代级调度的混合系统MACE,同驻推理与微调任务并智能分配GPU资源,在保障SLO下兼顾延迟、吞吐量与模型更新时效性。
2025-09-28 cs.AI cs.CL cs.DC
XWind: A Cross-site Router for Large Language Model Inference Serving at Renewable Energy Farms
Microsoft(微软)
提出AI绿色围栏部署模式,并构建XWind路由器,利用实时信号动态配置站点和分发请求,以在可变风力供电下高效服务推理请求。
2026-09-29 cs.AI cs.DC cs.NI
GhostServe: A Lightweight Checkpointing System in the Shadow for Fault-Tolerant LLM Serving
Anonymous Authors(匿名作者)
本文提出GhostServe,一种轻量级检查点系统,通过擦除编码在主机内存中生成和存储奇偶分片,以保护流式KV缓存,提升大语言模型服务的容错性和效率。
2026-03-26 cs.AI cs.DC cs.PF
FineServe: A Fine-Grained Dataset and Characterization of Global LLM Serving Workloads
Tianjin University(天津大学);PPIO Cloud (Shanghai) Co., Ltd.(PPIO云(上海)有限公司)
针对大语言模型服务中高效服务面临的挑战,提出FineServe数据集,能对异构模型和任务的服务动态进行细粒度特征描述。通过分析得出波动模式,开发工作负载生成器,为评估相关策略提供现实基础。
2026-07-23 cs.AI
Fairness in Serving Large Language Models
UC Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学);Duke University(杜克大学)
本文针对LLM服务因请求长度不可预测和并行加速器批处理特性带来的公平性挑战,基于处理token数量的成本函数定义了公平性,并提出基于连续批处理的新颖调度算法VTC,证明了2倍紧致上界且实验验证其性能卓越。
2024-06-05 cs.AI cs.LG cs.PF
HeraSys: Collaborative Serving of Multiple LLM Workflows via Fine-Grained End-to-End Optimization
针对大语言模型服务系统,HeraSys通过细粒度编排消除工作流间计算冗余,引入负载感知联合调度策略,结合资源倾斜机制等,有效减轻尾部延迟并提高吞吐量,实验证明其能显著降低延迟、提升服务吞吐量。
2026-07-28 cs.AI
Ekka: Automated Diagnosis of Silent Errors in LLM Inference
University of Science and Technology of China(中国科学技术大学);Tsinghua University(清华大学)
提出Ekka系统,通过差分调试对齐比较中间执行状态,自动诊断LLM推理框架中的静默错误,在真实错误基准上达到80% pass@1和88% pass@5的诊断准确率。
2026-11-05 cs.AI cs.DC cs.SE
FP6-LLM: Efficiently Serving Large Language Models Through FP6-Centric Algorithm-System Co-Design
University of Sydney(悉尼大学);Microsoft(微软);Rutgers University(罗格斯大学)
本文提出 TC-FPx 全栈 GPU 内核及 FP6-LLM 推理系统,通过统一 Tensor Core 支持 FP6 等浮点量化权重,解决内存访问与反量化开销问题,并在单 GPU 上高效推理 LLaMA-70b。
2024-03-04 cs.AI cs.AR cs.LG
Revisiting Disaggregated Large Language Model Serving for Performance and Energy Implications
IBM Research Yorktown Heights, New York(IBM研究院约克镇高地,纽约)
本文重新评估了预填充-解码解耦服务的性能和能耗影响,发现其性能优势依赖于请求负载和KV传输介质,且解耦服务本身能耗较高。
2025-11-14 cs.AI cs.AR cs.DC
Geometry-Aware Online Scheduling for LLM Serving: From Theoretical Bound to System Practice
Gaoling School of Artificial Intelligence(人工智能学院);Renmin University of China(中国人民大学);Department of Management Science and Engineering(管理科学与工程系);Stanford University(斯坦福大学);Department of Industrial Engineering and Decision Analytics(工业工程与决策分析系);HKUST(香港科技大学)
针对LLM推理中KV缓存动态内存占用问题,提出Smallest Volume First (SVF)算法,通过几何感知调度优化性能,理论证明将竞争比从48降至5,并在vLLM中实现即插即用,显著降低平均和尾部延迟。
2026-10-08 cs.AI
MLProxy: SLA-Aware Reverse Proxy for Machine Learning Inference Serving on Serverless Computing Platforms
University of Alberta(阿尔伯塔大学);York University(约克大学)
在云上提供机器学习推理工作负载在生产层面仍然是一项具有挑战性的任务。由于批量配置、资源配置和可变到达过程之间的复杂交互,在优化基础设施成本的同时满足SLA要求的推理工作负载的最佳配置是非常复杂的。近年来,无服务器计算已经出现,可以自动执行大多数基础设施管理任务。IBM已经揭示了改善机器学习服务工作负载的响应时间和成本效益的潜力。然而,它还没有得到无服务器计算平台的开箱即用支持。我们的实验表明,对于各种机器学习工作负载,通过减少每个请求的处理开销,可极大地提高系统的效率。在这项工作中,我们提出了MLProxy,一个自适应的反向代理,以支持高效的机器学习服务工作负载的无服务器计算系统。MLProxy支持自适应服务器,以确保SLA合规性,同时优化无服务器成本。我们在Knative上进行了严格的实验,以证明MLProxy的有效性。我们发现,MLProxy可以将无服务器部署的成本降低高达92%,同时将SLA违规减少高达99%,这可以在最先进的模型服务框架中推广。
2022-02-23 cs.AI cs.DC cs.LG
CascadeServe: Unlocking Model Cascades for Inference Serving
MIT(麻省理工学院);Intel(英特尔公司);University of Arizona(亚利桑那大学)
针对ML推理服务的高成本与请求波动硬件适配难题,提出分离线在线阶段的CascadeServe系统,通过模型级联实现推理服务优化,相比现有基线可节省2-3倍成本。
2024-06-20 cs.DC cs.LG
DeltaServe: Host-Agnostic Co-Serving of Inference and Fine-Tuning for LLMs
McGill University(麦吉尔大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);Nutanix, Inc.(Nutanix公司)
DeltaServe是一种主机无关式LLM推理与微调协同服务设计,可利用闲置GPU算力提升LoRA微调吞吐量,已集成至vLLM等框架,在保持100%推理SLO合规的前提下,微调吞吐量较现有方案显著提升。
2026-08-03 cs.DC cs.LG
MOSEL: Inference Serving Using Dynamic Modality Selection
UT Austin(德克萨斯大学奥斯汀分校)
本文提出MOSEL推理服务系统,通过按请求动态选择输入模态,在保证精度前提下将吞吐量提升3.6倍、作业完成时间缩短11倍。
2023-10-27 cs.AI cs.LG cs.OS
Fast Distributed Inference Serving for Large Language Models
Peking University(北京大学)
针对LLM推理服务中的队头阻塞和高延迟问题,提出分布式推理系统FastServe,采用基于输出token粒度的抢占式调度和跳过连接多级反馈队列调度器,并设计高效GPU内存管理机制,在相同延迟要求下相比vLLM显著提升吞吐量。
2024-09-25 cs.DC cs.LG
Perseus: Characterizing Performance and Cost of Multi-Tenant Serving for CNN Models
Worcester Polytechnic Institute(伍斯特理工学院)
深度学习模型越来越多地用于终端用户应用程序,支持面部识别等新功能和Web搜索等传统功能。为了适应高推理吞吐量,通常将单个预训练的卷积神经网络(CNN)托管在具有诸如图形处理单元(GPU)之类的硬件加速器的专用基于云的服务器中。然而,GPU可能比传统的中央处理单元(CPU)服务器贵几个数量级。面对动态工作负载,这些资源也可能未得到充分利用,这可能导致服务成本膨胀。缓解这个问题的一个潜在方法是允许托管模型共享底层资源,我们称之为多租户推理服务。其中一个关键的挑战是最大限度地提高资源效率的多租户服务给定的硬件具有不同的特点,具有独特的响应时间服务水平协议(SLA)的模型,和动态推理工作负载。在本文中,我们提出了珀尔修斯,一个测量框架,为理解多租户模型服务的性能和成本权衡提供了基础。我们在一个名为Nvidia TensorRT Inference Server的流行云推理服务器上用Python实现了Perseus。利用Perseus,我们评估了服务各种模型的推理吞吐量和成本,并证明多租户模型服务可以降低高达12%的成本。
2020-03-30 cs.DC cs.LG cs.PF
ElasticMM: Efficient Multimodal LLMs Serving with Elastic Multimodal Parallelism
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Electronic Science and Technology of China(电子科技大学);National University of Singapore(新加坡国立大学)
针对多模态大语言模型服务中推理开销大、资源利用率低的问题,提出弹性多模态并行范式EMP及系统ElasticMM,通过模态感知负载均衡、弹性分区调度等优化,实现TTFT降低4.2倍、吞吐量提升3.2-4.5倍且满足SLOs。
2025-11-11 cs.DC cs.LG
INFaaS: A Model-less and Managed Inference Serving System
Stanford University(斯坦福大学)
尽管在机器学习推理服务方面已有工作,但易用性和成本效率在大规模上仍然面临挑战。开发人员必须手动搜索数千个模型变体-已经训练的模型的版本,这些版本在硬件,资源占用,延迟,成本和准确性方面有所不同-以满足不同的应用程序需求。由于需求、查询负载和应用程序本身会随着时间的推移而发展,因此需要为每个推理查询动态地做出这些决策,以避免通过简单的自动缩放产生过多的成本。为了避免在模型变量的大而复杂的权衡空间中导航,开发人员经常在查询中修复一个变量,并在负载增加时复制它。然而,考虑到云中变体和硬件平台的多样性,缺乏对权衡空间的理解可能会给开发人员带来巨大的成本。本文介绍了INFaaS,分布式推理服务的管理和无模型系统,开发人员只需指定其应用程序的性能和准确性要求,而不需要为每个查询指定一个特定的模型变量。INFaaS生成模型变量,并代表开发人员有效地导航模型变量的大权衡空间,以满足特定于应用程序的目标:(a)对于每个查询,它选择一个模型,硬件架构和模型优化,(b)它将VM级水平自动缩放与模型级自动缩放相结合,其中多个不同的模型变量用于在每台机器内服务查询。与AWS EC2上最先进的推理服务系统相比,通过利用不同的变体并跨模型共享硬件资源,INFaaS实现了1.3倍的吞吐量,违反延迟目标的频率降低了1.6倍,并节省了高达21.6倍的成本(平均为8.5倍)。
2020-12-15 cs.DC cs.LG
SpecInfer: Accelerating Generative Large Language Model Serving with Tree-based Speculative Inference and Verification
Carnegie Mellon University(卡内基梅隆大学);Tsinghua University(清华大学);Stanford University(斯坦福大学);Shanghai Jiao Tong University(上海交通大学);Peking University(北京大学)
SpecInfer通过小型推测模型生成令牌树预测,并用基于树的并行解码机制由LLM统一验证,在保持模型质量的同时将生成式LLM服务加速1.5至3.5倍。
2024-04-01 cs.CL cs.DC cs.LG
Enabling Efficient Serverless Inference Serving for LLM (Large Language Model) in the Cloud
Technische Universität München(慕尼黑工业大学)
本文综述了Serverless LLM推理的冷启动问题,重点介绍ServerlessLLM通过多层检查点加载、实时迁移和启动优化调度将启动时间缩短6到8倍,并回顾了Rainbowcake等其他方法及FaaS冷启动应对策略。
2024-11-23 cs.DC cs.LG
Scalable AI Inference: Performance Analysis and Optimization of AI Model Serving
Institute of Computer Science(计算机科学研究所);University of Applied Sciences Ruhr West(鲁尔西部应用科学大学);Mülheim an der Ruhr, Germany(鲁尔地区穆尔海姆,德国)
本文研究了基于BentoML的AI推理系统在可扩展模型服务中的性能与优化,通过实验证明了优化策略对响应时间和系统鲁棒性的影响。
2026-04-22 cs.AI cs.LG
Collaborative Speculative Inference for Efficient LLM Inference Serving
University of Science and Technology of China(中国科学技术大学)
针对现有投机推理方法资源利用率低、草稿接受率有限的问题,提出多节点协同的CoSine系统,通过解耦解码与验证、置信度融合、流水线调度等优化,在同等成本下显著降低延迟、提升吞吐量。
2025-05-15 cs.DC cs.LG
Strait: Perceiving Priority and Interference in ML Inference Serving
Inria \& Sorbonne University Paris France;Inria Paris France;Inria \& Sorbonne University;Inria
Strait系统通过优先级感知调度和干扰预测,提升高优先级任务的截止期限满足率,降低低优先级任务的开销。
2026-04-30 cs.LG
S3ML: A Secure Serving System for Machine Learning Inference
Peking University(北京大学);Ant Group(蚂蚁集团)
本文提出了一个面向机器学习推理的安全服务系统S3ML。S3ML在英特尔SGX安全区中运行机器学习模型,以保护用户隐私。S3ML设计了一个安全的密钥管理服务来构建灵活的隐私保护服务器集群,并提出了新的SGX感知的负载均衡和伸缩方法,以满足用户的服务水平目标。我们基于Kubernetes实现了S3ML,作为一个低开销,高可用性和可扩展的系统。我们证明了系统的性能和有效性的S3ML通过一系列广泛使用的模型上进行广泛的实验。
2020-10-13 cs.CR cs.LG
Comparative Analysis of Large Language Model Inference Serving Systems: A Performance Study of vLLM and HuggingFace TGI
Baltimore, MD, USA(美国马里兰州巴尔的摩)
本文比较了vLLM和HuggingFace TGI在大语言模型推理服务中的性能,发现vLLM在高并发场景下吞吐量更高,而TGI在交互式应用中延迟更低。
2025-11-17 cs.DC cs.LG cs.PF
Packrat: Automatic Reconfiguration for Latency Minimization in CPU-based DNN Serving
University of Utah(犹他大学);Microsoft Research(微软研究院);NVIDIA(英伟达);Microsoft(微软)
Packrat提出在CPU服务器上以多实例、小批量和少线程替代单实例全线程运行DNN,并自动搜索最优实例数、线程数和批处理大小,作为TorchServe扩展实现延迟降低1.43至1.83倍。
2023-11-30 cs.DC cs.LG
FlexLLM: Token-Level Co-Serving of LLM Inference and Finetuning with SLO Guarantees
Carnegie Mellon University(卡内基梅隆大学);Purdue University(普渡大学);Anthropic PBC(Anthropic 公益公司);Stanford University(斯坦福大学);Mistral AI;Amazon Web Services(亚马逊云科技)
FlexLLM通过令牌级计算融合与混合调度,在共享GPU上协同服务LLM推理和PEFT微调,实现高达80%内存节省、SLO保证及最高6.8倍微调吞吐量提升。
2025-10-23 cs.CL cs.DC cs.LG