SMDP-Based Dynamic Batching for Improving Responsiveness and Energy Efficiency of Batch Services
Tsinghua University（清华大学）
本文将批处理服务队列建模为SMDP，提出近似最优动态批处理策略，以权衡平均响应时间与功耗，并通过抽象成本大幅降低复杂度。
2025-01-04 cs.DC cs.LG cs.SY
Multi-Bin Batching for Increasing LLM Inference Throughput
University of California, Santa Barbara（加州大学圣巴巴拉分校）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Google（谷歌）；Ludo Robotics（卢多机器人公司）；KRAFTON AI
该研究针对LLM请求长度差异导致的资源利用率问题，提出多桶批处理方法，在静态批处理框架下提升了LLM推理吞吐量，量化了其与原生连续批处理的性能差距。
2026-08-18 cs.CL cs.DC cs.LG
Optimizing LLM Inference Throughput via Memory-aware and SLA-constrained Dynamic Batching
针对静态批处理在内存受限GPU上部署LLM的局限，提出一种内存感知且SLA约束的动态批处理方法，通过动态调度与延迟反馈机制，使吞吐量提升8%-28%、容量提升22%。
2025-03-07 cs.DC
The Synergy of Speculative Decoding and Batching in Serving Large Language Models
University of Toronto（多伦多大学）；CentML Inc（CentML公司）；Vector Institute（向量研究所）
本文研究大语言模型推理中批处理与投机解码的协同效应，通过定量建模发现最优投机长度取决于批大小，并提出自适应投机解码策略，在不同批大小下达到或超越固定长度方案。
2023-10-28 cs.DC cs.LG
AlignedServe: Orchestrating Prefix-aware Batching to Build a High-throughput and Computing-efficient LLM Serving System
Sun Yat-Sen University（中山大学）
针对LLM服务中解码迭代内的气泡问题，提出基于前缀感知批处理的AlignedServe框架，通过分组相似KV缓存长度的请求、CPU内存维护大量飞行请求、批级调度和GPU间预取KV缓存，显著提升解码吞吐量并降低延迟。
2026-05-22 cs.DC
Online Dynamic Batching with Formal Guarantees for LLM Training
Tencent（腾讯）
提出在线动态批处理（ODB）系统，在数据加载器侧将批构建延迟到样本真实成本可观测时，解决离线批采样中预处理成本不可见问题，实现1.58-4.43x吞吐量提升，并提供无死锁有界终止的形式化保证。
2026-06-19 cs.DC cs.LG
Throughput Maximization of DNN Inference: Batching or Multi-Tenancy?
针对DNN推理吞吐量提升问题，该研究设计实现了DNNScaler系统，可根据DNN架构选择批处理或多租户方案并调参，在满足延迟要求的同时最高提升14倍吞吐量。
2023-08-26 cs.DC
Thread Batching for High-performance Energy-efficient GPU Memory Design
GPU中的大规模多线程给内存子系统带来了巨大的压力。由于GPU线程级并行性的快速增长和峰值内存带宽的缓慢提高，内存成为GPU性能和能效的瓶颈。在这项工作中，我们提出了一个集成的架构方案，以优化内存访问，从而提高GPU的性能和能源效率。首先，我们提出了一个线程批启用内存分区（TEMP），以提高GPU的内存访问并行性。具体地，TEMP将共享相同页集合的多个线程块分组到线程批中，并且应用页着色机制以将每个流多处理器（SM）绑定到专用存储体。之后，TEMP将线程批调度到SM，以确保来自不同线程块的高并行内存访问流。其次，线程批感知调度（TBAS）计划，以提高GPU的存储器访问的局部性，减少对存储器控制器和互连网络的竞争。实验结果表明，TEMP和TBAS的集成可以实现高达10.3%的性能提高和11.3%的DRAM能源减少在不同的GPU应用。我们还评估了混合CPU+GPU工作负载的性能干扰，当它们运行在一个异构系统，采用我们提出的计划。我们的结果表明，一个简单的解决方案可以有效地确保GPU和CPU应用程序的高效执行。
2019-06-13 cs.AR cs.DC
BatchLLM: Optimizing Large Batched LLM Inference with Global Prefix Sharing and Throughput-oriented Token Batching
Microsoft（微软）
本文提出BatchLLM，通过全局前缀共享和面向吞吐量的令牌批处理优化大批次LLM推理，提高GPU利用率。
2026-04-22 cs.AI cs.CL cs.DC
Tangram: High-resolution Video Analytics on Serverless Platform with SLO-aware Batching
针对云边高分辨率视频分析的SLO违规与资源低效问题，提出Tangram无服务器系统，通过RoI对齐拼接批处理与SLO感知在线调度算法，大幅降低带宽与计算成本，同时保障SLO与精度。
2024-04-14 cs.DC
Leveraging GPU batching for scalable nonlinear programming through massive Lagrangian decomposition
我们提出了一个信赖域牛顿算法ExaTron的实现有界约束非线性规划问题，完全运行在多个GPU上。在CPU和GPU之间没有数据传输的情况下，我们的实现在内存受限的情况下消除了一个主要的性能瓶颈，特别是在批量解决许多小问题时。我们讨论了我们的核函数和核心操作的设计原则和实现细节。不同的设计选择是合理的数值实验。通过使用分布式控制的交流最优潮流，其中一个大的问题被分解成许多较小的非线性程序，使用拉格朗日方法的应用程序，我们证明了ExaTron的计算性能的首脑会议超级计算机在橡树岭国家实验室。我们的数值计算结果显示，相对于批量大小和GPU的数量和超过35倍的加速比在一个节点上的40个CPU上的6个GPU的线性缩放。
2021-06-28 cs.DC cs.MS math.OC
Joint Optimization of Offloading, Batching and DVFS for Multiuser Co-Inference
本研究针对多用户边缘-设备协同推理场景，提出联合DVFS、卸载和批处理策略J-DOB，在满足硬延迟约束下最小化总能耗，实验显示相比本地计算能耗降低高达51.30%。
2025-04-20 cs.DC
Efficient Interactive LLM Serving with Proxy Model-based Sequence Length Prediction
IBM Research（IBM研究院）
本文提出投机性最短作业优先（SSJF）调度器，利用轻量级代理模型预测LLM输出序列长度，在不改变内存管理和批处理策略的情况下，显著降低作业完成时间并提升吞吐量。
2024-11-25 cs.CL cs.DC cs.LG
Request-Level Energy Attribution for Batched LLM Serving
本研究提出JouleShare框架，通过计算Shapley能耗建立请求级基准，用JCalib校准模型提升批量LLM服务的请求级能耗归因精度，验证了token比例归因的偏差及JCalib的有效性。
2026-08-04 cs.AI cs.DC
Efficiency and Cost Alignment in Batched LLM Serving via Resource-Fair Scheduling
University of Washington（华盛顿大学）；HKUST（香港科技大学）
本文针对批量LLM服务中异构请求导致的资源分配低效问题，提出ISJL算法，实现高吞吐量的同时对齐最大驱动批次成本与token计量收入，达到3/4的竞争比下界，平衡了FCFS与LJF的优缺点。
2026-08-04 cs.DC cs.SY eess.SY
Mind the Memory Gap: Unveiling GPU Bottlenecks in Large-Batch LLM Inference
Barcelona Supercomputing Center（巴塞罗那超级计算中心）；Universitat Politècnica de Catalunya - BarcelonaTech (UPC)（巴塞罗那技术大学 - 巴塞罗那技术学院）；IBM Research（IBM研究院）
本文揭示大批量LLM推理仍受限于DRAM带宽饱和而非计算能力，提出批处理配置顾问（BCA）优化内存分配，并利用模型复制提升吞吐量与GPU利用率。
2025-07-11 cs.DC cs.LG
Slice-Level Scheduling for High Throughput and Load Balanced LLM Serving
本文提出切片级调度（SCLS），通过将最大生成长度切分为切片并按切片服务批次，解决LLM服务中请求长度不可预测导致的调度难题，实现高达315.8%的吞吐量提升和更好的负载均衡。
2025-03-09 cs.DC
NanoBatch Privacy: Enabling fast Differentially Private learning on the IPU
Stanford University（斯坦福大学）；Graphcore Inc.（Graphcore公司）；University of Toronto（多伦多大学）
差分私有SGD（DPSGD）最近在深度学习中显示出了希望。然而，与非私有SGD相比，DPSGD算法的计算开销可能会抵消GPU中的GPU的优势。微加密是缓解这种情况的常用方法，并且在TensorFlow隐私库（TFDP）中得到完全支持。然而，它降低了准确性。我们提出了NanoBatch Privacy，这是TFDP的一个轻量级附加组件，通过利用批次大小为1（无微扰）和梯度累积在Graphcore IPU上使用。这使我们能够在对吞吐量影响最小的情况下实现较大的总批量。其次，我们使用Cifar-10说明了从隐私与实用的角度来看，更大的批量大小不一定是最佳的。在ImageNet上，我们在TFDP上实现了超过15倍的加速，而在A100上实现了8倍的加速，甚至在Opacus等库之间也实现了显著的加速。我们还提供了两个扩展：1）用于流水线模型的DPSGD和2）每层剪切，比8x A100上的Opacus实现快15倍。最后，作为应用案例研究，我们将Nanobatch培训应用于私人Covid-19胸部CT预测。
2022-06-02 cs.CR cs.CV cs.DC
RollPacker: Mitigating Long-Tail Rollouts for Fast, Synchronous RL Post-Training
Hong Kong University of Science and Technology（香港理工大学）；Alibaba Group（阿里巴巴集团）；Taobao & Tmall Group of Alibaba（阿里巴巴淘宝与天猫集团）
针对同步RL后训练中长尾生成导致的GPU气泡问题，提出尾部批处理策略与RollPacker系统，通过将长响应集中到少数长轮次并优化三阶段，实现2.03-2.56倍加速且不损精度。
2025-09-25 cs.DC cs.LG
Constraint Programming Models For Serial Batch Scheduling With Minimum Batch Size
Georgia Institute of Technology（佐治亚理工学院）
针对具有最小批量要求的串行批调度问题，本文提出三种约束规划模型，实验表明在大规模实例上比现有MIP模型更快获得更优解。
2025-07-10 cs.AI cs.DC math.OC
DARIS: An Oversubscribed Spatio-Temporal Scheduler for Real-Time DNN Inference on GPUs
DARIS通过空间共享、时间划分和超额订阅GPU资源，实现高吞吐、低延迟的实时DNN调度，并支持零延迟任务迁移，显著优于现有方法。
2025-04-08 cs.DC
