SAIR：通过基于上下文的强化学习实现高效的多阶段机器学习管道自动扩展
SAIR: Cost-Efficient Multi-Stage ML Pipeline Autoscaling via In-Context Reinforcement Learning
AI总结：
SAIR通过基于上下文的强化学习实现多阶段机器学习管道的高效自动扩展，显著提升P99延迟性能并降低资源成本
摘要：
多阶段机器学习推理管道由于资源异质性、跨阶段耦合和动态瓶颈迁移而难以自动扩展。我们提出了SAIR，一种使用LLM作为基于上下文的强化学习控制器的自动扩展框架，通过奖励标记的交互历史改进其策略在线性能，而无需梯度更新。SAIR结合了帕累托支配奖励塑造与可证明的分离边距、基于惊奇的体验检索以提高上下文效率，以及通过用户空间CUDA拦截实现的细粒度GPU速率控制。我们提供了退化分析，将误差分解为检索覆盖和LLM选择组成部分。在四个机器学习服务管道下三种工作负载模式中，SAIR在部署基线中实现了最佳或并列最佳的P99延迟和有效资源成本，将P99延迟提高了最高50%，将有效成本降低了最高97%（在GPU速率控制假设下），具有86%的瓶颈检测准确率且无离线训练。
英文摘要：
Multi-stage ML inference pipelines are difficult to autoscale due to heterogeneous resources, cross-stage coupling, and dynamic bottleneck migration. We present SAIR, an autoscaling framework that uses an LLM as an in-context reinforcement learning controller, improving its policy online from reward-labeled interaction histories without gradient updates. SAIR combines Pareto-dominance reward shaping with a provable separation margin, surprisal-guided experience retrieval for context efficiency, and fine-grained GPU rate control via user-space CUDA interception. We provide regret analysis decomposing error into retrieval coverage and LLM selection components. On four ML serving pipelines under three workload patterns, SAIR achieves the best or tied-best P99 latency and effective resource cost among deployed baselines, improving P99 by up to 50% and reducing effective cost by up to 97% (under GPU rate-control assumptions), with 86% bottleneck detection accuracy and no offline training.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
