Compass：面向延迟敏感型机器学习工作流的去中心化调度器
Compass: A Decentralized Scheduler for Latency-Sensitive ML Workflows
AI总结：
本文提出去中心化调度框架 Compass，通过统一 GPU 内存管理与任务放置，在保证资源效率的同时显著降低延迟敏感型机器学习工作流的完成时间。
摘要：
我们研究分布式系统中的机器学习查询处理：在这类系统中，配备 GPU 的工作节点协同执行复杂查询，这种计算方式常见于与用户交互、支持图像处理和自然语言处理的应用中。在此类系统中，对 GPU 内存管理与任务放置进行协同调度是一个颇具前景的优化机会。我们提出了 Compass，这是一个将上述功能统一起来的新颖框架，旨在降低作业延迟并高效利用资源；它会把任务放置到数据依赖将得到满足的位置，在不会使主机或其 GPU 过载的前提下将同一作业的任务协同定位，并高效管理 GPU 内存。与其他最先进调度器的比较表明，Compass 显著缩短了完成时间，同时只需要相同甚至更少的资源。在一个案例中，处理相同工作负载仅需一半的服务器。
英文摘要：
We consider ML query processing in distributed systems where GPU-enabled workers coordinate to execute complex queries: a computing style often seen in applications that interact with users in support of image processing and natural language processing. In such systems, coscheduling of GPU memory management and task placement represents a promising opportunity. We propose Compass, a novel framework that unifies these functions to reduce job latency while using resources efficiently, placing tasks where data dependencies will be satisfied, collocating tasks from the same job (when this will not overload the host or its GPU), and efficiently managing GPU memory. Comparison with other state of the art schedulers shows a significant reduction in completion times while requiring the same amount or even fewer resources. In one case, just half the servers were needed for processing the same workload.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
