StreamBed:面向流处理的容量规划
StreamBed: capacity planning for stream processing
AI总结:
本文提出 StreamBed 容量规划系统,通过小规模受控测试平台为 Flink 查询建立资源需求模型,并在 Nexmark 上证明其能以 48 核准确预测超过 1,000 核作业的容量。
摘要:
StreamBed 是一个用于流处理的容量规划系统。它会在任何生产部署之前,预测某个查询为可持续处理输入数据速率所需的资源,以及这些资源的适当配置。StreamBed 通过在小规模、受控的测试平台中试运行目标查询的一系列运行,来构建容量规划模型。我们为流行的 Flink DSP 引擎实现了 StreamBed。我们使用 Nexmark 基准测试中的大规模查询进行评估,结果表明,StreamBed 仅使用 48 个核心的测试平台,就能有效且准确地预测跨越 1,000 多个核心的作业的容量需求。
英文摘要:
StreamBed is a capacity planning system for stream processing. It predicts, ahead of any production deployment, the resources that a query will require to process an incoming data rate sustainably, and the appropriate configuration of these resources. StreamBed builds a capacity planning model by piloting a series of runs of the target query in a small-scale, controlled testbed. We implement StreamBed for the popular Flink DSP engine. Our evaluation with large-scale queries of the Nexmark benchmark demonstrates that StreamBed can effectively and accurately predict capacity requirements for jobs spanning more than 1,000 cores using a testbed of only 48 cores.
机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。