arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2309.03377cs.DC
收藏

StreamBed:面向流处理的容量规划

StreamBed: capacity planning for stream processing

Guillaume Rosinosky, Donatien Schmitz, Etienne Rivière

AI总结:

本文提出 StreamBed 容量规划系统,通过小规模受控测试平台为 Flink 查询建立资源需求模型,并在 Nexmark 上证明其能以 48 核准确预测超过 1,000 核作业的容量。

摘要:

StreamBed 是一个用于流处理的容量规划系统。它会在任何生产部署之前,预测某个查询为可持续处理输入数据速率所需的资源,以及这些资源的适当配置。StreamBed 通过在小规模、受控的测试平台中试运行目标查询的一系列运行,来构建容量规划模型。我们为流行的 Flink DSP 引擎实现了 StreamBed。我们使用 Nexmark 基准测试中的大规模查询进行评估,结果表明,StreamBed 仅使用 48 个核心的测试平台,就能有效且准确地预测跨越 1,000 多个核心的作业的容量需求。

英文摘要:

StreamBed is a capacity planning system for stream processing. It predicts, ahead of any production deployment, the resources that a query will require to process an incoming data rate sustainably, and the appropriate configuration of these resources. StreamBed builds a capacity planning model by piloting a series of runs of the target query in a small-scale, controlled testbed. We implement StreamBed for the popular Flink DSP engine. Our evaluation with large-scale queries of the Nexmark benchmark demonstrates that StreamBed can effectively and accurately predict capacity requirements for jobs spanning more than 1,000 cores using a testbed of only 48 cores.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑