With the growing popularity of cloud gaming and cloud virtual reality (VR), interactive 3D applications have become a major type of workloads for the cloud. However, despite their growing importance, there is limited public research on how to design cloud systems to efficiently support these applications, due to the lack of an open and reliable research infrastructure, including benchmarks and performance analysis tools. The challenges of generating human-like inputs under various system/application randomness and dissecting the performance of complex graphics systems make it very difficult to design such an infrastructure. In this paper, we present the design of a novel cloud graphics rendering research infrastructure, Pictor. Pictor employs AI to mimic human interactions with complex 3D applications. It can also provide in-depth performance measurements for the complex software and hardware stack used for cloud 3D graphics rendering. With Pictor, we designed a benchmark suite with six interactive 3D applications. Performance analyses were conducted with these benchmarks to characterize 3D applications in the cloud and reveal new performance bottlenecks. To demonstrate the effectiveness of Pictor, we also implemented two optimizations to address two performance bottlenecks discovered in a state-of-the-art cloud 3D-graphics rendering system, which improved the frame rate by 57.7% on average.
Duet Benchmarking: Improving Measurement Accuracy in the Cloud
我们调查的二重奏测量程序，这有助于提高性能比较实验的准确性，通过并行执行测量的工件，并评估其相对性能在一起，而不是单独的共享机器上进行。具体来说，我们分析了在多个云环境中的程序的行为，并使用实验证据来回答多个研究问题的假设基础的程序。我们展示了测试的ScalaBench（和DaCapo）工作负载的准确度提高了2.3倍到12.5倍（平均5.03倍），SPEC CPU 2017工作负载的准确度提高了23.8倍到82.4倍（平均37.4倍）。
云服务提供商以“即服务”的形式交付其产品，这些产品通常按抽象级别进行分类。这种方法隐藏了实现细节，只向用户显示功能。然而，问题是很难衡量云服务的性能，因为它们的行为就像黑匣子。特别是对于功能即服务，这更加困难，因为它通过设计完全隐藏了用户的服务器和基础设施管理。Cloud Service Prodivers通常会限制Cloud Functions的最大代码大小、内存和运行时间。然而，用户需要澄清是否需要更多的资源来提供高质量的服务。在这方面，我们提出了一个新的功能即服务基准测试工具，它允许用户评估云功能的性能的架构设计。此外，该框架的能力进行了测试，在一个隔离的平台上与特定的工作负载。结果表明，用户能够深入了解功能即服务环境。这反过来又允许用户识别可能减慢或加快云功能性能的因素。
Plug and Play Bench: Simplifying Big Data Benchmarking Using Containers
最近大数据的蓬勃发展，加上其处理和存储的挑战，引发了分布式数据处理和存储范式的发展，如MapReduce，Spark和NoSQL数据库。随着云计算的出现，在机器集群上处理和存储如此庞大的数据集现在是容易可行的。但是，用户可以依靠有限的工具和方法来衡量和理解本地部署在集群或云中的大数据应用程序的性能。研究人员已经开始通过提供适合大数据应用程序的基准测试套件来探索这一领域。然而，这些工具中的许多是分散的，部署和管理复杂的，并且不提供关于对应用程序进行基准测试的货币成本的透明度。在本文中，我们提出了Plug And Play Bench，这是一种基础设施感知抽象，旨在集成和简化机器集群上大数据基准测试工具的部署。PAPB通过基于底层集群部署框架将工具和设置容器化，自动化安装、配置和执行常见大数据基准工作负载的繁琐过程。我们的概念验证实施利用HiBench作为基准套件，HDP作为集群部署框架，Azure作为云平台。本文进一步说明了基于底层Microsoft Azure云平台的成本指标。
Cloud to Edge: Benchmarking LLM Inference On Hardware-Accelerated Single-Board Computers
Kaze Technologies（凯兹技术）；Kaze Consulting（凯兹咨询）；Electrical and Computer Engineering（电气与计算机工程）；Lebanese American University（黎巴嫩美国大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Exeter（埃克塞特大学）
ContinuumBench: Benchmarking Joint Autoscaling and Placement Across Evaluation Regimes in the Cloud-Edge Continuum
Institute of Information Science and Technologies “Alessandro Faedo” (ISTI), National Research Council of Italy (CNR)（意大利国家研究委员会信息科学与技术研究所（ISTi））；Department of Computer Science, University of Pisa（比萨大学计算机科学系）；Department of AI, Data and Decision Sciences, LUISS University（LUISS大学人工智能、数据与决策科学系）
