Petascale后计算机的检查点设置与迁移

Checkpointing vs. Migration for Post-Petascale Machines

Franck Cappello, Henri Casanova, Yves Robert

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

我们手工制作了几个方案，在未来一代机器上执行顺序和并行作业。检查点或迁移，选择哪种技术？

英文摘要：

We craft a few scenarios for the execution of sequential and parallel jobs on future generation machines. Checkpointing or migration, which technique to choose?

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

Petascale计算的系统级可扩展检查点重启

System-level Scalable Checkpoint-Restart for Petascale Computing

对于即将到来的兆兆级的容错一直是一个活跃的研究领域。容错策略的组成部分之一是检查点。Petascale级别的检查点是通过一种新的机制来演示的，该机制用于虚拟化InfiniBand UD（不可靠数据报）模式，并用于在每个基于UD的发送上更新远程地址，因为缺乏固定的对等体。请注意，需要InfiniBand UD来支持现代MPI实现。从目前的结果到未来的SSD存储系统的外推提供了证据，目前的方法将保持实用的艾级一代。这种透明的检查点方法使用DMTCP检查点包的框架进行评估。结果显示为HPCG（线性代数），NAMD（分子动力学），和NAS NPB基准。在32，752个CPU内核上测试了多达32，752个MPI进程，演示了在11分钟内使用38 TB内存占用进行计算的检查点操作。将系统开销降低到1%以下。该方法还评估了三个广泛使用的MPI实现。

2016-09-24cs.DCcs.OS

异构云环境中的检查点即服务

Checkpointing as a Service in Heterogeneous Cloud Environments

一个非侵入性的，云不可知的方法是扩展现有的云平台，包括检查点重启能力。大多数云平台目前依赖于每个应用程序来提供其自己的容错。云内部的统一机制有两个目的：（a）直接支持长时间运行的作业，否则需要为每个应用程序提供自定义容错机制;（b）当更高优先级的作业到达时，通过临时交换作业来管理超额订阅的云的管理能力。这种统一方法的一个优点是，它还支持TCP和InfiniBand上的并行和分布式计算，从而允许传统的HPC应用程序利用现有的云基础设施。此外，集成的运行状况监视机制可以检测到长时间运行的作业何时失败或导致异常低的性能（可能是由于资源不足），并主动挂起作业。通过将该实现应用于两个非常不同的云平台：Snooze和OpenStack，展示了与云无关的特性。使用与云无关的架构还首次实现了应用程序从一个云平台迁移到另一个云平台。

2015-03-21cs.DC

科学平台的检查点、还原和实时迁移

Checkpoint, Restore, and Live Migration for Science Platforms

我们展示了一个完整的功能实现（每用户）检查点，恢复，和实时迁移功能的XuanyterHub平台。检查点--冻结和挂起磁盘运行状态（内存、寄存器、打开的文件等内容）的能力。--使系统能够将用户的HTTP会话快照到永久存储中。恢复功能将检查点会话带回到运行状态，以便以后在其他机器上继续执行。最后，实时迁移允许在不同的机器之间移动正在运行的Xueyter Notebook服务器，对分析代码透明，并且不断开用户连接。我们对这些功能的实现在系统级工作，几乎没有限制，典型的检查点/恢复时间为O（10秒），实时迁移的路径为O（1秒）。它开启了无数有趣的用例，特别是对于基于云的部署：从检查点空闲会话w/o中断用户的工作（实现4倍或更多的成本降低），在现场执行实例w。从回收时的透明迁移（额外成本降低高达3倍），到将工作负载自动迁移到理想的实例（例如，根据观察到的资源利用率，将分析迁移到具有更多或更少RAM或内核的机器）。我们展示的功能可以使科学平台完全具有弹性，同时保持出色的用户体验。

2021-01-14astro-ph.IMcs.DC

英特尔页面修改日志，一项硬件虚拟化功能：研究和改进虚拟机工作集估计

Intel Page Modification Logging, a hardware virtualization feature: study and improvement for virtual machine working set estimation

英特尔页面修改日志记录（PML）是一项新颖的硬件功能，用于跟踪虚拟机（VM）访问的内存页面。这项任务在当今的数据中心中至关重要，因为它允许检查点、实时迁移和工作集大小（WSS）估计等。本文以Xen虚拟机管理程序为依托，从功耗、效率和对用户应用程序性能影响三个角度研究PML。我们的调查结果如下。首先，PML不会产生任何功耗开销。其次，PML将VM实时迁移和检查点设置时间减少了10.18%。第三，PML可以将实时迁移和检查点所导致的应用程序性能下降降低0.95%。第四，然而，PML不允许准确的WSS估计，因为不跟踪读取访问并且不能识别热页。为解决这些限制而对PML进行的简单扩展可能会导致计算WSS的VM的性能严重下降（高达34.8%）。本文介绍了页面引用日志（PRL），一个智能扩展的PML允许读取和写入访问进行跟踪。这样做不会影响用户VM。本文还提出了一个WSS估计系统，利用PRL，并展示了如何将该算法集成到一个数据中心，实现内存超量使用。我们实现PRL和WSS估计系统下，Gem5，一个非常流行的硬件模拟器。评估结果验证了PRL在WSS估计中的准确性。他们还表明，PRL不会导致用户虚拟机的性能下降。

2020-01-26cs.DCcs.OS