Bifrost: a Python/C++ Framework for High-Throughput Stream Processing in Astronomy
Miles D. Cranmer, Benjamin R. Barsdell, Danny C. Price, Jayce Dowell, Hugh Garsden, Veronica Dike, Tarraneh Eftekhari, Alexander M. Hegedus, Joseph Malins, Kenn… 展开作者
Miles D. Cranmer, Benjamin R. Barsdell, Danny C. Price, Jayce Dowell, Hugh Garsden, Veronica Dike, Tarraneh Eftekhari, Alexander M. Hegedus, Joseph Malins, Kenneth S. Obenberger, Frank Schinzel, Kevin Stovall, Gregory B. Taylor, Lincoln J. Greenhill
Radio astronomy observatories with high throughput back end instruments require real-time data processing. While computing hardware continues to advance rapidly, development of real-time processing pipelines remains difficult and time-consuming, which can limit scientific productivity. Motivated by this, we have developed Bifrost: an open-source software framework for rapid pipeline development. Bifrost combines a high-level Python interface with highly efficient reconfigurable data transport and a library of computing blocks for CPU and GPU processing. The framework is generalizable, but initially it emphasizes the needs of high-throughput radio astronomy pipelines, such as the ability to process data buffers as if they were continuous streams, the capacity to partition processing into distinct data sequences (e.g., separate observations), and the ability to extract specific intervals from buffered data. Computing blocks in the library are designed for applications such as interferometry, pulsar dedispersion and timing, and transient search pipelines. We describe the design and implementation of the Bifrost framework and demonstrate its use as the backbone in the correlation and beamforming back end of the Long Wavelength Array station in the Sevilleta National Wildlife Refuge, NM.
The Astronomy Commons Platform: A Deployable Cloud-Based Analysis Platform for Astronomy
我们提出了一个可扩展的，基于云的科学平台解决方案，旨在使下一个到的数据分析的TB级天文表格数据集。所呈现的平台构建在Amazon Web Services（基于Kubernetes和S3抽象层）上，利用Apache Spark和Astronomy eXtensions for Spark进行并行数据分析和操作，并为用户访问提供了熟悉的Web访问前端。我们概述了分析平台的架构，提供实施细节，（和反对）技术选择的理由，通过强和弱的缩放测试验证可扩展性，并通过Zwicky瞬态设施的1Bn+光曲线目录的数据的示例科学分析来展示可用性。此外，我们展示了这个系统如何使最终用户能够迭代地构建分析（在Python中），透明地扩展处理，而不需要最终用户的交互。该系统被设计为可由具有中等云工程知识的天文学家或（理想情况下）IT团队部署。在过去的三年里，它已被用来为DiRAC研究所，ZTF伙伴关系，LSST太阳系科学合作，LSST跨学科合作和计算网络以及许多短期活动（同时有100多个用户）建立科学平台。一个实时演示实例、部署脚本、源代码和成本计算器可以在http://hub.astronomycommons.org/上访问。
MASER: A Science Ready Toolbox for Low Frequency Radio Astronomy
MASER（Measurements，Analysis，and Simulation of Emission in the Radio Range）是一个综合性的基础设施，专门用于与时间相关的低频射电天文学（高达约50 MHz）。在这个光谱范围内观测到的主要射电源是太阳，磁化行星（地球，木星，土星）和我们的银河系，它们可以从地面或太空观测到。地面观测站可以以高灵敏度捕获高分辨率数据流。相反，空间仪器可在电离层截止频率以下（约10兆赫）进行观测，并可放置在离研究物体较近的地方。在过去十年中开发了若干工具，用于共享空间物理学数据。各研究所开发的数据可视化工具可用于共享、显示和分析空间物理学时间序列和频谱图。MASER团队已经选择了这些工具的一个子集，并将其应用于低频射电天文学。MASER还包括一个Python软件库，用于从机构档案中读取原始数据。
Extreme Scale Survey Simulation with Python Workflows
维拉C。Rubin Observatory Legacy Survey of Space and Time（LSST）将很快在多个光学波段对天空进行前所未有的广泛，快速和深入的调查。LSST的数据将在天文学和宇宙学中开辟一个新的发现空间，同时为解决当今的热点问题提供线索，例如暗能量的起源和暗物质的性质，同时产生的数据反过来又会提出新的问题。为了迎接即将到来的这一非凡数据集，相关科学团体必须能够开发出分析它所需的软件，现在可用的计算能力使我们能够生成合成数据集，这些数据集可以用作这种努力的现实训练场。这项工作提出了自己的挑战-需要生成非常大的夜空模拟，将模拟活动扩展到具有不同架构的多个计算中心的大量计算节点，并围绕内存要求和广泛变化的挂钟时间优化复杂的工作负载。我们在这里描述了一个大规模的工作流，它将Python代码融合在一起来引导工作流，Parsl管理工作流组件的大规模分布式执行，容器在多个站点上执行图像模拟活动。利用这些工具，我们开发了一个极端规模的计算框架，并使用它来模拟300平方度天空区域的五年观测。我们描述了我们的经验和教训，在开发这种工作流的能力，并强调如何的可扩展性和可移植性，我们的方法使我们能够有效地执行它高达4000个计算节点上的两台超级计算机。
AXS: A framework for fast astronomical data processing based on Apache Spark
我们介绍AXS（Astronomy eXtensions for Spark），这是一个基于Apache Spark的可扩展开源天文数据分析框架，Apache Spark是一个广泛使用的行业标准大数据处理引擎。基于Spark中的功能，AXS旨在使用熟悉的Python/AstroPy概念，DataFrame API和SQL语句查询和分析几乎任意大的天文目录。我们通过i）为Spark添加支持以实现高效的在线位置交叉匹配，ii）提供支持天文数据分析常用操作的Python库。为了支持可扩展的交叉匹配，我们开发了一种ZONES算法（Gray et al. 2004）的变体，能够在分布式、无共享架构中运行。我们将其与数据分区方案相结合，该方案可以实现快速目录交叉匹配，并处理深空数据集中经常出现的数据倾斜。交叉匹配和其他常用功能通过易于使用的Python API向最终用户公开。我们展示了AXS在SDSS、ZTF、Gaia DR 2和AllWise目录上的技术和科学性能。使用AXS，我们能够在大约30秒内对Gaia DR 2（18亿行）和AllWise（9亿行）数据集进行动态交叉匹配。我们将讨论像AXS这样的云就绪分布式系统如何提供一种自然的方式来实现对LSST等大型数据集的全面最终用户分析。
Innovative Web Tool for Remote Data Acquisition and Analysis: Customized for SKA Low frequency Beamforming Test Bed LPDA Array at Gauribidanur Radio Observatory
radio-astro-tools: linking radio astronomical data to the astronomical Python ecosystem
Dominion Radio Astrophysical Observatory, Herzberg Astronomy & Astrophysics, National Research Council Canada（加拿大国家研究委员会赫茨伯格天文学与天体物理学多明尼奥射电天文台）；Department of Astronomy, University of Florida（佛罗里达大学天文学系）；Aperio Software（阿佩里奥软件公司）；Dept. of Physics, University of Alberta（阿尔伯塔大学物理系）；Department of Physics and Astronomy, Haverford College（哈弗福德学院物理与天文学系）；Max-Planck-Institut für Astronomie（马克斯·普朗克天文学研究所）；National Radio Astronomy Observatory（美国国家射电天文台）；Department of Astronomy, The Ohio State University（俄亥俄州立大学天文学系）；Center for Cosmology and Astroparticle Physics (CCAPP)（宇宙学与基本粒子物理中心）；Univ. Grenoble Alpes, CNRS, IPAG（格勒诺布尔阿尔卑斯大学，法国国家科学研究中心，IPAG）
PhoPS: An automated photometric pipeline for survey-era astronomy
Türkiye National Observatories, TUG（土耳其国家天文台）；The Scientific and Technological Research Council of Türkiye (TÜBİTAK)（土耳其科学技术研究委员会）；Instituto de Astrofísica de Andalucía (IAA-CSIC)（安达卢西亚天体物理研究所）；LIRA, CNRS UMR8254, Observatoire de Paris（巴黎天文台）
