arXiv 0905.06592009-05-05astro-ph.IM

暗能量调查数据管理系统：处理框架

The Dark Energy Survey Data Management System: The Processing Framework

Michelle Gower, Joseph J. Mohr, Darren Adams, Y. Dora Cai, Gregory E. Daues, Tony Darnell, Chow-Choong Ngeow, Shantanu Desai, Cristina Beldica, Mike Freemon, Hu… 展开作者

Michelle Gower, Joseph J. Mohr, Darren Adams, Y. Dora Cai, Gregory E. Daues, Tony Darnell, Chow-Choong Ngeow, Shantanu Desai, Cristina Beldica, Mike Freemon, Huan Lin, Eric H. Neilsen, Douglas Tucker, Emmanuel Bertin, Luiz A. Nicolaci da Costa, Leandro Martelli, Ricardo L. C. Ogando, Michael Jarvis, Erin Sheldon

备注：: 4 pages, 1 figure; submit to ADASS XVII

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

暗能量调查数据管理（DESDM）系统将在五年的运行期内处理和存档来自暗能量调查（DES）的数据。本文重点介绍了一种新的适应性强的处理框架，开发执行高度自动化，高性能的数据并行处理。新的处理框架已被用于处理45个夜晚的模拟DECam超新星成像数据，并被广泛用于DES数据挑战4，在那里它被用来处理数千平方度的模拟DES数据。

英文摘要：

The Dark Energy Survey Data Management (DESDM) system will process and archive the data from the Dark Energy Survey (DES) over the five year period of operation. This paper focuses on a new adaptable processing framework developed to perform highly automated, high performance data parallel processing. The new processing framework has been used to process 45 nights of simulated DECam supernova imaging data, and was extensively used in the DES Data Challenge 4, where it was used to process thousands of square degrees of simulated DES data.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

暗能量测量数据管理系统

The Dark Energy Survey Data Management System

暗能量调查（DES）是一个项目，其目标是在布兰科望远镜上建造、安装和利用一台新的74 CCD相机，以研究宇宙加速的性质。它将覆盖南半球5000平方度的天空，并将记录3亿个红移1.4的星系的位置和形状。调查将在2012年开始的5年期间使用525个夜晚完成。每晚将产生大约O（1 TB）的原始数据，包括科学和校准图像。DES数据管理系统是为这些数据的处理、校准和存档而设计的。目前正在国家能力自我评估的领导下，由教育评价系统各合作机构共同制定。在这篇文章中，我们描述了系统的基本功能，什么样的科学代码所涉及的和如何数据挑战过程的工作原理，同时提高数据管理系统的算法和科学工作组的分析代码。

2011-09-30astro-ph.IM

GWAC数据处理与管理系统

The GWAC Data Processing and Management System

GWAC将建成一个5,000 $degree^2$的综合FOV，并已建成1,800平方$degree^2$。在无月的夜晚，10秒曝光图像的极限星等是16 R。在每个观测夜晚，GWAC产生约0.7TB的原始数据，数据处理管道生成数百万个单帧警报。介绍了GWAC数据处理和管理系统（GPMS）的硬件结构、数据库、瞬态候选项的检测-过滤-验证、数据归档以及瞬态检测和系统监控的用户界面。GPMS结合了天文学和计算机领域的通用技术和软件，并使用了深度学习等先进技术。实际应用结果表明，GPMS完全能够满足GWAC科学数据处理的要求。它可以在线完成数百万个瞬变候选项的检测、筛选和验证，并将最终结果实时反馈给天文学家。在2018年10月至2019年12月的观测期间，我们已经发现了102个瞬变。

2020-06-03astro-ph.IM

商业云平台的成本管理

Cost Management on Commercial Cloud Platforms

商业云平台是天文研究的强大技术。尽管云计算有很多好处--比如按需可扩展性和减少系统管理开销--但对许多人来说，如何管理成本仍然是最大的进入障碍之一。商业提供商提供的服务的快速增长，这些提供商数量的增长，以及以不同速率计量的存储，计算和I/O-所有这些都可能在不通知的情况下发生变化-加剧了这种混乱。通常，处理非常便宜，存储更昂贵，下载非常昂贵。因此，产生用于下载的大图像数据集的应用程序将比对小数据集执行广泛处理的应用程序昂贵得多。本次会议旨在通过介绍商业云上天文学应用成本计算的案例研究来量化上述陈述，这些案例研究涵盖了一系列处理场景;这些演示是与会者讨论的基础。

2020-12-10astro-ph.IM

切伦科夫望远镜阵列数据管理

Cherenkov Telescope Array Data Management

切伦科夫望远镜阵列（CTA）的甚高能伽马射线天文学正在向公共天文台的模式发展。处理、加工和存档CTA仪器生成的大量数据以及交付科学产品是设计CTA数据管理的一些挑战。来自CTA联盟内部和更广泛的全球科学界的科学家的参与需要一个复杂的科学分析系统，该系统能够为用户提供对数据、软件和计算资源的统一和有效的访问。数据管理旨在应对三个主要问题：（i）来自远程望远镜的数据的处理和流动;（ii）“大数据”存档和处理;（iii）开放数据访问。本文介绍了CTA数据管理的总体技术设计、当前的主要发展和原型。

2015-09-03astro-ph.IM

HERA实时处理系统的研制

Developing a Real Time Processing System for HERA

氢再电离时代阵列（英语：Hydrogen Epoch of Reionization Array，HERA）是位于南非卡鲁沙漠的射电望远镜，致力于观测宇宙黎明和再电离时代。建成后，它将由350个天线组成，每晚产生超过60 TB的数据。为了跟上相对大的数据速率，我们已经开发了实时处理（RTP）系统的HERA。RTP负责检查数据的可接受质量水平，标记不可用数据，以及提供初始校准解决方案。RTP系统由管道管理系统（称为hera_opm包）和数据管理系统（称为library）组成。虽然这些系统是在分析HERA数据的背景下开发的，但它们具有公共和开源软件的特点，并被设计为在必要时在其他情况下进行调整和使用。

2020-10-22astro-ph.IM

LSST图像处理管道概述

An Overview of the LSST Image Processing Pipelines

大型综合巡天望远镜（LSST）是一项雄心勃勃的天文巡天计划，其数据管理部分也同样雄心勃勃。LSST的数据管理包括每晚和每年的处理，以生成瞬态警报，静态天空的深层目录，以及数百个时期的数十亿个物体的强制测光光变曲线，跨越至少十年。在这些管道中运行的算法是单独复杂的，并以微妙的方式相互作用。本文提供了这些管道的概述，更多地关注这些交互，而不是任何单个算法的细节。

2018-12-08astro-ph.IM

更多相关论文收起更多论文

指向抖动、致动器漂移、望远镜滚动和宽带探测器对黑洞维持和电场降阶的影响

On the Effects of Pointing Jitter, Actuators Drift, Telescope Rolls and Broadband Detectors in Dark Hole Maintenance and Electric Field Order Reduction

太空日冕仪预计将探测到比其宿主恒星暗至少1e10倍的系外行星。然而，实际的检测阈值取决于仪器的波前稳定性，并且随着观测策略和后处理方法的选择而变化一个数量级。在本文中，作者认为性能的先前介绍的观察策略（黑洞维护）和后处理算法（电场阶减少）在存在各种现实的影响。特别是，它将表明，在一些常见的假设下，望远镜的平均指向抖动转化为一个额外的光源与来自恒星（散斑）的残留光不相干，抖动“模式”可以在后处理中识别，并从行星信号区分。我们还表明，在对比度下降，由于电压漂移变形镜致动器可以减轻递归估计的电场在高对比度区域的图像（黑洞），使用电场共轭（EFC）。此外，即使当测量的强度是宽带时也可以这样做，只要它被单色强度的非相干总和很好地近似。最后，我们通过对宽视场红外巡天望远镜（WFIRST）的数值模拟，评估了闭环与开环观测方案的性能。特别是，我们比较了后处理因素的角度差分成像（ADI）与和没有电场降阶（EFOR），我们扩展到帐户可能的望远镜滚动和指向抖动的存在。对于本文考虑的所有观测参数，闭环黑洞维护导致显着更高的后处理精度。

2020-06-17astro-ph.IM

暗能量测量数据处理与定标系统

The Dark Energy Survey Data Processing and Calibration System

暗能量巡天（DES）是一个5000 deg 2的grizY巡天，达到24星等（10 sigma）的特征光度深度，并实现比SDSS暗十倍的物体的精确光度测定和形态。DES的准备工作包括建造一个专用的3 deg 2 CCD相机（DECam），升级现有的CTIO Blanco 4米望远镜，并开发一个新的高性能计算数据管理系统（DESDM）。DESDM系统将用于处理、校准和提供DES数据。总数据量很大（~ 2 PB），因此在设计自动化处理和质量控制系统方面投入了大量精力。特殊用途的图像去趋势和光度校准代码已经开发，以满足数据质量的要求，而调查天体测量校准，coaddition和编目依赖于Astronomatic代码的新扩展，现在包括PSF建模，PSF均匀化，PSF校正模型拟合编目和联合模型拟合在多个输入图像的工具。DESDM系统已部署在美国和德国的专用开发集群和HPC系统上。一个广泛的测试计划与小的快速周转和更大的运动模拟数据集已经进行。该系统还在大型真实数据集上进行了测试，包括来自Mosaic 2相机的Blanco宇宙学调查数据。2012年秋季，DESDM系统将用于DECam调试，此后，该系统将进入全面的科学运行。

2012-07-13astro-ph.IM

暗能量调查图像处理管道

The Dark Energy Survey Image Processing Pipeline

暗能量调查（DES）是一项为期五年的光学成像活动，目的是了解宇宙加速的起源。DES在五个光学波段（g，r，i，z，Y）对南部天空进行5000平方度的调查，深度约为24等。与此同时，DES在27平方度的四个光学波段（g，r，i，z）中执行深度时域勘测。DES曝光是每晚处理一个不断发展的数据减少管道和评估图像质量，以确定他们是否需要重拍。夜间还在时域分量中进行差分成像和瞬变源检测。每两年一次，DES曝光用一个改进的管道重新处理，并增加以最大限度地提高成像深度。在这里，我们描述了DES图像处理管道支持DES科学，作为档案DES数据的用户的参考，并作为未来天文调查的指导。

2018-01-09astro-ph.IM

射电天文学中的数据来源和管理：流计算方法

Data Provenance and Management in Radio Astronomy: A Stream Computing Approach

平方公里阵列等大型科学项目需要新的数据出处和数据管理（DPDM）方法，其特征是数据量极大和高数据率，因此需要创新且高效的计算范式。在这种情况下，我们探索流计算的方法，重点是使用加速器。特别是，我们使用了新一代高性能的基于流的并行化中间件InfoSphere Streams。它的可行性管理和确保互操作性和完整性的信号处理数据管道在射电天文学证明。IBM InfoSphere Streams支持流计算范例。它是从传统的数据采掘技术（包括对数据库中现有数据的分析）向实时分析处理的转变。我们讨论了在射电天文学中使用InfoSphere Streams实现有效的DPDM，并提出了一种将InfoSphere Streams用于大型天线阵列的方法。我们提出一个案例研究：自相关光谱仪的InfoSphere Streams实现，并使用此示例讨论流计算方法的优点和硬件加速器的使用。

2011-12-12astro-ph.IMcs.DC

使用$\texttt{AMPEL}$进行瞬态处理和分析：警报管理、Photometry和光变曲线评估

Transient processing and analysis using $\texttt{AMPEL}$: Alert Management, Photometry and Evaluation of Lightcurves

多信使天文学和新的高通量宽场调查都需要灵活的工具来选择和分析天体物理学瞬变。我们在这里介绍的警报管理，光度测定和评估的光曲线（AMPEL）系统，分析框架，专为高通量调查和适合流数据。AMPEL将警报代理的功能与能够托管用户贡献的代码的通用框架相结合，该框架鼓励起源并跟踪瞬态显示的不同信息状态。后一个概念包括随着时间的推移收集的信息和数据策略，如访问或校准级别。我们描述了一种新的正在进行的实时多信使分析，使用AMPEL冰立方中微子数据相结合的警报流的Zwicky瞬态设施（ZTF）。我们还重新处理了前四个月的ZTF公共警报，并比较了200多个不同的瞬态选择函数的收益率，以量化选择报告给瞬态名称服务器（TNS）的Ia型超新星的效率。我们强调三个渠道适合（1）收集一个完整的样本的河外瞬变，（2）立即跟进附近的瞬变和（3）后续运动针对年轻的，河外瞬变。我们确认ZTF的完整性，所有的TNS超新星位于活跃的CCD区域被检测到。AMPEL可以帮助实时过滤瞬态，运行警报反应模拟，重新处理完整的数据集以及瞬态数据的最终科学分析。本文介绍了用户如何设计自己的通道，以包含在AMPEL实时实例中，该实例解析ZTF流，并向TNS实时提交高质量的河外超新星候选者。

2019-06-11astro-ph.COastro-ph.IM

DAS：用于仪器测试和操作的数据管理系统

DAS: a data management system for instrument tests and operations

数据存取系统是一个元数据和数据管理软件系统，为储存在仪器开发阶段和操作期间从望远镜和辅助数据源获得的数据提供了一个可重复使用的解决方案。它是可定制仪器工作站系统（CIWS-FW）的一部分，该系统是一个用于存储，处理和快速查看从科学仪器获取的数据的框架。DAS提供了一个主要针对软件应用程序的数据访问层：快速查看显示，预处理管道和科学工作流程。它在逻辑上由三个主要部分组成：一个直观而紧凑的XML格式数据定义语言（DAS XML），用于用户定义的数据类型;一个应用程序编程接口（DAS API），自动添加支持XML数据类型的类和方法，并提供面向对象的查询语言;数据管理组件，其在关系数据库管理系统（DBMS）中映射XML数据类型的元数据，并将数据存储在共享（网络）文件系统中。使用DAS XML，开发人员为特定项目定义数据模型，为每个数据类型指定元数据属性、数据格式和布局（如果适用）以及对相关或聚合数据类型的命名引用。DAS API与DAS用户定义的数据类型一起，作为DAS系统中存储、查询和检索元数据和数据的唯一接口，提供了一个抽象接口和一个C、C++和Python中的数据模型特定接口。后端数据库中的元数据映射是自动的，支持多种关系型DBMS，包括MySQL、Oracle和PostgreSQL。

2014-05-29astro-ph.IMcs.DB

天文台物源管理系统

Towards a Provenance Management System for Astronomical Observatories

我们在这里提出了一个适应天文项目需要的物源管理系统。我们从各种天文学项目中收集用例，并在IVOA（国际虚拟天文台联盟）开发的生态系统中定义了一个数据模型。从这些用例中，我们观察到一些项目已经生成并存档了数据汇集，必须从中提取出处（出处“在顶部”），而一些项目正在构建复杂的管道，可以在数据处理期间自动捕获出处信息（捕获“内部”）。不同的工具和原型已经开发和测试，以捕捉，存储，访问和可视化的来源信息，参与形成一个完整的来源管理系统，能够处理详细的来源信息。

2021-09-16astro-ph.IMcs.ITmath.IT