Realtime processing of LOFAR data for the detection of nano-second pulses from the Moon
超高能宇宙射线（UHECR）在最高能量下的低通量为回答关于其起源和性质的长期存在的问题提供了挑战。在某些大统一理论（GUTs）中，甚至更低的能量高于$10^{22}$ eV的中微子通量也被预测，例如超重暗物质模型。探测这些粒子所需的探测器体积的显着增加可以通过使用当前和未来的射电望远镜搜索粒子在地球月球上相互作用时发射的纳秒无线电脉冲来实现。在这篇文章中，我们提出了一个在线分析和触发管道的设计与LOFAR射电望远镜的纳秒脉冲的检测。处理流程中最重要的步骤是将天线数字聚焦到月球，校正电离层色散信号，以及从频域中的多相滤波信号合成时域信号。在GPU/CPU集群上的流水线的实现将与原型的计算性能一起讨论。
2016-12-20 astro-ph.IM
Statistical inversion of the LOFAR Epoch of Reionization experiment data model
LOFAR是一个新的和创新的努力，以建立一个射电望远镜在多米波频谱窗口操作。LOFAR最令人兴奋的应用之一将是寻找来自再电离时代（EoR）的红移21厘米线发射。目前认为，黑暗时代，即宇宙重新组合后变成中性的时期，一直持续到宇宙大约40万年。在EoR期间，物体开始在早期宇宙中形成，它们的能量足以吸收中性氢。实现这一科学目标所需的精确度和准确度，基本上可以转化为积累大量数据。描述LOFAR望远镜对天空强度分布的响应的数据模型的特点是参数的非线性和与所需宇宙学信号相比的大噪声水平。在这张海报中，我们提出了一个统计上最优的地图制作过程及其属性的实现。该方法的基本假设是噪声是高斯分布的，且与台站和频率通道无关，离线LOFAR处理可以显著提高数据的动态范围。这些假设符合我们对LOFAR再电离实验的预期。
2010-08-25 astro-ph.CO astro-ph.IM
Compression of interferometric radio-astronomical data
射电天文学数据的数量对于处理和存储具有高时间和频率分辨率以及大带宽的射电观测数据是一个相当大的负担。干涉射电天文数据的有损压缩被认为是为了减少可见度数据量和加快处理速度。介绍了一种名为“Dysco”的新压缩技术，该技术由两个步骤组成：归一化步骤，其中将分组的vibrations归一化为具有类似的分布;以及量化和编码步骤，其使用抖动方案将值舍入为给定的量化方案。测试了几种非线性量化方案，并将其与不同的数据归一化方法相结合。用不同的处理策略和不同的归一化和量化组合处理了来自LOFAR和MWA望远镜的观测数据集。在图像平面中测量压缩的效果。由有损压缩技术添加的噪声表现得像正常的系统噪声。Dysco的准确性取决于数据的信噪比：有噪声的数据可以压缩，图像质量损失较小。典型的相关器的时间和频率分辨率的数据可以被压缩的一个因素为6.4 LOFAR和5.3 MWA的观察与小于1%的系统噪声。压缩技术的实现被发布，其提供Casacore存储管理器并允许透明编码和解码。编码和解码比典型磁盘的读/写速度更快。该技术可用于LOFAR和MWA，以减少存储观测数据的归档空间需求。来自SKA-low的数据可能会被压缩与LOFAR相同的量。同样的技术也可以用来压缩来自其他望远镜的数据，但可能需要不同的比特率。
2016-09-07 astro-ph.IM
The LOFAR Two-metre Sky Survey - I. Survey Description and Preliminary Data Release
LOFAR两米巡天（LoTSS）是一项深度为120-168 MHz的成像巡天，最终将覆盖整个北方天空。3170个点中的每个点将被观测8小时，在最多赤纬的情况下，这足以产生分辨率约为5角秒的图像，灵敏度约为0.1 mJy/束，并实现调查的主要科学目标，即探索大质量黑洞、星系、星系团和大尺度结构的形成和演化。由于LOFAR的紧凑核心和长基线，图像对高度扩展和紧凑发射都具有出色的灵敏度。对于传统价值，数据以高光谱和时间分辨率存档，以便于亚弧秒成像和谱线研究。在本文中，我们提供了LoTSS的概述。我们概述了调查策略，观测状况，目前的校准技术，初步数据发布，以及预期的科学影响。我们发布的初步图像是使用全自动但与方向无关的校准策略创建的，比任何现有的大面积低频调查产生的图像都要敏感得多。超过44，000个源在图像中被检测到，这些图像具有25角秒的分辨率，典型的噪声水平小于0.5 mJy/束，并且覆盖HETDEX泉场区域中超过350平方度的区域（赤经赤经10 h45 m00 s至15 h30 m00 s和赤经45 d 00 m00 s至57 d 00 m00 s）。
2016-11-08 astro-ph.CO astro-ph.IM
New Python-based Architecture for the Keck Observatory Archive
本文介绍凯克天文台档案的新查询架构，基于 nexsciTAP 和 R 树索引，实现 1 亿条记录秒级搜索，速度提升 20 倍，前端采用 Plotly-Dash。
2024-12-16 astro-ph.IM
The Additional Representative Images for Legacy (ARI-L) project for the ALMA Science Archive
遗产附加代表性图像（ARI-L）项目是ALMA联合天文台（JAO）和欧洲南方天文台（ESO）批准的ALMA升级欧洲发展项目，于2019年6月开始。它旨在通过使周期2-4的ALMA数据的减少水平接近于使用ALMA Pipeline处理成像的最近周期的数据，来增加ALMA科学档案（ASA）的遗产价值。截至2021年年中，超过15万张图像已返回ASA供公众使用。在2022年完成时，该项目将为ALMA管道可处理的第2-4周期至少70%的观测数据提供增强产品。在本文中，我们提出了该项目的基本原理，其实施，并提供给ASA用户的ARI-L产品的新机会。ARI-L立方体和图像补充了数据质量保证阶段（QA 2）期间生成的数量非常有限的档案图像产品，这些产品仅覆盖这些周期可用数据的一小部分。ARI-L成像产品与许多科学案例高度相关，并显着提高了利用档案数据的可能性。事实上，ARI-L产品为科学目的提供了存档访问和数据使用便利，即使对于非专家数据挖掘者也是如此，为更好的数据集比较和下载选择提供了所有数据的同质视图，使存档更容易被可视化和分析工具访问，并能够生成类似于后续周期的预览图像和绘图。
2021-07-23 astro-ph.IM
gPhoton: The GALEX Photon Data Archive
gPhoton是一个新的数据库产品和软件包，能够在光子一级分析GALEX紫外线数据。该项目的独立的纯Python校准管道再现了原始任务管道的功能，将原始航天器数据减少为带有时间标签的天空投影光子列表，然后由空间望远镜Mikulski Archive（MAST）托管在公开可用的数据库中。该数据库包含大约130 TB的数据，描述了大约1.1万亿个天空投影事件，时间戳分辨率为5毫秒。一些Python和命令行模块作为前端与数据库进行交互，并在用户定义的时间和空间尺度上从光子级数据生成校准的光变曲线和图像。gPhoton软件和源代码正在积极开发中，并在许可证下公开提供。我们描述了校准管道，数据库和工具的动机，设计和实施，重点是从以前的工作，以及大数据量所带来的挑战的分歧。我们总结了gPhoton相对于原始任务管道的天体测量和测光性能。对于gPhoton启用的短时间域科学能力的一个简单例子，我们展示了来自已知M矮耀斑星CR Draconis的新耀斑。gPhoton软件具有ASCL（ascl：1603.004）和DOI（doi：10.17909/T9 CC 7 G）的永久对象标识符。本文描述了v1.27.2版本的软件。
2016-09-29 astro-ph.IM
Implementation feedback of the IVOA Provenance data model
IVOA起源数据模型将实体、代理和活动定义为容器类，以描述数据集的起源，并将执行的任务和责任附加到代理。它还提供了一组类来描述活动类型及其配置模板，以及在任务执行期间有效应用的配置。在这里，我们强调了在实施CDS ProvHiPS服务中吸取的经验教训，该服务为HST HiPS数据集合分发来源元数据，并为用于生成HiPS切片的HST存档原始图像分发来源元数据。ProvHiPS基于ProvTAP协议，这是用于分发出处元数据的新兴TAP标准。ProvTAP查询可能会迅速变得非常复杂。各种图形表示策略，包括ad hoc解决方案，三重存储和SQL CTE已被考虑，并在不久的讨论。
2020-07-16 astro-ph.IM
Fast in-database cross-matching of high-cadence, high-density source lists with an up-to-date sky model
即将到来的高节奏宽视场光学望远镜将每分钟成像数十万个光源。除了检查瞬态和可变性事件的近实时数据流外，积累的数据档案是一个丰富的实验室，可用于进行补充科学发现。这项工作的目标是优化面向列的数据库技术，使建设一个完整的源和光变曲线数据库的大规模调查，这是由天文学界访问。我们采用了LOFAR的瞬态流水线作为基线，并对其进行了修改，以处理具有更高源密度的光学图像。管道将新的源列表添加到档案数据库中，同时将它们与已知的编目源进行交叉匹配，以构建完整的光变曲线档案。我们研究了几种索引和分区最大的表，允许更快的位置源查找交叉匹配算法的技术。我们监测了长期管道运行中的所有查询运行时间，其中我们处理了每个视场（$500,000$度$^{-2}$）图像源密度峰值超过$170,000$的IPHAS数据子集。我们的分析表明，一个度的decompensation宽度的水平表分区控制查询运行时间。使用索引策略，其中分区根据源decompression密集排序，产生另一个改进。由于依赖于输入源列表和结果集大小，大多数查询在次线性时间内运行，少数（<20%）在线性时间内运行。我们观察到，对于这个逻辑数据库分区模式，处理IPHAS数据的管道实现的限制节奏是25秒。
2018-03-07 astro-ph.IM cs.DB
The Online Observation Quality System Implementation for the ASTRI Mini-Array Project
本文为 ASTRI Mini-Array 项目设计了在线观测质量系统 OOQS，通过 Kafka、Slurm 和分布式流水线对最高 1.15 Gb/s 的阵列数据流进行实时质量检查与归档，以保障远程观测的及时反馈和快速纠正。
2024-04-02 astro-ph.IM
Towards exascale real-time RFI mitigation
我们描述了一个非常可扩展的实时RFI缓解方法的设计和实现，基于离线AOFlagger。所有的算法在样本数量上都是线性的。我们描述了如何在LOFAR实时管道中，在CPU和GPU上实现标记器。此外，我们还引入了一种新颖的基于历史的简单标记器，有助于减少我们的小窗口对数据的影响。通过检查一个已知的脉冲星的观察，我们证明了我们的旗手可以实现更高的质量比一个简单的阈值，即使在实时运行时，在分布式系统。标记器处理可见性数据，但也处理原始电压和波束形成数据。该算法是尺度不变的，并在微秒到秒的时间尺度上工作。我们目前正在实现一个原型的SKA中央信号处理器的时域管道。
2017-01-27 astro-ph.IM
Target and (Astro-)WISE technologies - Data federations and its applications
在2003年首次实施后，Astro-WISE技术已在几个欧洲国家推广，并用于制作KiDS调查数据。在多学科目标倡议中，这项技术，绰号为WISE技术，已被进一步应用于大量项目。在这里，我们重点介绍了其他天文应用程序的数据处理，如VLT-MUSE和LOFAR，以及一些非天文应用程序，如医疗项目生命线和GLIMPS，MONK手写文本识别系统和商业应用程序，其中包括Target Holding。我们描述了一些最重要的经验教训，并描述了应用程序的数据为中心的智慧型的方法，科学地面段的欧几里得卫星。
2016-12-18 astro-ph.IM
The demise of the filesystem and multi level service architecture
许多天文学数据中心仍然使用文件系统。工业继续发展;计算基础设施的当前实践是使用对象存储而不是POSIX文件系统来实现大数据可伸缩性。这为我们提供了处理和归档系统底层软件的可移植性和重用的机会，但也为当前数据中心的遗留实现带来了问题。
2019-07-31 astro-ph.IM cs.DB
The Astro-WISE approach to quality control for astronomical data
我们提出了一种新的方法来处理天文数据的质量控制。Astro-WISE信息系统中的质量控制是数据处理的所有方面不可或缺的，并为从原始图像到最终目录的数据简化的所有阶段提供透明的质量估计。质量控制机制的实现依赖于这个Astro-WISE环境（AWE）的核心功能：面向对象的框架，完整的数据沿袭，以及前向和后向链接。质量控制信息可以通过命令行awe-prompt和基于Web的Quality-WISE服务访问。质量控制系统是利用拉西拉2.2米MPG/ESO望远镜上的8-CCD宽视场成像仪（WFI）仪器（http：//www.eso.org/lasilla/instruments/wfi/）的档案数据和帕拉纳尔VST望远镜上的32-CCD OmegaCAM仪器（http：//www.astro-wise.org/momegacam/）的（预）测量数据进行说明和鉴定的。
2012-03-26 astro-ph.IM
Data Processing Software for Chandrayaan-2 Solar X-ray Monitor
印度月船2号月球飞行任务的太阳X射线监测仪（XSM）在软X射线中对太阳进行宽带光谱分析。XSM具有低背景、高时间节奏和高光谱分辨率等独特功能，即使在低活动期间，也可以表征太阳的瞬态和静态X射线发射。它以一秒的节奏记录X射线光谱，机载记录的数据与其他有效载荷的数据一起定期下载。在地面预处理期间，XSM数据被隔离，并且0级数据可用于有效载荷操作中心（POC）的更高级别的处理。XSM数据分析软件（XSMDAS）的开发是为了将0级数据处理到更高的水平，并为用户定义的分箱参数生成校准的光变曲线和光谱，以便其适合于进一步的科学分析。还开发了一个名为XSM快速查看显示器（XSMQLD）的XSMDAS前端，以便于在不应用校准的情况下首次查看数据。XSM数据管理-监测系统（XSMDMS）旨在在POC进行自动化数据处理，并维护SQLite数据库（包含数据集的相关信息）和内部Web应用程序（用于监测数据质量和仪器运行状况）。所有XSM原始和校准数据产品均采用FITS格式，组织为按天文件，数据档案遵循行星数据系统-4（PDS 4）标准。XSM数据将在锁定期后与印度空间科学数据中心（ISSDC）的ISRO科学数据档案馆（ISDA）的XSM数据分析软件一起提供。在这里，我们讨论的设计和实现的XSM数据处理和XSM数据归档的内容的软件的所有组件。
2020-07-22 astro-ph.IM astro-ph.SR
The Gaia-ESO Public Spectroscopic Survey: Motivation, implementation, GIRAFFE data processing, analysis, and final data products
盖亚-欧洲南方天文台公共光谱巡天是一个雄心勃勃的项目，旨在获取10万颗恒星的天体物理参数和元素丰度，包括银河系恒星星族的大量代表性样本，以及60个（加上20个存档）疏散星团的明确样本。我们提供内部一致的结果校准的基准恒星和星团，跨越了非常广泛的丰度和年龄。这提供了一个具有内在价值的遗留数据集，同样也是一个大范围的数据集，对于其他和未来的恒星调查以及盖亚的天体物理参数的均匀化具有价值。本文概述了调查方法，科学目标和实施，包括GIRAFFE光谱的数据处理的描述。配套文件（arXiv：2206.02901）介绍了调查结果。Gaia-ESO希望量化随机和系统对测量不确定性的贡献。因此，利用所有可用的光谱分析技术，每个光谱由多达几个不同的分析管道进行分析，并做出相当大的努力来均匀化和校准所得到的参数。我们在这里描述的一系列活动，直到交付处理后的数据产品的ESO科学档案设施开放使用。Gaia-ESO巡天在2011年12月至2018年1月期间使用340个分配的VLT夜晚从GIRAFFE和UVES获得了115，000颗恒星的202，000个光谱。完整的一致缩减的最终光谱数据集于2020年底通过ESO科学档案设施发布，完整的天体物理参数集将于2022年发布。
2022-08-10 astro-ph.EP astro-ph.GA astro-ph.IM
A High-Throughput AES-GCM Implementation on GPUs for Secure, Policy-Based Access to Massive Astronomical Catalogs
Light Bridges S.L.（Light Bridges 有限公司）；Observatorio Astronómico del Teide（泰德天文台）；Universidad de La Laguna (ULL)（拉古纳大学）；Instituto Tecnológico y de Energías Renovables (ITER)（技术与可再生能源研究所）；Instituto de Astrofísica de Canarias (IAC)（加那利天体物理研究所）
提出一种集成策略引擎与GPU加速AES-GCM的框架，通过并行树归约优化GHASH瓶颈，实现高吞吐量认证加密，支持PB级天文数据的安全访问。
2026-06-16 astro-ph.IM cs.CR cs.DC
UPMASK: unsupervised photometric membership assignment in stellar clusters
我们发展了一种只利用光度和位置的方法来指定星团的成员。UPMASK方法的目标是无监督，数据驱动，无模型，并依赖尽可能少的假设。它是基于一个迭代过程，主成分分析，聚类算法，核密度估计。此外，它能够考虑任意的误差模型。在R中的实现在模拟集群上进行了测试，这些集群涵盖了广泛的年龄，质量，距离，红化以及集群字段的真实数据。在模拟上运行UPMASK表明，它有效地分离了集群和字段种群。色星等图中星团成员星的整体空间结构和分布是在各种条件下恢复的。对于一组360次模拟，在90%成员概率水平下，得到的真阳性率（纯度的测量）和成员恢复率（完整性的测量）在疏散星团年龄（$10^{7.1}-10^{9.5}$年）、初始质量（$0.5-10\times10^3$ M $_{\sun}$）和日心距离（$0.5-4.0$ kpc）的范围内都达到了很高的值。UPMASK还在疏散星团Haffner~16和密射星团Haffner~10和Czernik~29的实际数据上进行了测试。这些测试表明，即使是中等的变量灭绝和集群叠加，该方法产生了有用的集群成员的概率，并提供了一些洞察他们的恒星内容。UPMASK实现将在CRAN存档中提供。
2013-09-17 astro-ph.GA astro-ph.IM
