Astro-WISE for KiDS survey production and quality control
Kilo Degree Survey(KiDS)是一个1500平方度的光学成像调查,最近委托VLT巡天望远镜(VST)上的OmegaCAM宽视场成像仪。KiDS调查团队将向ESO和社区提供一套数据产品。KiDS团队遍布欧洲,使用Astro-WISE进行高效协作并共享硬件资源。在Astro-WISE中,团队共享、校准和存档所有测量数据。以数据为中心的架构设计实现了一个动态的“实时存档”,其中,新的KiDS调查产品可以以灵活可控的方式与团队共享,并最终与整个天文学界共享
2011-12-05 astro-ph.CO astro-ph.IM
Monitoring the photometric behavior of OmegaCAM with Astro-WISE
OmegaCAM宽视场光学成像仪是欧洲南方天文台帕拉纳尔天文台VLT巡天望远镜的唯一仪器。该仪器和望远镜都是为在1平方度的视场内具有非常好的、自然可见度有限的图像质量的调查而设计的。OmegaCAM于2011年投入使用,自2011年10月15日以来,一直在同时观察ESO的三次公众调查。我们使用Astro-WISE信息系统来监测天文台的校准并制作Kilo Degree Survey(KiDS)。在这里,我们将描述Astro-WISE中的光度监控程序,并给出OmegaCAM的光度行为随时间变化的第一印象。天文台的长期监测与Astro-WISE中的KiDS调查生产齐头并进。在部分非光度条件下观察到KiDS。根据OmegaCAM第一年的运行情况,预计KiDS将实现$\sim 1%-2%$光度均匀性。
2012-12-26 astro-ph.IM
On the Chromaticity of the (NEO)WISE Astrometry
本研究发现WISE/NEOWISE天体测量中存在由航天器交替指向引发的色效应位置偏移,对偏红目标影响显著,修正该效应可提升测量精度,对近地天体研究意义重大。
2023-12-16 astro-ph.IM
Information Systems Playground - The Target Infrastructure, Scaling Astro-WISE into the Petabyte range
Target基础设施是专门为Astro-WISE衍生的信息系统构建的存储和计算基础设施。该基础设施将由在Target项目内的信息系统领域进行协作的多个应用程序使用。它目前由10 PB的存储和数千个计算核心组成。基础设施是根据应用程序的要求构建的。存储由IBM的全局并行文件系统控制。此文件系统通过将具有不同特性的存储硬件组合到单个文件系统中来实现所需的灵活性。它还具有很强的可扩展性,允许系统扩展到未来,同时用新技术替换旧硬件。
2011-10-05 astro-ph.IM cs.DC
Extending Gaia DR2 with HST narrow-field astrometry. II. Refining the method on WISE J163940.83-684738.6
在本系列的第二篇论文中,我们完善了将高精度哈勃太空望远镜天体测量与高精度盖亚DR 2绝对参考系相联系的方法,以克服窄视场相机相对天体测量的局限性。我们这里的测试案例是Y棕矮星WISE J163940.83-684738.6,在6年时间基线上的不同时期用宽视场相机3的红色通道观察到。与以前的测定结果相比,我们得到了显著改善的天体测量参数,发现:(mu_RAcosDc,mu_DC,视差)=(577.21+/-0.24mas/yr,-3108.39+/-0.27mas/yr,210.4 +/-1.8mas)。特别是,我们推导出的绝对视差对应于4.75+/-0.05pc的微弱超冷矮星的距离。
2020-02-21 astro-ph.EP astro-ph.GA astro-ph.IM
Astronomical image processing based on fractional calculus: the AstroFracTool
分数阶微分计算的实现可以为图像处理工具提供新的可能性,特别是对于那些致力于天文图像分析的工具。如arxiv:0910.2381中所讨论的,分数微分能够增强图像的质量,在边缘检测和图像恢复中具有有趣的效果。在这里,我们提出了AstroFracTool,开发提供一个简单而强大的增强工具集的天文图像。此工具用于评估图像贴图的分数梯度。它可以帮助产生对进一步研究和科学目的有用的输出图像,例如探测微弱物体和星系结构,或者在行星研究的情况下,增强表面细节。
2009-11-04 astro-ph.IM
Architecture of processing and analysis system for big astronomical data
这项工作探索了使用部署在云中的大数据技术来处理天文数据。我们已经将Hadoop和Spark应用于共同添加天文图像的任务。我们比较了这些框架的开销和执行时间。我们的结论是,这两个框架的性能一般是不相上下。Spark API更灵活,可以轻松构建天文数据处理管道。
2017-03-31 astro-ph.IM cs.DC
Image Processing and Analysis of Multiple Wavelength Astronomical Data Using Python Tools
本研究开发了基于Python的天文图像处理分析框架,集成中值滤波、非锐化掩模、强度归一化等方法,可实现多波长可见光图像的处理、像素强度分析与高斯拟合,验证了Python在天文研究中的实用价值。
2024-10-09 astro-ph.IM
AstroImageJ: Image Processing and Photometric Extraction for Ultra-Precise Astronomical Light Curves (Expanded Edition)
ImageJ是图形用户界面(GUI)驱动的、公共领域的、基于Java的软件包,用于传统上主要用于生命科学领域的通用图像处理。ImageJ的图像处理能力是有用的,并可扩展到其他科学领域。在这里,我们提出了AstroImageJ(AIJ),它提供了一个天文学特定的图像显示环境和工具,天文学特定的图像校准和数据减少。虽然AIJ保持ImageJ的通用图像处理能力,但AIJ对于时间序列差分光度测定、光变曲线去趋势和拟合以及光变曲线绘制是流线型的,特别是对于需要超精确光变曲线的应用(例如,系外行星凌日)。AIJ可读取和写入标准FITS文件以及其他常见图像格式,提供FITS标头查看和编辑功能,并支持世界坐标系(WCS),包括一个自动化界面,可连接到astrometry.net门户网站,用于解算印版图像。AIJ提供研究级图像校准和分析工具,采用GUI驱动方法,易于安装,具有跨平台兼容性。它使新用户,即使在本科生,高中生或业余天文学家的水平,快速开始处理,建模和绘制天文图像数据与一个紧密集成的软件包。
2017-01-17 astro-ph.EP astro-ph.IM
Real-time stream processing in radio astronomy
现代射电天文学的一个主要挑战是处理宽带接收器产生的大量数据。如此大的数据速率通常对于单个设备来说太大了,因此处理必须在并行工作的多个设备上进行。这些设备必须协同工作,以实时处理传入的数据,将数据量减少到可管理的大小,并输出科学就绪的数据产品。本章的目的是对射电望远镜的数字系统通常是如何实现的进行了广泛的概述,重点是在多个计算设备上的实时流处理。
2019-12-19 astro-ph.IM
A description of the radio astronomy data processing tool DDF Pipeline
本研究介绍了最初为LOFAR射电望远镜设计、可作为SKA数据处理候选的射电天文数据处理工具DDF Pipeline,并通过粗粒度剖析表征其性能。
2025-09-03 astro-ph.IM cs.DC
AstroImageJ: Image Processing and Photometric Extraction for Ultra-Precise Astronomical Light Curves
ImageJ是图形用户界面(GUI)驱动的、公共领域的、基于Java的软件包,用于传统上主要用于生命科学领域的通用图像处理。ImageJ的图像处理能力是有用的,并可扩展到其他科学领域。在这里,我们提出了AstroImageJ(AIJ),它提供了一个天文学特定的图像显示环境和工具,天文学特定的图像校准和数据减少。虽然AIJ保持ImageJ的通用图像处理能力,但AIJ对于时间序列差分光度测定、光变曲线去趋势和拟合以及光变曲线绘制是流线型的,特别是对于需要超精确光变曲线的应用(例如,系外行星凌日)。AIJ可读取和写入标准FITS文件以及其他常见图像格式,提供FITS标头查看和编辑功能,并支持世界坐标系(WCS),包括一个自动化界面,可连接到astrometry.net门户网站,用于解算印版图像。AIJ提供研究级图像校准和分析工具,采用GUI驱动方法,易于安装,具有跨平台兼容性。它使新用户,即使在本科生,高中生或业余天文学家的水平,快速开始处理,建模和绘制天文图像数据与一个紧密集成的软件包。
2017-01-17 astro-ph.EP astro-ph.IM astro-ph.SR
Quantum Radio Astronomy: Data Encodings and Quantum Image Processing
本文探索量子图像处理在射电干涉测量中的应用,评估不同量子图像表示并证明其在识别明亮射电源时具备指数级加速优势,同时提出一种用于干涉仪可见度自校准的新型变分量子算法。
2024-02-09 astro-ph.IM
OpenCluster: A Flexible Distributed Computing Framework for Astronomical Data Processing
现代天文望远镜产生的数据量非常大,而且还在迅速增长。然而,目前的高性能数据处理架构/框架并不适合天文学家,因为它们的局限性和编程困难。因此,在本文中,我们提出了OpenCluster,一个开源的分布式计算框架,以支持快速发展的高性能处理管道的天文大数据。我们首先详细介绍了OpenCluster的设计原则和实现,并提出了由框架促进的API。然后,我们展示了一个案例,其中OpenCluster是用来解决复杂的数据处理问题,开发一个管道的明根图超宽光谱射电日像仪。最后,我们提出了我们的OpenCluster性能评估。总的来说,OpenCluster不仅提供了高容错性和简单的编程接口,而且还提供了一种灵活的方法来扩展交互实体的数量。OpenCluster提供了一个易于集成的分布式计算框架,可快速开发高性能的天文望远镜数据处理系统,并大大降低软件开发费用。
2017-01-18 astro-ph.IM cs.DC
VST processing facility: first astronomical applications
VST-Tube是一个新的光学天文图像处理软件包。它是一个自动化的管道,从原始曝光到完全校准的共同添加的图像,并提取具有光圈和PSF测光的目录。一套工具允许数据管理和中间产品和最终产品的质量检查。VST-Tube配备了图形用户界面,以促进数据和用户之间的交互。我们在这里概述了VST-管架构,并显示了一些应用启发的一些特点的管道。
2011-02-22 astro-ph.IM
Development of production-ready GPU data processing pipeline software for AstroAccelerate
即将到来的大型望远镜项目,如平方公里阵列(SKA),将看到高数据速率和大数据量;需要能够快速准确地分析望远镜事件数据的工具。在现代射电望远镜中,分析软件是数据读取的核心部分,软件的长期稳定性和可维护性至关重要。AstroAccelerate是一个多核心加速软件包,它使用NVIDIA(R)GPU来执行射电望远镜数据的实时分析,并且在处理模拟的类似SKA的数据时,它已经被证明比实时快得多。AstroAccelerate包含用于射电天文学的信号处理工具的优化GPU实现,包括去色散,傅立叶域加速搜索,单脉冲检测等。本文描述了AstroAccelerate从类C原型代码到具有C++ API和Python接口的生产就绪软件库的转换;同时保持与用C实现的遗留软件的兼容性。软件库接口的设计,重构方面,和编码技术进行了讨论。
2020-01-16 astro-ph.IM
Siril: An Advanced Tool for Astronomical Image Processing
Siril是一款专为天文图像预处理与后处理设计的开源软件,为天文爱好者和专业天文学家提供图像叠加、校准等高级工具以生成高质量天体图像,本文介绍了其包含最新功能的1.4开发分支。
2024-10-15 astro-ph.GA astro-ph.IM
Explainable machine learning workflows for radio astronomical data processing
ASTRON, The Netherlands Institute for Radio Astronomy, Dwingeloo, The Netherlands(荷兰射电天文研究所)
本文提出结合模糊规则推理与深度学习的方法,提升射电天文数据处理流程的可解释性,以校准任务为例展示其有效性。
2026-03-17 astro-ph.IM cs.AI
Wavelet-based decomposition and analysis of structural patterns in astronomical images
上下文空间分辨天体图像包含丰富的形态和动力学信息,有效提取这些信息对于理解这些天体的物理和演化至关重要。目前用于此目的的算法和方法(例如,高斯模型拟合)通常使用简化的方法来描述解析对象的结构。目的。为此目的,需要用于结构分解和结构模式跟踪的自动(无监督)方法,以便能够处理所涉及的结构的复杂性和大量数据。方法.提出了一种新的基于小波变换的图像分割与评价(WISE)方法,用于天文图像结构模式的多尺度分解、分割和跟踪。结果该方法进行了测试,对模拟图像的相对论喷流和应用于数据长期监测的秒差距尺度的无线电喷流在3C 273和3C 120。在其粗分辨率工作,WISE再现非常好的模型拟合这些喷流的结构和运动学的评价以前的结果。扩展的WISE结构分析,以更精细的尺度提供了第一个强大的测量在这些射流的二维速度场,并表明速度场很可能反映发展流动的Kelvin-Hemlholtz不稳定性的演变。
2015-05-26 astro-ph.HE astro-ph.IM
A Gateway to Astronomical Image Processing: Vera C. RubinObservatory LSST Science Pipelines on AWS
空间和时间的遗产调查,由维拉C。鲁宾天文台是一个为期10年的天文调查,将于2022年开始运营,每三个晚上将拍摄一半的天空。LSST每晚将产生约20 TB的原始数据,这些数据将几乎实时地进行校准和分析。由于LSST数据量大,传统的子集下载过程数据再处理范式面临着重大挑战。我们在这里描述,第一步走向天文科学的门户,使天文学家能够分析图像和目录的规模。在第一步中,我们重点关注在Amazon Web Services(AWS)上执行Rubin LSST Science Pipelines,这是一个图像和目录处理算法的集合。我们描述了我们的初步印象的性能,可扩展性和成本部署这样一个系统在云中。
2020-11-11 astro-ph.IM
Leveraging Data Lineage to Infer Logical Relationships between Astronomical Catalogs
提出了一种新的推理集合之间逻辑关系的方法。这些集合可以是任何元素的集合,例如天体的天文目录。该方法不需要显式地知道集合的内容。它结合了关于集合之间关系的不完全知识来推断先验未知关系。集合之间的关系由布尔超立方体的集合表示。这导致通过将逻辑运算符应用于这些超立方体集合来进行演绎推理。描述了用于有效实现的伪代码。该方法用于Astro-WISE信息系统,以推断天体目录之间的关系。这些目录可以非常大,更重要的是,它们的内容不必在任何时候都可用。科学产品存储在Astro-WISE中,并引用它们所衍生的其他科学产品或它们的依赖关系。这创建了完整的数据谱系,将每个科学产品都链接到原始数据。目录是以最大限度地了解其与依赖关系的方式创建的。所提出的算法是用来确定哪些对象的目录表示利用这些信息。
2012-03-05 astro-ph.IM
Parallel Astronomical Data Processing with Python: Recipes for multicore machines
高性能计算已经应用于天体物理研究的各个领域。但大多数都是在大规模并行系统(超级计算机)或图形处理单元集群上实现的。随着近十年来多核处理器的出现,许多串行软件代码已经以并行模式重新实现,以充分利用这些处理器的潜力。在本文中,我们提出了多核机器的天文数据处理的并行处理配方。目标受众是使用Python作为首选脚本语言的天文学家,他们可能使用PyRAF/IRAF进行数据处理。在三种不同类型的多核处理器上对不同复杂度的三个问题进行了基准测试,以证明并行数据处理任务在执行时间方面的好处。Python中的原生多处理模块使得实现并行代码成为一项相对简单的任务。我们还比较了三种多处理方法-池/映射,进程/队列和并行Python。我们的测试代码是免费提供的,可以从我们的网站下载。
2013-06-03 astro-ph.IM cs.DC
DECH: Software Package for Astronomical Spectral Data Processing and Analysis
DECH是一款支持天文光谱全流程处理与分析的软件包,涵盖图像预处理、光谱提取、波长校准、连续谱归一化及视向速度测量等,最新版本支持6米望远镜高分辨率光谱仪数据,实现高精度视向速度测量以探测地外行星。
2025-01-21 astro-ph.GA astro-ph.IM
High Energy Vision: Processing X-rays
天文学本质上是一门视觉科学。世界天文台制作的高质量图像可以成为有效地与公众接触并帮助激励下一代科学家的关键。然而,在非光学波长范围内,创建引人注目的天文图像可能特别具有挑战性。在X射线天文学的情况下,其中可用于创建图像的光量受到严重限制,有必要采用复杂的图像处理算法来将超出人类视觉的光转换为美学上令人愉悦同时仍具有科学准确性的图像。本文简要概述了X射线天文学的历史,导致美国宇航局的钱德拉X射线天文台的部署,然后通过处理X射线图像所带来的具体挑战的检查。然后,作者探讨了图像处理技术,用于减轻这种处理的挑战,以创建有效的X射线天文学的公共图像。本文的后续文章将更深入地研究用于生成新闻质量图像的特定技术和算法。
2015-09-25 astro-ph.IM
Experiences of Commercial Supercomputing in Radio Astronomy Data Processing
International Centre for Radio Astronomy Research(国际射电天文研究中心);Curtin University(科廷大学);Defence Science and Technology Group(国防科学与技术集团)
本文通过访谈14位澳大利亚科学家和提供者并结合早期案例研究,分析商业HPC在射电天文数据处理中的优势与障碍,指出其在可访问性和可用性方面具有显著优势,但面临系统编程与并行化专业知识不足及科研资助认可缺失等障碍,并探讨了潜在解决方案。
2025-09-22 astro-ph.IM
Adaptive Data Reduction Workflows for Astronomy -- The ESO Data Processing System (EDPS)
本研究提出一种可从单一处理步骤级联规范自动推导不同用例工作流的天文数据处理系统,已实现为Python版EDPS,可生成欧南台多场景工作流并将替换其现有多套数据约简系统。
2023-11-07 astro-ph.IM
The Wide-field Infrared Survey Explorer (WISE): Mission Description and Initial On-orbit Performance
Palomar天文台Schmidt、欧洲南方天文台Schmidt和联合王国Schmidt所做的全天巡天、1000颗红色天文卫星和2微米全天巡天已被证明是极其有用的天文学工具,其价值可持续数十年。2009年12月14日发射的广域红外巡天探测器正在绘制整个天空的地图。WISE于2010年1月14日开始测量天空,并于7月17日完成了首次全面覆盖。该调查将继续第二次覆盖天空,直到冷冻剂耗尽(预计在2010年11月)。WISE在以3.4、4.6、12和22微米波长为中心的波段中,在黄道上的未混淆区域中实现了优于0.08、0.11、1和6 mJy的5 sigma点源灵敏度。由于覆盖更密集和黄道带背景更低,因此对黄道两极的敏感度提高。在3.4、4.6、12和22微米处的角分辨率分别为6.1、6.4、6.5和12.0角秒,对高信噪比源的天体测量精度优于0.15角秒。
2010-11-09 astro-ph.IM
Astronomical Image Processing at Scale With Pegasus and Montage
大规模图像处理是一种强大的工具,可用于创建新的数据集,并将其与现有数据集集成,以及进行分析和质量保证调查。工作流管理器在这种类型的处理中提供了优势,这涉及到多个数据访问和处理步骤。通常,它们通过定位数据和资源、从故障中恢复以及监控性能来实现工作流的自动化。在此焦点演示中,我们演示了Pegasus Workflow Manager Python API如何管理图像处理,以使用蒙太奇图像马赛克引擎创建马赛克。自2001年以来,Pegasus一直在USC/ISI开发和维护。蒙太奇实际上是用于设计飞马座和优化其性能的第一个应用程序之一。从那以后,Pegasus在许多科学领域都得到了应用。LIGO利用它发现了黑洞。维拉C。Rubin Observatory使用它来比较在云平台上处理图像的成本和性能。虽然这些都是大规模项目的例子,但对本地机器集群的小型团队调查也可以从Pegasus中受益。
2021-11-23 astro-ph.IM
prose: A Python framework for modular astronomical images processing
为了减少和分析天文图像,天文学家可以依赖于广泛的库,提供传统算法的低级实现。然而,将这些例程组合到强大的功能管道中需要付出很大的努力,这通常会导致特定于仪器的工具和维护性差,从而产生具有低水平可重复性和可移植性的产品。在这种情况下,我们提出散文,Python框架,建立模块化和维护图像处理管道。它是为天文学而构建的,与仪器无关,允许使用各种预实现或用户定义的构建块来构建管道。有了这个架构,我们的包提供了基本的工具来处理常见的任务,如自动减少和光度提取。为了证明其潜力,我们使用其默认的光度管道来处理26个TESS候选者的后续观测结果,并将其产品与使用AstroImageJ(用于此类工作的参考软件)获得的产品进行比较。我们发现,散文产生的光变曲线具有较低的白噪声和红噪声,同时需要更少的用户交互,并提供更丰富的功能报告。
2021-11-08 astro-ph.EP astro-ph.IM
An Automated Scalable Framework for Distributing Radio Astronomy Processing Across Clusters and Clouds
低频阵列射电望远镜(英语:Low Frequency Array radio telescope)是一种国际口径综合射电望远镜,用于研究宇宙的低频。LOFAR望远镜的目标之一是进行深宽视场调查。在这里,我们将讨论LOFAR两米巡天(LoTSS)的处理框架。这项调查将在五年内产生近50 PB的数据。这些数据速率要求在能够高速访问存档数据的位置进行处理。为了完成LoTSS项目,需要使处理软件具有可移植性,并将其移动到具有高带宽连接的集群中。这项工作提出了一个框架,使LOFAR软件的便携式,并用于扩展LOFAR数据减少。以前的工作是成功的预处理LOFAR数据的一个孤立的节点集群。该框架以其为基础,目前正在运行。它被设计成可移植的、可扩展的、自动化的和通用的。本文介绍了它的设计和高级操作和处理LoTSS数据的初步结果。
2018-04-10 astro-ph.IM
Accelerating the Rate of Astronomical Discovery with GPU-Powered Clusters
近年来,图形处理单元(GPU)已成为高性能计算的低成本替代方案,为一系列科学计算应用提供了令人印象深刻的加速。天文学领域的早期采用者已经受益于调整他们的代码,以利用GPU的大规模并行处理模式。我介绍和概述了迄今为止GPU在天文学中的使用,重点介绍了天文学中前100个GPU相关出版物的采用和应用趋势。我讨论了利用GPU计算集群的机遇和挑战,例如新的澳大利亚GPU超级计算机gSTAR,以加快天文发现的速度。
2011-11-22 astro-ph.IM
The Kilo-Degree Survey
Kilo Degree Survey(KiDS)是一个1500平方度的光学成像调查,最近委托VLT巡天望远镜(VST)上的OmegaCAM宽视场成像仪。KiDS调查小组将向欧洲南方天文台(ESO)和社区提供一套数据产品。KiDS团队遍布欧洲,使用Astro-WISE进行高效协作并共享硬件资源。在Astro-WISE中,团队共享、校准和存档所有测量数据。以数据为中心的架构设计实现了动态的“实时档案”,其中质量更高的新KiDS调查产品可以以灵活且可控的方式与团队并最终与整个天文社区共享。
2012-06-06 astro-ph.CO astro-ph.IM
Using fractional differentiation in astronomy
在最近发表在arXiv:0910.2381上的一篇论文中,我们开始讨论在图像处理中使用分数阶微分所产生的新可能性。我们已经看到,分数计算能够提高图像的质量,在边缘检测和图像恢复中具有有趣的可能性。在这里,我们想更深入地讨论它作为天文图像处理工具的作用。特别是,分数微分可以帮助从一个漂亮的天文图像中产生一个基于“内容-物质”的图像,可以用于更多的研究和科学目的,例如揭示微弱的物体星系物质,星云,更多的恒星和行星表面细节。
2009-10-25 astro-ph.IM
AXS: A framework for fast astronomical data processing based on Apache Spark
我们介绍AXS(Astronomy eXtensions for Spark),这是一个基于Apache Spark的可扩展开源天文数据分析框架,Apache Spark是一个广泛使用的行业标准大数据处理引擎。基于Spark中的功能,AXS旨在使用熟悉的Python/AstroPy概念,DataFrame API和SQL语句查询和分析几乎任意大的天文目录。我们通过i)为Spark添加支持以实现高效的在线位置交叉匹配,ii)提供支持天文数据分析常用操作的Python库。为了支持可扩展的交叉匹配,我们开发了一种ZONES算法(Gray et al. 2004)的变体,能够在分布式、无共享架构中运行。我们将其与数据分区方案相结合,该方案可以实现快速目录交叉匹配,并处理深空数据集中经常出现的数据倾斜。交叉匹配和其他常用功能通过易于使用的Python API向最终用户公开。我们展示了AXS在SDSS、ZTF、Gaia DR 2和AllWise目录上的技术和科学性能。使用AXS,我们能够在大约30秒内对Gaia DR 2(18亿行)和AllWise(9亿行)数据集进行动态交叉匹配。我们将讨论像AXS这样的云就绪分布式系统如何提供一种自然的方式来实现对LSST等大型数据集的全面最终用户分析。
2019-05-24 astro-ph.IM cs.DC
The DASCH Data Processing Pipeline and Multiple Exposure Plate Processing
数字访问天空世纪@哈佛(DASCH)是一个项目,以收集约525,000天文板在哈佛学院天文台举行。本文介绍了DASCH数据处理流水线的概述,特别强调多次曝光板的处理。这种感光板扩大了感光乳剂的动态范围,并通过最大限度地减少感光板显影过程中的变化而提高了光度测定的准确性。本文探讨了两种方法:重复使用astrometry.net(Lang et al. 2010)和本地相关搜索。这两个程序都产生了对管道有用的额外质量控制检查。
2011-02-23 astro-ph.IM
Results from the Wide-field Infrared Survey Explorer (WISE) Future Uses Session at the WISE at 5 Meeting
在“WISE at 5:2015年2月10日至12日在加利福尼亚州帕萨迪纳举行的“遗产与前景”会议上,与会者应邀参加了一个互动会议,探讨广域红外探测器(WISE)数据的未来用途。65名参与者(其中许多人是数据的广泛用户)集思广益,提出了任务仍需回答的首要问题,以及补充当前和未来的数据集和WISE/NEOWISE数据的额外处理,这将有助于解决这些最重要的科学问题。结果主要分为与河外研究(如活动星系核、类星体)和星下质量物体有关的两个专题。总之,与会者发现,用互相关的多波长勘测(例如SDSS、Pan-STARRS、LSST、Gaia、Euclid等)补充WISE/NEOWISE数据,对未来所有的任务目标都非常有利。此外,经常提到开发或实施机器学习工具,以梳理和理解交叉相关的数据,供未来使用。最后,与会者一致认为,对数据进行额外处理,如共同添加WISE和NEOWISE,提取多历元光度数据库和视差和自行目录,将大大改善所确定的最重要项目的科学成果。在这方面,像MaxWISE这样的项目将执行最重要的额外处理和提取,并使数据和目录易于通过公共门户网站访问,这被认为是极其重要的。
2015-05-08 astro-ph.IM astro-ph.SR
Bifrost: a Python/C++ Framework for High-Throughput Stream Processing in Astronomy
具有高吞吐量后端仪器的射电天文观测站需要实时数据处理。虽然计算硬件继续快速发展,但实时处理管道的开发仍然困难且耗时,这可能会限制科学生产力。受此启发,我们开发了Bifrost:一个用于快速管道开发的开源软件框架。Bifrost将高级Python接口与高效的可重新配置数据传输以及用于CPU和GPU处理的计算块库相结合。该框架是可推广的,但最初它强调高吞吐量射电天文管道的需求,例如处理数据缓冲区的能力,就好像它们是连续流一样,将处理划分为不同数据序列的能力(例如,单独的观察),以及从缓冲数据中提取特定间隔的能力。库中的计算模块专为干涉测量、脉冲星解色散和定时以及瞬态搜索管道等应用而设计。我们描述的设计和实施的彩虹桥框架,并证明其使用的骨干在塞维利亚国家野生动物保护区,NM的长波长阵列站的相关性和波束成形后端。
2017-08-02 astro-ph.IM cs.DC physics.ins-det
Astronomical Image Processing Benchmark Study for Various Telescope Aperture Shapes
本研究通过模拟六种望远镜孔径的PSF并应用Richardson-Lucy反卷积,评估了孔径形状对天文图像模拟和反卷积精度的影响,强调了针对不同孔径优化处理流程的必要性。
2024-02-07 astro-ph.IM
Corral Framework: Trustworthy and Fully Functional Data Intensive Parallel Astronomical Pipelines
数据处理管道代表了天文软件库的一个重要部分,其中包括通过数据简化和分析将原始数据转换为有价值信息的过程链。在这项工作中,我们提出了Corral,一个用于天文管道生成的Python框架。Corral在SQL关系数据库之上采用了模型-视图-控制器设计模式,能够处理:自定义数据模型;处理阶段;和通信警报,还提供了基于单元测试的自动质量和结构度量。模型-视图-控制器提供了用户逻辑和数据模型之间的概念分离,同时提供了多处理和分布式计算能力。Corral代表了Astronomy中常见的数据处理管道的改进,因为设计模式简化了程序员处理处理流程和并行化问题,使他们能够专注于连续数据转换所需的特定算法,同时提供了对创建的管道的广泛质量测量。社区可以在https://github.com/toros-astro上获得使用它的管道的围栏和工作示例。
2017-08-07 astro-ph.IM cs.SE physics.data-an
TRIPP: A General Purpose Data Pipeline for Astronomical Image Processing
本文提出天文图像处理流水线TRIPP,结合差异成像与光变曲线分析技术实现暂现源近实时探测,经超新星SN2023ixf等数据验证了其测光准确性与SETI信号探测能力。
2025-02-03 astro-ph.IM
GaiaNIR: Note on processing and photometry
针对Gaia后继任务GaiaNIR卫星,本文提出在轨数据初始处理方案以提升性能,论证滤光片测光相对低色散光谱的优势,指出后续需定量评估以确定测光设备配置。
2024-08-18 astro-ph.IM
Automatic Optimized Discovery, Creation and Processing of Astronomical Catalogs
我们提出了一种新的方式来处理天文目录在Astro-WISE的设计,以实现大规模调查所产生的数据所需的可扩展性。实现了高水平的自动化和抽象,以促进与可视化软件的交互式探索的互操作。与此同时,处理的灵活性也得到了提高,科学家之间也可以私下分享数据。这是通过使用一个数据模型来实现的,该模型主要存储目录的派生方式;目录的内容仅在必要时创建,并且仅在有利于性能时存储。现有星表的发现和新星表的创建是通过相同的过程完成的,例如从可视化软件中直接请求所需的最终一组源(天体)和属性(物理属性)。系统会自动创建新目录,以提供无法找到合适的现有目录的源的属性。这些目录定义为包含属性计算适用的最大源集合上的新属性,以便于将来的数据请求重用。随后,实际上只处理所请求的最终产品所需的目录部分,以确保可伸缩性。所提出的机制主要确定创建哪些目录以及必须处理和存储哪些数据:实际处理和存储本身留给底层信息系统的现有功能。
2011-11-16 astro-ph.IM cs.DB
Building a scalable global data processing pipeline for large astronomical photometric datasets
天文测光是测量天体通量的科学。自引入以来,CCD一直是测量通量以计算物体视星等的主要方法。每个CCD图像在使用前必须经过清洗和校准过程。随着研究望远镜数量的增加,图像处理所需的总体计算资源也增加。现有的处理技术本质上主要是顺序的,需要越来越强大的服务器、更快的磁盘和更快的网络来处理数据。涉及大容量数据中心的现有高性能计算解决方案设计复杂,维护成本高昂,同时主要为高知名度的科学项目提供资源。这项研究描述了三种分布式管道架构,基于云的虚拟化IRAF,天文计算节点(ACN),基于私有云的管道,以及NIMBUS,一个全球分布式系统。ACN管道以每天4 TB的速度处理数据,证明数据压缩和上传到中央云存储服务的速度比数据生成的速度更快。这项研究的主要贡献是NIMBUS,它具有快速可扩展性,故障恢复能力,能够以每天数百TB的速度处理CCD图像数据。该管道使用分散的Web队列来实现,以控制数据的压缩,将数据上传到分布式Web服务器,并创建Web消息以识别数据的位置。使用分布式Web队列消息,图像由分布在全球各地的计算资源下载。严格的实验证据验证了该系统的水平可扩展性,它已经证明了192 TB的处理速率,每天有明确的迹象表明,更高的处理速率是可能的。
2015-02-10 astro-ph.IM cs.DC
PlotXY: a high quality plotting system for the Herschel Interactive Processing Environment (HIPE), and the astronomical community
Herschel交互式处理环境(HIPE)由欧洲航天局(ESA)与NASA和Herschel仪器控制中心合作开发,为天文学界提供一个完整的环境来处理和分析Herschel空间天文台收集的数据。HIPE最重要的组件之一是我们在这里介绍的绘图系统(名为PlotXY)。使用PlotXY,可以轻松生成高质量的可用于出版的2D图。它提供了一长串功能,具有完全可配置的组件和交互式缩放。HIPE的全部代码都是用Java编写的,并在GNU Lesser General Public License第3版下开源发布。正在开发新版本的PlotXY,使其独立于HIPE代码库;软件开发社区可以通过URL http://code.google.com/p/jplot2d/将其包含在其他项目中。
2012-07-17 astro-ph.IM cs.GR
PyLongslit: a simple manual Python pipeline for processing of astronomical long-slit spectra recorded with CCD detectors
本文提出一个名为PyLongslit的简单手动Python流水线,用于处理CCD探测器记录的天文长缝光谱,通过执行标准程序生成校准的2D和1D光谱,旨在为教学及自动化流水线失效的场景提供透明且鲁棒的替代方案。
2025-04-01 astro-ph.IM
Minimal Re-computation for Exploratory Data Analysis in Astronomy
我们提出了一种技术,以自动减少重新计算时,数据处理程序迭代地改变,或添加到,经常是在射电天文学的探索性数据分析的情况下。一个典型的例子是标记和校准的要求或不寻常的观察,其中目视检查表明改进的处理策略。该技术是基于memoization和引用透明的任务。我们描述了一个原型实现的CASA数据减少包。该技术提高了数据分析的效率,同时降低了用户错误的可能性并提高了最终结果的再现性。
2017-11-16 astro-ph.IM
Digital Signal Processing using Stream High Performance Computing: A 512-input Broadband Correlator for Radio Astronomy
利用现场可编程门阵列和图形处理单元的“大N”关联函数已被部署为欧文斯谷射电天文台长波阵列站的数字信号处理系统,以实现探测黑暗时代的大孔径实验。该系统采样~ 100 MHz基带,并在~ 58 MHz瞬时子带上处理来自512个天线(256个双极化)的信号,在9 kW包络和单个机架占地面积中实现16.8 Tops/s和0.236 Tbit/s的吞吐量。对于交叉功率的9秒时间平均和总功率数据的1秒平均,输出数据速率为260 MB/s。在部署时,LWA-OV关联函数在N方面是生产中最大的,在复杂的乘法积累方面是第三大的,仅次于超大阵列和阿塔卡马大型毫米阵列。关联函数的相对快速的开发时间和低成本建立了一个模块化的,异构的,计算架构的可扩展性的实际基础。
2015-01-07 astro-ph.IM
Discovering new worlds: a review of signal processing methods for detecting exoplanets from astronomical radial velocity data
系外行星是“太阳系外行星”的简称,是太阳系外的行星。它们是质量小于15千欧质量的天体,围绕太阳以外的恒星运行。它们足够小,所以它们不能在核心燃烧氘,但又足够大,它们不像冥王星那样被称为“矮行星”。要在宇宙中的其他地方发现生命,特别是在我们自己的太阳系之外,一个很好的起点是寻找围绕附近类似太阳的恒星运行的行星,因为我们所知道的生命的唯一例子是在我们称之为地球的行星上围绕G型矮星运行。此外,了解邻近太阳系的系外行星系统的数量使我们能够了解建造我们自己的太阳系的机制,并为我们的生命之树繁荣创造必要的条件。信号处理是系外行星探测的一个组成部分。从提高观测数据的信噪比,到应用先进的统计信号处理方法等来检测数据中的信号(潜在的行星),天文学家在寻找类地行星的过程中一直倾向于并将继续倾向于信号处理。以下方法已被用于探测系外行星。
2016-11-02 astro-ph.EP astro-ph.IM
Pipeline Collector: gathering performance data for distributed astronomical pipelines
现代天文数据处理需要复杂的软件管道来处理不断增长的数据集。对于射电天文学,这些管道已经变得如此之大,以至于它们需要分布在计算集群中。这使得很难监控每个流水线步骤的性能。为了深入了解每个步骤的性能,需要将性能监视实用程序与管道执行集成。在这项工作中,我们已经开发了这样一个实用程序,并将其与校准管道的低频阵列,LOFAR,领先的射电望远镜。我们通过在几个不同的计算平台上运行管道来测试该工具,并收集性能数据。基于这些数据,我们对未来的硬件和软件升级提出了明智的建议。这些升级的目的是加快LOFAR管道最慢的处理步骤。管道收集器套件是开源的,将被纳入未来的LOFAR管道中,为所有LOFAR处理创建性能数据库。
2018-07-16 astro-ph.IM
Image Pre-Processing Framework for Time-Domain Astronomy in the Artificial Intelligence Era
本文提出面向时域天文学的GPU图像预处理框架,集成Eager与Pipeline两种模式,在保持CPU级精度的同时显著提升大规模AI数据处理速度。
2025-02-15 astro-ph.GA astro-ph.IM astro-ph.SR
Accelerating Radio Astronomy Cross-Correlation with Graphics Processing Units
我们提出了一个高度并行实现的时间序列数据的互相关,使用图形处理单元(GPU),这是可扩展到数百个独立的输入,并适合于处理来自“大N”阵列的许多无线电天线的信号。该算法的计算部分,X引擎,在Nvidia的费米架构上有效地实现,维持高达79%的峰值单精度浮点吞吐量。我们比较了硬件和软件管理的缓存获得的性能,观察后者显着更好的性能。报告的高性能涉及使用多级数据平铺策略在内存中,并使用流水线算法,同时计算和传输的数据从主机到设备内存。与ASIC和FPGA实现相比,GPU实现的代码开发速度,灵活性和低成本有可能大大缩短相关器开发和部署的周期,对于可以容忍一些功耗损失的情况。
2011-08-01 astro-ph.IM cs.CE
VARTOOLS: A Program for Analyzing Astronomical Time-Series Data
本文介绍了VARTOOLS程序,这是一个开源的命令行实用程序,用C语言编写,用于分析天文时间序列数据,特别是光变曲线。该程序提供了一套通用的光变曲线处理工具,包括信号识别、滤波、光变曲线处理、时间转换以及光变曲线建模和模拟。所实现的一些例程包括广义Lomb-Scargle周期图、Box-最小二乘过境搜索例程、方差分析周期图、离散傅立叶变换(包括CLEAN算法)、加权小波Z变换、光曲线算法、分析函数的线性和非线性优化(包括支持具有非平凡协方差的马尔可夫链蒙特卡罗分析)、表征和/或模拟时间相关噪声,以及TFA和SYSREM滤波算法等。还提供了一种机制,用于将用户自己编译的处理例程合并到程序中。VARTOOLS专为光变曲线的批处理而设计,包括内置的并行处理支持,使其适用于大型时域测量,例如搜索凌日行星。文中给出了几个例子来说明程序的使用。
2016-05-22 astro-ph.IM
New Zealand involvement in Radio Astronomical VLBI Image Processing
随着AUT大学12米射电望远镜在沃克沃思的建立,新西兰现已成为国际甚长基线干涉测量界的一部分。VLBI观测的一个主要产品是天文物体如活动星系核(AGN)的射电域图像。在无线电天线之间使用大的地理间隔,可以实现非常高的角分辨率。利用VLBI地球自转孔径合成技术,可以得到详细的图像。本文综述了VLBI射电成像的最新进展。此外,我们模型VLBI配置使用沃克沃思望远镜,AuScope(一个新的阵列的三个12米天线在澳大利亚)和澳大利亚平方公里阵列探路者(ASKAP)阵列目前正在建设中的西澳大利亚州,并讨论如何配置这些阵列影响图像的质量。最近的成像结果表明,从列入AUT和第一ASKAP望远镜在澳大利亚长基线阵列(LBA)的建模改进。
2011-10-24 astro-ph.IM cs.GR
GPU Kernels for High-Speed 4-Bit Astrophysical Data Processing
干涉射电望远镜通常依赖于计算昂贵的O(N^2)相关计算;幸运的是,这些计算可以很好地映射到大规模并行加速器,如低成本的GPU。本文介绍了OpenCL内核开发的GPU为基础的X引擎的一种新的混合FX相关器。来自F引擎的数字化数据以4位偏移编码的实整数和虚整数的形式提供给GPU。由于数据的低位宽,两个值可以打包到32位寄存器中,从而允许使用单个融合乘加指令进行多个值的乘法和加法。通过这种数据和计算打包方案,可以在4.3 TOPS GPU上执行多达5.6有效的每秒兆操作(TOPS)。内核设计允许相关性扩展到大量输入元素,仅受GPU上的最大缓冲区大小限制。这段代码目前在加拿大BC的CHIME Pathfinder Correlator上运行。
2015-03-20 astro-ph.IM