Alternative Astronomical FITS imaging
天文射电图主要以FITS格式提供。天文图像处理软件（AIPS）使用一组附加到输出地图的表格，以包括与图像生成有关的各种信息。然而，一旦从AIPS中提取了FITS或其他格式的射电源图像，该信息以及关于地图的通量和噪声的信息就丢失了。这些信息对于另一个天文学家来说是很有价值的，例如，他只是使用NED下载地图。在目前的工作中，我们展示了一种隐藏在无线电地图中的数据的方法，该方法可以在变换下保留，即使地图的格式从适合改为其他无损的可用图像格式。
2012-09-03 astro-ph.CO astro-ph.IM cs.MM
Learning from FITS: Limitations in use in modern astronomical research
灵活的图像传输系统（FITS）标准一直是天文学的一大福音，使天文台，科学家和公众能够轻松交换天文信息。然而，FITS标准正在显示其年龄。FITS开发于20世纪70年代末，作者做出了许多实现选择，虽然在当时很常见，但现在被认为限制了其对现代数据的效用。FITS标准的作者无法预见我们今天在天文计算中面临的挑战。我们现在面临的困难包括，但不限于，解决需要处理范围扩大的专业数据产品类型（数据模型），更有利于数据的网络交换和存储，处理非常大的数据集，并捕获更复杂的元数据和数据关系。今天，社区中的一些成员发现这些限制中的一些或全部不可行，并决定继续以其他格式存储数据。如果这种分裂继续下去，我们就有可能放弃FITS格式为天文学提供的广泛互操作性和现成可存档性的优势。在本文中，我们详细介绍了一些选定的重要问题，存在于FITS标准的今天。这些问题可能有助于深入了解存在于格式中的更深层次的根本问题，我们提供了一些经验教训的讨论。我们在这里并不打算对这些问题提出具体的补救措施;相反，它是为了引起FITS和更大的天文计算社区对这些问题的关注，希望它能刺激解决这些问题的行动。
2015-02-10 astro-ph.IM cs.SE
Improving resolution and depth of astronomical observations via modern mathematical methods for image analysis
在过去的几年中，现代图像分析的数学方法已经导致了许多领域的革命，从计算机视觉到科学成像。然而，最近开发的一些图像处理技术已被其他部门成功地利用，但很少在天文观测中进行试验。我们在这里提出了两类变分图像增强技术的测试：“结构-纹理分解”和“超分辨率”，表明它们是有效的，在提高观测质量。结构-纹理分解允许恢复先前被背景噪声隐藏的微弱源，有效地增加了可用观测的深度。超分辨率从一组低分辨率帧中产生更高分辨率和更好的采样图像，从而减轻了由于不同仪器之间的分辨率/采样差异而引起的数据分析中的问题，如EUCLID VIS和NIR成像仪的情况。
2015-01-16 astro-ph.IM
Fast coordinate cross-match tool for large astronomical catalogue
本文提出了一种用于现代海量天文星表中目标的高效坐标交叉匹配算法。现有目录中的初步数据分类提供了在不受存储和技术环境（PC）限制的情况下协调识别物体的机会。使用现代计算处理器的多线程可以加快程序对存储器的读写速度。文中还介绍了实现该算法的主要困难，以及可能的解决办法。
2018-05-21 astro-ph.IM
Optimal Compression of Floating-point Astronomical Images Without Significant Loss of Information
我们描述了浮点天文图像的压缩方法，使压缩比为6 - 10，同时仍然保留图像中的科学重要信息。首先通过将像素值量化为缩放的整数强度级别来对像素值进行预处理，这去除了图像中的一些不可压缩的噪声。然后使用快速高效的Rice算法对整数进行有损压缩，并存储在可移植的FITS格式文件中。更粗略地量化图像给出了更大的图像压缩，但它也增加了噪声，并降低了量化图像中的光度测量和天体测量的精度。在量化过程中抖动像素值可以大大提高图像中的测量精度。如果分析算法依赖于模式或中值（如果像素值不抖动，则将类似地量化模式或中值），则这尤其重要。我们进行了一系列的实验，在合成和真实的天文CCD图像定量证明，在量化的图像中的恒星的星等和位置可以测量与预测的精度。为了鼓励更广泛地使用这些图像压缩方法，我们提供了一对通用的图像压缩程序，称为fpack和funpack，可用于压缩任何FITS格式的图像。
2010-07-07 astro-ph.IM
The Past, Present and Future of Astronomical Data Formats
天文学的未来与天文数据产品的维护和提供密不可分。FITS和NDF等社区标准在众多天文项目的成功中发挥了重要作用。他们的成功促使我们采取务实的策略来调整和发展标准，以满足目前正在设计和建造的设施的积极数据处理要求。我们讨论了过去使标准成功的特征，以及未来所需的功能，下面是一个开放的讨论。
2014-11-04 astro-ph.IM
Astronomical Data Formats: What we have and how we got here
尽管几乎所有的天文数据都是以光子的形式获得的，但来自不同仪器和不同阶段的天文数据可能以不同的格式存在，以服务于不同的目的。除了数据本身之外，描述性信息作为元数据与数据相关联，包括在数据格式中或更大的多格式数据结构中。这些格式可用于数据的获取、处理、交换和存档。使用类似的格式，甚至是单一的标准来简化使用熟悉的工具在各个阶段与数据的交互是很有用的。在我们讨论天文数据的未来如何格式化之前，了解当前标准的演变和优点是有用的。作为一个例子，在FITS中使用世界坐标的演变。
2015-07-13 astro-ph.IM
A flexible Expectation-Maximization framework for fast, scalable and high-fidelity multi-frame astronomical image deconvolution
提出一种计算高效的灵活 EM 框架，结合 Tensorflow 与 GPU 加速实现多帧天文图像反卷积和超分辨率，并在 HSC 数据上获得高保真重建。
2023-02-11 astro-ph.IM
Deep-TAO: The Deep Learning Transient Astronomical Object data set for Astronomical Transient Event Classification
本研究发布了包含超124万张标注图像的Deep-TAO天文暂现数据集，覆盖多类暂现天体，配套易用工具，实验显示基于该数据集的基线CNN性能优于传统随机森林分类器，为暂现事件分类研究提供了基准资源。
2025-03-20 astro-ph.IM
Representations of Time Coordinates in FITS
在一系列的三个以前的文件，制定和具体的世界坐标变换的FITS数据表示。第四篇论文涉及编码时间。在天文数据集中已知的所有尺度和精度上的时间都要以明确、完整和自洽的方式描述。采用完善的世界坐标系（WCS）框架，并保持与目前用于指定时间的FITS约定的兼容性，该标准扩展到严格描述时间坐标。世界坐标函数被定义为线性采样的时间轴，并由查找表指定。由此产生的标准与现有的FITS WCS标准一致，并指定了一个元数据集，以实现上述目标。
2014-09-26 astro-ph.IM
Cutana: A High-Performance Tool for Astronomical Image Cutout Generation at Petabyte Scale
本文提出Cutana，一款基于向量化NumPy和内存感知调度的批处理切图工具，可在四小时内用四线程处理欧几里得Q1全部数据，性能显著优于Astropy。
2025-11-06 astro-ph.IM
"Superluminal" FITS File Processing on Multiprocessors: Zero Time Endian Conversion Technique
FITS是天文学中的标准文件格式，它已被扩展以满足当今天文学的需求。然而，天文数据集逐年膨胀。在ALMA望远镜的情况下，可以为一个目标产生~ TB尺度的四维数据立方体。考虑到典型的互联网带宽最多只有几个10 MB/s，FITS格式的原始数据立方体托管在VO服务器上，并且用户感兴趣的区域应该被剪切并传输给用户（Eguchi et al.，2012年）。该系统将配备一个非常高速的磁盘阵列，在几个10秒内处理一个TB规模的数据立方体，磁盘I/O速度，字节序转换和数据处理之一将是可比的。因此，减少端序转换时间是实现本系统的问题之一。在本文中，我介绍了一种名为“即时字节序转换”的技术，它延迟了字节序转换每个像素之前，它是真正需要的，扫出字节序转换时间;通过应用这种方法，FITS处理速度增加20%的单线程，和40%的多线程CFITSIO相比。该方法的加速与现代CPU体系结构紧密相关，由于“因果关系”，即程序指令代码序列的中断，提高了指令流水线的效率。
2013-04-19 astro-ph.IM cs.PF
Processing Color in Astronomical Imagery
每年，数百张来自地面和太空望远镜的图像向公众发布，通过从计算机屏幕到邮票的一切方式进入流行文化。这些图像涵盖了从无线电波到红外线再到X射线和伽马射线的整个电磁波谱频谱，其中大部分是人眼在没有技术的情况下无法检测到的。一旦收集到这些数据，一个或多个专家必须处理数据以创建图像。因此，天文图像的创造涉及一系列的选择。这些选择如何影响对图像背后科学的理解？向非专家表示数据的最佳方式是什么？这些选择应该基于美学，科学的准确性，还是有可能同时满足两者？本文仅回顾了天文图像处理器的众多选择中的一种：颜色。颜色的选择是用现代望远镜拍摄图像时最基本的因素之一。我们简要地探讨了翻译的图像的概念，特别是在天文图像的情况下，从不可见的部分的电磁波谱。在将现代天文图像和摄影一般地置于其历史起源的背景下之后，我们回顾了在进行基本颜色选择时的标准（或缺乏标准）。我们讨论了可能的影响，选择一个调色板在另一个的背景下，使用这些图像作为科学传播产品的适当性，特别关注如何非专家感知这些图像，以及如何影响他们对科学的信任。最后，我们分享了新的数据集，开始在学术研究中关注这些问题，并讨论了在未来对这个和其他相关主题进行更有力的检查的必要性，以更好地理解科学传播的影响。
2013-08-23 astro-ph.IM
The pioneering scientific endeavor and contributions of Jose Maria Gonzalez Benito (1843-1903), the first Colombian modern astronomer
哥伦比亚境内对天文学的兴趣起源于格拉纳达新王国的植物考察（1783-1813年），该考察促使1803年建立了一个天文台，这是新大陆建立的第一个进行系统观测和气象研究的天文台。1816年，在动荡的独立时期，其第一任主任弗朗西斯科·何塞·德·卡尔达斯（Francisco Jose de Caldas，1768-1816）去世后，几十年来没有进行过重大的天文观测，只有少数例外。在这项工作中，我们深入研究了天文学家何塞·玛丽亚·冈萨雷斯·贝尼托的贡献，（1843-1903），19世纪下半叶哥伦比亚国家天文台的主要复兴者，指出他的开创性努力使全世界都关注它，和他自己的私人天文台，使他成为该国最致力于天文科学发展的人物之一，也是哥伦比亚最著名的天文学家。在他那个时代的国际天文学研究舞台上。
2022-11-30 astro-ph.IM astro-ph.SR physics.hist-ph
A Command-line Cross-matching tool for modern astrophysical pipelines
在当前数据驱动的科学时代，对高效，可靠和可扩展的天文目录交叉匹配的需求变得更加迫切，数据的大小已迅速增加到PB级。C3（命令行目录交叉匹配）是一个多平台工具，旨在有效地交叉匹配来自现代天文调查的大量目录，通过使用多核并行处理范式确保高性能功能。该工具被设想为作为一个独立的命令行进程执行，或被纳入任何通用数据简化/分析管道，在参数配置、坐标和交叉匹配类型方面为最终用户提供最大的灵活性。在这项工作中，我们提出的架构和功能的工具。此外，由于该工具的模块化设计可以轻松定制特定的用例和要求，因此我们还提供了一个在FP 7项目ViaLactea中设计和使用的定制C3版本的示例，专用于交叉关联Hi-GAL团块与多波段紧凑源。
2016-11-25 astro-ph.IM
SpecPro: An Interactive IDL Program for Viewing and Analyzing Astronomical Spectra
我们提出了一个互动的IDL程序，用于查看和分析天文光谱的背景下，现代成像调查。SpecPro的交互式设计使用户可以同时查看光谱、光度和成像数据，从而实现快速的物体分类和红移测定。光谱红移可以通过对各种光谱模板进行自动互相关或通过在1-D和2-D光谱上覆盖共同的发射和吸收特征来确定。该界面可以显示源的图章图像以及光谱能量分布（SED），并在SED图上显示突出光度特征的位置。可以从界面内将结果保存到文件中。在本文中，我们将讨论关键程序功能，并概述所需的数据格式。
2011-03-16 astro-ph.IM
Trend Filtering -- I. A Modern Statistical Tool for Time-Domain Astronomy and Astronomical Spectroscopy
对具有不同平滑度的一维信号进行去噪的问题在时域天文学和天文光谱学中是普遍存在的。例如，在时域中，天体可能表现出平滑变化的强度，偶尔会被突然的下降或尖峰打断。同样，在光谱设置中，无噪声光谱通常包含与局部较高频率分量（诸如发射峰和吸收线）混合的相对平滑的间隔。在这项工作中，我们提出了趋势滤波，一个现代的非参数统计工具，产生显着的改善，在这个广泛的问题空间去噪$spatially$ $heterogeneous$信号。当潜在信号在空间上是不均匀的时，趋势滤波优于任何作为观测数据的线性组合的统计估计-包括核平滑器、LOESS、平滑样条、高斯过程回归和许多其他流行的方法。此外，可以经由专门的凸优化算法以实际和可扩展的效率计算趋势过滤估计，例如，在几分钟内处理$n\gtrsim10^7$的样本大小。在一个配套文件中，我们明确地证明了广泛的效用的趋势过滤观测天文学进行了一系列不同的光谱和时域分析。
2020-01-10 astro-ph.CO astro-ph.EP astro-ph.IM
Computing Natural Magnitudes in the Photometric Systems of Astronomical Plates using Gaia DR3 SEDs
Philipps University Marburg（马尔堡菲利普斯大学）
利用Gaia DR3 SEDs计算天文胶片的自然光度，通过合成光度学方法提高光度校准精度。
2026-01-11 astro-ph.IM
FRELLED Reloaded: Multiple techniques for astronomical data visualisation in Blender
本文介绍 FRELLED 5.0，一个在 Blender 中实时可视化天文三维数据集的软件包，通过全面重写代码、简化安装、加快加载并新增等值面与 VR 导出等功能，显著提升了天文数据可视化的效率与可维护性。
2025-01-06 astro-ph.GA astro-ph.IM
Inference of Coefficients for Use in Phase Correction II: Using the Observed Correlation Between Phase and Sky Brightness Fluctuations
通过观测明亮和紧凑的天文源，同时用183千兆赫水汽辐射计获取数据，ALMA将能够测量天文信号相位波动与183千兆赫附近天空亮度波动之间的“经验”关系。模拟这样的测量假设只有热噪声在天文和WVR接收器，它表明，准确的确定的经验关系应该是可能的，在相对较短的时间内。然后提出，使用这些经验系数的最佳方式是将它们作为大气物理模型的约束条件-这使它们能够在更长的时间内使用，提高观测效率。这种方法自然适合在以前的备忘录中提出的分析框架，现在已经扩展到实现它。该技术通过模拟和SMA收集的短数据集来说明。
2009-07-26 astro-ph.IM
DeepSurveySim: Simulation Software and Benchmark Challenges for Astronomical Observation Scheduling
针对天文观测调度缺乏统一测试基准与易用工具的问题，本研究推出高保真灵活的仿真工具DeepSurveySim，可跟踪估算天空条件，提供三类基准问题，用于评估调度算法尤其是机器学习调度算法的效能。
2023-12-14 astro-ph.IM
Data Formats and Visualisation BoF
K&V, Sydney, NSW, Australia（K&V，澳大利亚新南威尔士州悉尼）
本文探讨了天文数据格式的多样性及其对通用工具开发的影响，分析了多种格式共存的挑战，并讨论了统一格式的可能性。
2026-05-20 astro-ph.IM
Pipeline Collector: gathering performance data for distributed astronomical pipelines
现代天文数据处理需要复杂的软件管道来处理不断增长的数据集。对于射电天文学，这些管道已经变得如此之大，以至于它们需要分布在计算集群中。这使得很难监控每个流水线步骤的性能。为了深入了解每个步骤的性能，需要将性能监视实用程序与管道执行集成。在这项工作中，我们已经开发了这样一个实用程序，并将其与校准管道的低频阵列，LOFAR，领先的射电望远镜。我们通过在几个不同的计算平台上运行管道来测试该工具，并收集性能数据。基于这些数据，我们对未来的硬件和软件升级提出了明智的建议。这些升级的目的是加快LOFAR管道最慢的处理步骤。管道收集器套件是开源的，将被纳入未来的LOFAR管道中，为所有LOFAR处理创建性能数据库。
2018-07-16 astro-ph.IM
astromorph: Self-supervised machine learning pipeline for astronomical morphology analysis
Chalmers University of Technology（查尔姆斯理工大学）
本文提出astromorph，一种基于BYOL方法的自监督机器学习框架，用于分析大规模天文数据集的形态特性，支持不同维度和分辨率的数据，适用于不同天文领域。
2026-02-09 astro-ph.IM
Periodograms for Multiband Astronomical Time Series
本文介绍了多波段周期图，一个普遍的扩展著名的Lomb-Scargle方法检测周期信号的时域数据。除了Lomb-Scargle方法的优点（诸如处理非均匀采样和异方差误差）之外，多频带周期图显著地改善了随机采样的多频带光变曲线（例如，Pan-STARRS、DES和LSST）。每个波段的光变曲线被建模为任意截断的傅里叶级数，周期和相位在所有波段之间共享。关键方面是使用Tikhonov正则化，将大部分可变性驱动到所有波段共有的所谓基础模型中，而单个波段的拟合描述了相对于基础模型的残差，通常需要低阶傅立叶级数。这种有效模型复杂度的降低是提高性能的主要原因。我们使用模拟的光变曲线和随机抽样的SDSS Stripe 82数据来证明这种方法与文献中的其他方法相比的优越性，并发现这种方法将能够有效地确定正确的周期，在大多数LSST的明亮的RR天琴座恒星与少至6个月的LSST数据。这个方法的Python实现，以及完全重现这里报告的结果的代码，可以在GitHub上找到。
2015-02-04 astro-ph.IM
AstroCatR: a Mechanism and Tool for Efficient Time Series Reconstruction of Large-Scale Astronomical Catalogues
天体时间序列数据常用于研究太阳系外行星、超新星等有价值的、不可预测的天体。由于数据量的快速增长，传统的人工方法变得非常困难，无法连续分析积累的观测数据。为了满足这种需求，我们设计并实现了一个特殊的工具，名为AstroCatR，可以有效地和灵活地重建大规模天文星表的时间序列数据。AstroCatR可以从Flexible Image Transport System（FITS）文件或数据库中加载原始目录数据，匹配每个项目以确定其属于哪个对象，并最终生成时间序列数据集。为了支持大规模数据集的高性能并行处理，AstroCatR使用提取-转换-加载（ETL）预处理模块来创建天空区文件并平衡工作负载。匹配模块使用重叠索引方法和内存引用表来提高准确性和性能。AstroCatR的输出可以存储在CSV文件中，也可以根据需要转换为其他格式。同时，基于模块的软件架构确保了AstroCatR的灵活性和可扩展性。我们评估了AstroCatR与实际观测数据从三个南极巡天望远镜（AST 3）。实验表明，通过设置相关参数和配置文件，AstroCatR可以高效灵活地重构所有时间序列数据。此外，在匹配大量目录时，该工具比使用关系数据库管理系统的方法快约3倍。
2020-06-17 astro-ph.IM
FITS Data Source for Apache Spark
我们调查Apache Spark的性能，集群计算框架，用于分析未来LSST类星系调查的数据。Apache Spark解决大数据问题的尝试迄今为止在业界证明是成功的，但它在天文学界的应用仍然有限。我们将展示如何管理复杂的二进制数据结构处理天体物理学实验，如二进制表存储在FITS文件中，在分布式环境中。为此，我们首先设计并实现了一个Spark连接器来处理任意大的FITS文件集，称为spark-fits。用户界面是这样的，一个简单的文件“拖放”到一个集群，充分利用了框架。我们使用LSST快速仿真工具CoLoRe演示了火花拟合的高度可扩展性，并提出了测量和调整工作负载性能瓶颈的方法，在位于巴黎南大学的Cloud@VirtualData上扩展到TB的FITS数据。我们还评估了它的性能Cori，高性能计算系统位于NERSC，并广泛用于科学界。
2018-10-15 astro-ph.IM cs.DC
Enhanced Remote Astronomical Archive System Based on the File-Level Unlimited Sliding-Window Technique
数据归档是现代天文观测最关键的问题之一。随着新一代射电望远镜的发展，海量遥感数据的传输和归档成为亟待解决的问题。在此，我们提出了一个实用的和强大的文件级流量控制方法，称为无限滑动窗口（USW），通过参考经典的流量控制方法在TCP协议。在USW和为Murchison宽视场阵列望远镜开发的下一代归档系统（NGAS）的基础上，我们进一步使用ZeroMQ中间件实现了增强的归档系统（ENGAS）。ENGAS大大提高了传输性能，并确保了传输文件的完整性。在测试中，ENGAS比NGAS快大约3到12倍，并且可以充分利用网络链路的带宽。因此，对于无线电观测数据的存档，ENGAS减少了通信时间，提高了带宽利用率，并解决了来自Mingantu光谱射电日像仪等观测站的数据的远程同步存档。也为未来平方公里阵列（SKA）科学区域中心的建设提供了更好的参考。
2021-06-24 astro-ph.IM
HDFITS: porting the FITS data model to HDF5
FITS（灵活图像传输系统）数据格式自20世纪70年代末问世以来一直是天文学相关数据产品的事实数据格式。虽然FITS文件格式得到广泛支持，但它缺乏更现代的数据序列化的许多功能，例如分层数据格式（HDF 5）。HDF 5文件格式相对于FITS具有相当大的优势，例如改进的I/O速度和压缩，但尚未在天文学中得到广泛采用。其中一个主要的障碍是HDF 5没有得到数据压缩软件包和图像查看器的很好支持。在这里，我们将FITS和HDF 5作为存储天文数据集的格式进行了比较。我们表明，FITS的底层数据模型可以以简单的方式移植到HDF 5，并且通过这样做，可以立即利用HDF 5文件格式的优势。此外，我们提出了一个软件工具，fits 2 hdf，用于FITS和一个新的“HDFITS”格式之间的转换，其中数据存储在HDF 5中的FITS类似的方式。我们表明，HDFITS允许更快地读取数据（在某些用例中高达FITS的100倍），并改进压缩（更高的压缩比和更高的吞吐量）。最后，我们表明，通过只改变基于Python的FITS实用程序中的导入行，HDFITS格式的数据可以透明地呈现为内存中的FITS等价物。
2015-10-20 astro-ph.IM
The Aesthetics of Astrophysics: How to Make Appealing Color-Composite Images that Convey the Science
天文学有使用彩色摄影和成像的丰富传统，用于研究中的可视化以及在正式和非正式教育环境中分享科学发现（即，为了“公众宣传”。在现代，天文学研究从电子相机中受益匪浅，电子相机允许以纯数字形式生成和分析数据和图像，其精确度在以前是不可能的。图像处理软件的进步也使得彩色合成图像的制作方法比暗室技术复杂得多，不仅在光学波长上，而且在整个电磁波谱上。互联网使这些图像迅速传播给渴望的观众成为可能。除了这些技术进步，在理解如何制作具有科学说明性和美学愉悦性的图像方面也有所收获。研究还揭示了公众如何解读天文图像，以及这与专业天文学家有何不同。了解这些差异将有助于创造对两组都有意义的图像。在这篇特邀评论中，我们讨论了制作彩色合成图像背后的技术，并研究了在这样做时应该考虑的因素，无论是用于数据可视化还是公共消费。我们还提供了天文成像的简史，重点是“现代”的起源，在此期间，向公众分发高质量的天文图像是几乎每个专业天文台的公共宣传的一部分。我们回顾了相关的研究的期望和误解，往往影响公众对这些图像的解释。
2017-03-01 astro-ph.IM
Flashes in a Star Stream: Automated Classification of Astronomical Transient Events
对现代天气巡天中探测到的瞬变事件进行自动、快速分类，对于利用稀缺资源进行科学利用和有效跟踪至关重要。这带来了一些不寻常的挑战：数据稀疏，异构和不完整;随着时间的推移而变化;大多数相关信息不是来自数据流本身，而是来自各种档案数据和上下文信息（空间，时间和多波长）。我们正在探索各种新的技术，主要是贝叶斯，以应对这些挑战，使用正在进行的CRTS天空调查作为测试平台。目前的调查已经压倒了我们有效跟踪所有潜在有趣事件的能力，随着更雄心勃勃的天空调查的进行，这些挑战将在未来十年内以数量级增长。虽然我们专注于特定领域（天体物理学）的应用程序，但这些挑战与大规模数据流中的事件或异常检测和知识发现更广泛地相关。
2012-09-08 astro-ph.IM
Running a distributed virtual observatory: US Virtual Astronomical Observatory operations
美国虚拟天文台的运行与现代物理天文台有一些共同的问题，例如，天文台面临着巨大的数据量和快速的技术变革，还必须解决一些独特的问题，如缺乏对底层和分散的数据资源的直接控制，以及天文台本身的分布式性质。在本文中，我们将讨论VAO如何应对这些挑战，为天文学界提供一套连贯的科学支持工具和服务。我们的虚拟观测站的分布式性质-数据和人员跨越地理，机构和政权边界-同时是一个主要的操作头痛和VAO的主要科学动机。今天的大多数天文学使用来自许多资源的数据。促进异构数据集的匹配是虚拟天文台的一个根本原因。我们方法的关键方面包括持续监控和验证VAO和VO服务以及社区提供的数据集，监控用户请求以优化访问，缓存大型数据集，并提供分布式存储服务，允许用户在大型数据存储库附近收集结果。有些要素现已充分执行，而其他要素则计划在今后几年执行。VAO的分布式性质要求仔细注意在传统天文台可以直接操作的内容，例如，网站的组织或日志的收集和组合分析。其中许多战略使用并扩展了国际虚拟天文台界制定的协议。
2012-06-20 astro-ph.IM
OpenCluster: A Flexible Distributed Computing Framework for Astronomical Data Processing
现代天文望远镜产生的数据量非常大，而且还在迅速增长。然而，目前的高性能数据处理架构/框架并不适合天文学家，因为它们的局限性和编程困难。因此，在本文中，我们提出了OpenCluster，一个开源的分布式计算框架，以支持快速发展的高性能处理管道的天文大数据。我们首先详细介绍了OpenCluster的设计原则和实现，并提出了由框架促进的API。然后，我们展示了一个案例，其中OpenCluster是用来解决复杂的数据处理问题，开发一个管道的明根图超宽光谱射电日像仪。最后，我们提出了我们的OpenCluster性能评估。总的来说，OpenCluster不仅提供了高容错性和简单的编程接口，而且还提供了一种灵活的方法来扩展交互实体的数量。OpenCluster提供了一个易于集成的分布式计算框架，可快速开发高性能的天文望远镜数据处理系统，并大大降低软件开发费用。
2017-01-18 astro-ph.IM cs.DC
The Tiny Time-series Transformer: Low-latency High-throughput Classification of Astronomical Transients using Deep Model Compression
University College London（伦敦大学学院）；Université Paris-Saclay（巴黎萨克雷大学）；The Alan Turing Institute（艾伦·图灵研究所）
天文学的一个新的黄金时代即将到来，由数据主导。大型天文调查正在以前所未有的速度传播信息，这要求机器学习作为现代科学管道中的关键组成部分来处理大量数据。即将到来的空间和时间遗产调查（LSST）的维拉C。鲁宾天文台将提高时域天文学的大数据标准，预计每晚将发出1000万次警报，并在调查的整个生命周期内生成许多PB的数据。对于时间紧迫的事件，需要快速有效的分类算法，这些算法可以实时操作，但又可靠和准确，因为在这些事件中，可以寻求额外的资源进行后续分析。为了处理这些数据，最先进的深度学习架构以及利用现代硬件加速器的工具是必不可少的。我们展示了如何使用现代深度压缩方法可以实现模型大小的$18\times$减少，同时保持分类性能。我们还表明，除了深度压缩技术，仔细选择文件格式可以提高推理延迟，从而提高警报的吞吐量，在本地处理的顺序为$8\times$，并在现场生产环境中的$5\times$。为了在现场环境中测试这一点，我们将原始时间序列Transformer的优化版本t2部署到FINK的社区警报经纪系统中，对真实的Zwicky Transient Facility（ZTF）警报数据进行分析，并将吞吐量性能与FINK中存在的其他科学模块进行比较。本文所示的结果强调了时间序列Transformer在LSST规模及以上的实时分类中的适用性，并引入了深度模型压缩作为改进深度学习模型的部署能力和可扩展推理…
2023-03-15 astro-ph.IM cs.LG
AstroSkyFlow: an astronomical sky image flow simulator for time domain survey validation and machine learning
State Key Laboratory of Dark Matter Physics, Tsung-Dao Lee Institute & School of Physics and Astronomy, Shanghai Jiao Tong University（暗物质物理全国重点实验室，李政道研究所，上海交通大学物理与天文学院）；Shanghai Astronomical Observatory, Chinese Academy of Sciences（中国科学院上海天文台）
提出AstroSkyFlow模块化天空图像模拟器，通过模拟时变流量和完整观测链生成多历元时序图像，比SkyMaker更准确地复现噪声和点扩散函数，并成功恢复注入的光度和运动信号，为下一代时域巡天提供标记高保真数据集。
2026-06-01 astro-ph.IM
Solving the Traveling Telescope Problem with Mixed Integer Linear Programming
本文提出用混合整数线性规划求解移动望远镜问题，可在10分钟内优化100次观测排序并将切换开销降低5倍，同时给出低成本启发式方法，并验证其适用于多普勒行星搜寻的自动调度。
2023-10-27 astro-ph.IM
Local Two-Sample Testing: A New Tool for Analysing High-Dimensional Astronomical Data
现代调查为天文学界提供了大量的高维数据，但对这些数据的分析通常发生在将其投影到低维空间之后。在这项工作中，我们介绍了一个本地的两个样本的假设检验框架，分析师可以直接应用到他们的原生空间中的数据。在这个框架中，分析师定义了两个类的基础上的响应变量的兴趣（例如，高质量的星系与低质量的星系），并确定在任意点的预测空间是否属于两个类的对象的局部比例显着不同的全球比例。我们的框架在整个天文学中有潜在的无数用途;在这里，我们通过将其应用于HST ACS在四个CANDELS计划领域观察到的2487个i波段选择星系的样本来证明其有效性。对于每个星系，我们有七个形态的汇总统计数据，以及估计的恒星质量和恒星形成率。我们进行了两项研究：其中一个是我们确定的七维空间的形态统计区域，其中高质量的星系明显比低质量的星系多，反之亦然，另一项研究中，我们使用SFR的地方质量。我们发现，我们能够识别这样的区域，并显示如何高质量/低SFR区域与集中和不受干扰的星系，而在低质量/高SFR区域的星系出现更多的扩展和/或干扰比他们的高质量/低SFR同行。
2017-07-14 astro-ph.IM
GPU-Based Volume Rendering of Noisy Multi-Spectral Astronomical Data
传统的分析技术可能不足以让天文学家充分利用当前和未来的仪器（如平方公里阵列及其探路者）将产生的数据集。通过利用人类大脑令人难以置信的模式识别能力，科学可视化为天文学家提供了一个极好的机会，使他们能够获得有价值的新见解和对数据的理解，特别是在3D交互式使用时。我们工作的目标是建立一个实时3D监测系统的可行性，数据进入澳大利亚SKA探路者档案。基于CUDA，一个越来越流行的开发工具，我们的工作利用现代图形处理单元（GPU）的大规模并行架构，为天文学家提供一个交互式的多光谱数据集的三维体绘制。与其他方法不同的是，我们的目标是实时交互式可视化的数据集大于GPU内存，同时给予特别关注的数据与低信噪比-两个关键方面的天文学，是从大多数现有的科学可视化软件包失踪。我们的框架使天文学家能够与数据的几何表示进行交互，并控制体绘制过程，以生成更好的数据集表示。
2010-01-13 astro-ph.IM
The Future of Astronomical Data Infrastructure: Meeting Report
基于2023年2月研讨会，本文提出建立协调实体以提升天文数据与软件的互操作性、归档、分发和生产，并系统分析了现有数据生态的缺陷、差距与风险。
2023-11-07 astro-ph.IM
GammaLib - A new framework for the analysis of Astronomical Gamma-Ray Data
随着新一代望远镜（INTEGRAL，Fermi，H.E.S.S.，MAGIC、VERITAS、MILAGRO）以及CTA或HAWC等计划中的天文台的前景，伽马射线天文学正在成为现代天体物理学研究的一个组成部分。分析伽马射线数据仍然是一个重大挑战，今天依赖于为每种仪器专门开发的各种工具和软件框架。为了促进和统一伽马射线数据的分析，我们目前正在开发一个创新的数据分析工具箱，称为GammaLib，它可以以独立于仪器的方式进行伽马射线数据分析。我们将介绍GammaLib背后的基本思想，并描述其架构和用法。
2011-10-28 astro-ph.HE astro-ph.IM
$C^{3}$ : A Command-line Catalogue Cross-matching tool for modern astrophysical survey data
在当前数据驱动的科学时代，需要数据分析技术必须快速发展以面对其维度已经增加到PB级的数据。特别是，作为现代天体物理学的基础上，多波长数据组织成大目录，这是至关重要的天文目录交叉匹配方法，强烈依赖于目录的大小，必须确保效率，可靠性和可扩展性。此外，多波段数据以不同的方式存档和简化，因此产生的目录可能在格式、分辨率、数据结构等方面彼此不同，因此需要交叉匹配特征的最高通用性。我们提出了$C^{3}$（命令行目录交叉匹配），一个多平台的应用程序，旨在有效地交叉匹配从现代调查的大规模目录。作为一个独立的命令行进程或通用数据简化/分析管道中的一个模块，它在可移植性、配置、坐标和交叉匹配类型方面提供了最大的灵活性，通过使用多核并行处理范例和天空分区算法确保了高性能。
2017-03-07 astro-ph.IM
Cyclic Imaging for All-Sky Interference Forecasting with Array Radio Telescopes
射频干扰（RFI）正在威胁着现代射电天文学。减轻其对天文数据影响的经典方法包括通过称为标记和消隐的过程丢弃损坏的时间和频率数据样本。我们建议利用RFI信号的循环平稳特性来可靠地检测和预测它们在阵列射电望远镜视场内的位置，并动态地安排天文观测，以最大限度地减少RFI数据损坏的概率。
2020-07-26 astro-ph.IM eess.SP
Fraction of clear skies above astronomical sites: a new analysis from the GOES12 satellite
比较可用于天文观测的晴朗夜晚（无云）的数量是一项关键任务，因为它应该基于同质方法。目前的数据主要是根据观察员日志或不同的仪器作出的不同判断。在本文中，我们提出了一个新的均匀的方法，在非常不同的天文站点的现代光学天文学，以量化可用的夜间时间部分。这些数据是从夜间GOES 12卫星红外图像中提取的，并在可用时与地面条件进行比较。在这个分析中，我们引入了一个更广泛的平均矩阵和3波段相关，以减少噪音，并区分清晰和稳定的夜晚。时间数据用于分类。在2007-2008年的时间间隔，我们发现，卫星晴朗的夜晚的百分比是88%在帕拉纳尔，76%在拉西拉，72.5%在拉帕尔马，59%在山。格雷厄姆和86.5%在Tolonchar。GOES 12红外波段B3、B4和B6的相关性分析表明，稳定夜的比例根据站点的不同而降低2%至20%。
2010-11-22 astro-ph.EP astro-ph.IM
Astrophotonics: recent and future developments
本文综述了天文光子学的基本光子功能与近期及未来应用，重点展望利用纠缠光子和量子逻辑门在量子互联网框架下保持单光子态与时间信息的新型望远镜和干涉仪。
2024-04-02 astro-ph.IM physics.optics
Wide-Field Astronomical Surveys in the Next Decade
广角巡天一直是现代天文学史上新发现的引擎，近年来一直是被引用最多和科学生产力最高的观测设施之一。这一趋势很可能在未来十年继续下去，因为天体物理学中许多最重要的问题最好通过大规模的调查来解决，通常相互协同，并与更传统的天文台合作。我们认为，这些调查是最富有成效的，并有最大的影响时，调查的数据及时公布。“调查天文学家”的兴起是我们领域人口统计的重大变化;未来十年最重要的挑战之一是找到方法来认识那些在调查基础设施（硬件，软件，调查规划和运营以及数据库/数据分布）上工作的人的智力贡献，并制定职业道路，让他们茁壮成长。
2009-03-18 astro-ph.IM
Black Swans in Astronomical Data
天文学总是被发现缺乏先例的新现象所推动，通常是新的理论来解释它们的存在和性质。在以更高的精度和采样率对天空进行大规模调查的现代，这些偶然发现似乎将继续下去，最近的例子包括Boyajian星，快速射电暴和'Oumuamua。因此，我们在这里展望未来，旨在提供一个统计框架来解释这些事件，并为未来的观测提供指导，其基本前提是所讨论的现象随机重复以某种未知的恒定速率，$λ$。具体地说，表达式推导出1）的后验分布的$λ$，2）的后验分布的复发时间，和，3）的收益-成本比的进一步观察相对于首个事件。发现这些中的每一个的一些经验法则结果为1）$λ< \{0.7, 2.3, 4.6\}\,t_1^{-1}$到$\{50, 90, 95\}\%$置信度（其中获得第一次检测的$t_1=$时间），2）复发时间是$t_2 < \{1, 9, 99\}\,t_1$至$\{50, 90, 95\}\%$置信度，其中缺少时间$t_2$的重复产生$p$ -值$1/[1+(t_2/t_1)]$，以及，3）在关于该物体内在科学价值的一系列不同假设下，对$\lesssim 10\,t_1$的后续研究预计在科学上是有价值的。我们将这些方法应用于突破听候选1号信号和潮汐中断事件观测TESS。
2021-04-15 astro-ph.IM
Collaborative Astronomical Image Mosaics
本章介绍了如何天文成像调查数据已成为现代天文学的重要组成部分，这些数据是如何存档，然后通过在线数据访问门户网站提供给天文学界。目前正在开发的虚拟天文台旨在通过一套统一的接口提供所有这些数据。本章还描述了一个常见的图像处理任务的科学需要，即将单个图像合成为大规模马赛克，并介绍了蒙太奇作为这一任务的工具。分布式的Montage有四种使用方式：作为单个CPU上的单个线程/进程，并行使用MPI在并行计算机上分发类似的任务，并行使用网格工具（Pegasus/DAGMan）在网格上分发任务，或者并行使用脚本驱动方法（Swift）。基于Web的蒙太奇服务可供不需要构建本地版本的用户使用。我们还介绍了一个新的脚本版本的蒙太奇，它提供了方便用户定制的一些工作。然后，我们讨论了Web 2.0技术可以帮助蒙太奇社区的各种想法。
2010-11-24 astro-ph.IM cs.HC
Automated Searches for Variable Stars
随着成像和计算机技术的最新发展，可用的天文数据量急剧增加。虽然这些数据集中的大多数并不是专门用于变星的研究，但通过应用适当的软件工具，其中大部分可以被回收用于发现新的变星。Fits Viewer and Data Retrieval System是一个新的软件包，它利用现代计算机的进步来搜索新的变星的天文数据。在卡尔文学院雷霍博斯机器人望远镜使用FVDRS拍摄的数据集中发现了200多颗新的变星。一个特别有趣的例子是一个非常快的次矮星B，轨道周期为95分钟，是目前已知的HW Vir类型中最快的。
2013-10-02 astro-ph.IM astro-ph.SR
Italian center for Astronomical Archives publishing solution: modular and distributed
意大利天文档案中心试图以IVOA标准为基础提供天文数据资源作为互操作服务。其VO的专业知识和知识来自于在欧洲和国际层面上积极参与IVOA和VO，具有双重目标：从合作中学习并为社区提供投入。第一个解决方案是构建一个易于配置和维护的符合VO标准的资源发布者，但事实证明，这个解决方案过于乐观。出于这个原因，有必要重新考虑架构，围绕消息传递概念构建模块化系统，其中每个模块化组件通过代理管理的队列系统与其他相关方对话。第一个实现的协议是Simple Cone Search，它显示了将参数化HTTP接口连接到数据库后端访问模块（日志模块）的消息传递任务架构，并允许通过配置管理器模块一起管理多个Cone Search资源。即使相对年轻，它已经证明了当数据库后端从MySQL更改为PostgreSQL+PgSphere时整个系统所需的灵活性。另一个实现测试是利用多个服务器上的任务分布来同时提供服务：FITS立方体直接链接，立方体剪切和立方体位置合并。目前，SIA-2.0标准协议的实施正在进行中，而对于TAP，我们将调整TAPlib库。除了这些工具外，还开发了第一个管理工具（TASMAN），以简化TAP_SCHEMA-ta的构建和维护，包括ObsCore维护功能。今后的工作将致力于扩大现有模块所涵盖的虚拟组织协议的范围，改进配置管理，并开发所有服务组成部分通用的特定用途模块。
2018-05-21 astro-ph.IM cs.DL
Explainable machine learning workflows for radio astronomical data processing
ASTRON, The Netherlands Institute for Radio Astronomy, Dwingeloo, The Netherlands（荷兰射电天文研究所）
本文提出结合模糊规则推理与深度学习的方法，提升射电天文数据处理流程的可解释性，以校准任务为例展示其有效性。
2026-03-17 astro-ph.IM cs.AI
The contribution of the modern amateur astronomer to the science of astronomy
现代世界的业余天文学家不仅有机会为自己的兴趣进行视觉观测，而且可以进行科学的天文观测和天文学的新发现。在我的例子中，作为业余天文学家，我只是通过自学，我告诉我的发现：旧的数字化摄影底片上可能的矮新星和通过数据挖掘从天空调查数据中获得的新的变星;我是如何发现的（在巡天图像中）：盖亚DR 2数据中的天文瞬变、超新星、行星状星云候选者和新的双星系统;我描述了我在仙女座星系中发现的三颗新星。我报告了我用远程望远镜进行的一些科学观测：激变变星的超级峰; AM CVn星的回波爆发;耀变体的最大亮度;伽马射线暴（包括GRB 221009 A）的光学余辉;微透镜事件;近地小行星2022 AB的旋转。我还描述了我对新星（包括V1405 Cas和V1674 Her）的测光后续观测以及我对太阳系物体的天体测量观测（包括对发布在小行星中心确认页上的物体的确认），包括彗星的观测2 I/鲍里索夫、小行星2020 AV 2和（65803）Didymos。我还描述了我的一些掩星观测：在2022年11月8日的月全食期间，小行星（159）Aemilia的恒星，土星的卫星泰坦的恒星和天王星的月球;以及变星，流星和太阳黑子的视觉观测（包括2012年金星凌日期间）。我的一些数据已经在科学论文中使用，其他的被发送到数据库。我分享我发现和研究天文物体的经验，在我的例子中，我表明业余天文学家可以为科学做出真正的贡献。
2022-12-23 astro-ph.EP astro-ph.IM astro-ph.SR
Probabilistic Graphical Models in Astronomy
University of Notre Dame（圣母大学）
本文提出利用概率图模型分析天文学数据，揭示宇宙变量间的依赖结构和生成过程，应用于系外行星和宿主恒星研究。
2026-01-23 astro-ph.IM stat.AP
Modeling Dependence Structures in Astronomical Multi-Band Time Series Data via Multi-Output Gaussian Processes
Pennsylvania State University（宾夕法尼亚州立大学）；Seoul National University（首尔国立大学）
研究利用多输出高斯过程对天文多波段时间序列数据的依赖结构建模，提出基于协方差和潜在过程的互补公式，开发相关模型并应用于实际，为依科学目标选择依赖结构提供原则基础。
2026-10-28 astro-ph.IM stat.AP
A High-Throughput AES-GCM Implementation on GPUs for Secure, Policy-Based Access to Massive Astronomical Catalogs
Light Bridges S.L.（Light Bridges 有限公司）；Observatorio Astronómico del Teide（泰德天文台）；Universidad de La Laguna (ULL)（拉古纳大学）；Instituto Tecnológico y de Energías Renovables (ITER)（技术与可再生能源研究所）；Instituto de Astrofísica de Canarias (IAC)（加那利天体物理研究所）
提出一种集成策略引擎与GPU加速AES-GCM的框架，通过并行树归约优化GHASH瓶颈，实现高吞吐量认证加密，支持PB级天文数据的安全访问。
2026-06-16 astro-ph.IM cs.CR cs.DC
