Mega-Archive and the EURONEAR Tools for Datamining World Astronomical Images
世界天文图像档案为时域天文科学和其他热门话题（如空间防御）提供了巨大的机会，天文观测站应该改善这一财富，使其在大数据时代更容易获得。2010年，我们推出了Mega-Archive数据库和Mega-Precovery服务器，用于包含太阳系天体的数据挖掘图像，重点关注近地小行星（NEAs）。本文介绍了近五年来的改进，并介绍了一些新的相关数据挖掘工具。目前，Mega-Archive已经索引了来自六个主要收藏（CADC，ESO，ING，LCOGT，NVO和SMOKA）以及其他仪器档案和调查的1500万张图像。这个元数据索引集合每天更新（自2014年以来），由一个爬虫执行五个主要集合的自动查询。自2016年以来，这些数据挖掘工具运行到新的专用EURONEAR服务器，数据库迁移到支持强大和快速查询的SQL引擎。为了限制该区域在大型马赛克相机拍摄的图像中搜索移动或固定物体，我们构建了图形工具FindCCD和FindCCD for Fixed Objects，它们覆盖了七个马赛克相机（Subaru-SuprimeCam，VST-OmegaCam，INT-WFC，VISTA-VIRCAM，CFHT-MegaCam，Blanco-DECam和Subaru-HSC）中的一个目标，还绘制了观测不良的NEAs的不确定性椭圆。在2017年，我们改进了Mega-Precovery，它现在提供了两个星历计算选项和…
2019-05-21 astro-ph.IM cs.DB
Searchable Sky Coverage of Astronomical Observations: Footprints and Exposures
天空覆盖率是天文观测中最重要的信息之一。我们讨论了可能的表示，并提出了算法来创建和操纵形状组成的广义球面多边形与任意复杂性和大小的天球。此形状规范与我们的分层三角网格索引工具箱集成良好，其性能和功能通过此处提供的高级功能得到增强。我们的相关球面几何例程的便携式实现带有用于数据库查询的包装函数，这些函数目前正在几个科学目录档案中使用，包括斯隆数字巡天，银河演化探测器和哈勃遗产档案项目以及虚拟天文台的足迹服务。
2010-05-14 astro-ph.IM
A data model to connect the ESO Data Processing System (EDPS) to ELT data archives
本文扩展了天文流水线的数据驱动方法至METIS仪器，并通过支持后向链接集成了ESO数据处理系统（EDPS）。
2025-06-01 astro-ph.IM
Archives of Photographic PLates for Astronomical USE (APPLAUSE) Digitisation of astronomical plates and their integration into the International Virtual Observatory
APPLAUSE项目数字化德国等天文台约7万张照相底片，获得超20亿校准测量，融入国际虚拟天文台，用于构建长期光变曲线并研究瞬变源。
2024-04-26 astro-ph.IM astro-ph.SR
The ALMA Science Archive Reaches a Major Milestone
科学档案是现代天文设施的基石。在本文中，我们描述了阿塔卡马大型毫米/亚毫米阵列科学档案的1.0版里程碑。该版本具有一个全面的查询界面，包含丰富的元数据和观测的空间和光谱位置的可视化，一套完整的虚拟天文台服务，用于程序访问，基于文本的相似性搜索，在SIMPAD和NED中显示和查询天文物体类型，基于浏览器的远程可视化，交互式预览，带有暂定的线路标识和大量文档，包括视频和Quixyter Notebook教程。通过用户调查定期对开发进行评估，并完全专注于提供尽可能好的用户体验，以帮助最大限度地提高天文台的科学生产力。
2022-08-05 astro-ph.IM
Morphological Image Similarity Search on the ALMA Science Archive Query Interface Using Deep Unsupervised Contrastive Representation Learning
ESO（欧洲南方天文台）；Joint ALMA Observatory, Santiago, Chile（ALMA联合观测站，智利圣地亚哥）
本研究首次在ALMA科学档案中实现基于深度无监督对比学习的形态图像相似性搜索，通过自监督学习提升天文图像检索效率。
2025-11-21 astro-ph.IM
Identifying Astrophysical Anomalies in 99.6 Million Cutouts from the Hubble Legacy Archive Using AnomalyMatch
European Space Agency (ESA)（欧洲空间局）；European Space Astronomy Centre (ESAC)（欧洲空间天文中心）
利用AnomalyMatch方法高效识别哈勃遗产档案中大量天体异常，发现138个新重力透镜、18个水母星系和417个星系合并体。
2025-10-30 astro-ph.GA astro-ph.IM
Observers' Data Access Portal: Realtime Streaming for Astronomical Data
Keck天文台档案库推出ODAP Web应用，利用React与WebSocket实现观测数据及元数据在归档后近实时流式传输给授权研究团队，并总结其设计、集成与使用情况。
2024-09-13 astro-ph.IM
Data engineering for archive evolution
从进行天文观测的那一刻起，产生的数据产品就开始变得陈旧。即使通过反复及时迁移到更强大的存储介质来保留完美的二进制副本，数据标准也在发展，需要不同类型的数据或元数据的新工具也在创建。即使数据没有变化，天文学界的期望也会变化。我们讨论了数据工程，以减轻随之而来的风险，从最近的一个项目重构七百万档案图像的命名，元数据，格式和压缩的新标准的例子。
2014-10-13 astro-ph.IM cs.DL
Prospect of Plate Archive Photometric Calibration by GAIA SED Fluxes
本文研究利用Gaia DR3和GaiaXPy对索内贝格天文台约30万张照相底片进行一致的天体测量与测光定标，以消除乳胶颜色灵敏度差异引起的零点偏移。
2023-12-03 astro-ph.IM
Data Provenance: Use Cases for the ESO archive, and Interactions with the Virtual Observatory
在虚拟天文台时代，我们打算让科学家（或代表他们的软件代理）从所有现有设施中获得一系列观测数据，访问和进一步解释存档天文资产（其来源）的起源，关系和处理步骤的能力是正确观测选择和质量评估的要求。在本文中，我们介绍了需要数据来源的不同用例，为ESO存档构建这样一个系统所固有的挑战，以及它们与国际虚拟天文台联盟（IVOA）正在进行的工作的联系。
2010-02-02 astro-ph.IM
Italian center for Astronomical Archives publishing solution: modular and distributed
意大利天文档案中心试图以IVOA标准为基础提供天文数据资源作为互操作服务。其VO的专业知识和知识来自于在欧洲和国际层面上积极参与IVOA和VO，具有双重目标：从合作中学习并为社区提供投入。第一个解决方案是构建一个易于配置和维护的符合VO标准的资源发布者，但事实证明，这个解决方案过于乐观。出于这个原因，有必要重新考虑架构，围绕消息传递概念构建模块化系统，其中每个模块化组件通过代理管理的队列系统与其他相关方对话。第一个实现的协议是Simple Cone Search，它显示了将参数化HTTP接口连接到数据库后端访问模块（日志模块）的消息传递任务架构，并允许通过配置管理器模块一起管理多个Cone Search资源。即使相对年轻，它已经证明了当数据库后端从MySQL更改为PostgreSQL+PgSphere时整个系统所需的灵活性。另一个实现测试是利用多个服务器上的任务分布来同时提供服务：FITS立方体直接链接，立方体剪切和立方体位置合并。目前，SIA-2.0标准协议的实施正在进行中，而对于TAP，我们将调整TAPlib库。除了这些工具外，还开发了第一个管理工具（TASMAN），以简化TAP_SCHEMA-ta的构建和维护，包括ObsCore维护功能。今后的工作将致力于扩大现有模块所涵盖的虚拟组织协议的范围，改进配置管理，并开发所有服务组成部分通用的特定用途模块。
2018-05-21 astro-ph.IM cs.DL
Update of the China-VO AstroCloud
作为中国虚拟天文台（China-VO）天文研究的网络基础设施，AstroCloud在过去的一年中取得了扎实的进展。重新设计了提案管理系统和数据访问系统。开发了多个新的子系统，包括China-VO PaperData，AstroCloud Statics和公共频道。更多的数据集和应用环境被集成到平台中。LAMOST DR 1是最大的天文光谱档案，使用该平台向公众发布。将介绍最新进展。
2016-01-13 astro-ph.IM
INAF Trieste Astronomical Observatory Information Technology Framework
INAF的里雅斯特天文台（OAT）在应用于天文和天体物理用例的信息技术方面有着悠久的传统，特别是在数据简化，分析和模拟计算方面;数据和档案管理;空间任务数据处理;地面仪器的设计和软件开发。在过去的几年里，这些活动的集合推动了对获取新的计算资源和技术的需求，以及对管理能力的需求。在本文中，我们描述了INAF-OAT计算中心的技术人员，我们参与了不同的欧盟项目，包括建设EOSC，欧洲开放科学云的道路;在欧洲新的Exascale超级计算机的设计和原型设计以及使用我们的计算中心进行的主要研究活动。
2019-12-11 astro-ph.IM
Laying the Groundwork for the Development of the Data Archive of the New Robotic Telescope
利物浦望远镜自2004年以来一直处于完全自主运行状态。辅助数据档案设施基本上没有受到影响。数据提供服务一直不是一个问题，虽然一些现代化的系统是可取的。这个项目是及时的。它不仅适合当前LT数据存档的升级，而且符合将于2020年代初上线的新机器人望远镜的设计阶段;以及为泰国国家天文研究所的一系列望远镜开发新的数据存档设施。牛顿基金使我们能够合作设计一个新的多功能通用系统，服务于所有目的。最后，我们得出结论，单一系统无法满足所有各方的需求，只能采用类似的前端，而后端则根据我们各自的系统和数据流定制。
2018-10-03 astro-ph.IM
Streak detection in the VST/OmegaCAM archive using deep learning
EPFL（洛桑联邦理工学院）
提出结合霍夫变换查找卷积神经网络和VGG6分类器的自动深度学习流水线，在OmegaCAM档案中检测卫星和空间碎片条纹，F1分数达0.966，并识别出超过20%的未编录目标。
2026-06-29 astro-ph.IM
Databases of publications and observations - as a part of the Crimean Astronomical Virtual Observatory
本文介绍了形成数据库（DB）的基本原则，该数据库包含克里米亚天体物理观测台（CrAO）进行的观测中的物体及其物理特性的信息，并发表在“Izvestiya Krymskoi Astrofizicheskoi Observatorii”和其他出版物上。重点放在最完整的全球图书馆目录和数据表- VizieR（由斯特拉斯堡ADC支持）中不存在的DB上。另外，我们认为在CrAO获得的观测数据的数字档案的形成-作为对象和出版物的DB相关的交互式DB。本文介绍了上述所有数据库作为克里米亚天文虚拟观测站的组成部分的例子。使用国际虚拟天文台的工具- Aladin，VOPlot，VOSpec与VizieR DB和Simbad一起说明与CrAO数据库的操作。
2015-09-05 astro-ph.IM
Computing Natural Magnitudes in the Photometric Systems of Astronomical Plates using Gaia DR3 SEDs
Philipps University Marburg（马尔堡菲利普斯大学）
利用Gaia DR3 SEDs计算天文胶片的自然光度，通过合成光度学方法提高光度校准精度。
2026-01-11 astro-ph.IM
The Future of Astronomical Data Infrastructure: Meeting Report
基于2023年2月研讨会，本文提出建立协调实体以提升天文数据与软件的互操作性、归档、分发和生产，并系统分析了现有数据生态的缺陷、差距与风险。
2023-11-07 astro-ph.IM
The ESA Gaia Archive: Data Release 1
迄今为止，欧空局盖亚任务正在产生天文学上更精确的源目录。这是存档领域的一个挑战，以有效的方式向天文学家提供这些信息。此外，新的天文任务加强了档案发展的变化。归档，作为访问数据的简单应用程序，正在演变成复杂的数据中心结构，其中计算能力服务可供用户使用，数据挖掘工具集成到服务器端。在涉及使用大目录的天文学科学的情况下，如在盖亚（或欧几里得）中，处理数据的常用方法需要改变为一种新的范式“将代码靠近数据”，这意味着数据挖掘功能正在成为允许科学开发的必要条件。为了实现这些功能，Gaia DR 1实现了TAP+接口、交叉匹配功能、完整目录直方图、VOSpace等云资源中的中间结果序列化等，以使社区能够利用这些科学资源，而不会遇到连接带宽的瓶颈。我们介绍了Gaia Archive Data Release 1（http：//archives.esac.esa.int/gaia/）中已有的架构、基础设施和工具，并描述了功能和基础设施。
2017-10-28 astro-ph.IM
Astronomical data organization, management and access in Scientific Data Lakes
由于仪器的发展和改进，望远镜档案中存储的数据量不断增加。档案通常需要存储在独立计算中心提供的分布式存储架构上。这样的分布式数据归档需要总体数据管理编排。这种编排包括处理数据存储和编目的工具，以及整合不同存储系统和协议的引导传输，同时了解数据策略和本地性。此外，它还需要一个通用的授权和身份验证基础设施（AAI）层，最终用户将其视为单个实体，并提供透明的数据访问。粒子物理学的科学领域也使用复杂的分布式数据管理系统。欧洲核子研究中心的大型强子对撞机（LHC）加速器的实验每年产生数百PB的数据。这些数据在全球范围内分发给使用国家计算设施的合作伙伴网站和用户。几个创新的工具，成功地解决了分布式计算的挑战，在全球大型强子对撞机计算网格（WLCG）的背景下。在ESCAPE项目和开放科学数据基础设施（DIOS）工作包中正在进行的工作是使用在WLCG背景下开发的工具建立科学数据湖原型，利用不同的物理科学学科解决FAIR标准和开放数据。我们介绍了如何将科学数据湖原型应用于解决天文数据用例。我们将介绍软件栈，并讨论域之间的一些差异。
2022-02-03 astro-ph.IM cs.DC
Towards an Astronomical Science Platform: Experiences and Lessons Learned from Chinese Virtual Observatory
在大数据天文学时代，下一代望远镜和大型巡天仪可以产生TB甚至PB级别的数据集。由于其庞大的数据量，这些天文数据集非常难以使用个人计算机或小型集群进行传输和分析。为了提供更好的数据访问，数据中心现在通常提供在线科学平台，使分析接近数据。中国虚拟天文台（China-VO）是国际虚拟天文台联盟的成员项目之一，致力于提供一个研究和教育环境，使全球分布的天文学档案易于查找，访问和互操作。在这项研究中，我们总结了在中国VO进行的工作的亮点，以及在天文数据的全生命周期管理过程中吸取的经验和教训。最后，我们讨论了天文科学平台面临的挑战和未来的发展趋势。
2020-05-21 astro-ph.IM
The Astro-WISE approach to quality control for astronomical data
我们提出了一种新的方法来处理天文数据的质量控制。Astro-WISE信息系统中的质量控制是数据处理的所有方面不可或缺的，并为从原始图像到最终目录的数据简化的所有阶段提供透明的质量估计。质量控制机制的实现依赖于这个Astro-WISE环境（AWE）的核心功能：面向对象的框架，完整的数据沿袭，以及前向和后向链接。质量控制信息可以通过命令行awe-prompt和基于Web的Quality-WISE服务访问。质量控制系统是利用拉西拉2.2米MPG/ESO望远镜上的8-CCD宽视场成像仪（WFI）仪器（http：//www.eso.org/lasilla/instruments/wfi/）的档案数据和帕拉纳尔VST望远镜上的32-CCD OmegaCAM仪器（http：//www.astro-wise.org/momegacam/）的（预）测量数据进行说明和鉴定的。
2012-03-26 astro-ph.IM
An Archive of Spectra from the Mayall Fourier Transform Spectrometer at Kitt Peak
我们描述的SpArc科学网关的光谱数据期间，从1975年到1995年在基特峰国家天文台使用傅里叶变换光谱仪（FTS）在操作中的Mayall 4米望远镜。SpArc由印第安纳大学布卢明顿分校主办，可供公众访问。该档案包括800多个不同天文来源的近10，000个光谱，包括恒星，星云，星系和太阳系物体。我们简要介绍了FTS仪器本身，并总结了原始干涉图到光谱数据的转换和恢复到FITS文件的数据的过程。档案的体系结构进行了讨论，并从档案检索数据的过程进行了介绍。示例用例显示典型的FTS光谱。
2016-10-08 astro-ph.IM astro-ph.SR
Gaia Data Release 1. Cross-match with external catalogues - Algorithm and results
虽然盖亚目录本身将是一个非常强大的工具，但将这个高度精确的档案与其他档案相结合，将真正为天文学研究开辟惊人的可能性。档案的高级互操作是基于交叉匹配，让用户感觉使用一个单一的数据档案。数据检索不仅应跨数据归档，而且还应跨波长域。无缝数据访问的第一步是计算盖亚和外部调查之间的交叉匹配。天文星表的匹配在科学和技术上都是一个复杂而具有挑战性的问题（特别是在匹配像盖亚这样的大型调查时）。我们描述了交叉匹配算法，用于预先计算匹配的盖亚数据版本1（DR 1）与选定的大型公开可用的光学和IR调查的列表。所采用的交叉匹配算法的总体原则进行了概述。详细介绍了开发的算法，包括用于占位置误差，自行车，和环境的方法，定义的邻居，并定义用于选择最可能的对应的品质因数。统计结果也给出了。交叉比赛的结果是官方盖亚DR 1目录的一部分。
2017-10-30 astro-ph.IM astro-ph.SR
Visualisation of Multi-mission Astronomical Data with ESASky
ESASky是一个以科学为导向的探索门户网站，用于探索多波长天空，可视化和访问多个天文档案。该工具是一个网络应用程序，不需要事先了解任何所涉飞行任务，使世界各地的用户能够以简化的方式获得来自多个天基天文学飞行任务的最高级别科学数据产品以及欧空局的一些源目录。ESASky的第一个公开版本具有多个波长的天空可视化界面，查询结果摘要的可视化，以及单个和多个目标的观测和目录源的可视化。本文描述了ESASky中的这些功能，这些功能是为解决科学界的用例而开发的。关于大量数据的可视化和所使用的技术的决定是为了最大限度地提高应用程序的响应能力，并保持工具尽可能有用和直观。
2017-01-10 astro-ph.IM
The Data Lab: A Science Platform for the analysis of ground-based astronomical survey data
未来十年将有越来越多的大规模地面光度测量、光谱测量和时域测量，包括DECam、DESI和LSST的测量。NOAO数据实验室于2017年启动，旨在对大型调查进行有效的探索和分析，特别关注NOAO档案及其相关目录的PB级馆藏。数据实验室的使命和未来的发展与NSF的两个大想法保持一致，即利用数据促进21世纪的科学和工程，并作为网络的一部分，为宇宙的Windows：多信使天体物理学时代做出贡献。与其他科学平台一起，数据实验室将在未来十年的调查科学发现中发挥关键作用，并且随着数据集的规模和复杂性的增长，对于保持公平竞争环境至关重要。
2019-08-02 astro-ph.IM
Digitization of Astronomical Photographic Plate of China and Astrometric Measurement of Single-exposure Plates
本研究将中国约3万张历史天文照相底片数字化，并利用Gaia DR2星表对15696张单次曝光底片进行天体测量处理，获得0.1"至1.0"的精度，数据已由国家天文数据中心发布。
2024-03-14 astro-ph.GA astro-ph.IM
The ALMA archive and its place in the astronomy of the future
阿塔卡马大型毫米/亚毫米阵列（ALMA）是欧洲、北美和东亚与智利共和国合作的一个国际伙伴关系，是现有的最大天文项目。虽然ALMA的能力正在提升，但早期科学观测已经开始。ALMA档案馆是望远镜阵列运营的中心，旨在管理天文台全面运营后每年将获取的200 TB数据。我们简要介绍设计原则。本文的第二部分重点讨论了天文学如何随着所获取数据的数量和复杂性的增长而发展。我们认为，在未来，天文台将竞争天文学家使用他们的数据，天文台将不得不重新定位自己，从只提供良好的数据，以提供一个良好的端到端的用户体验，其所有的影响，科学级的数据减少管道将成为一个新的天文台或仪器的设计的一个组成部分，所有这些演变将产生深刻的影响，天文学家将从事科学研究。我们展示了ALMA的设计原则是如何符合这种范式的。
2015-04-28 astro-ph.IM
Robust Archives Maximize Scientific Accessibility
我们提出了钱德拉，哈勃和斯皮策出版物的书目分析。我们发现：（a）档案数据被用于超过60%的出版物输出;（b）这些任务的档案使更广泛的机构和国家能够科学地使用这些任务的数据。具体来说，我们发现，作者从机构发表了几篇论文，从一个给定的使命出版2/3的档案出版物，而那些有很多出版物通常有1/3的档案出版物。我们还发现，人均GDP较低的国家绝大多数生产档案出版物，而人均GDP较高的国家生产的客座观察员和档案出版物数量相等。因此，我们认为，强大的档案不仅对任务数据的科学生产力至关重要，而且对任务数据的科学可访问性也至关重要。我们认为，天文学界应该支持档案馆，以最大限度地提高天文学的整体科学社会影响，并代表天文学的未来一个很好的投资。
2019-07-14 astro-ph.IM cs.DL
Radio data archives round table
随着SKA先导和探路者行动的全面展开，射电和（亚）毫米天文学正在进入超级大数据时代。最大的问题是如何使（亚）毫米和无线电数据可供天文学界使用，最好使用FAIR（可找到，可访问，可互操作和可重复使用;威尔金森等人2016）原则。全球范围内已经在进行大量努力：ALMA、LOFAR、MWA、NRAO和ASKAP等设施已经以“科学就绪”产品的形式公布了它们的许多成像数据，SKA区域中心正在组建之中，国际射电天文学联合会内部已经启动了一个射电天文学兴趣小组。此外，非成像数据，如定时，脉冲星或波束形成数据，也需要提供给社区。本次BoF旨在将所有对此主题感兴趣的人聚集在一个虚拟的桌子上，听取并讨论以下问题：公开可见性和科学就绪数据的努力状况如何？什么已经存在，也许已经被传统天文台使用了几十年？还缺什么？接下来我们要去哪里？
2020-12-22 astro-ph.IM
New Python-based Architecture for the Keck Observatory Archive
本文介绍凯克天文台档案的新查询架构，基于 nexsciTAP 和 R 树索引，实现 1 亿条记录秒级搜索，速度提升 20 倍，前端采用 Plotly-Dash。
2024-12-16 astro-ph.IM
astroquery: An Astronomical Web-Querying Package in Python
astroquery是一系列工具，用于从远程服务器上托管的数据库请求数据，这些服务器的接口在互联网上公开，包括那些有网页但没有正式应用程序接口（API）的服务器。这些工具构建在Python requests包（用于发出HTTP请求）和astropy（提供大部分数据解析功能）之上。AstroQuery模块通常试图尽可能接近地复制由给定服务提供的网页界面，从而使得从基于浏览器的交互转换到命令行交互变得容易。astroquery收到了来自整个天文学界的重要贡献，包括来自望远镜档案馆的一些重要贡献。astroquery能够创建从数据采集到发布的完全可复制的工作流程。本文描述了astroquery包的原理、基本结构和开发模型。astroquery的完整文档可以在http://astroquery.readthedocs.io/上找到。
2019-01-14 astro-ph.IM
EURONEAR - Data Mining of Asteroids and Near Earth Asteroids
除了新的观测之外，挖掘旧的照相底片和CCD图像档案是一个机会，可以回收和保护新发现的小行星，也可以改进近地小行星、潜在危险小行星和虚拟撞击物的轨道。这些是欧洲近地研究所网络的主要研究目标。正如天文学联合会所指出的那样，世界各地储存的大量图像档案仍然没有得到充分的探索，可以从中挖掘已知的近地小行星和偶尔出现在其视野中的其他小行星。这种数据挖掘可以通过使用服务器来简化，以根据小行星类别和发现日期对发现结果进行搜索和分类，作为“precoveries”或“recovery”。我们建立了PRECOVERY，这是一个公共设施，它使用IMCCE的虚拟天文台SkyBoT网络服务来搜索给定观测中的所有已知太阳系天体。为了对整个档案进行数据挖掘，PRECOVERY需要标准格式的观测日志，并输出一个数据库，列出根据每日更新的IAUMPC数据库分类为前覆盖或恢复的近地小行星、PHA、编号和未编号小行星的分类遭遇。作为第一个应用程序，我们考虑了一个档案，其中包括1930年至2005年在罗马尼亚布加勒斯特天文台曝光的约13，000张摄影底片。PRECOVERY可以应用于其他档案馆，作为EURONEAR项目向社区提供的公共设施。这是一系列论文中的第一篇，旨在使用来自图像档案的预编码数据与学生和业余爱好者合作进行数据挖掘，以改善PHAs和NEAs的轨道。在下一篇论文中，我们将搜索CFHT遗产调查，而其他档案的数…
2009-06-27 astro-ph.IM
Astro2020 APC White Paper: Astronomy should be in the clouds
由亚马逊、谷歌和微软等商业供应商提供的商品云计算已经在许多领域彻底改变了计算。随着LSST、DKIST和WFIRST等新型大数据公共访问天文设施的出现，存在将这些任务与云计算平台相结合的真正机会，并从根本上改变天文数据的收集、处理、存档和管理方式。以跨任务、协调一致的方式进行这些改变，可以在人员、数据收集和管理、存档、算法和软件开发以及最重要的科学方面提供前所未有的规模经济。
2019-07-15 astro-ph.IM
Hierarchical progressive surveys. Multi-resolution HEALPix data structures for astronomical images, catalogues, and 3-dimensional data cubes
科学地利用不断增加的天文数据量需要有效和实用的数据访问，可视化和分析方法。分层天空镶嵌技术使多分辨率的方法来组织数据的角度尺度从整个天空到个别图像像素。目的。我们的目标是表明，分层渐进式调查（HiPS）计划描述天文图像，源目录，和三维数据立方体是一个实用的解决方案，管理大量的异构数据，它使科学的互操作性跨越这些不同的数据类型的大型数据集的新水平。方法. HiPS使用球体的HEALPix镶嵌来定义分层瓦片和像素结构，以描述和组织天文数据。HiPS旨在保护数据的科学属性，同时考虑可视化并强调易于实施。我们描述了HiPS的发展，以管理大量的不同的图像调查，以及扩展的分层图像系统的立方体和目录数据。我们展示了HiPS和多阶覆盖（MOC）地图的互操作性，并强调了HiPS机制，以提供原始数据的链接。结果不同的数据中心和团体已经为大约200个数据收集生成了分层渐进巡天，包括许多广域巡天和定点观测的档案。这些可以在Aladin、Aladin Lite和其他应用程序中访问和可视化。HiPS为进一步创新使用分层数据结构以促进大型天文数据集的描述和统计分析提供了基础。
2015-05-09 astro-ph.IM
Mining archival data from wide-field astronomical surveys in search of near-Earth objects
本研究开发了基于AstroWISE的自动流水线，挖掘VST/OmegaCAM广域巡天档案数据以搜寻近地天体（NEO），实现了40%的风险列表NEO重现率及高精度测量，证明了档案数据在NEO搜寻与表征中的潜力。
2023-03-06 astro-ph.EP astro-ph.IM
Towards a Provenance Management System for Astronomical Observatories
我们在这里提出了一个适应天文项目需要的物源管理系统。我们从各种天文学项目中收集用例，并在IVOA（国际虚拟天文台联盟）开发的生态系统中定义了一个数据模型。从这些用例中，我们观察到一些项目已经生成并存档了数据汇集，必须从中提取出处（出处“在顶部”），而一些项目正在构建复杂的管道，可以在数据处理期间自动捕获出处信息（捕获“内部”）。不同的工具和原型已经开发和测试，以捕捉，存储，访问和可视化的来源信息，参与形成一个完整的来源管理系统，能够处理详细的来源信息。
2021-09-16 astro-ph.IM cs.IT math.IT
Drowning in Data : VO to the rescue
天文学数据集的规模和多样性都在增长，带来了严重的技术问题。与此同时，科学目标越来越需要分析大量数据，以及来自多个档案的数据。虚拟天文台（VO）计划旨在使多波长科学和大型数据库科学尽可能无缝衔接。它可以被看作是天文学标准化和集体化长期趋势的最新阶段。在这一必然趋势下，我们可以避免建立大型固定层次团队的高能量风格，并保持天文研究的个人主义风格，如果VO被用来建立一个设施级的数据基础设施。我描述了VO是如何工作的，以及它在Web 2.0时代可能会如何变化。
2009-05-13 astro-ph.IM
GPU-Based Volume Rendering of Noisy Multi-Spectral Astronomical Data
传统的分析技术可能不足以让天文学家充分利用当前和未来的仪器（如平方公里阵列及其探路者）将产生的数据集。通过利用人类大脑令人难以置信的模式识别能力，科学可视化为天文学家提供了一个极好的机会，使他们能够获得有价值的新见解和对数据的理解，特别是在3D交互式使用时。我们工作的目标是建立一个实时3D监测系统的可行性，数据进入澳大利亚SKA探路者档案。基于CUDA，一个越来越流行的开发工具，我们的工作利用现代图形处理单元（GPU）的大规模并行架构，为天文学家提供一个交互式的多光谱数据集的三维体绘制。与其他方法不同的是，我们的目标是实时交互式可视化的数据集大于GPU内存，同时给予特别关注的数据与低信噪比-两个关键方面的天文学，是从大多数现有的科学可视化软件包失踪。我们的框架使天文学家能够与数据的几何表示进行交互，并控制体绘制过程，以生成更好的数据集表示。
2010-01-13 astro-ph.IM
A Communication Efficient and Scalable Distributed Data Mining for the Astronomical Data
到2020年，天文学家将可以访问约60PB的存档数据。但分析这样一个至关重要的数据将是一项具有挑战性的任务。这主要是由于计算模型用于将数据从复杂的地理分布的档案下载到中央站点，然后在本地系统中进行分析。由于数据必须下载到中心站点，网络带宽限制将成为科学发现的障碍。此外，以集中的方式在本地机器上分析这种PB规模是具有挑战性的。在这个虚拟天文台是朝着这个问题迈出了一步，但是，它不提供数据挖掘模型。在VO中增加分布式数据挖掘层可以是解决方案，其中知识可以由天文学家下载而不是原始数据，然后天文学家可以从下载的知识中重建数据或直接使用知识进行进一步分析。我们提出了分布式负载平衡主成分分析，用于在可用节点之间优化分配计算，以最小化传输成本以及最终用户的下载成本。用Fundamental Plane（FP）数据、Gadotti数据和复Mfeat数据进行了实验分析。在传输成本方面，我们的方法比Qi更好。Yue.et分析表明，对于复杂的Mfeat数据，可以为最终用户减少约90%的下载成本，而精度损失可以忽略不计。
2016-06-23 astro-ph.IM cs.DC
Processing Images from the Zwicky Transient Facility
Zwicky Transient Facility是一个新的机器人观测计划，其中一个新设计的600 MP数码相机具有开创性的大视场，47平方度，将安装到Palomar天文台的48英寸Samuel Oschin望远镜中。摄像机将在三年的运行中生成$\sim 1$ ~ PB的原始图像数据。与此同时，正在开发新的硬件和软件系统，以实时处理这些数据，并为加工产品建立长期档案。存档产品的首次公开发布计划于2019年初，其中将包括$g$和$r$波段的北方天空的处理图像和天文源目录。源目录的基础上，两种不同的方法将产生的档案：孔径测光和点扩散函数拟合。
2017-10-16 astro-ph.IM
AstroCloud, a Cyber-Infrastructure for Astronomy Research: Data Archiving and Quality Control
AstroCloud是中国虚拟天文台（China-VO）在国家发改委（NDRC）和中国科学院（CAS）{ \url{http://astrocloud.china-vo.org} } \citep{O8-5_Cui_adassxxiv}的资助下发起的天文研究网络基础设施。针对我国天文数据的归档问题，提出了天文数据归档系统（ADAS）的实现方案。数据归档和质量控制是AstroCloud的基础设施。数据归档系统贯穿于数据的整个生命周期，对数据进行标准化、传输数据、记录观测数据、归档环境数据，并将这些数据和元数据存储在数据库中。质量控制涵盖数据归档的全过程和各个方面。
2014-11-18 astro-ph.IM
Astronomical Image Quality Prediction based on Environmental and Telescope Operating Conditions
智能调度在地面天文观测站进行的科学曝光序列是非常具有挑战性的。观测时间已超额预定，大气条件不断变化。我们建议使用机器学习来指导天文台的调度。利用加拿大-法国-夏威夷望远镜记录的15年曝光，环境和操作条件档案，我们构建了一个概率数据驱动模型，可以准确预测图像质量。我们证明，通过优化12个通风口的打开和关闭放置在圆顶的望远镜，我们可以减少圆顶引起的湍流和提高望远镜的图像质量（0.05-0.2弧秒）。这意味着$\sim 10-15\%$的暴露时间（因此成本）减少。我们的研究是对当前和下一代望远镜数百万美元操作进行基于数据的优化的第一步。
2020-11-05 astro-ph.GA astro-ph.IM
The Taiwan Extragalactic Astronomical Data Center (TWEA-DC)
下一代望远镜和仪器正在以超越所有预测的速度产生数据，从而促进我们对宇宙的理解，今天的天文学家面临着前所未有的数据雪崩。为了解决这个问题，并提出一个可靠和创新的解决方案，在不同的地点创建了数据中心，并阐述了虚拟观测站的概念。位于国立台湾师范大学的台湾河外天文数据中心计划加入全球的努力，到2015年提出1Pb的河外天文数据存储。这是国内几年来个人努力的成果，也是迈向国家虚拟天文台的第一步。除了数据中心通常提供的常见功能外，我们的目标是从公开的调查中提出“即时”测光测量：一种独特的交叉匹配信息的方式。此外，我们还将提议从世界各地的档案馆获得原始和可还原的数据，这是一个未得到充分利用的信息金矿。最后，我们将提出我们自己的具体分析工具，可通过一个用户友好的界面在线。最近购买的数据存储单元能够积累高达50Tb的数据。在第一阶段，我们将专注于多波段目录交叉匹配，并向全球社区提供最新的河外数据集，这将在2011年全面投入使用。
2011-11-26 astro-ph.IM
JOVIAL: Notebook-based Astronomical Data Analysis in the Cloud
对于现在产生的非常大的数据集，仅使用个人计算机进行天文数据分析变得不切实际。由于分析不是一项可以完全自动化的任务，因此将处理转移到数据所在地的想法也意味着将整个科学过程转移到档案馆和数据中心。使用Moneyter Notebooks作为远程服务是数据分析的最新趋势，旨在解决这个问题，但利用基础设施为天文学家服务而不增加服务的复杂性是一个挑战。在本文中，我们提出的架构和功能的JOVIAL，云服务，天文学家可以安全地使用在高可用性原则下的高性能处理设计的个人空间的笔记本电脑。我们表明，仅存在于特定软件包中的功能可以适应在笔记本电脑中运行，算法可以适应在数据中心运行，而不必重新设计它们。
2018-12-04 astro-ph.IM cs.DC
The Role of Provenance Management in Accelerating the Rate of Astronomical Research
通过电子档案获得的大量数据改变了天文学研究。它还使人们能够创造新的产品、模型和模拟，这些产品、模型和模拟往往来自分散的输入数据和模型，这些数据和模型本身也以电子方式提供。这些产品只有在附有其来源记录时，即在创建此类产品时使用的数据和过程的记录时，才能为天文学家提供最大的长期价值。我们使用蒙太奇网格马赛克引擎来创建图像马赛克，以强调来源管理的必要性，并了解更高级别的产品对来源管理技术的科学要求。我们描述了一种技术的实验，“原产地感知面向服务的体系结构”（PASOA），存储在每一步的计算马赛克的起源信息。结果通知出处管理系统的技术规格，包括建立在共同标准上的可扩展系统的需要。最后，我们描述了起源管理技术的例子，从天体物理学和海洋学领域出现的天文学应用程序的适用性。
2010-05-19 astro-ph.IM cs.IR
Solar observatory Einstein Tower -- Data release of the digitized solar full-disk photographic plate archive
我们目前的太阳全磁盘观测，这是在爱因斯坦塔记录在1943年至1991年（太阳周期18 - 22）。来自波茨坦和柏林的高中生在AIP为期两到三周的实习期间对3500多个完整磁盘图像进行了数字化。数字图像覆盖照相板上的15 cm $\times$ 15 cm区域，其以7086 $\times$ 7086像素的分辨率扫描。原始数据是标记图像文件格式（TIFF）的单色8位图像。这些图像经过校准，并以改进的光度精度保存为灵活图像传输系统（FITS）格式的2048 $\times$ 2048像素的16位图像，其中包含描述全磁盘图像和观察结果的大量标题。各种校准步骤包括，例如，精确测量太阳半径，确定边缘变暗函数，以及建立精确的坐标系。对比度增强和边缘变暗校正的图像以及原始数据在公开访问的存储库中免费提供给研究人员和公众。这些数据是作为天文学用途摄影板档案（APPLAUSE）项目的特别数据发布。
2020-07-29 astro-ph.IM astro-ph.SR
Collaborative Astronomical Image Mosaics
本章介绍了如何天文成像调查数据已成为现代天文学的重要组成部分，这些数据是如何存档，然后通过在线数据访问门户网站提供给天文学界。目前正在开发的虚拟天文台旨在通过一套统一的接口提供所有这些数据。本章还描述了一个常见的图像处理任务的科学需要，即将单个图像合成为大规模马赛克，并介绍了蒙太奇作为这一任务的工具。分布式的Montage有四种使用方式：作为单个CPU上的单个线程/进程，并行使用MPI在并行计算机上分发类似的任务，并行使用网格工具（Pegasus/DAGMan）在网格上分发任务，或者并行使用脚本驱动方法（Swift）。基于Web的蒙太奇服务可供不需要构建本地版本的用户使用。我们还介绍了一个新的脚本版本的蒙太奇，它提供了方便用户定制的一些工作。然后，我们讨论了Web 2.0技术可以帮助蒙太奇社区的各种想法。
2010-11-24 astro-ph.IM cs.HC
GammaLib and ctools: A software framework for the analysis of astronomical gamma-ray data
伽马射线天文学领域在过去十年中取得了重要进展，但迄今为止还没有一个通用的软件框架来对伽马射线望远镜数据进行科学分析。我们建议通过GammaLib软件来填补这一空白，该软件是我们开发的一个通用库，用于支持伽马射线事件数据的分析。GammaLib是用C++编写的，所有功能都可以通过扩展模块在Python中使用。在这个框架之上，我们开发了ctools软件包，这是一套软件工具，可以构建灵活的工作流程，用于分析成像空气切伦科夫望远镜事件数据。ctools的灵感来自现有高能天文仪器的科学分析软件，它们遵循高能天体物理科学档案研究中心开发的模块化ftools模型。ctools是用Python和C++编写的，可以通过命令行、shell脚本或直接从Python使用。在本文中，我们介绍了2015年底发布的GammaLib和ctools软件版本1.0。GammaLib和ctools为成像空气切伦科夫望远镜事件数据的科学分析做好了准备，也支持费米LAT数据的分析和COMPTEL遗留数据档案的利用。我们建议使用ctools作为切伦科夫望远镜阵列天文台的科学工具软件。
2016-07-22 astro-ph.HE astro-ph.IM
Virtual Observatory: Science capabilities and scientific results
虚拟天文台（VO）是一个可互操作的数据档案，工具和应用程序的集合，共同形成了一个可以进行原始天文研究的环境。VO正在开辟新的方法来利用越来越多的地面和空间设施以及计算机模拟提供的大量数据。本报告总结了在强调其结构，基础设施和各种能力之后，通过VO获得的跨越天文学各个领域的各种科学成果。
2009-11-10 astro-ph.IM
Reengineering observatory operations for the time domain
观测站是为各种用户和目的服务的复杂的科学和技术机构。他们的望远镜、仪器、软件和人力资源在广泛的时间范围内参与交织的工作流程。对这些工作流程进行了调整，以适应过去几年或几十年委托使用各种资产时适用的观测站业务概念。天文学界正在进入一个快速变化的时代，其特征越来越多地表现为大型时域测量、机器人望远镜和自动化基础设施，最重要的是，操作模式和跨越我们各个设施的科学联盟，将它们加入复杂的网络实体。天文台必须适应，许多举措正在进行中，重点是重新设计天文工具包中的单个组件。新的仪器比以往任何时候都更强大，也更复杂，即使是简单的仪器也可能具有强大的观察脚本功能。远程和队列观察模式现在很普遍。数据归档变得无处不在。虚拟天文台标准和协议以及以此为基础的天体信息学数据挖掘技术是正在积极开发的领域。事实上，新型大口径地面望远镜可能与太空任务一样昂贵，并且具有类似的正式项目管理流程和大数据管理要求。这种分段的方法是不够的。无论国家和国际天文学界面临着什么样的资金或政治挑战，明确地解决整个天文学界的系统工程问题，在科学上以及在成本、进度、性能和风险的通常价值方面，都将是更有效的。
2014-07-28 astro-ph.IM
A Model for Data Citation in Astronomical Research using Digital Object Identifiers (DOIs)
标准化和激励使用数字对象标识符（DOI）来聚合和识别研究项目分析的数据和生成的数据，将推动天文学领域与地球科学和医学等其他研究领域的最佳实践相匹配。DOI的使用增加将使该学科为资助机构和出版商不断变化的期望做好准备，他们越来越期望准确和全面的数据引用伴随科学产出。DOI的使用确保了一种强大的、可持续的和可互操作的数据引用方法，其中对产生和维护原始数据的研究人员和机构给予了应有的信任。在这项工作中，我们描述了DOI的数据引用和最佳实践的优势，在天文档案集成的DOI服务。我们报告了与AAS期刊合作开展的一个试点项目。在为期1.5年的试点过程中，超过75%的提交作者选择使用集成的DOI服务，以便在提交论文时提示时清楚地识别研究项目期间分析的数据。
2017-12-29 astro-ph.IM cs.DL
AstroDAbis: Annotations and Cross-Matches for Remote Catalogues
天文学家擅长分享数据，但不擅长分享知识。几乎所有的天文数据最终都在开放的档案中，全球虚拟天文台（VO）的发展简化了对这些数据的访问。这是一个巨大的进步，但根本的问题仍然是，这些档案只包含基本的观测数据，而所有这些数据的天体物理学解释-哪个来源是类星体，哪个是低质量恒星，以及哪个是图像人工制品-都包含在期刊论文中，从文献到原始数据档案的链接很少。因此，目前天文学家不可能提出这样的查询：“给我这个数据档案中已被确定为类星体的所有来源”，这限制了对这些档案的有效利用，因为档案的用户没有直接的手段来利用其以前的用户所获得的知识。AstroDAbis服务旨在解决这一问题，其原型服务使天文学家能够在AstroDAbis服务中记录注释和交叉识别，注释其他目录中的对象。我们已经部署了两个接口的注释，即一个天文学特定的一个使用TAP协议，第二个利用通用的链接开放数据（LOD）和RDF技术。
2011-11-25 astro-ph.IM cs.DL cs.IR
