Data Provenance: Use Cases for the ESO archive, and Interactions with the Virtual Observatory
在虚拟天文台时代,我们打算让科学家(或代表他们的软件代理)从所有现有设施中获得一系列观测数据,访问和进一步解释存档天文资产(其来源)的起源,关系和处理步骤的能力是正确观测选择和质量评估的要求。在本文中,我们介绍了需要数据来源的不同用例,为ESO存档构建这样一个系统所固有的挑战,以及它们与国际虚拟天文台联盟(IVOA)正在进行的工作的联系。
2010-02-02 astro-ph.IM
Metadata and Data Management for the Keck Observatory Archive
W. M.凯克天文台档案馆(KOA)是由夏威夷的凯克天文台(WMKO)和加利福尼亚州的美国宇航局系外行星科学研究所(NExScI)于2004年委托保存来自WMKO的观测数据,WMKO运营着两台经典的10米地面望远镜。来自Keck的观测数据不适合直接摄取到存档中,因为原始FITS头中包含的元数据缺乏正确存档所需的信息。再加上仪器制造者之间的不同标准,以及传统观测所固有的数据的异质性,在传统观测中,观测者完全控制仪器及其观测结果,这些数据对KOA提出了一些技术挑战。我们描述的方法和工具,我们已经开发成功地解决这些困难,添加内容的FITS头和“改造”的元数据,以支持存档凯克数据,特别是那些获得之前的存档设计。凭借在WMKO成功存档所有八个当前活跃仪器的观测结果所获得的专业知识,我们从处理这种复杂的异构元数据中吸取了经验教训,这些元数据有助于确保不仅为当前而且为未来的仪器顺利摄取数据,以及为存档用户提供更好的体验。
2014-08-22 astro-ph.IM
Metadata salad at the Cordoba Observatory
科尔多瓦天文台的底片档案包括20.000张1893年至1983年的玻璃底片照片和光谱。这篇文章描述了自2011年底片档案转移到天文台图书馆以来所做的工作。2014年,组建了一个跨学科团队,并获得了科尔多瓦国立大学的研究资助,目的是保护玻璃板,并为天文学家和其他观众提供公共访问。保护工作不仅包括实际干预,以改善整个档案的保护条件,而且还包括对盘子的保护条件进行诊断,并确定清洁盘子的最佳做法。设想通过数字化获取信息不仅需要扫描所有车牌,还需要仔细定义和提供元数据。在这方面,所涉及的每一个机构层面-在这种情况下是:档案馆、图书馆、天文观测台和公立大学-都要求并提供不同的书目做法,涉及多种著录和编码标准。
2016-07-01 astro-ph.IM
A New Plotly-Dash-based Query Infrastructure for the Keck Observatory Archive
Caltech/IPAC-NExScI(加州理工学院/IPAC-NExScI)
本研究提出了一种基于Plotly-Dash的新型查询基础设施,用于凯克天文台档案,以提高数据查询效率和可视化能力。
2026-02-12 astro-ph.IM
Real-time Data Ingestion at the Keck Observatory Archive (KOA)
自今年2月以来,KOA开始准备、传输和摄取近实时获取的数据;在大多数情况下,观测者在获取数据后一分钟内就可以通过KOA获得数据。到2022年夏季结束时,所有有源仪器的实时摄取将完成。该天文台正在支持现代Python数据简化管道的开发,该管道在交付时将在每晚结束时自动创建科学就绪的数据集,以便将其纳入存档。本演示将描述为支持实时数据摄取而开发的基础设施,这本身就是天文台实现端到端操作现代化的更大举措的一部分。在望远镜运行期间,当通过监测基于关键字的观测站控制系统识别新获取的文件时,WMKO的软件自动执行;凯克使用该系统执行几乎所有观测站功能。监控器使用控制系统中内置的回调函数开始文件的数据准备,以便在单独的基础上传输到存档:不需要调度脚本或文件系统相关的触发器。从Flask微框架调用的基于HTTP的系统使WMKO和NExScI之间的文件传输成为可能,并触发NExScI的数据摄取。NEXScI的摄取系统是一个紧凑(4 KB),高度容错,基于Python的系统。它使用共享文件系统将数据从WMKO传输到NExScI。摄取代码与仪器无关,仪器参数从配置文件读取。它取代了自2004年以来一直使用的笨重的(50 KB)基于C的系统。
2022-12-05 astro-ph.IM
The Observers' Data Access Portal at the Keck Observatory Archive
凯克天文台档案馆发布观测者数据访问门户,基于Python Socket IO和React构建,实现实时监控与下载数据,支持自定义过滤和批量下载。
2024-02-07 astro-ph.IM
Characterising and mitigating Bluetooth and WiFi radio frequency interference at the Parkes Observatory
Macquarie University(麦考瑞大学);CSIRO Space and Astronomy, Australia Telescope National Facility(澳大利亚联邦科学与工业研究组织空间与天文部,澳大利亚望远镜国家设施)
本研究详细描述了CSIRO帕克斯射电望远镜周围2.4 GHz频段的射频干扰特征,主要干扰源为WiFi和蓝牙,通过分析干扰的时变性和方向性,并比较三种检测与缓解算法,证明大部分信道数据不受影响,可实现实时缓解,将科学可用带宽从约30%提升至90%以上。
2026-05-29 astro-ph.IM
New Python-based Architecture for the Keck Observatory Archive
本文介绍凯克天文台档案的新查询架构,基于 nexsciTAP 和 R 树索引,实现 1 亿条记录秒级搜索,速度提升 20 倍,前端采用 Plotly-Dash。
2024-12-16 astro-ph.IM
An ultra-wide bandwidth (704 to 4032 MHz) receiver for the Parkes radio telescope
我们描述了一个超宽带,低频接收机(“UWL”)最近安装在帕克斯射电望远镜。接收机系统提供从704到4032兆赫的连续频率覆盖。对于大部分频带(~60%),系统温度约为22 K,并且接收器系统即使在存在强移动电话传输的情况下也保持在线性状态。我们讨论了新的接收机的科学和技术方面,包括其天文目标,以及饲料,接收机,数字化器和信号处理器的设计。我们描述了形成归档就绪数据产品的管道例程,以及如何从归档中访问这些数据文件。系统性能的量化,包括系统噪声和线性度,波束形状,天线效率,极化校准和定时稳定性。
2019-11-02 astro-ph.IM
The ALMA Science Archive Reaches a Major Milestone
科学档案是现代天文设施的基石。在本文中,我们描述了阿塔卡马大型毫米/亚毫米阵列科学档案的1.0版里程碑。该版本具有一个全面的查询界面,包含丰富的元数据和观测的空间和光谱位置的可视化,一套完整的虚拟天文台服务,用于程序访问,基于文本的相似性搜索,在SIMPAD和NED中显示和查询天文物体类型,基于浏览器的远程可视化,交互式预览,带有暂定的线路标识和大量文档,包括视频和Quixyter Notebook教程。通过用户调查定期对开发进行评估,并完全专注于提供尽可能好的用户体验,以帮助最大限度地提高天文台的科学生产力。
2022-08-05 astro-ph.IM
A case study in adaptable and reusable infrastructure at the Keck Observatory Archive: VO interfaces, moving targets, and more
本文介绍了凯克天文台档案馆(KOA)是如何扩展开源软件组件开发新的服务。2015年8月,KOA部署了一个程序接口,用于从所有配备成像模式的仪器中发现公共数据。该接口符合国际虚拟天文台联盟正在开发的简单成像访问协议第2版,该协议定义了通过空间查询发现图像的标准机制。KOA服务的核心是一个基于R树的数据库索引机制,该机制由虚拟天文台(VAO)原型化,并由蒙太奇图像拼接项目进一步开发,旨在提供对大型成像数据集的快速访问,作为创建广域图像拼接的第一步。KOA服务使用空间R树搜索的结果来创建SQLite数据数据库,以进行进一步的关系过滤。该服务使用JSON配置文件来描述仪器参数和服务查询参数之间的关联,并使其适用于Keck仪器之外。R树程序本身也扩展到支持时间(除了空间)索引,以响应行星科学界对搜索引擎的请求,以发现太阳系天体的观测结果。通过这种3D索引方案,该服务在从JPL SPICE服务获得的目标星历表之间执行非常快速的时间和空间匹配。我们的实验表明,这些匹配可以比分离时间和空间搜索时快100倍以上。使用新的命令行可视化工具mViewer(随Montage发行版发布)计算与图像足迹重叠的移动目标轨迹图像。该服务目前正在测试中,将于2016年秋季发布。
2016-08-08 astro-ph.IM
An Interactive Metrics Dashboard for the Keck Observatory Archive
Caltech/IPAC-NExScI(加州理工学院/IPAC-NExScI);University of California(加州大学)
本文提出一个交互式仪表盘,用于实时监控凯克天文台档案的性能和增长,以支持其现代化和扩展需求。
2026-02-09 astro-ph.IM cs.IR
The ESO Science Archive
ESO科学档案馆是ESO拉西拉帕拉纳尔天文台生成的原始和处理数据的收集和访问点。它是ESO科学产出的主要贡献者,在ESO数据的10篇参考文章中约有4篇使用了它。在本文中,这是代表运营和开发团队,我们审查其内容,政策,用户界面和影响。
2022-09-23 astro-ph.IM
The Gaia Archive
档案馆是主要的盖亚数据分发中心。简要回顾了DR 1的内容,并讨论了数据结构。该系统的体系结构,基于虚拟天文台的标准,还提出了,连同扩展,允许例如认证访问,持久上传和表共享。最后给出了一些应用实例。
2017-06-29 astro-ph.IM
The Benefits of the Virtual Observatory to Underserved Communities
本研究介绍了由IVOA推动的虚拟天文台(VO)生态系统,阐述其通过FAIR数据原则和开放科学机制为服务不足群体提供平等天文数据访问权的作用,并介绍了相关教育合作与新群体参与VO科研、教育的路径。
2024-12-10 astro-ph.IM
Building a VO-compliant Radio Astronomical DAta Model for Single-dish radio telescopes (RADAMS)
虚拟天文台(VO)正在成为天文数据发布的事实标准。然而,射电天文学档案的数量总体上仍然很低,通过VO提供的射电天文学数据的数量甚至更低。为了促进新的射电天文档案的建设,同时缓解他们与VO框架的互操作性,我们已经开发了一个VO兼容的数据模型,提供了互操作的数据语义的无线电数据。我们称之为单碟射电天文数据模型(RADAMS)的模型是使用国际虚拟天文台联盟(IVOA)的标准(和建议)建立的。本文描述了RADAMS及其组件,包括归档实体及其与VO元数据的关系。我们表明,通过使用IVOA的原则和概念,所需的努力,为发展的档案和他们的VO兼容性已降低,和两个射电天文档案的联合发展已经成为可能。我们计划调整RADAMS,以便在未来能够处理干涉测量数据。
2012-05-11 astro-ph.IM
GMRT Archive Processing Project
自2002年天文台开始作为一个设施运行以来,GMRT在线档案馆现在拥有超过120 TB的干涉测量观测数据。这一庞大的数据档案可能是印度所有望远镜中最大的,如果能够向用户社区提供初步(在可能的情况下,科学准备)处理的图像,其效用将大大提高。我们已经启动了一个项目,在150,240,325和610 MHz频段的管道处理GMRT图像。我们将产生的数千张经过处理的连续图像将被证明对遥远的星系团、射电活动星系核以及附近星系和恒星形成区的研究是有用的。除了科学回报之外,在大量数据上运行的统一数据处理管道可以以其他有趣的方式使用。例如,我们将能够系统地测量GMRT望远镜的各种性能特征及其对波段,时间,RFI环境,后端,银河纬度等的依赖性。各种数据产品,如校准后的紫外线适应传输系统数据、天空图像和AIPS处理日志,将通过一个基于网络的界面提供给用户。数据产品将与标准虚拟观测台协议兼容。
2018-12-06 astro-ph.IM
Integration of Data Reduction and Near Real-Time Archiving into the Keck Observing Model
本文介绍凯克天文台通过数据服务计划将数据缩减与近实时归档整合进观测模型,使原始帧和缩减数据在摄取后立即可供观测者及合作者使用,并在保护期届满后向公众开放。
2024-06-06 astro-ph.IM
Solar observatory Einstein Tower -- Data release of the digitized solar full-disk photographic plate archive
我们目前的太阳全磁盘观测,这是在爱因斯坦塔记录在1943年至1991年(太阳周期18 - 22)。来自波茨坦和柏林的高中生在AIP为期两到三周的实习期间对3500多个完整磁盘图像进行了数字化。数字图像覆盖照相板上的15 cm $\times$ 15 cm区域,其以7086 $\times$ 7086像素的分辨率扫描。原始数据是标记图像文件格式(TIFF)的单色8位图像。这些图像经过校准,并以改进的光度精度保存为灵活图像传输系统(FITS)格式的2048 $\times$ 2048像素的16位图像,其中包含描述全磁盘图像和观察结果的大量标题。各种校准步骤包括,例如,精确测量太阳半径,确定边缘变暗函数,以及建立精确的坐标系。对比度增强和边缘变暗校正的图像以及原始数据在公开访问的存储库中免费提供给研究人员和公众。这些数据是作为天文学用途摄影板档案(APPLAUSE)项目的特别数据发布。
2020-07-29 astro-ph.IM astro-ph.SR
Virtual Observatory: Science capabilities and scientific results
虚拟天文台(VO)是一个可互操作的数据档案,工具和应用程序的集合,共同形成了一个可以进行原始天文研究的环境。VO正在开辟新的方法来利用越来越多的地面和空间设施以及计算机模拟提供的大量数据。本报告总结了在强调其结构,基础设施和各种能力之后,通过VO获得的跨越天文学各个领域的各种科学成果。
2009-11-10 astro-ph.IM
The ALMA archive and its place in the astronomy of the future
阿塔卡马大型毫米/亚毫米阵列(ALMA)是欧洲、北美和东亚与智利共和国合作的一个国际伙伴关系,是现有的最大天文项目。虽然ALMA的能力正在提升,但早期科学观测已经开始。ALMA档案馆是望远镜阵列运营的中心,旨在管理天文台全面运营后每年将获取的200 TB数据。我们简要介绍设计原则。本文的第二部分重点讨论了天文学如何随着所获取数据的数量和复杂性的增长而发展。我们认为,在未来,天文台将竞争天文学家使用他们的数据,天文台将不得不重新定位自己,从只提供良好的数据,以提供一个良好的端到端的用户体验,其所有的影响,科学级的数据减少管道将成为一个新的天文台或仪器的设计的一个组成部分,所有这些演变将产生深刻的影响,天文学家将从事科学研究。我们展示了ALMA的设计原则是如何符合这种范式的。
2015-04-28 astro-ph.IM
Center for Astrophysics Optical Infrared Science Archive. I. FAST Spectrograph
我们宣布公开发布在过去25年中使用Fred L.上的FAST光谱仪获得的72,247个物体的141,531个中等色散光谱。惠普尔天文台1.5米Tillinghast望远镜。我们描述了数据采集和处理,以便科学家能够理解光谱。我们重点介绍一些最大的FAST调查计划,并提出使用建议。光谱已被放置在一个虚拟天文台可访问的档案,并准备下载。
2020-12-07 astro-ph.GA astro-ph.IM astro-ph.SR
EURONEAR - Data Mining of Asteroids and Near Earth Asteroids
除了新的观测之外,挖掘旧的照相底片和CCD图像档案是一个机会,可以回收和保护新发现的小行星,也可以改进近地小行星、潜在危险小行星和虚拟撞击物的轨道。这些是欧洲近地研究所网络的主要研究目标。正如天文学联合会所指出的那样,世界各地储存的大量图像档案仍然没有得到充分的探索,可以从中挖掘已知的近地小行星和偶尔出现在其视野中的其他小行星。这种数据挖掘可以通过使用服务器来简化,以根据小行星类别和发现日期对发现结果进行搜索和分类,作为“precoveries”或“recovery”。我们建立了PRECOVERY,这是一个公共设施,它使用IMCCE的虚拟天文台SkyBoT网络服务来搜索给定观测中的所有已知太阳系天体。为了对整个档案进行数据挖掘,PRECOVERY需要标准格式的观测日志,并输出一个数据库,列出根据每日更新的IAUMPC数据库分类为前覆盖或恢复的近地小行星、PHA、编号和未编号小行星的分类遭遇。作为第一个应用程序,我们考虑了一个档案,其中包括1930年至2005年在罗马尼亚布加勒斯特天文台曝光的约13,000张摄影底片。PRECOVERY可以应用于其他档案馆,作为EURONEAR项目向社区提供的公共设施。这是一系列论文中的第一篇,旨在使用来自图像档案的预编码数据与学生和业余爱好者合作进行数据挖掘,以改善PHAs和NEAs的轨道。在下一篇论文中,我们将搜索CFHT遗产调查,而其他档案的数…
2009-06-27 astro-ph.IM
Archives of Photographic PLates for Astronomical USE (APPLAUSE) Digitisation of astronomical plates and their integration into the International Virtual Observatory
APPLAUSE项目数字化德国等天文台约7万张照相底片,获得超20亿校准测量,融入国际虚拟天文台,用于构建长期光变曲线并研究瞬变源。
2024-04-26 astro-ph.IM astro-ph.SR
The Additional Representative Images for Legacy (ARI-L) project for the ALMA Science Archive
遗产附加代表性图像(ARI-L)项目是ALMA联合天文台(JAO)和欧洲南方天文台(ESO)批准的ALMA升级欧洲发展项目,于2019年6月开始。它旨在通过使周期2-4的ALMA数据的减少水平接近于使用ALMA Pipeline处理成像的最近周期的数据,来增加ALMA科学档案(ASA)的遗产价值。截至2021年年中,超过15万张图像已返回ASA供公众使用。在2022年完成时,该项目将为ALMA管道可处理的第2-4周期至少70%的观测数据提供增强产品。在本文中,我们提出了该项目的基本原理,其实施,并提供给ASA用户的ARI-L产品的新机会。ARI-L立方体和图像补充了数据质量保证阶段(QA 2)期间生成的数量非常有限的档案图像产品,这些产品仅覆盖这些周期可用数据的一小部分。ARI-L成像产品与许多科学案例高度相关,并显着提高了利用档案数据的可能性。事实上,ARI-L产品为科学目的提供了存档访问和数据使用便利,即使对于非专家数据挖掘者也是如此,为更好的数据集比较和下载选择提供了所有数据的同质视图,使存档更容易被可视化和分析工具访问,并能够生成类似于后续周期的预览图像和绘图。
2021-07-23 astro-ph.IM
Databases of publications and observations - as a part of the Crimean Astronomical Virtual Observatory
本文介绍了形成数据库(DB)的基本原则,该数据库包含克里米亚天体物理观测台(CrAO)进行的观测中的物体及其物理特性的信息,并发表在“Izvestiya Krymskoi Astrofizicheskoi Observatorii”和其他出版物上。重点放在最完整的全球图书馆目录和数据表- VizieR(由斯特拉斯堡ADC支持)中不存在的DB上。另外,我们认为在CrAO获得的观测数据的数字档案的形成-作为对象和出版物的DB相关的交互式DB。本文介绍了上述所有数据库作为克里米亚天文虚拟观测站的组成部分的例子。使用国际虚拟天文台的工具- Aladin,VOPlot,VOSpec与VizieR DB和Simbad一起说明与CrAO数据库的操作。
2015-09-05 astro-ph.IM
Detection of Solar Filaments using Suncharts from Kodaikanal Solar Observatory Archive Employing a Clustering Approach
科代卡纳尔太阳天文台(KoSO)拥有100多年的太阳观测历史,是世界上独一无二的太阳数据库。在其许多数据目录中,特别令人感兴趣的是KoSO的“太阳图”。这些太阳图(1904-2020)是不同的太阳特征的彩色图画,如太阳黑子,谱斑,灯丝和双折射,在纸上蚀刻有Stonyhurst经纬度网格。在本文中,我们首先使用行业标准扫描仪对每个太阳图进行数字化,并将这些数字图像保存为高分辨率的“.tif”格式,以此来分析这些独特的数据。然后,我们检查了周期~19和周期~20的数据(上个世纪最强的两个周期),目的是检测细丝。为此,我们采用“k-means聚类”方法,并获得不同的灯丝参数,如位置,倾斜角度,长度和面积。我们的研究结果表明,灯丝长度(和面积)增加与纬度和向极迁移显然是由一个特定的倾斜符号。最后,我们交叉验证了我们的研究结果与结果从KoSO数字化摄影板数据库的重叠时间段,并获得了很好的协议。这项工作作为概念验证,将启动新的努力,有效地使用整个手绘系列的多功能,全磁盘太阳数据,并使研究人员能够提取新的科学,例如过去100年的伪磁图的生成。
2022-12-23 astro-ph.IM astro-ph.SR
The EPN-TAP protocol for the Planetary Science Virtual Observatory
一个数据访问协议已经建立,以搜索和检索行星科学数据一般。该协议将允许用户根据IVOA表访问协议(TAP)以标准方式从存档中选择数据子集。TAP机制由底层数据模型和引用字典完成。本文描述了EPN-TAP协议和接口的原理,强调了已经做出的选择,并讨论了可能的发展。
2014-07-22 astro-ph.IM
IVOA Recommendation: Resource Metadata for the Virtual Observatory Version 1.12
虚拟天文台的一项基本能力是描述在何处可获得哪些数据和计算设施,以及一旦确定如何使用这些数据和设施。数据本身具有相关联的元数据(例如,FITS关键字),同样,我们需要关于数据集合和数据服务的元数据,以便VO用户可以轻松地找到感兴趣的信息。此外,为了有效地管理分布式查询,需要这样的元数据;例如,如果用户对查找x射线图像感兴趣,则查询HST存档没有意义。在本文档中,我们提出了一个资源和服务元数据的体系结构,并描述了该体系结构与新兴Web服务标准的关系。我们还定义了一组初始的元数据概念。
2011-10-03 astro-ph.IM
INAF Trieste Astronomical Observatory Information Technology Framework
INAF的里雅斯特天文台(OAT)在应用于天文和天体物理用例的信息技术方面有着悠久的传统,特别是在数据简化,分析和模拟计算方面;数据和档案管理;空间任务数据处理;地面仪器的设计和软件开发。在过去的几年里,这些活动的集合推动了对获取新的计算资源和技术的需求,以及对管理能力的需求。在本文中,我们描述了INAF-OAT计算中心的技术人员,我们参与了不同的欧盟项目,包括建设EOSC,欧洲开放科学云的道路;在欧洲新的Exascale超级计算机的设计和原型设计以及使用我们的计算中心进行的主要研究活动。
2019-12-11 astro-ph.IM
The Hopkins Ultraviolet Telescope: The Final Archive
霍普金斯紫外线望远镜(Hopkins Ultraviolet Telescope,HUT)是一台0.9米望远镜和中分辨率(~3 A)远紫外线(820-1850 A)摄谱仪,在1990年12月(Astro-1,STS-35)和1995年3月(Astro-2,STS-67)在航天飞机上飞行了两次。产生的光谱最初以非标准格式存档,缺乏重要的描述性元数据。为了提高其实用性,我们修改了原始的数据简化软件,以产生一个新的和更用户友好的数据产品,一个时间标记的光子列表类似的中间数据文件(IDFs)的格式由{ \it远紫外光谱探测器}校准管道。我们已经将所有相关的指向和仪器状态信息从本地存档的科学和工程数据库转移到每个数据集的新FITS标题关键字中。使用这个新的管道,我们重新处理了来自两个任务的整个HUT档案,以现代FITS格式制作了一套新的校准光谱产品,完全符合虚拟天文台的要求。对于每次曝光,我们都生成了完全校准的光谱和相关指向历史信息的快速查看图。最后,我们已经从我们的档案检索HUT电视导航图像,提供有关孔径定位相对于引导星的信息,并将它们转换成FITS格式的图像文件。所有这些新的数据产品都可以在米库尔斯基太空望远镜档案馆(MAST)的新HUT部分中获得,以及来自两次任务的历史和参考文件。在本文中,我们将记录应用于数据的改进的数据处理步骤,并展示新数据产品的示例。
2013-03-25 astro-ph.IM
Semantic Interlinking of Resources in the Virtual Observatory Era
在即将到来的数据密集型科学时代,能够在科学结果、其中分析的数据以及用于产生它们的过程之间无缝移动将变得越来越重要。由于观测、衍生数据产品、出版物和对象元数据由不同的项目管理并在不同的位置存档,因此在这些资源之间建立适当的联系并描述它们的关系成为管理和保存的一项重要活动。在本文中,我们描述了初步的努力,以创建一个语义知识库,使更容易集成和连接的身体异构天文资源,我们称之为虚拟天文台(VO)。这项工作的最终目标是在现有资源上创建一个语义层,允许应用程序跨越归档之间的边界。所提出的方法遵循当前语义计算和网络架构的最佳实践,允许使用现成的技术,并为VO资源提供了一条路径,成为全球网络的链接数据的一部分。
2011-03-30 astro-ph.IM cs.DL
Observers' Data Access Portal: Realtime Streaming for Astronomical Data
Keck天文台档案库推出ODAP Web应用,利用React与WebSocket实现观测数据及元数据在归档后近实时流式传输给授权研究团队,并总结其设计、集成与使用情况。
2024-09-13 astro-ph.IM
The Virtual Observatory Powered PhD Thesis
虚拟天文台已经达到了足够的成熟度,可以供天文学家进行日常的科学开发。为了证明这一说法,在这里,我提出了一个完整的VO供电博士论文的简要说明,题为“银河系和银河系外的研究与现代调查和虚拟天文台”,包括4个科学案例涵盖天体物理学研究的各个方面。这些评论:(1)在大规模多波段光度巡天中对银河系疏散星团主要物理参数的均匀搜索和测量;(2)利用SDSS和UKIDSS的光谱学和光度学数据集研究光学-近红外星系的颜色;(3)研究现代观测档案中微弱的低质量X射线双星;(4)寻找银河平面内位置不确定性较大的不明X射线天体的光学对应物。所有这些项目都大量使用虚拟组织技术和工具,没有它们就无法实现。因此,在本论文框架内发表的参考论文无疑可以添加到越来越多的基于VO的研究工作。
2010-01-10 astro-ph.IM
Archives of CrAO spectral observations. Catalogues of objects and images
本文所述的工作是在克里米亚进行的档案光谱观测先前发起的研究的延续。它涵盖了大约90年的时间间隔,并包含有关使用各种设施的光谱学信息:从带有物镜棱镜的广角天体照相机到主CrAO望远镜- ZTSh。介绍了望远镜及其设备的简史。本文说明了网络访问的各种仪器采取的观测目录在互动阿拉丁天空地图集与重定向到原始光谱图的可能性。为此,扫描底片的线性坐标被转换成对应于波长的刻度。考虑到所记录的图像的光谱灵敏度的绝对能量分布的可能性示出。这项工作的一个特点是将数字化的原始观测及其独立处理的结果与“克里米亚天体物理观测站消息报”期刊上发表的天体数据联系起来。
2019-03-25 astro-ph.IM
An Archive of Spectra from the Mayall Fourier Transform Spectrometer at Kitt Peak
我们描述的SpArc科学网关的光谱数据期间,从1975年到1995年在基特峰国家天文台使用傅里叶变换光谱仪(FTS)在操作中的Mayall 4米望远镜。SpArc由印第安纳大学布卢明顿分校主办,可供公众访问。该档案包括800多个不同天文来源的近10,000个光谱,包括恒星,星云,星系和太阳系物体。我们简要介绍了FTS仪器本身,并总结了原始干涉图到光谱数据的转换和恢复到FITS文件的数据的过程。档案的体系结构进行了讨论,并从档案检索数据的过程进行了介绍。示例用例显示典型的FTS光谱。
2016-10-08 astro-ph.IM astro-ph.SR
Fully-Automated Reduction of Longslit Spectroscopy with the Low Resolution Imaging Spectrometer at Keck Observatory
我提出并总结了一个软件包(“LPipe”)的完全自动化,端到端的减少明亮和暗淡的来源与低分辨率成像光谱仪(LRIS)在凯克天文台。它支持所有的光栅、光栅和二向色光栅,并且还减少了成像观测,尽管目前它不包括多狭缝或偏振减少功能。它适用于在望远镜上进行的快速缩减,适用于档案数据集的大规模缩减,以及(在许多情况下)适用于PI数据的科学质量运行后缩减。为了展示其能力,管道以全自动模式运行在2016年8月至2017年7月的12个月期间获得的Keck天文台档案中的所有LRIS长缝数据上。减少的光谱(675个单目标,每个相机总共约200小时的源上集成时间)和管道本身向社区公开。
2019-05-12 astro-ph.IM
Towards an Astronomical Science Platform: Experiences and Lessons Learned from Chinese Virtual Observatory
在大数据天文学时代,下一代望远镜和大型巡天仪可以产生TB甚至PB级别的数据集。由于其庞大的数据量,这些天文数据集非常难以使用个人计算机或小型集群进行传输和分析。为了提供更好的数据访问,数据中心现在通常提供在线科学平台,使分析接近数据。中国虚拟天文台(China-VO)是国际虚拟天文台联盟的成员项目之一,致力于提供一个研究和教育环境,使全球分布的天文学档案易于查找,访问和互操作。在这项研究中,我们总结了在中国VO进行的工作的亮点,以及在天文数据的全生命周期管理过程中吸取的经验和教训。最后,我们讨论了天文科学平台面临的挑战和未来的发展趋势。
2020-05-21 astro-ph.IM
Searchable Sky Coverage of Astronomical Observations: Footprints and Exposures
天空覆盖率是天文观测中最重要的信息之一。我们讨论了可能的表示,并提出了算法来创建和操纵形状组成的广义球面多边形与任意复杂性和大小的天球。此形状规范与我们的分层三角网格索引工具箱集成良好,其性能和功能通过此处提供的高级功能得到增强。我们的相关球面几何例程的便携式实现带有用于数据库查询的包装函数,这些函数目前正在几个科学目录档案中使用,包括斯隆数字巡天,银河演化探测器和哈勃遗产档案项目以及虚拟天文台的足迹服务。
2010-05-14 astro-ph.IM
Liger at Keck Observatory: Design of the Data Reduction System and Software Interfaces
Liger是第二代近红外成像仪和积分场光谱仪(IFS),用于W。M.凯克天文台将利用凯克全天精密自适应光学系统(KAPA)的能力。Liger的工作波长范围为0.81 μm - 2.45 μm,并利用切片器和具有不同空间板尺度和视场的小透镜阵列IFS,从而为天文学家提供数百种模式。由于切片器和小透镜IFS模式的原始数据格式非常复杂,Liger必须与数据简化系统(DRS)一起设计,该系统将实时减少仪器的数据,并向观察者提供科学准备的数据产品。DRS将减少来自读出系统的原始成像仪和IFS帧,并通过适合IFS数据呈现的定制快速可视化工具提供2D和3D数据产品。DRS将向凯克天文台档案馆(KOA)提供简化数据,并将提供给天文学家对观测数据进行离线后处理。我们提出了DRS的初步设计,并定义了观测站和仪器软件系统之间的接口。
2022-08-16 astro-ph.IM
Data Movement Model for the Vera C. Rubin Observatory
本文介绍了Vera C. Rubin天文台跨三大洲设施的数据移动模型,重点阐述如何利用Rucio和FTS管理数据传输,并开发工具整合Rucio数据模型与Data Butler软件抽象层。
2025-07-17 astro-ph.IM
Processing Images from the Zwicky Transient Facility
Zwicky Transient Facility是一个新的机器人观测计划,其中一个新设计的600 MP数码相机具有开创性的大视场,47平方度,将安装到Palomar天文台的48英寸Samuel Oschin望远镜中。摄像机将在三年的运行中生成$\sim 1$ ~ PB的原始图像数据。与此同时,正在开发新的硬件和软件系统,以实时处理这些数据,并为加工产品建立长期档案。存档产品的首次公开发布计划于2019年初,其中将包括$g$和$r$波段的北方天空的处理图像和天文源目录。源目录的基础上,两种不同的方法将产生的档案:孔径测光和点扩散函数拟合。
2017-10-16 astro-ph.IM
Data Driven Discovery in Astrophysics
我们回顾了数据密集型天文学的现状、方法和一些突出的数据分析挑战。天文学处于“大数据”科学的前沿,数据量和数据速率呈指数级增长,复杂性不断增加,现在进入Petascale政权。来自地面和太空的望远镜和天文台,覆盖了整个波长范围,通过处理管道将数据输入专用档案,在那里可以访问它们进行科学分析。大多数大型档案通过虚拟天文台框架连接,该框架提供互操作性标准和服务,有效地构成了全球天文学数据网格。在这种过剩的数据中进行发现需要应用新的机器学习工具。我们描述了这种应用程序的一些最近的例子。
2014-11-01 astro-ph.IM
Identification of Interesting Objects in Large Spectral Surveys Using Highly Parallelized Machine Learning
LAMOST多目标摄谱仪的现有档案包含数百万个完全简化的光谱,自动管道从中产生了单个物体的许多参数目录,包括其近似光谱分类。然而,这主要是基于整个光谱的整体形状和给定带通中光谱的积分性质,即显著谱线的存在和等效宽度,而对于识别一些有趣的物体类型(例如Be星或类星体),只有少数谱线的详细形状是至关重要的。在这里,机器学习带来了一种新的方法,即使在边界情况下,也能够提高此类对象分类的可靠性。我们提出了LAMOST光谱的基于Spark的半监督机器学习的结果,试图自动识别Be和B[e]星典型的H α线的单峰和双峰发射。标记的样品是从Ondalejov天文台的2米Perek望远镜档案中获得的。一个简单的物理模型的光谱仪分辨率被用来在域自适应LAMOST训练域。由此产生的候选名单包含数十颗Be星(有些可能还未知),但也有一堆有趣的物体,类似于类星体甚至耀变体的光谱,以及许多仪器人工制品。验证感兴趣的候选者的性质大大受益于虚拟天文台环境中的交叉匹配和可视化。
2016-12-22 astro-ph.IM
Reengineering observatory operations for the time domain
观测站是为各种用户和目的服务的复杂的科学和技术机构。他们的望远镜、仪器、软件和人力资源在广泛的时间范围内参与交织的工作流程。对这些工作流程进行了调整,以适应过去几年或几十年委托使用各种资产时适用的观测站业务概念。天文学界正在进入一个快速变化的时代,其特征越来越多地表现为大型时域测量、机器人望远镜和自动化基础设施,最重要的是,操作模式和跨越我们各个设施的科学联盟,将它们加入复杂的网络实体。天文台必须适应,许多举措正在进行中,重点是重新设计天文工具包中的单个组件。新的仪器比以往任何时候都更强大,也更复杂,即使是简单的仪器也可能具有强大的观察脚本功能。远程和队列观察模式现在很普遍。数据归档变得无处不在。虚拟天文台标准和协议以及以此为基础的天体信息学数据挖掘技术是正在积极开发的领域。事实上,新型大口径地面望远镜可能与太空任务一样昂贵,并且具有类似的正式项目管理流程和大数据管理要求。这种分段的方法是不够的。无论国家和国际天文学界面临着什么样的资金或政治挑战,明确地解决整个天文学界的系统工程问题,在科学上以及在成本、进度、性能和风险的通常价值方面,都将是更有效的。
2014-07-28 astro-ph.IM
Calibration database for the Murchison Widefield Array All-Sky Virtual Observatory
我们提出了一个校准组件的默奇森宽场阵列全天空虚拟天文台(MWA ASVO)利用新开发的PostgreSQL数据库的校准解决方案。自2013年成立以来,MWA已经记录了超过34 PB的数据,这些数据存档在Pawsey超级计算中心。根据妇女事务部的数据访问政策,数据在收集后18个月公开。因此,大多数档案数据现在都向公众开放。2017年通过MWA ASVO接口提供了对公共数据的访问,该接口允许世界各地的研究人员以标准射电天文学数据格式(CASA测量集或UV FITS文件)下载MWA未校准数据。MWA ASVO校准功能的增加为没有详细了解MWA望远镜和数据处理的研究人员提供了一个新的强大途径,以下载校准的可见度数据并使用标准射电天文学软件包创建图像。为了用过去六年的校准解决方案填充数据库,我们开发了全自动管道。一个近实时的管道被用来在收集到新的校准观测数据后立即处理这些数据,并将校准解决方案上传到数据库,从而能够监测望远镜的干涉性能。基于这个数据库,我们提出了一个分析的稳定性的MWA校准解决方案在很长的时间间隔。
2020-05-05 astro-ph.IM
Herschel Footprint Database and Service
我们为赫歇尔空间天文台的成像数据创建了赫歇尔足迹数据库和网络服务。对于这个数据库,我们建立了一个统一的数据模型的PACS和SPIRE赫歇尔仪器,从每个观测的指向和头部信息,生成和存储天空覆盖(足迹)的观测,在其确切的几何形式。有了这个工具,我们通过提供一个有效的搜索工具来扩展赫歇尔科学档案的功能,该工具能够找到选定的天空位置(对象)的观测结果,甚至在天空中更大的区域。
2016-02-02 astro-ph.IM
ASTRI SST-2M prototype and mini-array simulation chain, data reduction software, and archive in the framework of the Cherenkov Telescope Array
切伦科夫望远镜阵列(Cherenkov Telescope Array,CTA)是一个全球性的项目,旨在建立下一代地面伽马射线天文台。在CTA项目中,意大利国家天体物理研究所正在开发CTA小型望远镜的端到端原型,该望远镜采用双镜(SST-2 M)Schwarzschild-Couder配置。该样机被命名为ASTRI SST-2 M,位于INAF“M. C. Fracastoro”观测站位于Serra La Nave(Mt.埃特纳,西西里岛),目前正处于科学和性能验证阶段。一个小型阵列(至少)九个应科院望远镜已被提议部署在南部CTA网站,通过合作努力进行的机构从意大利,巴西和南非。CTA/ASTRI团队正在开发一个端到端软件包,用于减少ASTRI SST-2 M原型和小型阵列获取的原始数据,旨在积极为CTA天文台官方数据处理系统的全球持续活动做出贡献。该小组还正在利用CTA联合体采用的探测器蒙特卡罗软件进行大规模的蒙特卡罗模拟数据生产。仿真数据正被用于验证仿真链和评估应科院SST-2 M原型和小型阵列的性能。这两项活动也是在欧洲H2020-ASTERICS(天文学ESFRI和研究基础设施集群)项目的框架内开展的。此外,CTA/ASTRI团队亦为SST-2 M原型和小型阵列开发了一个数据存档系统,作为CTA科学存档的测试平台。在这篇文章中,我们提出了应科院数据处理系统的主要组成部分,并…
2017-09-19 astro-ph.HE astro-ph.IM
Shape models of asteroids based on lightcurve observations with BlueEye600 robotic observatory
我们提出的物理模型,即凸形,旋转轴的方向,恒星旋转周期,18个小行星,其中10个是新的模型和8个是基于更大的数据集比以前的工作改进的模型。模型重建的光变曲线反演方法从存档的公开可用的光变曲线和我们的新的观察与BlueEye 600机器人天文台。其中一个新的结果是小行星(1663)~van~den~Bos的形状模型,它的自转周期为749 hr,这使它成为已知形状中最慢的自转体。我们描述了我们的战略目标选择,旨在快速生产的新车型,利用巨大的潜力,已经可用的测光存储在公共数据库中。我们还简要介绍了机器人天文台的控制软件和调度程序,我们讨论了建立一个数据库的小行星模型的重要性,研究小行星碰撞家庭的物理特性。
2017-07-12 astro-ph.EP astro-ph.IM
Fourier Disentangling Using the Technology of Virtual Observatory
虚拟天文台是一种新的天文研究技术,它允许对来自多个分布式数据库的异构数据进行无缝处理和分析。它还可以为天文学界提供强大的计算和数据处理在线服务,取代用户计算机上运行的定制科学代码。尽管它的优点,VO技术在恒星光谱学中仍然很少被利用。作为在这一领域可能的演变的一个例子,我们提出了一个实验性的基于Web的服务,用于基于代码KOREL的光谱解缠。由P. Hadrava开发的这一代码能够进行傅里叶解缠和线强度测光,即同时分解多颗恒星的光谱并求解轨道参数、线轮廓变化或观测物体的其他物理参数。我们讨论了面向服务的方法的好处,从开发人员和用户的角度来看,并给出了可能的用户友好的实现光谱解缠方法作为虚拟天文台的标准工具的例子。
2010-03-25 astro-ph.IM astro-ph.SR
3D radio data visualisation in open science platforms for next-generation observatories
针对下一代SKAO海量射电数据的可视化需求,调研筛选适配大数据的可视化工具,开发遵循IVOA标准、支持网页端交互式3D射电数据远程可视化的档案原型,验证了方案可行性,同时指出原型存在内存限制需优化。
2025-03-20 astro-ph.GA astro-ph.IM
The operation of VEGA/CHARA : from the scientific idea to the final products
我们描述了VEGA/CHARA仪器操作中的数据流。在简要总结VEGA仪器的主要特点和科学目标后,我们解释了从科学理念到观察执行的标准程序。然后,我们描述了观察后所做的不同步骤,从原始数据到存档和最终产品。许多工具的使用,我们展示了如何虚拟天文台的原则已经实现了这些软件和数据库的互操作性。
2014-02-23 astro-ph.IM
AstroDAbis: Annotations and Cross-Matches for Remote Catalogues
天文学家擅长分享数据,但不擅长分享知识。几乎所有的天文数据最终都在开放的档案中,全球虚拟天文台(VO)的发展简化了对这些数据的访问。这是一个巨大的进步,但根本的问题仍然是,这些档案只包含基本的观测数据,而所有这些数据的天体物理学解释-哪个来源是类星体,哪个是低质量恒星,以及哪个是图像人工制品-都包含在期刊论文中,从文献到原始数据档案的链接很少。因此,目前天文学家不可能提出这样的查询:“给我这个数据档案中已被确定为类星体的所有来源”,这限制了对这些档案的有效利用,因为档案的用户没有直接的手段来利用其以前的用户所获得的知识。AstroDAbis服务旨在解决这一问题,其原型服务使天文学家能够在AstroDAbis服务中记录注释和交叉识别,注释其他目录中的对象。我们已经部署了两个接口的注释,即一个天文学特定的一个使用TAP协议,第二个利用通用的链接开放数据(LOD)和RDF技术。
2011-11-25 astro-ph.IM cs.DL cs.IR
The Kilo-Degree Survey
Kilo Degree Survey(KiDS)是一个1500平方度的光学成像调查,最近委托VLT巡天望远镜(VST)上的OmegaCAM宽视场成像仪。KiDS调查小组将向欧洲南方天文台(ESO)和社区提供一套数据产品。KiDS团队遍布欧洲,使用Astro-WISE进行高效协作并共享硬件资源。在Astro-WISE中,团队共享、校准和存档所有测量数据。以数据为中心的架构设计实现了动态的“实时档案”,其中质量更高的新KiDS调查产品可以以灵活且可控的方式与团队并最终与整个天文社区共享。
2012-06-06 astro-ph.CO astro-ph.IM