Development of an Astrophysical Specific Language for Big Data Computation
天文学正在进入一个极端密集型数据计算的新时代,我们已经确定了新一代项目必须面对的三个主要问题:资源优化,异构软件生态系统和数据传输。我们在这篇文章中提出了一个中间件解决方案,提供了一个非常模块化和维护系统的数据分析。由于计算必须由天文学专家设计和描述,我们的目标是定义一个友好的特定编程语言,使编码从任何计算机科学的具体问题抽象的天体物理问题。通过这种方式,我们期望在数据分析的计算能力方面获得实质性的好处。作为使用我们的解决方案的第一个发展,我们提出了一个交叉匹配服务的台湾河外天文数据中心。
2012-12-10 astro-ph.IM
History of Astronomy in Australia: Big-Impact Astronomy from World War II until the Lunar Landing (1945-1969)
射电天文学在第二次世界大战后正式开始,澳大利亚通过科学和工业研究委员会积极参与其中。在这个关键时刻,澳大利亚的联邦太阳观测站扩大了其业务范围,从主要研究太阳现象扩展到进行恒星和河外研究。随后,在1950年代和1960年代,天文学逐渐成为澳大利亚大学的教学和研究。然而,在这个增长和发现的时代,大多数科学出版物的标题信息中都没有所属国家,因此很难找到这一时期的澳大利亚天文学文章。2014年,我们使用当时新的天体物理数据系统(ADS)工具Bumblebee来克服这一挑战,并追踪了二战后四分之一个世纪内发表的澳大利亚领导的天文学论文,从1945年到1969年登月。这就需要了解当时正在运作的研究中心和设施,本文对此进行了简要总结。基于引用计数-一个客观的,普遍使用的科学影响的措施-我们报告的澳大利亚天文学的文章,有最大的影响。我们已经确定了前十名被引用最多的论文,因此也是他们的研究领域,从五个连续的时间间隔在蓬勃发展的四分之一世纪的天文学。此外,我们还投入了大量的时间进行研究,并向参与研究的62名科学家中的每一位致敬,其中包括几位开拓性的女性。此外,我们还提供了一个广泛的参考文献列表,并指出了许多有趣的历史联系和轶事。
2021-04-02 astro-ph.GA astro-ph.IM astro-ph.SR
Modeling software solutions and computation facilities for FAIR access
我们正处于大数据时代。在天文学和天体物理学中,产生的大量数据,截至今天,如果不是在Exa尺度,也是在Peta尺度。在不久的将来,我们将看到收集的数据规模和复杂性不断增长,为数据处理,简化和分析提出了新的挑战。这将在软件和硬件解决方案方面提出新的需求,也将在资源管理、访问和共享的新模式方面提出新的需求。在天文学和天体物理学方面,在国际虚拟天文台联盟(IVOA)的环境下,已经在数据方面做了大量工作,获得了完整的数据公平性。本文提出了一种基于IVOA体系结构的数据分析软硬件解决方案模型。这个模型的目标是建立一个云访问天文学和天体物理学资源遵循公平的原则。
2023-02-22 astro-ph.IM
AstroCloud, a Cyber-Infrastructure for Astronomy Research: Architecture
AstroCloud是中国虚拟天文台(China-VO)在国家发改委(NDRC)和中国科学院(CAS)的资助下发起的天文研究网络基础设施。该项目的最终目标是提供一个全面的端到端天文学研究环境,其中几个独立的系统无缝协作,以支持基于大数据的现代观测天文学的整个生命周期,从提案提交,到数据存档,数据发布,以及现场数据分析和处理。本文介绍了AstroCloud平台的体系结构和关键设计,包括数据访问中间件、访问控制和安全框架、可扩展的提案工作流和系统集成机制。
2014-11-18 astro-ph.IM
The statistics of low frequency radio interference at the Murchison Radio-astronomy Observatory
我们的特点的低频射频干扰(RFI)的环境在默奇森射电天文台(MRO),选择的位置为平方公里阵列的低频分量。数据收集自位于MRO的BIGHORNS仪器,该仪器记录了2014年11月至2015年3月期间70至300 MHz之间的连续带宽。这些数据经过处理以识别RFI,我们描述了一系列时域和频域的统计数据,包括将RFI占用率和信号功率建模为一系列分布函数,目的是帮助未来的科学家和操作人员进行观测规划。
2016-10-15 astro-ph.IM
Deep Learning Assisted Data Inspection for Radio Astronomy
现代射电望远镜结合了数千个接收器、远距离网络、大规模计算硬件和复杂的软件。由于这种复杂性,故障相对频繁地发生。在这项工作中,我们提出了无监督深度学习的新用途,以诊断现代射电望远镜的系统健康状况。该模型是一个卷积变分自动编码器(VAE),它能够将高维时频数据投影到低维规定空间。使用这种投影,望远镜操作员能够直观地检查故障,从而保持系统的健康。我们已经训练和评估的性能的VAE定量控制实验从HERA的模拟数据。此外,我们对在真实LOFAR数据上训练和测试的模型进行了定性评估。通过使用一个朴素的SVM分类器的投影合成的数据,我们表明,有一个权衡之间的投影的维数和复合功能在一个给定的频谱图的数量。VAE和SVM组合的准确率在65%到90%之间,具体取决于给定输入中的特征数量。最后,我们展示了原型系统健康诊断网络框架,集成了评估模型。该系统目前正在ASTRON天文台进行测试。
2020-05-27 astro-ph.IM
Astro2020 APC White Paper: Astronomy should be in the clouds
由亚马逊、谷歌和微软等商业供应商提供的商品云计算已经在许多领域彻底改变了计算。随着LSST、DKIST和WFIRST等新型大数据公共访问天文设施的出现,存在将这些任务与云计算平台相结合的真正机会,并从根本上改变天文数据的收集、处理、存档和管理方式。以跨任务、协调一致的方式进行这些改变,可以在人员、数据收集和管理、存档、算法和软件开发以及最重要的科学方面提供前所未有的规模经济。
2019-07-15 astro-ph.IM
IAU WG, Data-driven Astronomy Education and Public Outreach,current status and working plans
IAU跨委员会B2-C1-C2工作组数据驱动天文学教育和公众推广(DAEPO)于2017年4月正式启动。随着许多大型科学天文项目的发展,例如CTA,DESI,EUCLID,FAST,GAIA,JWST,LAMOST,LSST,SDSS,SKA和大规模模拟,天文学已经成为大数据科学。天文数据不仅是科学研究的必要资源,也是非常宝贵的教育和公众宣传资源,特别是在互联网和云计算时代。IAU WG数据驱动的天文学教育和公众推广活动在IAU B分部举办(设施、技术和数据科学)委员会B2(数据和文件),与C1委员会联合举办(天文学教育和发展),委员会C2(与公众交流天文学),天文学发展办公室(OAD),天文学推广办公室(OAO)和其他几个非IAU社区,包括IVOA教育兴趣小组、美国天文学会全球望远镜咨询委员会、Zooniverse项目和国际天文馆协会。该工作组的主要目标是:作为一个论坛,讨论天文数据在EPO中的价值,数据驱动EPO的优势和好处,以及数据驱动EPO面临的挑战;为数据驱动EPO提供指南,课程,数据资源,工具和电子基础设施;提供数据驱动EPO的最佳实践。本文介绍了该课题的研究背景、研究现状和今后的工作计划。有关工作组的更多信息,请访问:http://daepo.china-vo.org/
2018-01-16 astro-ph.IM
High Dimensional Beam Inference II: Inference of a Perturbed HERA Beam from Simulated Visibility Data
本文提出一种完全解析的贝叶斯推断框架,利用稀疏 Fourier-Bessel 基从干涉可见度数据低成本推断受扰动的 HERA 波束,实验证明在天空模型完美时可成功恢复波束,并建议联合建模天空与波束的不确定性。
2025-09-15 astro-ph.IM
Investing for Discovery and Sustainability in Astronomy in the 2020s
随着下一个十年的临近,美国天文学界再次评估其未来十年在地面和太空的投资重点。本报告旨在帮助NOAO规划2020年天文学和天体物理学十年调查,回顾了上一次十年调查(Astro 2010)的结果;描述了2018年NOAO社区规划研讨会“NOAO社区在2020年代对科学的需求”中出现的主题;并基于上述内容,为即将到来的审查提供了想法。我们发现,根据过去几十年的经验,对小规模到大规模的举措进行平衡的投资对可持续的未来至关重要。虽然大型设施是保证产生令人信服的科学和发现的“价值”投资,但较小的设施是“成长股”,可能会带来最大的科学爆炸,有时会带来巨大的回报。对数据密集型任务的投资也给社会带来了超越科学的好处。通过培训能够利用数据科学技能解决公共或私营部门问题的科学家,天文学可以为社会提供有价值的服务,为数据能力的劳动力做出贡献。
2019-01-24 astro-ph.IM
Machine Learning in Astronomy: a practical overview
天文学正在经历数据规模和复杂性的快速增长。这种变化促进了数据驱动科学的发展,使其成为常见模型驱动数据分析范式的有用伙伴,天文学家开发自动工具来挖掘数据集并从中提取新信息。近年来,机器学习算法在天文学家中越来越受欢迎,现在被用于各种各样的任务。鉴于这些发展,以及与之相关的承诺和挑战,IAC冬季学校2018年专注于天文学中的大数据,特别强调机器学习和深度学习技术。本文档总结了在学校期间提出的监督和无监督学习算法的主题,并提供了将这些工具应用于天文数据集的实用信息。在本文档中,我将介绍监督机器学习的基本主题,包括输入数据集的选择和预处理、评估方法以及三种流行的监督学习算法:支持向量机、随机森林和浅层人工神经网络。我的主要重点是无监督机器学习算法,用于执行聚类分析,降维,可视化和离群值检测。无监督学习算法对科学研究特别重要,因为它们可以用于从现有数据集中提取新知识,并可以促进新发现。
2019-04-15 astro-ph.IM
Bayesian and Machine Learning Methods in the Big Data era for astronomical imaging
阿塔卡马大型毫米/亚毫米阵列计划进行电子升级,将提供前所未有的深度和高分辨率观测。更宽的视野是可能的,随之而来的图像重建的成本。必须寻找和测试图像处理中常用应用的替代方案。先进的图像重建方法对于满足操作目的所需的数据要求至关重要。采用了天体统计学和天体信息学技术。有证据表明,这些应用于合成成像的跨学科研究领域满足了大数据的挑战,并有潜力在射电天文学和天体物理学中实现新的科学发现。
2022-10-04 astro-ph.IM
The VO: A powerful tool for global astronomy
自2000年初成立以来,作为许多国家和国际项目合作开发的虚拟天文台(VO)已成为发现和传播全球天文信息的主要因素。IVOA一直在协调世界各地的所有这些努力,以确保一个共同的VO框架,使世界各地的天文学资源(数据和软件)能够透明地访问和互操作。VO并不是所有天文数据管理挑战的神奇解决方案,但它确实在许多领域带来了有用的解决方案,这一事实证明了VO接口广泛存在于全球天文学主要数据中心和项目中。天文学数据中心一直在其现有数据服务之上构建虚拟组织服务,以提高与其他符合虚拟组织标准的数据资源的互操作性,从而利用虚拟组织应用程序的持续和不断发展。VO的应用使多仪器和多波长科学,天文学的一个困难和富有成效的部分,变得更加容易。最近,几个主要的新天文学项目直接采用VO标准来构建其数据管理基础设施,从而产生了VO内置档案。从一开始就采用VO框架带来了双重好处,即不需要重新发明轮子,并从一开始就确保与其他天文学VO资源的互操作性。一些IVOA标准也开始被行星科学等邻近学科使用。VO还有很多工作要做,特别是应对即将到来的大数据挑战,以及如何为新的数据分析范式找到可互操作的解决方案,使软件接近数据并运行。
2018-03-20 astro-ph.IM
Performance of the Segment Anything Model in Various RFI/Events Detection in Radio Astronomy
本文评估了SAM及其优化版HQ-SAM在射电天文学RFI检测和太阳射电暴识别中的性能,发现其泛化能力强,在宽带RFI和II/III型射电暴检测上表现优异,有望成为射电天文事件检测的有力工具。
2024-12-06 astro-ph.IM
Big Data analytics and Cognitive Computing: future opportunities for Astronomical research
孤独的天文学家带着光学望远镜和照相底片的日子已经一去不复返了:2025年的天文学将不仅是多波长的,而且是多信使的,并由巨大的数据集和匹配的数据速率主导。列出数十亿物体详细属性的目录本身就需要一种新的工业规模的科学发现方法,需要先进数据分析的最新技术和第一代认知计算系统的早期参与。天文学家有机会成为这些新技术和方法的早期采用者:其影响可能是深远的,对该领域的快速发展非常有益。SETI研究等领域可能会受益于不依赖于人类偏见和先入之见的认知智能。
2014-06-26 astro-ph.IM
Data Driven Discovery in Astrophysics
我们回顾了数据密集型天文学的现状、方法和一些突出的数据分析挑战。天文学处于“大数据”科学的前沿,数据量和数据速率呈指数级增长,复杂性不断增加,现在进入Petascale政权。来自地面和太空的望远镜和天文台,覆盖了整个波长范围,通过处理管道将数据输入专用档案,在那里可以访问它们进行科学分析。大多数大型档案通过虚拟天文台框架连接,该框架提供互操作性标准和服务,有效地构成了全球天文学数据网格。在这种过剩的数据中进行发现需要应用新的机器学习工具。我们描述了这种应用程序的一些最近的例子。
2014-11-01 astro-ph.IM
An Hierarchical Approach to Big Data
越来越多的天文数据需要实用的数据探索,访问和可视化方法。HiPS(Hierarchical Progressive Survey)是一种基于HEALPix的方案,它可以实现从单个像素到整个天空的天文数据的多分辨率方法。我们强调已采取的决策和方法,使该计划成为一个实用的解决方案,用于管理大量的异构数据。该系统的早期实施者已经形成了一个HiPS节点网络,目前有大约250个不同的数据集,并为重要数据集提供了多个镜像实现。这种分层方法可以适用于以不同的方式暴露大数据。我们描述了如何易于实施,和本地定制的Aladin Lite嵌入式HiPS可视化一直是促进HiPS合作的关键。
2016-11-04 astro-ph.IM
A hybrid architecture for astronomical computing
随着一批大型科学仪器的建设和投入使用,天文学已经进入了大数据时代。大数据处理的新方法和基础设施已经成为许多天文学家的新需求。云计算、Map/Reduce、Hadoop、Spark等许多新技术近年来如雨后春笋般涌现。相对于高性能计算(HPC),数据是这些新技术的核心。因此,一个新的计算架构基础设施是必要的,它可以由HPC和大数据处理共享。本文以中国虚拟天文台天文云项目为背景,对混合计算平台进行了优化设计。其中包括硬件体系结构、集群管理、作业和资源调度。
2018-01-19 astro-ph.IM cs.DC
Learn from every mistake! Hierarchical information combination in astronomy
在处理和分析调查数据的过程中,现在普遍存在的一个问题是,当我们需要为某些步骤选择方法时,我们有太多的选择。替代方法通常在不同的数据区域失败或表现出色,并且具有各种优点和缺点,因此希望将所有方法的优点结合起来,同时抑制缺点。我们建议使用两级层次的学习者。它的第一级包括在已知集合的第一部分上训练和应用可能的基本方法。在第二层,我们将所有基本方法的输出概率分布馈送给在剩余已知对象上训练的第二个学习器。以变星分类和测光红移估计为例,证明了层次组合能够实现平均型组合方法的总体改进,修正了所有基础方法中存在的系统性,易于训练和应用,是天文学“大数据”时代一种很有前途的工具。
2017-02-15 astro-ph.IM
Offline and online reconstruction for radio interferometric imaging
射电天文学正在过渡到一个大数据时代,因为新一代的射电干涉(RI)望远镜,如平方公里阵列(SKA),将获得大量的数据。在这篇文章中,我们回顾了最近提出的方法来解决成像的大数据场景中的RI望远镜获得的原始vibrium的不适定逆问题。我们专注于最近提出的在线重建方法[4]以及它产生的数据存储要求和计算成本的可观节省。
2020-04-08 astro-ph.IM
Joint analysis constraints on the physics of the first galaxies with low frequency radio astronomy data
本研究利用机器学习技术联合SARAS3与HERA的21厘米射电数据,首次实现全天平均与功率谱实验的协同分析,收紧了对第一代星系天体物理参数的约束。
2023-12-18 astro-ph.CO astro-ph.IM
Foreword to the Focus Issue on Machine Learning in Astronomy and Astrophysics
天文观测已经通过新一代望远镜产生了大量无法手动分析的数据。下一代望远镜,如大型综合巡天望远镜和平方公里阵列,计划在本十年和下一个十年投入使用,将使数据量增加许多数量级。空间、时间和光谱分辨率的提高为数据背后的物理过程提供了一个强大的放大镜,但同时也产生了前所未有的复杂性,难以用于知识提取。因此,必须开发机器智能,特别是机器学习(ML),适合处理将收集的天文数据的数量和种类,并能够基于数据回答科学问题。天文数据表现出与“大数据”相关的常见挑战,例如巨大的体积,高维,丢失或高度扭曲的观测。此外,天文学数据可能显示出连续的观测空白、极低的信噪比以及需要区分真正的缺失数据和由于上限而未检测到的数据)。数据生产背后有严格的物理定律,这些定律可以被吸收到ML机制中,以改进一般现成的最先进的方法。面对这些挑战,只有通过天体信息学的新学科才能取得重大进展:不同学科的共生,如ML,概率建模,天文学和天体物理学,统计学,分布式计算和自然计算。这篇社论总结了即将出现的PASP关于天文学和天体物理学中机器学习的焦点问题的内容(来自6大洲15个国家的69位作者的贡献)。
2019-06-19 astro-ph.IM
Radio data archives round table
随着SKA先导和探路者行动的全面展开,射电和(亚)毫米天文学正在进入超级大数据时代。最大的问题是如何使(亚)毫米和无线电数据可供天文学界使用,最好使用FAIR(可找到,可访问,可互操作和可重复使用;威尔金森等人2016)原则。全球范围内已经在进行大量努力:ALMA、LOFAR、MWA、NRAO和ASKAP等设施已经以“科学就绪”产品的形式公布了它们的许多成像数据,SKA区域中心正在组建之中,国际射电天文学联合会内部已经启动了一个射电天文学兴趣小组。此外,非成像数据,如定时,脉冲星或波束形成数据,也需要提供给社区。本次BoF旨在将所有对此主题感兴趣的人聚集在一个虚拟的桌子上,听取并讨论以下问题:公开可见性和科学就绪数据的努力状况如何?什么已经存在,也许已经被传统天文台使用了几十年?还缺什么?接下来我们要去哪里?
2020-12-22 astro-ph.IM
Astronomia ex machina: a history, primer, and outlook on neural networks in astronomy
University of Hertfordshire(赫特福德大学)
本文回顾了神经网络在天文学中从多层感知器到生成式深度学习的三次发展浪潮,并展望第四次浪潮,主张天文学界协作开发开源、经天文应用微调的类GPT基础模型,以充分利用海量多模态天文数据推动前沿研究。
2023-05-12 astro-ph.IM cs.LG
Science Opportunities and Challenges Associated with SKA Big Data
即将到来的平方公里阵列(SKA)射电望远镜将成为最大的天文观测设施,预计将在自然科学的主要领域带来革命性的变化。这些革命性的变化有助于我们回答有关宇宙起源、生命、宇宙磁场、引力的本质等基本问题,并帮助我们寻找地外文明。SKA前所未有的强大功能,其特点是极高的灵敏度,宽视场,超快的测量速度和超高的时间,空间,频率分辨率,这确保了SKA将在未来的射电天文学中处于领先地位;这将伴随着大量的EB级观测数据。SKA级数据的传输、存储、读取、写入、计算、管理和归档以及SKA科学产品的发布对信息通信技术(ICT)领域提出了严峻的挑战。中国SKA科学团队将与信息、通信和计算机行业合作,共同应对SKA大数据带来的挑战,不仅促进重大原创性科学发现,而且将所获得的技术成果应用于刺激国民经济。
2019-01-23 astro-ph.IM
ESASky : A Science-Driven Discovery Portal for Space-Based Astronomy Missions
在“大数据”时代,随着web 2.0技术的出现,ESASky(http:sky.esa.int)旨在提供一种现代化的可视化方式,以获取天文科学准备就绪的数据产品和元数据。该应用程序的主要目标是简化科学界与过去几十年来从最重要的天文学任务中收集的不断增长的数据量之间的互动。ESASky的概念是为更传统的以表格为导向的天文数据利用提供补充科学应用,允许采用更自然和直观的方法,并能够在整个电磁波谱上探索天文物体。为了实现这一目标,ESASky为越来越多的任务和调查提供了一组天文数据的多波长接口,旨在成为在不同能量范围内执行视觉分析和交叉匹配的单点入口。大量的努力已经投入到一个用户友好的,响应式图形用户界面(GUI)的设计,通过定义和优化的算法背后提供的每个视觉功能。在这方面的贡献,我们详细介绍了设计和解决方案,在发展过程中出现的技术挑战。我们介绍了最新版本的ESASky中实现的数据服务和功能(v2.1),包括一个任务规划工具,以支持目前的詹姆斯韦伯空间望远镜(JWST)规划,搜索太阳系天体观测的可能性(行星、彗星和卫星),SAO/NASA天体物理数据系统(ADS)发布系统在ESASky GUI中的整合,以及检索在天空的特定区域内可用的元数据和数据产品。
2018-11-26 astro-ph.IM
The Data Big Bang and the Expanding Digital Universe: High-Dimensional, Complex and Massive Data Sets in an Inflationary Epoch
针对天文领域因仪器和巡天发展产生的高维复杂海量数据难以用传统方法分析的问题,本文概述了其他学科的相关技术概念,旨在推动天文界掌握新方法,搭建跨学科研究桥梁。
2010-03-03 astro-ph.IM
Computational Astrophysics, Data Science & AI/ML in Astronomy: A Perspective from Indian Community
本文从印度天文学与天体物理学社群出发,分析 HPC、大数据和 AI/ML 的关键作用,并提出建立国家计算资源框架以支持高影响力研究。
2025-01-07 astro-ph.IM
Novelty Detection on Radio Astronomy Data using Signatures
The Alan Turing Institute(艾伦·图灵研究所);University of Oxford(牛津大学);University of Cambridge(剑桥大学);Institute for Advanced Study(高等研究院)
本研究提出半监督框架SigNova,结合签名变换、马氏距离新奇性评分与Pysegments分割算法检测流式数据中的射频干扰,在MWA、HERA等数据上验证了其优于经典加窗技术的检测效果。
2024-03-12 astro-ph.IM cs.LG
The Benefits of the Virtual Observatory to Underserved Communities
本研究介绍了由IVOA推动的虚拟天文台(VO)生态系统,阐述其通过FAIR数据原则和开放科学机制为服务不足群体提供平等天文数据访问权的作用,并介绍了相关教育合作与新群体参与VO科研、教育的路径。
2024-12-10 astro-ph.IM
Applications of AI in Astronomy
California Institute of Technology(加州理工学院);Heidelberg Institute for Theoretical Studies(海德堡理论研究所);University of California, Irvine(加州大学尔湾分校)
我们对机器学习(ML)和其他人工智能方法在天文学、天体物理学和宇宙学中的应用进行了简要的、不可避免的不完整概述。天文学进入了大数据时代,在20世纪90年代初进行了第一次数字巡天,并产生了Terascale数据集,这需要自动化许多数据处理和分析任务,例如恒星-星系分离,数百个维度的数十亿特征向量。随着天气巡天和时域天文学的兴起,数据呈指数级增长,由此产生的Petascale数据流以及对实时处理,分类和决策的需求。各种各样的分类和聚类方法已被应用于这些任务,这仍然是一个非常活跃的研究领域。在过去的十年中,我们看到天文学文献呈指数级增长,涉及各种ML/AI应用,其复杂性和复杂性不断增加。ML和AI现在是天文学工具包的标准部分。随着数据复杂性的不断增加,我们预计会有进一步的进步,从而实现人类与人工智能的协作发现。
2022-12-03 astro-ph.IM cs.AI cs.LG
Imaging SKA-Scale data in three different computing environments
我们目前的结果,我们的调查选择的计算平台的成像管道在智利项目,超深HI探路者的平方公里阵列的时代。智利将当前的计算基础设施推向了极限,了解如何从这个项目中交付图像正在澄清SKA的科学数据处理要求。我们测试了三个平台:一个中等规模的集群、一个大规模的高性能计算(HPC)系统和亚马逊网络服务(AWS)云计算平台。我们已经使用了完善的数据减少和性能测量工具,以调查这些平台的行为,为现实生活中的射电天文学数据减少的复杂访问模式。所有这些平台都有优点和缺点,系统工具使我们能够以定量的方式识别和评估它们。通过这些测试,我们能够在HPC平台和云计算平台上完成成像管道处理,为射电天文学领域迎接SKA时代的大数据挑战铺平了道路。我们讨论的影响,所有类似的项目将不得不考虑,在性能和成本,提出建议,规划射电天文成像工作流程。
2015-11-02 astro-ph.IM
Virtual Reality and Immersive Collaborative Environments: the New Frontier for Big Data Visualisation
位于开普敦大学的IDIA可视化实验室正在探索使用虚拟现实技术来可视化和分析天文数据。目前正在开发的iDaVIE软件套件可以从体积数据立方体和稀疏多维目录中读取数据,并将其呈现在一个房间级的沉浸式环境中,允许用户直观地查看,导航并与三维特征进行交互。本文将重点介绍该软件如何从常见的天文数据格式导入并处理信息以加载到Unity游戏引擎中。它还将描述用户当前可用的工具以及为无缝使用而进行的各种性能优化。天文学家的应用程序将被审查,除了我们计划在未来的版本中包括的功能。
2021-03-26 astro-ph.GA astro-ph.IM
The statistics of radio frequency interference propagating from long distances to the Murchison Radio-astronomy Observatory
BIGHORNS是一种总功率辐射计,用于识别低频率(70-300 MHz)全天空平均无线电频谱中再电离时期的信号。2014年10月,带有圆锥形对数螺旋天线的系统部署在Murchison射电天文台(MRO),并从那时起一直在收集数据。该系统一直在监测平方公里阵列低频部分未来场址的射频干扰环境。我们分析了近两年的数据(2014年10月至2016年8月),以寻找由于对流层管道和反射(流星轨迹或飞机)而导致的FM和数字电视频段RFI长距离传播事件。我们提出了近两年来在数字电视波段观测到的对流层管道事件的统计数据,显示了季节性变化。我们还提出了一个系统,使用高层大气数据(温度,湿度和压力作为高度的函数)从所有站在西澳大利亚州计算修改后的折射率和对流层管道事件的预测。初步试验表明,该系统在预测对流层管道事件(即使可用的高层大气数据量有限)方面也是非常有用的。
2017-04-29 astro-ph.IM physics.ao-ph
New Robotic Telescope: The big eye to observe the transient Universe
Instituto de Astrofísica de Canarias(加那利天体物理研究所);University of La Laguna(拉各纳大学);Astrophysics Research Institute, Liverpool John Moores University(利物浦约翰摩尔斯大学天体物理研究所);Instituto Universitario de Ciencias y Tecnologías Espaciales de Asturias (ICTEA)(阿斯图里亚斯宇宙科学与技术大学研究所);Department of Prospecting and Exploitation of Mines, University of Oviedo(奥维耶多大学矿产勘探与开发系)
新型机器人望远镜项目旨在通过先进光学系统和快速响应机制,成为时域天文学领域的领先设施。
2026-03-04 astro-ph.IM
Big Science with a nUV-MidIR Rapid-Response 1.3m telescope at L2
时域天体物理学(TDA)是天文学的基础,已成为当前和预计(2020年代)天体物理学的主要组成部分。虽然很多都来自于通量和颜色的时间测量,但真正的物理学来自光谱学。随着LSST在2022年上线,TDA作为其原始驱动程序之一,瞬态和新型变量的洪水将是真正的天文数字。随着多波长目标EM调查和多信使(例如LIGO国际和先进的ICECUBE),以及全天和全时X射线成像仪的可能性,新的瞬变和变量的发现将淹没地面和太空的望远镜,这只是为了多波段成像而没有光谱学。在本白皮书中,我们简要总结了几个长期存在的主要科学目标,这些目标可以通过空间TDA成像和光谱(近紫外到中红外)实现。我们提供了一个简单的描述,这些可以实现与时域光谱观测站(TSO),一个探针级任务的概念,ELT在地面上和旗舰任务在太空中不能实现自己的。
2019-03-19 astro-ph.IM
Advanced Astroinformatics for Variable Star Classification
本计画概述变星分类演算法之完整发展。随着天文学中大数据的出现,专业天文学家面临着如何管理大量数据的问题,以及如何研究这些海量信息以提高我们对宇宙的理解。虽然我们的重点将是基于光变曲线数据和相关信息开发用于识别变星类型的机器学习方法,但这项工作的目标之一是承认,真正的机器学习方法的开发必须不仅包括对服务的研究(功能,优化方法),而是研究我们如何理解服务(性能分析)。一个完整的开发到终端的系统开发策略是作为以下单独的开发(模拟,训练,特征提取,检测,分类和性能分析)。我们建议,在即将到来的下一代大型望远镜(如LSST)大数据时代使用的完整机器学习策略必须考虑这种类型的设计集成。
2020-08-31 astro-ph.IM
Astronomical Surveys and Big Data
本文综述了近年来全天空和大区域天文巡天及其从γ射线到射电的整个电磁波谱范围的星表数据,如γ射线的Fermi-GLAST和INTEGRAL,X射线的ROSAT、XMM和Chandra,紫外的GALEX,SDSS和几个POSS I和II星表(APM,MAPS,USNO,GSC)在光学范围内,2 MASS在近红外,WISE和AKARI IRC在和平号,IRAS和AKARI FIS在远红外,NVSS和FIRST在无线电和许多其他,以及最重要的调查提供光学图像(DSS I和II,SDSS等),自行(Tycho,USNO,Gaia),可变性(GCVS,NSVS,ASAS,Catalina,Pan-STARRS)和光谱数据(FBS,SBS,Case,HQS,HES,SDSS,CALIFA,GAMA)。全面了解整个波长范围的覆盖范围和各种调查之间的比较:星系红移调查,类星体/活动星系核,无线电,银河系结构,和暗能量调查。天文学已经进入大数据时代。天体物理虚拟天文台和计算天体物理在使用和分析大数据以获得新发现方面发挥着重要作用。
2015-11-23 astro-ph.GA astro-ph.IM
Africanus I. Scalable, distributed and efficient radio data processing with Dask-MS and Codex Africanus
针对新型射电干涉仪大数据处理中的性能、灵活性与开发便捷性权衡问题,本文提出基于开源格式和 Dask 的框架,并介绍 Dask-MS 与 Codex Africanus 两个 Python 库,实现分布式高效处理。
2024-12-17 astro-ph.IM
Towards an Astronomical Science Platform: Experiences and Lessons Learned from Chinese Virtual Observatory
在大数据天文学时代,下一代望远镜和大型巡天仪可以产生TB甚至PB级别的数据集。由于其庞大的数据量,这些天文数据集非常难以使用个人计算机或小型集群进行传输和分析。为了提供更好的数据访问,数据中心现在通常提供在线科学平台,使分析接近数据。中国虚拟天文台(China-VO)是国际虚拟天文台联盟的成员项目之一,致力于提供一个研究和教育环境,使全球分布的天文学档案易于查找,访问和互操作。在这项研究中,我们总结了在中国VO进行的工作的亮点,以及在天文数据的全生命周期管理过程中吸取的经验和教训。最后,我们讨论了天文科学平台面临的挑战和未来的发展趋势。
2020-05-21 astro-ph.IM
Commons at the Intersection of Peer Production, Citizen Science, and Big Data: Galaxy Zoo
知识共享的研究框架适用于一个共同治理的情况下,在现代天文学的研究接地。银河动物园的案例是至少三种不同的当代现象的一个主要例子。首先,银河动物园是一个全球性的公民科学项目,其中招募了志愿者非科学家通过互联网参与大规模数据分析。其次,银河动物园是一个非常成功的同行生产的例子,有时通俗地称为众包,通过这种方式,数据由大量匿名和匿名的贡献者收集,提供和/或分析,以集中协调或管理企业。第三,银河动物园是数据密集型科学的一个非常明显的例子,有时被称为电子科学或大数据科学,科学研究人员通过现代传感和成像技术开发方法来处理大量的数字数据。本章通过知识共享框架综合了这三种观点。
2014-09-15 astro-ph.GA astro-ph.IM
Intermediate Palomar Transient Factory: Realtime Image Subtraction Pipeline
实时数据处理的快速周转管道在发现和允许对年轻超新星和现代时域调查中快速演变的瞬变进行后续观测方面发挥着重要作用。在本文中,我们提出了实时图像减法流水线在中间Palomar瞬态工厂。通过使用高性能计算、高效的数据库和机器学习算法,该管道能够在拍摄图像的十分钟内可靠地提供瞬时候选。我们在使用高性能计算资源处理天文学大数据方面的经验,为不久的将来处理来自大规模时域设施的数据提供了开拓者。
2016-08-02 astro-ph.IM
Piggybacking astronomical hazard investigations on scientific Big Data missions
本文评估依托VST/OmegaCAM巡天与Euclid任务等科学大数据项目开展近地天体等天文灾害研究的可行性,概述硬件、数据与信息系统并给出初步结果。
2024-03-03 astro-ph.EP astro-ph.IM
Principles of High-Dimensional Data Visualization in Astronomy
天文学研究人员通常认为分析和可视化是独立的任务。然而,在高维数据集的情况下,交互式探索性数据可视化可以提供比数据处理和统计分析之后的方法更多的洞察力,而不是伴随着可视化。本文试图绘制走向“链接视图”系统的路线,在该系统中,当研究人员选择、突出显示或以其他方式操作多个开放视图之一时,高维数据集的多个视图会实时更新。例如,假设研究人员正在查看模拟或观察数据的3D体积可视化,并同时查看数据集属性的统计显示(例如温度与速度的x-y图或涡度直方图)。然后,想象一下,当研究人员在这些显示中的任何一个中选择一组有趣的点时,相同的点在所有其他开放显示中成为突出显示的子集。选择可以是图形的或算法的,并且它们可以被组合和保存。对于表格(ASCII)数据,这种分析长期以来一直是可能的,尽管它在天文学中没有得到充分的使用。对于天文学和其他几个“高维”领域来说,更大的问题是需要允许在链接视图环境中完全集成图像和数据立方体的系统。该论文总结了其历史并对现状进行了分析,并建议将合作开发的开源模块化软件作为创建一个可用于天体物理研究的不断发展、灵活、高维、链接视图可视化环境的一种方式。
2012-05-21 astro-ph.GA astro-ph.IM physics.comp-ph
Data Deluge in Astrophysics: Photometric Redshifts as a Template Use Case
天文学已经进入大数据时代,基于机器学习的方法在各种天文应用中得到了广泛的应用。最近利用这一新方法的出版物数量大幅增加就证明了这一点。然而,机器学习方法的使用仍然远非微不足道,许多问题仍然需要解决。使用测光红移的评估作为一个案例研究,我们概述了主要问题和一些正在进行的努力来解决这些问题。
2018-07-16 astro-ph.IM
Polarisation-Inclusive Spiking Neural Networks for Real-Time RFI Detection in Modern Radio Telescopes
International Centre for Radio Astronomy Research(国际射电天文研究中心);The School of Physics, Mathematics and Computing, The University of Western Australia(西澳大利亚大学物理、数学与计算学院)
本文提出一种极化包容型脉冲神经网络,用于提高现代射电望远镜实时射频干扰检测的精度和能效。
2025-08-26 astro-ph.IM cs.NE
Online radio interferometric imaging: assimilating and discarding visibilities on arrival
新一代射电干涉(RI)望远镜,如平方公里阵列(SKA),将获得大量数据,并将射电天文学过渡到大数据时代。由RI望远镜获得的原始vibrium成像的不适定逆问题将变得更加具有计算挑战性,特别是在数据存储和计算成本方面。当前的RI成像方法,例如CLEAN、其变体和压缩传感方法(稀疏正则化),已经产生了出色的重建保真度。然而,在某些情况下,将这些方法扩展到大数据仍然很困难,如果不是不可能的话。RI成像中的所有最先进的方法都缺乏处理数据流的能力,因为它们是在数据观察阶段获得的。这种方法被称为在线处理方法。我们提出了一个在线稀疏正则化方法RI成像。图像重建与数据采集同时进行,其中观察到的病毒在到达时被同化到重建图像中,然后被丢弃。由于Vibrations是在线处理的,因此良好的重建比标准(离线)方法快得多,后者在数据采集阶段完成之前无法开始。此外,在线方法提供了额外的计算节省,最重要的是,大大降低了数据存储要求。从理论上讲,重建的图像是相同的保真度恢复的等效离线的方法,在实践中,非常相似的重建保真度实现。我们预计在线成像技术,如本文所提出的,将是至关重要的缩放RI成像新兴的射电天文学大数据时代。
2017-12-12 astro-ph.IM cs.IT math.IT
The demise of the filesystem and multi level service architecture
许多天文学数据中心仍然使用文件系统。工业继续发展;计算基础设施的当前实践是使用对象存储而不是POSIX文件系统来实现大数据可伸缩性。这为我们提供了处理和归档系统底层软件的可移植性和重用的机会,但也为当前数据中心的遗留实现带来了问题。
2019-07-31 astro-ph.IM cs.DB
The Overlooked Potential of Generalized Linear Models in Astronomy - I: Binomial Regression
揭示天文数据中隐藏的模式往往是基础科学突破的途径;同时,随着人们寻求更微妙的关系,科学探究的复杂性也在增加。当代的数据分析问题往往回避经典的统计技术的能力,建议使用尖端的统计方法。从这个角度来看,天文学家忽略了一整套用于探索性数据分析和稳健回归的统计技术,即所谓的广义线性模型(GLM)。在本文中-在一系列旨在说明这些方法在天文学应用的权力的第一-我们阐明了潜在的一类特殊的GLM处理二进制/二项式数据,所谓的logit和probit回归技术,从极大似然和贝叶斯的角度来看。作为一个例子,我们提出了使用这些GLM探索恒星形成活动和金属富集在原始的minihaloes从宇宙水文模拟,包括详细的化学,气体物理和恒星反馈的条件。我们预测,对于一个黑暗的迷你晕与金属丰度$\approx 1.3 \times 10^{-4} Z_{\bigodot}$,气体分子分数的$1.2 \times 10^{-2}$的增加,增加恒星形成的概率发生的一个因素的75%。最后,我们强调使用接收器工作特性曲线作为二进制分类器的诊断,并最终使用这些来证明竞争力的预测性能GLM对流行的人工神经网络技术。
2015-04-04 astro-ph.CO astro-ph.IM
The Overlooked Potential of Generalized Linear Models in Astronomy-II: Gamma regression and photometric redshifts
机器学习技术为天文学提供了一个宝贵的工具箱,用于解决所谓的大数据问题。它们提供了一种对特定系统进行准确预测的方法,而无需事先了解数据的底层物理过程。在这篇文章以及本系列的配套文章中,我们提出了广义线性模型(GLM)集,作为解决一般天文学问题的快速替代方法,包括与机器学习范式相关的问题。为了证明GLM的适用性,固有的积极和连续的物理观测,我们探索他们的使用估计的光度红移的星系从他们的多波长测光。使用伽马家庭与日志链接功能,我们预测红移的PHoto-z精度测试模拟目录和一个子集的斯隆数字巡天从数据发布10。我们获得的拟合结果表明,模拟数据的灾难性离群值率低至~1%,真实数据的灾难性离群值率低至~2%。此外,我们可以很容易地在普通台式计算机上在几秒钟内获得这种精度,并且训练集只包含数千个星系。我们的软件以Python、R开发的用户友好型软件包的形式公开发布,并通过交互式网络应用程序(https://cosmoparticsinitiative.shinyapps.io/CosmoPhotoz)发布。该软件允许用户将一组GLM应用于他们自己的光度计目录,并以最小的努力生成出版质量图。通过促进他们的易用性,天文学界,这一系列的论文旨在使GLM广为人知,并鼓励他们在未来的大型项目,如大型综合巡天望远镜的实施。
2018-12-30 astro-ph.CO astro-ph.IM
Vaex: Big Data exploration in the era of Gaia
我们提出了一个名为vaex的新Python库,用于处理非常大的表格数据集,例如Gaia目录,N体模拟或任何其他可以按行和列结构化的常规数据集。在规则的N维网格上快速计算统计数据,允许每秒10亿行的分析和可视化。我们使用流算法,内存映射文件和零内存复制策略来允许探索大于内存的数据集,例如核外算法。Vaex允许使用普通Python表达式和numpy函数(的子集)进行任意(数学)转换,这些函数在需要时以小块方式进行延迟评估和计算,从而避免浪费RAM。布尔表达式(也是惰性计算的)可以用来探索数据的子集,我们称之为选择。Vaex使用与Pandas类似的DataFrame API,这是一个非常流行的库,有助于从Pandas迁移。可视化是vaex的关键点之一,可以使用1d(例如直方图),2d(例如带有颜色映射的2d直方图)和3d(使用体绘制)中的分箱统计来完成。Vaex分为几个包:vaex-core用于计算部分,vaex-viz用于主要基于matplotlib的可视化,vaex-jupyter用于基于IPyWidgets的笔记本/实验室中的可视化,vaex-server用于(可选)客户端-服务器通信,vaex-ui用于基于Qt的接口,vaex-hdf5用于基于hdf5的内存映射存储,vaex-astro用于天文学相关选择,转换和内存映射(基于列)适合存储。Vaex是开源的,可以在Github上根…
2018-01-08 astro-ph.IM
La Serena School for Data Science: multidisciplinary hands-on education in the era of big data
拉塞雷纳数据科学学院是一个多学科的计划,到目前为止有六个版本和一个恒定的格式:在10-14天期间,一组$\sim$ 30名学生(15名来自美国,15名来自智利,1-3名来自加勒比国家)和$\sim$ 9名教师聚集在拉塞雷纳(智利)完成数据科学的强化课程,重点是天文学和生物科学的应用。学生们参加理论和实践课程,并且,从很早开始,他们就与他们的“导师”(来自教师)一起在多学科小组中研究实际的数据科学问题。学校的SOC和教育部制定了学生选拔指南,以最大限度地提高多样性。该计划是非常成功的,因为高超额认购率(因子5-8)和过多的积极的证词证明,不仅从校友,而且从现任和前任教师与他们保持联系。
2021-01-13 astro-ph.GA astro-ph.IM astro-ph.SR
From Stars to Patients: Lessons from Space Science and Astrophysics for Health Care Informatics
California Institute of Technology(加州理工学院);TupleHealth;Jet Propulsion Laboratory(喷气推进实验室)
本文探讨利用天文学和航天科学中的大数据经验解决医疗信息学中的挑战,通过虚拟天文台和NCI EDRN项目举例,展示跨领域工具共享能提升医疗数据处理效率。
2015-12-16 astro-ph.IM cs.SY eess.SY
Using the Big Ideas in Cosmology to Teach College Students
我们对宇宙理解的最新进展彻底改变了我们对宇宙结构、组成和演化的看法。然而,这些新的想法并不一定被用来改善天文学入门学生的教学。在这个项目中,我们对学生对宇宙学思想的理解进行了研究,以便开发有效的基于网络的工具来教授现代宇宙学的重要基本概念。这些工具旨在用于大学入门级。我们的研究使用了几种工具,包括在多个机构进行的开放式和多项选择调查,以及在一个机构的访谈和课程文物,以确定学生对现代宇宙学思想的了解,他们娱乐的常见误解和误解,以及什么样的材料可以最有效地克服学生学习这些材料的困难。这些数据被用来创建一套交互式的、基于网络的教程,这些教程使用真实数据来阐述宇宙学的主要观点。让学生接触真实数据是帮助学生克服某些误解的有力手段。学生掌握科学概念和推理过程,通过互动任务,预测和反思,实验和模型构建,导致我们目前对宇宙的理解。
2013-03-07 astro-ph.IM physics.ed-ph physics.pop-ph