Data Deluge in Astrophysics: Photometric Redshifts as a Template Use Case
天文学已经进入大数据时代,基于机器学习的方法在各种天文应用中得到了广泛的应用。最近利用这一新方法的出版物数量大幅增加就证明了这一点。然而,机器学习方法的使用仍然远非微不足道,许多问题仍然需要解决。使用测光红移的评估作为一个案例研究,我们概述了主要问题和一些正在进行的努力来解决这些问题。
2018-07-16 astro-ph.IM
VisIVOWeb: A WWW Environment for Large-Scale Astrophysical Visualization
本文介绍了一个新开发的Web门户网站,称为VisIVOWeb的目的是提供强大的可视化工具,在Web 2.0的背景下,大规模的数据集的天体物理社区。VisIVOWeb可以有效地处理现代数值模拟和真实世界的观察。我们的开源软件基于成熟的可视化工具包,提供高质量的渲染算法。讨论了底层数据管理以及支持的可视化接口和电影制作功能。我们介绍了VisIVOWeb网络,一个强大的网络定制的Web门户网站的视觉发现,和VisIVOWeb连接,一个轻量级的和高效的解决方案,无缝连接到现有的天体物理档案。通过遵守IVOA标准,为确保与现有工具的互操作性做出了重大努力。最后,我们总结了我们的工作,并讨论了未来的发展。
2011-07-15 astro-ph.IM
From Stars to Patients: Lessons from Space Science and Astrophysics for Health Care Informatics
California Institute of Technology(加州理工学院);TupleHealth;Jet Propulsion Laboratory(喷气推进实验室)
本文探讨利用天文学和航天科学中的大数据经验解决医疗信息学中的挑战,通过虚拟天文台和NCI EDRN项目举例,展示跨领域工具共享能提升医疗数据处理效率。
2015-12-16 astro-ph.IM cs.SY eess.SY
Bayesian and Machine Learning Methods in the Big Data era for astronomical imaging
阿塔卡马大型毫米/亚毫米阵列计划进行电子升级,将提供前所未有的深度和高分辨率观测。更宽的视野是可能的,随之而来的图像重建的成本。必须寻找和测试图像处理中常用应用的替代方案。先进的图像重建方法对于满足操作目的所需的数据要求至关重要。采用了天体统计学和天体信息学技术。有证据表明,这些应用于合成成像的跨学科研究领域满足了大数据的挑战,并有潜力在射电天文学和天体物理学中实现新的科学发现。
2022-10-04 astro-ph.IM
A Command-line Cross-matching tool for modern astrophysical pipelines
在当前数据驱动的科学时代,对高效,可靠和可扩展的天文目录交叉匹配的需求变得更加迫切,数据的大小已迅速增加到PB级。C3(命令行目录交叉匹配)是一个多平台工具,旨在有效地交叉匹配来自现代天文调查的大量目录,通过使用多核并行处理范式确保高性能功能。该工具被设想为作为一个独立的命令行进程执行,或被纳入任何通用数据简化/分析管道,在参数配置、坐标和交叉匹配类型方面为最终用户提供最大的灵活性。在这项工作中,我们提出的架构和功能的工具。此外,由于该工具的模块化设计可以轻松定制特定的用例和要求,因此我们还提供了一个在FP 7项目ViaLactea中设计和使用的定制C3版本的示例,专用于交叉关联Hi-GAL团块与多波段紧凑源。
2016-11-25 astro-ph.IM
Astronomical Surveys and Big Data
本文综述了近年来全天空和大区域天文巡天及其从γ射线到射电的整个电磁波谱范围的星表数据,如γ射线的Fermi-GLAST和INTEGRAL,X射线的ROSAT、XMM和Chandra,紫外的GALEX,SDSS和几个POSS I和II星表(APM,MAPS,USNO,GSC)在光学范围内,2 MASS在近红外,WISE和AKARI IRC在和平号,IRAS和AKARI FIS在远红外,NVSS和FIRST在无线电和许多其他,以及最重要的调查提供光学图像(DSS I和II,SDSS等),自行(Tycho,USNO,Gaia),可变性(GCVS,NSVS,ASAS,Catalina,Pan-STARRS)和光谱数据(FBS,SBS,Case,HQS,HES,SDSS,CALIFA,GAMA)。全面了解整个波长范围的覆盖范围和各种调查之间的比较:星系红移调查,类星体/活动星系核,无线电,银河系结构,和暗能量调查。天文学已经进入大数据时代。天体物理虚拟天文台和计算天体物理在使用和分析大数据以获得新发现方面发挥着重要作用。
2015-11-23 astro-ph.GA astro-ph.IM
Big Science with a nUV-MidIR Rapid-Response 1.3m telescope at L2
时域天体物理学(TDA)是天文学的基础,已成为当前和预计(2020年代)天体物理学的主要组成部分。虽然很多都来自于通量和颜色的时间测量,但真正的物理学来自光谱学。随着LSST在2022年上线,TDA作为其原始驱动程序之一,瞬态和新型变量的洪水将是真正的天文数字。随着多波长目标EM调查和多信使(例如LIGO国际和先进的ICECUBE),以及全天和全时X射线成像仪的可能性,新的瞬变和变量的发现将淹没地面和太空的望远镜,这只是为了多波段成像而没有光谱学。在本白皮书中,我们简要总结了几个长期存在的主要科学目标,这些目标可以通过空间TDA成像和光谱(近紫外到中红外)实现。我们提供了一个简单的描述,这些可以实现与时域光谱观测站(TSO),一个探针级任务的概念,ELT在地面上和旗舰任务在太空中不能实现自己的。
2019-03-19 astro-ph.IM
Shape: A 3D Modeling Tool for Astrophysics
我们提出了一个灵活的交互式三维形态运动学建模应用天体物理。与其他系统相比,我们的应用程序减少了对物体形态重建所需的物理假设、数据类型和数量的限制。它是第一个公开可用的工具之一,应用交互式图形天体物理建模。该工具允许天体物理学家通过交互式定义3D结构元素来提供有关对象的先验知识。通过直接比较模型预测与观测数据,模型参数可以自动优化,以适应观测。该工具已成功用于一些天体物理研究项目。
2010-03-10 astro-ph.GA astro-ph.IM astro-ph.SR
Houdini for Astrophysical Visualization
在过去的十年中,计算和观测天体物理学的规模和复杂性的快速增长需要有效和直观的方法来检查和可视化大型数据集。在这里,我们讨论了一些新开发的工具,导入和处理天体物理数据的三维视觉效果软件,{ \it Houdini}。该软件被视觉效果艺术家广泛使用,但最近实现的Python API现在允许天文学家更容易地使用Houdini作为可视化工具。本文包括对功能、工作流程和各种示例可视化的描述。该项目网站www.ytini.com包含Houdini教程和Python脚本Bitbucket存储库的链接,旨在为科学受众简化导入和渲染天体物理数据的过程。
2017-01-06 astro-ph.IM
$C^{3}$ : A Command-line Catalogue Cross-matching tool for modern astrophysical survey data
在当前数据驱动的科学时代,需要数据分析技术必须快速发展以面对其维度已经增加到PB级的数据。特别是,作为现代天体物理学的基础上,多波长数据组织成大目录,这是至关重要的天文目录交叉匹配方法,强烈依赖于目录的大小,必须确保效率,可靠性和可扩展性。此外,多波段数据以不同的方式存档和简化,因此产生的目录可能在格式、分辨率、数据结构等方面彼此不同,因此需要交叉匹配特征的最高通用性。我们提出了$C^{3}$(命令行目录交叉匹配),一个多平台的应用程序,旨在有效地交叉匹配从现代调查的大规模目录。作为一个独立的命令行进程或通用数据简化/分析管道中的一个模块,它在可移植性、配置、坐标和交叉匹配类型方面提供了最大的灵活性,通过使用多核并行处理范例和天空分区算法确保了高性能。
2017-03-07 astro-ph.IM
Data Driven Discovery in Astrophysics
我们回顾了数据密集型天文学的现状、方法和一些突出的数据分析挑战。天文学处于“大数据”科学的前沿,数据量和数据速率呈指数级增长,复杂性不断增加,现在进入Petascale政权。来自地面和太空的望远镜和天文台,覆盖了整个波长范围,通过处理管道将数据输入专用档案,在那里可以访问它们进行科学分析。大多数大型档案通过虚拟天文台框架连接,该框架提供互操作性标准和服务,有效地构成了全球天文学数据网格。在这种过剩的数据中进行发现需要应用新的机器学习工具。我们描述了这种应用程序的一些最近的例子。
2014-11-01 astro-ph.IM
A Multi-Code Analysis Toolkit for Astrophysical Simulation Data
复杂的多物理场天体物理模拟分析提出了一系列独特且快速增长的挑战:可重复性,并行化以及数据大小和复杂性的大幅增加。为了应对这些挑战,为了开辟新的途径,多个仿真平台的用户之间的合作,我们提出yt(可在http://yt.enzotools.org/),一个开源的,社区开发的天体物理分析和可视化工具包。yt的分析和可视化是围绕物理相关的量,而不是天体物理模拟代码中固有的量。虽然最初设计用于处理Enzo的结构自适应网格细化(AMR)数据,但yt已扩展到使用多种不同的仿真方法和仿真代码,包括Orion,RAMSES和FLASH。我们报告其方法的阅读,处理和可视化数据,包括投影,多元体绘制,多维直方图,晕轮发现,光锥生成和拓扑连接的等值线识别。此外,我们还讨论了yt用于处理和可视化数据的底层算法,以及其用于并行化分析任务的机制。
2010-11-15 astro-ph.CO astro-ph.IM
Pickup and interference in particle astrophysics experiments: techniques and tools
拾波和干扰对信号的污染是物理实验中经常遇到的问题,抑制拾波和干扰需要花费大量的时间和精力。提出的技术,允许时域评估的缓解技术。本文提出了一种便于研究交流电力线瞬态过程而又不会对实验人员造成危险或损坏示波器的检波电路。该电路结构简单,成本低。该电路的输出可用于否决或识别干扰产生的事件,使得它们随后不包括在分析中。
2019-09-26 astro-ph.IM hep-ex physics.ins-det
ANTARES -- A Numerical Tool for Astrophysical RESearch -- With applications to solar granulation
我们讨论了ANTARES程序的总体设计,该程序用于模拟具有辐射转移的恒星流体动力学和一维、二维和三维的真实微观物理。然后,我们比较各种数值方法的质量。我们已经应用ANTARES,以获得高分辨率的模拟,我们描述和分析的太阳粒化。为了获得高分辨率,我们应用网格细化的区域主要由爆炸颗粒占据。由下沉气流产生并上升到颗粒边界附近的光球中的小直径(~100公里)的强而快速旋转的涡管演变,通常以弧形方式从下面进入光球。它们基本上有助于颗粒边界附近的湍流速度场。
2009-05-02 astro-ph.IM astro-ph.SR
BEANS - a software package for distributed Big Data analysis
BEANS软件是一种基于Web的,易于安装和维护的新工具,用于以分布式方式存储和分析大量数据。它提供了一个清晰的界面,用于查询、过滤、聚合和绘制来自任意数量数据集的数据。它的主要目的是简化存储,检查和发现所谓的大数据中的新关系的过程。BEANS软件的创建是对天文学界日益增长的需求的一种回应,需要一种多功能的工具来存储、分析和比较复杂的天体物理数值模拟与观测结果(例如用盖亚档案模拟银河系或星团)。然而,该软件是以通用形式构建的,它可以在任何其他研究领域或开源软件中使用。
2016-03-23 astro-ph.IM cs.MS
The CATS Service: an Astrophysical Research Tool
我们描述了CATS(天体物理目录支持系统)的现状,CATS是俄罗斯科学院特别天体物理观测站(SAO RAS)(http://www.example.com)维护的一个公共访问工具,允许搜索沿电磁波谱发现的数百个天体目录。cats.sao.ru我们的重点主要是从10 MHz到245 GHz观测到的射电连续源的目录,其次是射电和活动星,X射线双星,行星状星云,HII区,超新星遗迹,恒星,附近和射电星系,活动星系核和类星体等天体的目录。CATS还包括来自最大的非无线电波河外巡天的星表。2008年,CATS包含了来自400多个射电、红外、光学和X射线窗口目录的大约10 e9条记录,其中包括来自俄罗斯射电望远镜RATAN-600观测的大多数源目录。CATS通过不同的访问方式提供了几种搜索工具,例如通过网络界面和电子邮件。自1997年成立以来,CATS已经处理了大约10,000个请求。目前,CATS每天被外部用户使用约1500次,自1997年向公众开放以来,已收到约4000个选择和匹配任务的请求。
2009-01-24 astro-ph.CO astro-ph.IM
What can the programming language Rust do for astrophysics?
天体物理学界使用不同的工具来完成计算任务,如复杂系统模拟、辐射转移计算或大数据。编程语言如Fortran、C或C++通常出现在这些工具中,通常,语言的选择是基于性能的需要。但这是有代价的:安全。例如,一个常见的错误来源是对无效内存区域的访问,这会产生随机执行行为并影响结果的科学解释。2015年,Mozilla Research发布了名为Rust的新编程语言的第一个稳定版本。许多特性使这种新语言对科学界具有吸引力,它是开源的,在提供零成本抽象的同时保证内存安全。我们通过重新实现Mercury-T的基本部分来探索Rust用于天体物理学的优点和缺点,Mercury-T是一种模拟多行星系统的动力学和潮汐演化的Fortran代码。
2017-02-09 astro-ph.IM cs.PL
Astrophysics datamining in the classroom: Exploring real data with new software tools and robotic telescopes
在努力将一线互动天体物理学和天文学带到课堂的过程中,宇宙之手(HOU)使用一些最先进的地面和空间观测站获得的真实数据开发了一套练习和平台。这一努力的支柱是一个新的免费软件网络工具-这样一个可爱的软件天文学的基础上图像J(萨尔萨J)。它是学生友好的,专门为HOU项目开发的,目标是初中和高中。它允许学生展示,分析和探索专业获得的天文图像,同时学习引力动力学,运动学,核聚变,电磁学的概念。不断发展的练习和教程集正在完成与真实的(专业获得)数据下载和详细的教程。Salsa J平台工具的灵活性使学生和教师能够通过自己的观察来扩展练习。为HOU项目开发的软件被设计成一个多平台、多语言的课堂图像处理和分析体验。它的设计可以轻松实现新设施(扩展和插件),最小的现场维护和锻炼插件的灵活性。在这里,我们描述了一些关于天体物理学在课堂上最先进的练习,解决引力动力学的特定例子,目前在初中和高中的大多数科学课程中引入的概念。
2012-02-08 astro-ph.IM physics.ed-ph
Big Universe, Big Data: Machine Learning and Image Analysis for Astronomy
University of Copenhagen(哥本哈根大学)
天体物理学和宇宙学有着丰富的数据。大口径望远镜上的宽域数码相机的出现,使得人们对天空的观测变得更加雄心勃勃。十年前的整个调查的数据量现在可以在一个晚上获得,并且通常需要实时分析。因此,现代天文学需要大数据技术,特别是需要高效的机器学习和图像分析算法。但可扩展性并不是唯一的挑战:天文学应用涉及当前机器学习研究的几个问题,例如从有偏见的数据中学习以及处理标签和测量噪声。我们认为,这使得天文学成为计算机科学研究的一个伟大领域,因为它推动了数据分析的边界。在下文中,我们将为数据科学家介绍这个令人兴奋的应用领域。我们将专注于示范性的结果,讨论主要的挑战,并强调一些最近的方法学进步,在机器学习和图像分析天文应用程序触发。
2017-04-15 astro-ph.IM cs.CV stat.ML
TA-DA: a Tool for Astrophysical Data Analysis
我们提出了TA-DA,一个新的软件,旨在大大简化和改善恒星光度数据的分析与理论模型相比,并允许从多波段测光恒星参数的推导。它的灵活性使人们能够解决一些这样的问题:从恒星模型的插值,或恒星的物理参数集一般,在任意的过滤器或单位的合成测光计算;从观察到的颜色星等图的分析,以贝叶斯推导的恒星参数(和消光)的基础上多波段数据。TA-DA是一个预编译的基于IDL小部件的应用程序;它的图形用户界面使它非常用户友好。在本文中,我们描述了软件及其功能。
2012-10-05 astro-ph.GA astro-ph.IM astro-ph.SR
Databases and tools for nuclear astrophysics applications BRUSsels Nuclear LIBrary (BRUSLIB), Nuclear Astrophysics Compilation of REactions II (NACRE II) and Nuclear NETwork GENerator (NETGEN)
本文介绍了对BRUSLIB+NACRE天体物理学核数据包和基于网络的核网络生成器NETGEN的先前描述的更新。新版本的BRUSLIB包含了基于最新版本的M-S模型的各种核数据的最新预测。核质量,半径,自旋/宇称,变形,单粒子方案,物质密度,核能级密度,E1强度函数,裂变性质,和配分函数提供了所有核之间的质子和中子滴线在8<=Z<=110范围内,其评估是基于一个独特的微观模型,确保准确性,可靠性和可行性之间的良好的折衷。此外,这些不同的成分用于计算约100000个Hauser-Feshbach n-、p-、a-和γ-诱导的反应速率,基于反应代码TCHS。NACRE被NACRE II汇编所取代,其中包含15个带电粒子转移反应和19个带电粒子对质量数A < 16的稳定目标的辐射捕获。NACRE II的特点是包含了1999年NACRE出版后直到2011年的实验数据。此外,通过系统地使用潜在模型,改进了将现有数据外推到天体物理学相关的极低能量的工作。利率的不一致性也在此基础上进行评估。介绍了基于网络的工具NETGEN的最新版本。它以完整的文件形式包含新的BRUSLIB和NACRE II数据,以及新的基于实验的辐射中子俘获截面。新版本的BRUSLIB、NACRE II和NETGEN的电子版可在http://www.astro.ulb.ac.be/NuclearData上获得。核材料以扩展的表格…
2012-12-04 astro-ph.IM astro-ph.SR nucl-ex
Stereo pairs in Astrophysics
与其他科学领域相比,立体可视化很少用于天体物理出版物和演示文稿,例如,生物化学,几十年来它一直被认为是一种有价值的工具。我们提出的观点,立体对可以是一个有用的工具,为天体物理学社区在交流一个更真实的表示天体物理数据。在这里,我们回顾了立体视觉的主要理论方面,并提供了一个使用Python轻松创建立体对的教程。然后,我们描述了如何立体对提供了一种方法,将3D数据在2D出版物的标准期刊。我们说明了使用立体对一个概念和两个天体物理科学的例子:一个积分场光谱研究的超新星遗迹,和数值模拟的相对论活动星系核喷流。我们还使用这些例子来说明,立体对不仅仅是一种炫耀的方式来呈现数据,而是在出版物中科学结果的交流中的增强,因为它们为读者提供了多维数据的现实视图,无论是观测还是理论性质。鉴于3D技术在商业领域的不断扩展,我们主张在天体物理学出版物和演示文稿中增加使用立体对,作为迈向新的互动和多维出版方法的第一步。
2011-07-14 astro-ph.IM cs.GR
The Galactica database: an open, generic and versatile tool for the dissemination of simulation data in astrophysics
本文介绍了 Galactica 模拟数据库,一个基于 FAIR 原则的开放平台,通过分布式 Terminus 生态系统按需生成并发布天体物理数值模拟数据产品,助力科学界在百亿亿次时代的模型传播。
2024-11-13 astro-ph.IM cs.CE cs.DB