Computer Vision Methods for Frequency Analysis of RFI in Radio Astronomy Data
West Virginia University(西弗吉尼亚大学)
本文提出一种无需先验知识的射电干扰检测方法,通过STFT和图像分割算法提升弱宽带干扰抑制效果。
2026-05-06 astro-ph.IM
Cross-disciplinary research in astronomy
在遥远的过去,天文学经常与宗教交织在一起,形成一个统一的宇宙。随着科学成为一种独特的文化事业,天文学与其他领域发生了各种丰富的互动。数理统计在19世纪受到天文学问题的刺激,今天天文统计学是一个小但不断发展的跨学科领域,它推进了解决天文数据分析挑战的方法。在整个20世纪,天文学与物理学紧密结合,天文学和天体物理学现在深深地交织在一起。物理化学在识别银河系中的分子方面发挥了重要作用,天体化学现在是一个活跃的子领域,可以深入了解宇宙分子过程。与工程学(仪器)、地球科学(行星研究)、计算机科学(天体信息学)和生命科学(天体生物学)的跨学科互动也越来越重要。跨学科研究对于天文学的重大发现和提高天文学研究质量都至关重要。在培养青年天文学家方面应更加灵活,并提供足够的资金来培养这些领域。
2010-04-23 astro-ph.IM
The Cavendish Computors: The women working in scientific computing for Radio Astronomy
第二次世界大战后几十年剑桥大学卡文迪什实验室射电天文学科学计算历史的讨论。这涵盖了射电天文学孔径合成技术的发展,以及如何使用该大学数学实验室开发的新计算技术:EDSAC,EDSAC 2和TITAN计算机。它着眼于射电天文学小组所取得的科学进步,特别是与稳态假设相矛盾的证据的收集。它还研究了允许建造更大望远镜的软件进步:快速傅立叶变换(FFT)和去网格算法。在整个过程中,妇女的贡献被发现,从他们为科学出版物绘制的图表,通过编程和操作计算机,到撰写科学论文。
2022-07-21 astro-ph.IM cs.CY physics.hist-ph
Six Maxims of Statistical Acumen for Astronomical Data Analysis
本文针对天文数据日益复杂化的趋势,提出六条统计箴言并结合天文学实例,旨在通过常规反思提升天文数据分析与科学发现的质量。
2024-10-04 astro-ph.IM
Characterizing the All-Sky Brightness of Satellite Mega-Constellations and the Impact on Astronomy Research
测量光度亮度是表征卫星的常用工具。然而,确定卫星巨型星座的特征及其对天文学研究的影响需要一种新的办法和方法。对单个卫星的几次测量不足以充分描述一个巨型星座并评估其对现代天文系统的影响。表征卫星巨型星座的亮度需要一个全面的测量程序,对整个关键变量集进行大量观测。利用Pomenis,一个小口径和宽视场的天体照相机,我们开发了一个自动观测程序来测量巨型星座卫星的光度亮度。我们报告了Starlink,visored-Starlink,Starlink DarkSat和OneWeb卫星的7631个单独观测结果和亮度统计分布。
2021-10-20 astro-ph.IM
Scientific Computing in the Cavendish Laboratory and the pioneering women Computors
研究了1949年至1975年卡文迪什实验室在射电天文学和X射线晶体学研究中计算机的使用和妇女的作用。我们记录了这些年来发表的数百篇论文中的计算机使用时间、用途以及使用者的例子。EDSAC、EDSAC 2和TITAN计算机的使用在这段时间内大大增加,它们用于各种各样的应用。提到计算机操作员和程序员的大多数是妇女,天文学和晶体学分别为57%和62%,而女性论文作者的比例非常小,分别为4%和13%。
2022-07-22 astro-ph.IM cs.CY
Statistical Methods for Astronomy
本文概述了数理统计的概念,概率论的元素,假设检验和点估计用于分析现代天文数据。最小二乘,极大似然,和贝叶斯方法统计推断处理。当统计量的分布函数未知时,恢复方法,特别是自举法,提供了有价值的程序。考虑了模型选择和拟合优度的几种方法。简要讨论了与天文学研究有关的应用统计学:在对天文学总体或过程的行为知之甚少时使用的非参数方法;用核密度估计和非参数回归进行数据平滑;多变量问题的无监督聚类和监督分类程序;光变曲线的时域和频域时间序列分析;以及空间统计,用于解释低维点的空间分布。介绍了两种类型的资源:统计学各个领域的约40种推荐文本和专著,以及用于统计分析的公共领域R软件系统。再加上它的\sim 3500(和不断增长的)附加CRAN包,R实现了一个连贯的高级语言与先进的图形统计过程的广泛。
2012-05-09 astro-ph.IM stat.AP
ASTROMLSKIT: A New Statistical Machine Learning Toolkit: A Platform for Data Analytics in Astronomy
PESIT South Campus(PESIT南校区);Jain University(贾因大学)
天文信息学是天文学领域的一个新的影响领域,有时也被称为最后的前沿,几位天体物理学家,统计学家和计算机科学家共同努力解决各种数据密集型天文学问题。数据量的指数级增长和数据复杂性的增加了现有挑战的难题。天文学中的经典问题由于大量复杂数据的积累而变得更加复杂,使得分类和解释的任务变得非常费力。数据中噪声的存在使得分析和解释更加困难。机器学习算法和数据分析技术为这些问题带来的挑战提供了合适的平台。讨论了恒星-星系分离、系外行星的探测和分类、超新星的分类等一系列开放性问题。本文的重点是各种机器学习算法,如K近邻(KNN),随机森林(RF),决策树(DT),支持向量机(SVM),朴素贝叶斯和线性判别分析(LDA)在分析和推理的天文决策理论问题的适用性和有效性。机器学习算法,集成到ASTROMLSKIT,在工作过程中开发的工具包,已被用来分析HabCat数据和超新星数据。已发现准确性相当不错。
2015-04-29 astro-ph.IM cs.CE cs.LG
Statistical Machine Learning for Astronomy -- A Textbook
The Ohio State University(俄亥俄州立大学)
该书以贝叶斯推断为核心框架,系统讲解面向天文学的统计机器学习方法,从基础理论到现代算法逐层推进,强调原理与严谨性,助力天文研究中的科学推断。
2026-11-03 astro-ph.IM cs.LG stat.AP
Trend Filtering -- I. A Modern Statistical Tool for Time-Domain Astronomy and Astronomical Spectroscopy
对具有不同平滑度的一维信号进行去噪的问题在时域天文学和天文光谱学中是普遍存在的。例如,在时域中,天体可能表现出平滑变化的强度,偶尔会被突然的下降或尖峰打断。同样,在光谱设置中,无噪声光谱通常包含与局部较高频率分量(诸如发射峰和吸收线)混合的相对平滑的间隔。在这项工作中,我们提出了趋势滤波,一个现代的非参数统计工具,产生显着的改善,在这个广泛的问题空间去噪$spatially$ $heterogeneous$信号。当潜在信号在空间上是不均匀的时,趋势滤波优于任何作为观测数据的线性组合的统计估计-包括核平滑器、LOESS、平滑样条、高斯过程回归和许多其他流行的方法。此外,可以经由专门的凸优化算法以实际和可扩展的效率计算趋势过滤估计,例如,在几分钟内处理$n\gtrsim10^7$的样本大小。在一个配套文件中,我们明确地证明了广泛的效用的趋势过滤观测天文学进行了一系列不同的光谱和时域分析。
2020-01-10 astro-ph.CO astro-ph.EP astro-ph.IM
Time domain methods for X-ray and gamma-ray astronomy
本文探讨了用于低计数率X射线和伽马射线源时间域变异性检测与表征的多种参数与非参数统计方法,并指出R环境中可用工具填补了高能数据分析软件的不足。
2022-03-17 astro-ph.HE astro-ph.IM
An integrative approach based on probabilistic modelling and statistical inference for morpho-statistical characterization of astronomical data
本文介绍了在天文学和宇宙学中的几个应用,解决了使用概率建模和统计推断。
2015-10-19 astro-ph.IM stat.AP
Quantification of Unknown Unknowns in Astronomy and Physics
不确定性量化是天文学和物理学的一个关键部分;科学研究人员试图尽可能好地在他们的数据中建模统计和系统的不确定性,通常使用贝叶斯框架。然后,可能会对所得到的不确定性量化做出决定--也许是是否相信某个理论,或者是否采取某些行动。然而,众所周知,大多数统计声明应该根据上下文进行;即使某些模型在非常高的置信度下被排除在外,研究人员通常也会意识到可能存在未被考虑的系统学,因此通常需要多个独立来源的确认,才能真正接受任何新的结果。在本文中,我们比较了两种方法在天文学文献中,试图量化这些“未知的未知数”-特别是试图产生现实的厚尾后的参数估计问题,占可能存在的非常大的未知影响。我们在一系列案例研究中测试了这些方法,并讨论了在存在恶意干扰的情况下,这些方法的鲁棒性。
2022-07-28 astro-ph.IM stat.ME
Discussion on "Techniques for Massive-Data Machine Learning in Astronomy" by A. Gray
National Research Council Herzberg Institute of Astrophysics(加拿大国家研究委员会赫兹伯格天体物理研究所)
天文学越来越多地遇到两个基本事实:(1)该领域面临着从极其庞大,复杂和高维数据集中提取有用信息的任务;(2)天体信息学和天体统计学技术是使其易于处理的唯一途径,并为分析带来所需的复杂程度。因此,以扩展到这些数据集的方式提供这些工具的方法不仅是可取的,而且是至关重要的。所需的专业知识不仅涉及天文学,还涉及计算机科学、统计学和信息学。作为一名计算机科学家和机器学习专家,Alex的专业知识和大量旨在扩展到大型数据集的快速算法的贡献非常受欢迎。我们集中在这个讨论中提出的问题,这些算法的实际应用,以真正的天文数据集。也就是说,需要什么来最大限度地发挥他们的潜力,以提高科学回报?这不是一项微不足道的任务。虽然需要计算和统计专业知识,但天文学专业知识也是如此。先例表明,迄今为止,在产生天文科学成果方面最富有成效的合作(例如斯隆数字巡天),要么涉及计算机科学和/或统计学方面的天文学家专家,要么涉及与这些领域的专家密切长期合作的天文学家。这并不意味着天文学家提供了最重要的投入,而只是说他们的投入对于指导最富有成效的方向的努力和应对真实数据提出的问题至关重要。因此,这些工具必须能够被那些主要专业知识不是计算或统计的人使用和理解,即使他们可能对这些领域有相当广泛的知识。
2011-10-26 astro-ph.CO astro-ph.IM cs.LG
Computer Modeling of Irregularly Spaced Signals. Statistical Properties of the Wavelet Approximation Using a Compact Weight Function
讨论了改进的小波分析算法。它是基于加权最小二乘近似。相反的高斯作为一个权重函数,我们建议使用一个紧凑的权重函数。使用统计正确的表达式与一个额外的权重函数的最小二乘近似的精度估计进行了比较,使用自助法得到的。
2019-12-30 astro-ph.IM
Significance for signal changes in gamma-ray astronomy
我们描述了一个简单的修改经常调用的方法,用于确定在计数过程中观察到的伽马射线信号的统计意义。提出了一个简单的标准,以决定是否一组测量的光子数登记在源和背景区域是一致的假设一个恒定的源活动。该方法特别适合于对观测到的γ射线信号的稳定性进行即时评估。它独立于曝光估计,从而减少了系统不准确性的影响,并适当地解释了探测到的光子数量的波动。几个例子证明了该方法的实用性。我们讨论了目前的伽玛射线望远镜(如1ES 0229+200,1ES 1959+650和PG 1553+113)在非常高的能量下探测到的伽玛射线发射体的强度变化。一些测量值被量化为具有较大统计意义的例外。
2015-09-01 astro-ph.HE astro-ph.IM
How have astronomers cited other fields in the last decade?
我们提出了一个天文学论文和其他13个学科之间的引用模式分析,在过去十年的arXiv数据库($2010 - 2020$)的基础上。我们分析了12,600篇天文学论文,引用了超过14,531篇天文学以外的独特出版物。两个惊人的模式被解开。首先,广义相对论最近成为天文学家引用最多的领域,这一趋势与引力波的发现高度相关。其次,计算机科学和统计学领域的参考论文快速增长,自2015年以来首次出现了15倍的显著增长。这些发现证实了涉及天文学,统计学和计算机科学的跨学科努力在最近的天文学研究中的关键作用。
2022-05-27 astro-ph.IM physics.soc-ph
Exploiting Non-Linear Structure in Astronomical Data for Improved Statistical Inference
天体物理学中的许多估计问题是高度复杂的,具有高维、非标准数据对象(例如,图像、光谱、整个分布等)不适合正式的统计分析。为了利用这些数据并做出准确的推断,将数据转换为更简单、更简化的形式至关重要。谱核方法是一种非线性数据变换方法,它能有效地揭示可观测数据的基本几何结构。在这里,我们专注于一个特定的技术:扩散图或更一般的光谱连接分析(SCA)。我们给出了天文学应用的例子;例如,光度红移估计,恒星形成历史估计的原型选择,超新星光变曲线分类。我们概述了一些仍然存在的计算和统计挑战,我们讨论了一些有前途的未来天文学和数据挖掘的方向。
2011-11-03 astro-ph.IM stat.AP
Preliminary Report on Mantis Shrimp: a Multi-Survey Computer Vision Photometric Redshift Model
Pacific Northwest National Laboratory(西北太平洋国家实验室);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);National Center for Supercomputing Applications(国家超级计算应用中心);Illinois Center for Advanced Studies of the Universe(伊利诺伊大学宇宙高级研究中心)
本报告介绍螳螂虾模型,一种融合紫外、光学和红外多巡天图像的计算机视觉光度红移估计方法,利用可解释性诊断分析CNN行为,并结合星系物理知识解释模型决策。
2024-02-05 astro-ph.IM cs.AI
Maximum-likelihood regression with systematic errors for astronomy and the physical sciences: I. Methodology and goodness-of-fit statistic of Poisson data
本文提出一种准最大似然方法,将系统误差纳入泊松数据的回归分析,推广Cash统计量以处理过离散,并通过模拟和真实天文数据验证,为整数计数数据分析提供通用框架。
2024-07-16 astro-ph.IM stat.ME
Significance in Gamma Ray Astronomy with Systematic Errors
研究了系统误差对用Li和Ma方法计算$γ$射线信号统计显著性的影响。本文导出了一个简单的判据,用以判断在存在系统误差的情况下,Li和Ma方法是否适用。讨论了一种替代方法的情况下,系统误差太大的应用程序的原始李和马的方法。当系统误差可以忽略时,这种替代方法简化为Li和Ma方法。最后,它表明,系统误差的考虑将是重要的,在许多分析的数据从计划切伦科夫望远镜阵列。
2015-02-11 astro-ph.HE astro-ph.IM
The Simulated Sky: Stellarium for Cultural Astronomy Research
几个世纪以来,星空丰富的夜间环境只能通过模拟工具来模拟,如纸平面图,地图集,地球仪和数字表。20世纪的沉浸式天空模拟器,光学机械天文馆,提供了新的方式来表现和教授天空,但高昂的建设和运营成本意味着它们还没有普及。然而,近几十年来,在个人电脑上运行的“桌面天文馆程序”获得了广泛的关注。现代化身是非常通用的工具,主要针对业余天文学家社区和跨学科研究中的知识转移。文化天文学家也重视他们模拟过去时代或其他文化的天空的可能性。通过本文,我们提供了开源项目Stellarium的扩展介绍,该项目在过去几年中已经丰富了类似商业替代品中未发现的文化天文学研究能力。
2021-03-29 astro-ph.IM cs.GR
Big Universe, Big Data: Machine Learning and Image Analysis for Astronomy
University of Copenhagen(哥本哈根大学)
天体物理学和宇宙学有着丰富的数据。大口径望远镜上的宽域数码相机的出现,使得人们对天空的观测变得更加雄心勃勃。十年前的整个调查的数据量现在可以在一个晚上获得,并且通常需要实时分析。因此,现代天文学需要大数据技术,特别是需要高效的机器学习和图像分析算法。但可扩展性并不是唯一的挑战:天文学应用涉及当前机器学习研究的几个问题,例如从有偏见的数据中学习以及处理标签和测量噪声。我们认为,这使得天文学成为计算机科学研究的一个伟大领域,因为它推动了数据分析的边界。在下文中,我们将为数据科学家介绍这个令人兴奋的应用领域。我们将专注于示范性的结果,讨论主要的挑战,并强调一些最近的方法学进步,在机器学习和图像分析天文应用程序触发。
2017-04-15 astro-ph.IM cs.CV stat.ML
Statistical characterization and classification of astronomical transients with Machine Learning in the era of the Vera C. Rubin Observatory
天文学已经进入了多信使数据时代,机器学习在各种各样的应用中得到了广泛的应用。利用天气(多波段和多历元)调查,如LSST(空间和时间的传统调查),需要广泛使用自动方法进行数据处理和解释。由于数据量在PB级,对时间关键信息的识别已经超出了人类操作员的能力,科学家群体在多维域中管理如此大量的数据非常困难。这项工作的重点是分析与基于机器学习的方法相关的关键方面,以可变的天空源分类,特别关注各种类型的超新星,这是时域天文学最重要的主题之一,因为它们在宇宙学中发挥着至关重要的作用。这项工作是基于对模拟数据进行的测试活动。通过比较几种机器学习算法对从光变曲线中提取的统计参数的性能来进行分类。这些结果表明,与数据质量及其参数空间特性有关的一些关键方面,为未来十年的实际数据开发准备了处理机器。
2020-09-30 astro-ph.IM
The Overlooked Potential of Generalized Linear Models in Astronomy - I: Binomial Regression
揭示天文数据中隐藏的模式往往是基础科学突破的途径;同时,随着人们寻求更微妙的关系,科学探究的复杂性也在增加。当代的数据分析问题往往回避经典的统计技术的能力,建议使用尖端的统计方法。从这个角度来看,天文学家忽略了一整套用于探索性数据分析和稳健回归的统计技术,即所谓的广义线性模型(GLM)。在本文中-在一系列旨在说明这些方法在天文学应用的权力的第一-我们阐明了潜在的一类特殊的GLM处理二进制/二项式数据,所谓的logit和probit回归技术,从极大似然和贝叶斯的角度来看。作为一个例子,我们提出了使用这些GLM探索恒星形成活动和金属富集在原始的minihaloes从宇宙水文模拟,包括详细的化学,气体物理和恒星反馈的条件。我们预测,对于一个黑暗的迷你晕与金属丰度$\approx 1.3 \times 10^{-4} Z_{\bigodot}$,气体分子分数的$1.2 \times 10^{-2}$的增加,增加恒星形成的概率发生的一个因素的75%。最后,我们强调使用接收器工作特性曲线作为二进制分类器的诊断,并最终使用这些来证明竞争力的预测性能GLM对流行的人工神经网络技术。
2015-04-04 astro-ph.CO astro-ph.IM
Commentary on Bayesian coincidence assessment (cross-matching)
本文是对Tamas Budavari的演讲“关于天文学中的统计交叉识别”的特邀评论,该演讲于2011年6月在宾夕法尼亚州立大学举行的现代天文学V会议的统计挑战。我首先简要回顾了以前在天文学中对方向和时空巧合进行概率(贝叶斯)评估的工作(例如,跨多个目录的对象的交叉匹配或交叉识别)。然后,我讨论了一个开放的问题,在最近的创新工作Budavari和他的同事在大规模概率交叉识别:如何分配先验概率,在分析中发挥重要作用。一个简单的玩具问题,我展示了贝叶斯多层次建模(分层贝叶斯)提供了一个原则性的框架,证明和推广实用的经验法则,已成功地使用Budavari的团队分配先验。
2012-06-19 astro-ph.IM stat.AP
Optical turbulence forecast for ground-based astronomy and free-space optical communication
INAF - Osservatorio Astrofisico di Arcetri(意大利国家天体物理研究所-阿切特里天文台)
本文综述了团队在大气光学湍流预报方面的最新研究,涵盖方法精度、效率及机器学习贡献,并拓展至自由空间光通信应用。
2025-10-19 astro-ph.IM physics.ao-ph
A Statistical Primer on Classical Period-Finding Techniques in Astronomy
本文从统计学视角研究天文学中PDM、AOV、SL和LS四种经典周期查找技术的性质,验证其原假设下的理论分布,强调多重检验对FAP界限的影响,发现它们对异方差噪声鲁棒,且AOV检测正确周期的能力最强。
2024-03-20 astro-ph.EP astro-ph.IM stat.AP
What Understanding Means in AI-Laden Astronomy
The Ohio State University(俄亥俄州立大学)
本文探讨人工智能在天文学中的整合,指出哲学工具对理解AI的角色、数据假设和科学发现的重要性,提出'实践理解'框架以平衡AI与人类认知。
2026-04-26 astro-ph.IM cs.AI cs.LG
The Overlooked Potential of Generalized Linear Models in Astronomy-II: Gamma regression and photometric redshifts
机器学习技术为天文学提供了一个宝贵的工具箱,用于解决所谓的大数据问题。它们提供了一种对特定系统进行准确预测的方法,而无需事先了解数据的底层物理过程。在这篇文章以及本系列的配套文章中,我们提出了广义线性模型(GLM)集,作为解决一般天文学问题的快速替代方法,包括与机器学习范式相关的问题。为了证明GLM的适用性,固有的积极和连续的物理观测,我们探索他们的使用估计的光度红移的星系从他们的多波长测光。使用伽马家庭与日志链接功能,我们预测红移的PHoto-z精度测试模拟目录和一个子集的斯隆数字巡天从数据发布10。我们获得的拟合结果表明,模拟数据的灾难性离群值率低至~1%,真实数据的灾难性离群值率低至~2%。此外,我们可以很容易地在普通台式计算机上在几秒钟内获得这种精度,并且训练集只包含数千个星系。我们的软件以Python、R开发的用户友好型软件包的形式公开发布,并通过交互式网络应用程序(https://cosmoparticsinitiative.shinyapps.io/CosmoPhotoz)发布。该软件允许用户将一组GLM应用于他们自己的光度计目录,并以最小的努力生成出版质量图。通过促进他们的易用性,天文学界,这一系列的论文旨在使GLM广为人知,并鼓励他们在未来的大型项目,如大型综合巡天望远镜的实施。
2018-12-30 astro-ph.CO astro-ph.IM
Calibrating gravitational-wave search algorithms with conformal prediction
本文引入机器学习中的共形预测框架来校准引力波搜索算法的阈值,提供无分布假设的统计严谨误差验证,并展示其结合多个独立搜索构建元流水线及在模拟数据挑战中的应用效果。
2024-06-06 astro-ph.HE astro-ph.IM gr-qc