Estimation of Photometric Redshifts. II. Identification of Out-of-Distribution Data with Neural Networks
在这项研究中，我们提出了一个三阶段的训练方法的神经网络光度红移估计的星系和检测的分布（OOD）对象。我们的方法包括监督学习和无监督学习，这使得在训练网络时可以使用未标记（UL）数据进行OOD检测。使用UL数据，这是与真实世界数据最相似的数据集，确保了训练模型在实践中的可靠使用。我们定量评估模型性能的光度红移估计和OOD检测使用分布（ID）星系和标记OOD（LOOD）的样本，如恒星和类星体。我们的模型成功地产生了光度红移匹配的光谱红移的ID样本和识别以及LOOD对象超过98%的准确性。虽然定量评估与UL样品是不切实际的，由于缺乏标签和光谱红移，我们也发现，我们的模型成功地估计合理的光度红移ID类UL样品和过滤器OOD类UL对象。模型实现的代码可以在https://github.com/GooLee0123/MBRNN_OOD上获得。
2021-12-14 astro-ph.CO astro-ph.GA astro-ph.IM
Tests of Catastrophic Outlier Prediction in Empirical Photometric Redshift Estimation with Redshift Probability Distributions
我们目前的结果，使用单个星系的红移概率信息来自光度红移（photo-z）算法，SPIDERz，以确定潜在的灾难性离群光度红移测定。通过使用两个测试数据集组成的COSMOS多波段测光跨越一个广泛的红移范围（0<z<4）与可靠的光谱或其他红移测定相匹配，我们探索了一种新的方法的有效性，以标记潜在的灾难性离群值的分析，依赖于准确的光度红移。SPIDERz是一种用于photo-z分析的自定义支持向量机分类算法，除了离散的最可能的photo-z值外，还可以自然地输出每个星系的红移概率信息分布。通过应用一种分析技术与标记标准，以确定存在的概率分布特征的灾难性离群photo-z估计，如多个红移概率峰分离的大量红移距离，我们可以标记潜在的灾难性离群photo-z测定。我们发现，我们提出的方法可以正确地标记大部分（>50%）的灾难性异常星系，而只有标记一小部分（<5%）的总非异常星系，这取决于参数的选择。然而，被标记的非异常星系的比例随着红移和星等的变化而显着变化。我们研究了这种策略的性能，在光z测定使用一系列的标记参数值。这些结果可能是有用的利用光度红移在未来的大规模调查中，灾难性的异常值是特别有害的科学目标。
2019-11-06 astro-ph.CO astro-ph.GA astro-ph.IM
Photometric redshifts for quasars from WISE-PS1-STRM
三维宽视场星系巡天是宇宙学研究的基础。对于较高的红移（z > 1.0），星系太微弱，类星体仍然跟踪宇宙的大尺度结构。由于可用的望远镜时间限制光谱调查，光度测量方法是有效的估计许多类星体的红移。最近，机器学习方法在类星体光度红移方面越来越成功，然而，它们取决于训练集的分布。因此，严格估计可靠性至关重要。我们从WISE全天空和PS1 3 $π$ DR 2巡天的交叉匹配目录中提取了光学和红外测光数据。我们训练的XGBoost回归和人工神经网络的颜色指数和光谱红移之间的关系。我们近似的有效训练集覆盖率与K近邻算法。我们估计了2，879，298个类星体的可靠光度红移，这些类星体在特征空间中与训练集重叠。我们用一种独立的基于聚类的红移估计技术验证了所得到的红移。最终的目录是公开的。
2022-06-03 astro-ph.IM
Uncertain Photometric Redshifts with Deep Learning Methods
精确的测光红移估计是一个在天文学中具有根本重要性的主题，因为需要在不需要光谱分析的情况下有效地获得红移信息。我们提出了一种使用混合密度网络（MDN）和深度卷积网络（DCN）来确定精确的多模态photo-z概率密度函数（PDF）的方法。执行与随机森林（RF）的比较。
2017-03-06 astro-ph.IM
Photometric Redshifts with Copula Entropy
Hitachi China Research Laboratory（日立中国研究实验室）
本文提出利用Copula Entropy（CE）测量测光数据与红移的相关性以筛选特征，在SDSS quasar数据上验证表明该方法提升了测光红移精度且模型具可解释性。
2023-10-25 astro-ph.CO astro-ph.IM cs.LG
METAPHOR: Probability density estimation for machine learning based photometric redshifts
我们提出了METAPHOR（用于精确测光红移的机器学习估计工具），该方法能够提供通过经验技术估计的光度星系红移的可靠PDF。METAPHOR是一个模块化的工作流程，主要基于MLPQNA神经网络作为内部引擎来推导光度星系红移，但可以轻松地用任何其他方法来取代MLPQNA来预测photo-z及其PDF。我们在这里介绍了SDSS-DR 9星系工作流程的验证测试结果，还显示了用KNN和随机森林模型取代MLPQNA的方法的通用性。验证测试还包括与来自传统SED模板拟合方法（Le Phare）的PDF的比较。
2017-03-07 astro-ph.IM
Modelling multimodal photometric redshift regression with noisy observations
在这项工作中，我们试图扩大现有的光度红移回归模型从建模纯光度数据回到光谱本身。为此，我们开发了一种PCA，能够在降维框架中描述输入的不确定性（包括缺失值）。有了这个“光谱发生器”在手，我们能够在一个完全贝叶斯框架中处理红移回归问题，返回一个后验分布的红移。因此，这种方法允许以适当的方式接近多峰回归问题。此外，输入的幅度不确定性可以很自然地包括在内，最后，所提出的算法原则上允许在训练值之外进行预测，这使得它成为一个迷人的机会，用于检测高红移类星体。
2016-07-20 astro-ph.IM
Photometric redshift estimation based on data mining with PhotoRApToR
测光红移（photo-z）对于现代全色数字测量的科学利用至关重要。在本文中，我们提出了PhotoRApToR（测光研究应用红移）：一个基于Java/C++的桌面应用程序，能够解决非线性回归和多变量分类问题，特别是专门用于照片z估计。它嵌入了机器学习算法，即通过准牛顿学习规则训练的多层神经网络，以及专用于预处理和后处理数据的特殊工具。PhotoRApToR已在多个科学案例中成功测试。该应用程序可从DAME计划网站免费下载。
2015-01-26 astro-ph.IM
Photometric Redshift Estimation of BASS DR3 Quasars by Machine Learning
将BASS DR3星表与ALLWISE数据库进行关联，得到了光学和红外信息数据。SDSS类星体作为训练和测试样本，LAMOST类星体作为外部测试样本。我们提出了两种方案来构建红移估计模型XGBoost，CatBoost和随机森林。一种方案（即一步模型）是基于这三种算法建立的最优模型直接预测测光红移;另一种方案（即两步模型）是首先将数据分为低红移和高红移数据集，然后分别预测这两个数据集的测光红移。对于一步模型，比较了不同训练样本下这三种算法的测光红移估计性能，CatBoost优于XGBoost和Random forest。对于两步模型，比较了这三种算法在低红移和高红移子样本分类上的性能，CatBoost仍然表现出最好的性能。因此CatBoost被认为是两步模型中分类和回归的核心算法。与一步模型相比，两步模型在预测类星体的光度红移时是最优的，特别是对于高红移类星体。最后用这两个模型预测了BASDR3类星体候选者的光度红移。通过两步模型计算得到高红移类星体候选数为3938个（红移$\ge 3.5$）和121个（红移$\ge 4.5$）。预测结果将有助于类星体的研究和高红移类星体的后续观测。
2021-10-28 astro-ph.IM
Estimating the Photometric Redshifts of Galaxies and QSOs Using Regression Techniques in Machine Learning
测量星系、恒星和类星体等宇宙学源的距离在现代宇宙学中起着越来越重要的作用。获得光谱，然后计算红移作为距离指标，可以立即对这些物体进行分类。只要光谱观测对许多星系不可用，并且测量红移的过程对于大样本来说是耗时且不可行的，机器学习（ML）方法可以应用于从不同特征（包括光度颜色）确定星系的红移。本文利用斯隆数字巡天（SDSS）星表中的通量星等，开发了两种ML回归算法（决策树和随机森林），以颜色指数作为输入特征来估计红移。我们发现，随机森林算法产生的红移预测的最佳结果，它将进一步改善时，数据集被限制到一个子集与z $\le$ 2给出归一化的标准差$\overline{ΔZ}_{\text {norm}}=0.005$和标准差$σ_{Δz}=0.12$。这项工作显示了极大的潜力，使用ML方法来确定遥远的源的光度红移。
2022-01-12 astro-ph.CO astro-ph.GA astro-ph.IM
Measuring photometric redshifts using galaxy images and Deep Neural Networks
本文提出了一种利用各波段的全星系像来估算星系光度红移的新方法。这种方法借鉴了机器学习的最新技术和进步，特别是深度神经网络。我们将整个多波段星系图像传递到机器学习架构中，以获得与现有最佳标准机器学习技术竞争的红移估计。标准技术使用后处理的特征来估计红移，例如从星系图像中提取的幅度和颜色，并被用户认为是显着的。这种新方法将用户从光度红移估计管道中删除。然而，我们确实注意到，深度神经网络需要比标准机器学习架构多出许多数量级的计算资源。
2016-06-15 astro-ph.CO astro-ph.GA astro-ph.IM
Cooperative photometric redshift estimation
在现代星系巡天中，光度红移在从引力透镜和暗物质分布到星系演化的广泛研究中发挥着核心作用。使用来自Kilo Degree Survey（KiDS）第二次数据发布的约25，000个星系的数据集，我们用五种不同的方法获得光度红移：（i）随机森林，（ii）具有拟牛顿算法的多层感知器，（iii）具有基于Levenberg-Marquardt学习规则的优化网络的多层感知器，（iv）贝叶斯光度红移模型（或BPZ）和（v）经典的SED模板拟合程序（Le Phare）。我们展示了SED拟合技术如何提供有关星系光谱类型的有用信息，这些信息可用于提高机器学习方法约束系统误差的能力，并减少灾难性异常值的发生。我们使用这样的分类训练专门的回归估计，通过证明这种混合的方法，涉及SED拟合和机器学习在一个单一的协作框架，是能够提高整体预测精度的光度红移。
2017-01-27 astro-ph.IM
Photometric Redshift Analysis using Supervised Learning Algorithms and Deep Learning
我们提出了一个星系光度红移的斯隆数字巡天（SDSS）数据发布12目录。我们使用各种监督学习算法来计算红移光谱训练集上使用光度属性。本文分析了两个训练集。第一个训练集由995，498个红移高达$z \approx 0.8$的星系组成。在第一个训练集上，我们使用XGBoost算法实现了0.00501的成本函数和0.0707的均方根误差值。我们实现了2.1%的异常值率，并且86.81%、95.83%、97.90%的数据点分别位于平均值的一个、两个和三个标准差之内。第二个训练集由163，140个红移高达$z\approx0.2$的星系组成，并与Galaxy Zoo 2完整目录合并。我们还在卷积神经网络上进行了实验，以预测五种形态特征（平滑，特征/磁盘，星形，边缘，螺旋）。我们实现了0.117的均方根误差时，对一个看不见的数据集超过200个历元验证。来自银河动物园的形态特征，用光度特征训练，发现能不断提高光度红移的准确性。
2019-01-22 astro-ph.IM
Estimating Photometric Redshifts of Quasars via K-nearest Neighbor Approach Based on Large Survey Databases
本文利用Sloan数字巡天（SDSS）、UKIRT红外深空巡天（UKIDSS）和WISE（SDSS样本、SDSS-UKIDSS样本、SDSS-WISE样本和SDSS-UKIDSS-WISE样本）数据，采用一种名为kNN的惰性学习方法，对类星体的光度红移进行了估算。讨论了k值和不同输入模式对kNN性能的影响。当k与特定数据集的特定输入模式不同时，kNN达到最佳性能。最好的结果属于SDSS-UKIDSS-WISE样本。实验结果表明，一般情况下，从更多的波段，更多的信息，光度红移估计的性能更好的kNN。实验结果还表明，基于多波段数据的kNN算法可以有效地解决许多机器学习方法在测光红移估计中遇到的灾难性失败问题。通过比较各种方法对类星体光度红移的估计性能，基于KD树的kNN方法显示了其优越性，并具有最好的精度。
2013-05-22 astro-ph.IM
A New Strategy for Estimating Photometric Redshifts of Quasars
基于SDSS和SDSS-WISE类星体数据集，提出了两种估算类星体光度红移的方案。我们的方案是基于这样的想法，首先将样本分类成子样本的分类器，然后光度红移估计不同的子样本进行回归。采用随机森林作为分类器的核心算法，随机森林和kNN作为回归器的关键算法。根据红移分布的不同，将样本分为两个子样本和四个子样本。比较了基于不同样本、不同算法和不同方案的性能。实验结果表明，在\frac{|Δz|}{1+z_{i}} <0.1和\frac{|Δz|}{1+z_{i}} <0.2时，两种方案的测光红移估计精度和平均绝对误差都比原方案有不同程度的提高。在给定运行速度的情况下，kNN比随机森林更具有优势。随机森林的性能略好于或与kNN的性能相当。基于SDSS-WISE样本的精度无论是kNN还是随机森林都优于基于SDSS样本的精度。考虑了更多波段的信息，有助于提高测光红移估计的精度。显然，我们的测光红移估计策略是适用的，并可能适用于其他数据集或其他类型的对象。仅就\frac{|Δz|}{1+z_{i}} <0.3的百分比而言，测光红移估计还有很大的改进空间。
2019-11-21 astro-ph.IM
Applying Information Theory to Design Optimal Filters for Photometric Redshifts
在本文中，我们应用信息论的思想来创建一个方法，用于光度红移估计的最佳滤波器的设计。我们展示的方法应用于一系列简单的例子过滤器，以激发一个直观的光度红移估计如何响应光度通带的属性。然后，我们设计了一套现实的六个过滤器，覆盖光学波长，优化光度红移为$z <= 2.3$和$i < 25.3$。我们创建一个模拟的目录，这些最佳的过滤器，并使用我们的过滤器与光度红移估计代码表明，我们可以提高光度红移误差的标准偏差由7.1%的整体和提高离群值9.9%以上的标准过滤器提出的大型综合巡天望远镜（LSST）。我们比较我们的最佳过滤器的LSST的功能，并发现LSST过滤器纳入最佳光度红移估计的关键功能。最后，我们描述了如何信息理论可以应用到一系列的优化问题，在天文学。
2020-01-06 astro-ph.IM cs.IT math.IT
GeneticKNN: A Weighted KNN Approach Supported by Genetic Algorithm for Photometric Redshift Estimation of Quasars
本文将遗传算法与K近邻算法相结合，对类星体的光度红移进行了估算，简称GeneticKNN，这是一种基于遗传算法的加权KNN方法。与KNN相比，该方法有两个改进：一是通过遗传算法对特征进行加权;二是预测的红移不是K个近邻的红移平均值，而是K个近邻的红移中值和均值的加权平均值，即$p\times z_{median} + (1-p)\times z_{mean}$。基于SDSS和SDSS-WISE类星体样本，研究了遗传KNN算法在测光红移估计中的性能，并与其他6种传统的机器学习方法，即最小绝对收缩和选择算子（LASSO）、支持向量回归（SVR）、多层感知器（MLP）、XGBoost、KNN和随机森林进行了比较。KNN和随机森林算法显示了其优越性。考虑到KNN算法易于实现，本文将其改进为遗传KNN算法，并将其应用于类星体光度红移的估计。最后，遗传KNN的性能优于LASSO，SVR，MLP，XGBoost，KNN和随机森林。此外，对于相同的方法，附加WISE幅度的精度更好。
2020-09-18 astro-ph.IM
Performance of Photometric Template Fitting for Ultra-High Redshift Galaxies
Cosmic Dawn Center (DAWN)（宇宙黎明中心）；Niels Bohr Institute, University of Copenhagen（哥本哈根大学尼尔斯·玻尔研究所）；Department of Physics and Astronomy, University of Missouri（密苏里大学物理与天文学系）；DARK Cosmology Center, University of Copenhagen（哥本哈根大学暗宇宙学中心）；California Institute of Technology（加州理工学院）
研究评估了高红移模板在预测光度红移和完整光谱能量分布中的性能，发现最佳模板用于红移估计与预测SED不同，部分模板在红移估计中表现尚可，但整体对SED预测效果不佳。
2026-04-08 astro-ph.GA astro-ph.IM
Multi-Gaussian fitting Algorithm to determine multi-band photometry and photometric redshifts of LABOCA and Herschel sources in proto-cluster environments
本研究的重点是识别高红移星系LABOCA（LArge APEX BOlometer CAmera）和SPIRE（光谱和光度成像接收器）的地图对原星系团候选人最初选择的SPT（南极望远镜）调查。基于多高斯拟合算法，我们交叉匹配所有显着的LABOCA源在SPIRE波长的基础上，他们的坐标和信噪比，以获得他们的光度在250，350，500和870 $μm$。我们使用这些信息来计算一个光度红移的SPT源对集群领域。代码是在Python编程环境中开发的。
2019-12-04 astro-ph.GA astro-ph.IM
SOMz: photometric redshift PDFs with self organizing maps and random atlas
University of Illinois（伊利诺伊大学）
在本文中，我们探讨了自组织映射（SOM）的无监督机器学习技术估计星系光度红移概率密度函数（PDF）的适用性。该技术采用光谱训练集，并通过使用竞争性学习过程将光度属性而不是红移映射到二维表面，在该过程中神经元竞争以更接近训练数据多维空间。SOM的关键特征是它保留了输入集的拓扑结构，揭示了不容易识别的属性之间的相关性。我们测试三种不同的二维拓扑映射：矩形，六边形和球形，通过使用数据从DEEP 2调查。我们还探索了地图上的不同实现和边界条件，并介绍了随机地图集的想法，其中创建了大量不同的地图，并将其各自的预测聚合起来，以产生更强大的光度红移PDF。我们还引入了一个新的度量，$I$ -score，它有效地结合了不同的度量，使其更容易比较不同的结果（从不同的参数或不同的光度红移代码）。我们发现，通过使用球形拓扑映射，我们获得了底层多维拓扑的更好表示，这提供了与其他最先进的机器学习算法相媲美的更准确的结果。我们的结果表明，无监督方法在许多天文问题上具有巨大的潜力，特别是在光度红移的计算方面。
2013-12-18 astro-ph.CO astro-ph.IM cs.LG
METAPHOR: A machine learning based method for the probability density estimation of photometric redshifts
许多基本的天体物理学课题都需要非常精确的测光红移（photo-z's）。已经开发了大量的方法，基于模板模型拟合或光度参数空间的经验探索。基于机器学习的技术不明确依赖于物理先验，并且能够在从光谱训练集导出的光度范围内产生准确的光z估计。然而，这些估计并不容易表征的photo-z概率密度函数（PDF），由于事实上，映射到红移空间的光度参数的分析关系是几乎未知的。我们提出了METAPHOR（精确测光红移的机器学习估计工具），一种旨在为经验技术提供可靠的误差分布PDF的方法。该方法被实现为模块化工作流程，其用于photo-z估计的内部引擎利用MLPQNA神经网络（具有准牛顿学习规则的多层感知器），并且可以轻松地替换选择用于预测photo-z的特定机器学习模型。我们提出了一个总结SDSS-DR 9星系数据的结果，也用于执行直接比较与PDF的获得的乐法尔SED模板拟合。我们表明METAPHOR能够估计使用三种不同的自适应技术（即MLPQNA、随机森林和标准K最近邻模型）获得的光度红移的精度和可靠性。
2016-11-07 astro-ph.IM
PhotoRedshift-MML: a multimodal machine learning method for estimating photometric redshifts of quasars
提出了一种多模态机器学习方法来估计类星体的光度红移（PhotoRedshift-MML），这是一个长期以来的研究课题。我们的方法包括两个主要模型，即多模态表征学习的特征变换模型和多模态迁移学习的光度红移估计模型。由于通过MML从测光数据中学习生成的光谱特征提供了大量信息，测光红移的预测精度得到了显着提高。斯隆数字巡天（SDSS）数据发布17中总共有415，930个类星体，红移在1到5之间，被筛选用于我们的实验。我们使用|Δz| = |（z_phot-z_spec）/（1+z_spec）|以评估红移预测，并证明了4.04%的准确性增加。在生成的光谱特征的帮助下，|Δz| < 0.1可达到总测试样本的84.45%，而对于单峰光度数据，<0.1可达到总测试样本的80.41%。此外，|Δz|从0.1332下降到0.1235。我们的方法有可能推广到其他天文数据分析，如星系分类和红移预测。算法代码可以在https://github.com/HongShuxin/PhotoRedshift-MML上找到。
2022-11-08 astro-ph.GA astro-ph.IM
Deep ugrizY Imaging and DEEP2/3 Spectroscopy: A Photometric Redshift Testbed for LSST and Public Release of Data from the DEEP3 Galaxy Redshift Survey
我们目前的目录校准光度学和光谱红移的扩展Groth带，用于研究光度学红移（photo-z的）。这些数据包括CFHTLS的ugriz测光和斯巴鲁Suprime相机的Y波段测光，以及DEEP 2，DEEP 3和3D-HST调查的光谱红移。这些目录包含校正，以有效地产生匹配的光圈测光在所有波段，根据对象的大小信息，在目录和莫法特配置文件点扩散函数适合。我们测试这个目录与一个简单机械学习为基础的光度红移算法的基础上随机森林回归，并发现，校正孔径测光导致显着改善photo-z的准确性相比，原来的SExtractor目录CFHTLS和斯巴鲁。深ugrizY测光和光谱红移非常适合LSST测光红移算法的经验检验。由此产生的目录是公开的。我们包括一个基本的总结的战略，深度3星系红移调查陪同最近公开发布的深度3数据。
2019-08-12 astro-ph.GA astro-ph.IM
QSO photometric redshifts from SDSS, WISE and GALEX colours
机器学习技术，特别是应用于光学波段颜色的k-最近邻算法，在预测类星体（QSO）的光度红移方面取得了一些成功：虽然光谱和光度红移之间的平均差异接近于零，但这些差异的分布仍然很宽，并且明显是非高斯的。根据我们之前对光度红移的经验估计，我们发现通过添加其他波段（即近红外和紫外）的颜色可以显着改善预测。通过使用33643强类星体样本的一半来训练算法，自我测试这一点，结果是剩余一半样本的分布明显更窄。使用整个类星体样本来训练算法，对于射电源（类星体）的样本，相同的一组幅度返回类似的扩展。虽然匹配符合性相对较低（3663个源中有739个在相关波段具有测光），但这仍然明显大于经验方法（2%），因此可以提供一种方法来获得大量连续射电源的红移，这些连续射电源预计将被下一代大型射电望远镜探测到。
2020-01-17 astro-ph.GA astro-ph.IM
Photometric Redshift Estimation for Gamma-Ray Bursts from the Early Universe
本研究针对高红移伽马射线暴光度红移估计中低红移尘埃干扰的难题，利用phozzy代码结合PIRT仪器参数开展模拟，验证了区分高低红移GRB的能力，优化后误报率极低，为早期宇宙研究的后续观测提供支撑。
2023-10-04 astro-ph.HE astro-ph.IM
Re-calibrating Photometric Redshift Probability Distributions Using Feature-space Regression
University of Pittsburgh（匹兹堡大学）；Federal University of São Carlos（圣卡洛斯联邦大学）；Carnegie Mellon University（卡内基梅隆大学）；Argonne National Laboratory（阿贡国家实验室）；Ruhr-University Bochum（波鸿鲁尔大学）；German Centre for Cosmological Lensing（德国宇宙透镜中心）
许多天体物理学分析依赖于从测光（即，成像）数据。测光红移不确定性的不准确估计会导致大的系统误差。然而，来自许多光度红移方法的概率分布输出不遵循红移的概率密度函数（PDF）的频率论定义-即，真实红移落在两个极限$z_{1}$和$z_{2}$之间的时间分数应该等于这些极限之间的PDF的积分。以前的工作已经使用概率积分变换（PIT）值的全局分布来重新校准PDF，但是在特征空间的不同区域中偏移不准确性可能会限制该方法的有效性。我们利用最近开发的回归技术，其特征在于在特征空间中的任何位置的本地PIT分布进行光度红移PDF的本地重新校准。虽然我们专注于天体物理学的一个例子，但我们的方法可以生成在任何用例的特征空间中的所有位置进行校准的PDF。
2022-01-27 astro-ph.IM cs.LG stat.ME
