Fast, Scalable Approximations to Posterior Distributions in Extended Latent Gaussian Models
我们定义了一类新的加性模型,称为扩展的潜在高斯模型,允许广泛的响应分布和灵活的加性预测和平均响应之间的关系。新课程涵盖了广泛的有趣的模型,包括多分辨率空间过程,部分基于似然的生存模型,和多变量测量误差模型。由于精确的后验分布的计算是不可行的,我们开发了一个快速的,可扩展的近似贝叶斯推断方法,这一类的基础上嵌套高斯,拉普拉斯,自适应正交近似。我们证明了在标准条件下,这些近似后验的误差是op(1),并提供了数值证据表明,我们的方法比基于集成嵌套拉普拉斯近似和马尔可夫链蒙特卡罗的方法运行更快,可扩展到更大的数据集,具有可比的精度。我们应用新的方法来映射的疟疾发病率在连续空间中使用聚合数据,映射白血病生存的危险使用一个连续变化的空间过程的考克斯比例风险模型,并估计银河系的质量使用嘈杂的多变量测量的位置和速度的星团在其轨道上。
2022-07-12 stat.ME
Fast and Scalable Spike and Slab Variable Selection in High-Dimensional Gaussian Processes
University College London(伦敦大学学院)
高斯过程(GP)中的变量选择通常是通过对自动相关性确定内核的逆长度尺度进行阈值化来进行的,但在高维数据集中,这种方法可能是不可靠的。一个更具概率原则的替代方案是使用尖峰和平板先验,并推断变量包含的后验概率。然而,GP中的现有实现在高维和大$n$数据集中运行都非常昂贵,或者仅适用于具有特定内核的无监督设置。因此,我们开发了一个快速和可扩展的变分推断算法的穗和板GP是易于处理的任意可微内核。我们提高了我们的算法的能力,以适应相关变量的稀疏性贝叶斯模型平均超参数,并实现了大幅度的速度使用零温度后验限制,丢弃修剪和最近邻最小化。在实验中,我们的方法始终优于普通和稀疏变分GP,同时保持相似的运行时间(即使是在$n=10^6$时),并且与使用MCMC的尖峰和平板GP的性能具有竞争力,但运行速度快达$1000$倍。
2022-02-24 cs.LG stat.ML
Fast and Scalable Inference for Spatial Extreme Value Models
针对空间GEV-GP模型推断中MCMC速度慢、INLA适用范围有限的问题,本文结合原始拉普拉斯近似与稀疏空间协方差近似技术,实现了可扩展至数千位置、速度远超MCMC的准确推断,并通过加拿大极端降雪案例验证。
2024-05-16 stat.CO stat.ME
SKIing on Simplices: Kernel Interpolation on the Permutohedral Lattice for Scalable Gaussian Processes
New York University(纽约大学);Stanford University(斯坦福大学)
用于可扩展高斯过程的最先进方法使用迭代算法,需要具有协方差核的快速矩阵向量乘法(MVMs)。结构化内核插值(SKI)框架通过在网格上执行高效的MVMs并插值回原始空间来加速这些MVMs。在这项工作中,我们开发了SKI和permutohedral晶格用于高维快速双边过滤之间的连接。使用稀疏单纯网格而不是密集的矩形网格,我们可以在维度上比SKI更快地以指数方式执行GP推理。我们的方法Simplex-GP能够将SKI扩展到高维,同时保持强大的预测性能。此外,我们还提供了一个CUDA实现的Simplex-GP,这使得显着的GPU加速的MVM为基础的推理。
2021-06-12 cs.LG stat.ML
A flexible Expectation-Maximization framework for fast, scalable and high-fidelity multi-frame astronomical image deconvolution
提出一种计算高效的灵活 EM 框架,结合 Tensorflow 与 GPU 加速实现多帧天文图像反卷积和超分辨率,并在 HSC 数据上获得高保真重建。
2023-02-11 astro-ph.IM
Building a scalable global data processing pipeline for large astronomical photometric datasets
天文测光是测量天体通量的科学。自引入以来,CCD一直是测量通量以计算物体视星等的主要方法。每个CCD图像在使用前必须经过清洗和校准过程。随着研究望远镜数量的增加,图像处理所需的总体计算资源也增加。现有的处理技术本质上主要是顺序的,需要越来越强大的服务器、更快的磁盘和更快的网络来处理数据。涉及大容量数据中心的现有高性能计算解决方案设计复杂,维护成本高昂,同时主要为高知名度的科学项目提供资源。这项研究描述了三种分布式管道架构,基于云的虚拟化IRAF,天文计算节点(ACN),基于私有云的管道,以及NIMBUS,一个全球分布式系统。ACN管道以每天4 TB的速度处理数据,证明数据压缩和上传到中央云存储服务的速度比数据生成的速度更快。这项研究的主要贡献是NIMBUS,它具有快速可扩展性,故障恢复能力,能够以每天数百TB的速度处理CCD图像数据。该管道使用分散的Web队列来实现,以控制数据的压缩,将数据上传到分布式Web服务器,并创建Web消息以识别数据的位置。使用分布式Web队列消息,图像由分布在全球各地的计算资源下载。严格的实验证据验证了该系统的水平可扩展性,它已经证明了192 TB的处理速率,每天有明确的迹象表明,更高的处理速率是可能的。
2015-02-10 astro-ph.IM cs.DC
Fast coordinate cross-match tool for large astronomical catalogue
本文提出了一种用于现代海量天文星表中目标的高效坐标交叉匹配算法。现有目录中的初步数据分类提供了在不受存储和技术环境(PC)限制的情况下协调识别物体的机会。使用现代计算处理器的多线程可以加快程序对存储器的读写速度。文中还介绍了实现该算法的主要困难,以及可能的解决办法。
2018-05-21 astro-ph.IM
A fast version of the k-means classification algorithm for astronomical applications
上下文K-means是一种聚类算法,已用于对天文数据库中的大型数据集进行分类。它是一种无监督的方法,能够处理非常不同类型的问题。目的。我们检查是否可以使用称为单遍k均值算法的一个变种作为传统k均值算法的快速替代。方法.两种算法的执行时间进行比较时,从SDSS-DR 7星系光谱目录中提取的子集进行分类。结果单通道k-means比k-means快20%到40%,并提供统计上等效的分类。这个结论可以扩展到其他更大的数据库,因为这两个算法的执行时间都随着对象的数量线性增加。结论.单遍k-means可以安全地用作k-means的快速替代方案。
2014-04-11 astro-ph.IM
Closed form solution of the maximum entropy equations with application to fast radio astronomical image formation
本文分析了最大熵图像反卷积。我们表明,给定拉格朗日乘子的封闭形式,可以得到的图像参数。使用这个解决方案,我们能够提供更好的理解最大熵算法的一些已知的行为。该解决方案还产生了一个非常有效的实施中使用的AIPS包的最大熵反卷积技术。它需要计算单个脏图像和每个像素的初等函数的逆。
2009-04-16 astro-ph.IM
Fast Astronomical Transients in Archival Photographic Plates: Using optical aberrations as a tool for discerning real images, from plate artifacts
Independent Researcher(独立研究者)
本文通过分析帕洛玛巡天底片中暂现源图像的彗差模式,提出利用光学像差区分真实天体与底片伪影的方法,为暂现源的真实性提供支持。
2026-10-12 astro-ph.IM
Flexible and Scalable Methods for Quantifying Stochastic Variability in the Era of Massive Time-Domain Astronomical Data Sets
我们提出了使用连续时间自回归移动平均(CARMA)模型作为一种方法,用于估计光变曲线的变化特征,特别是其功率谱密度(PSD)。CARMA模型充分考虑了不规则的采样和测量误差,使其对于量化变异性、预测和内插光变曲线以及基于变异性的分类非常有价值。我们证明了CARMA模型的PSD可以表示为洛伦兹函数的总和,这使得它们非常灵活,能够模拟各种PSD。我们提出了从CARMA过程采样的光变曲线的似然函数,把它们放在一个严格的统计基础上,我们提出了一个贝叶斯方法来推断的概率分布的PSD给定的测量的光变曲线。由于似然函数的计算与数据点的数量呈线性关系,因此CARMA建模可扩展到当前和未来的大量时域数据集。最后,我们应用我们的CARMA建模方法的光变曲线的X射线双星,两个活动星系核,一个长周期变星,和RR-天琴座星,为了说明他们的使用,适用性和解释。
2014-05-07 astro-ph.IM
catsHTM - A tool for fast accessing and cross-matching large astronomical catalogs
快速访问大型目录是某些天文应用所必需的。在这里,我们介绍catsHTM工具,它由几个重新格式化为基于HDF 5的文件格式的大型目录组成,可以在本地下载和使用。为了允许快速访问,目录被划分为分层三角形网格并存储在HDF 5文件中。提供了几种工具来执行有效的锥搜索,分辨率从几角秒到度,在几毫秒的时间内。第一个发布的版本包括以下目录(按字母顺序排列):2 MASS,2 MASS扩展源,AKARI,APASS,Cosmos,DECaLS/DR 5,FIRST,GAIA/DR 1,GAIA/DR 2,GALEX/DR 6Plus 7,HSC/v2,IPHAS/DR 2,NED红移,NVSS,Pan-STARRS 1/DR 1,PTF测光表,ROSAT暗源,SDSS源,SDSS/DR 14光谱学,Spitzer/SAGE,Spitzer/IRAC银河系中心,UCAC 4,UKIDSS/DR10、VST/ATLAS/DR3、VST/KiDS/DR3、WISE和XMM。我们提供了Python代码,允许执行锥搜索,以及MATLAB代码执行锥搜索,目录交叉匹配,一般搜索,以及加载和创建这些目录。
2018-05-17 astro-ph.IM
Powellsnakes II: a fast Bayesian approach to discrete object detection in multi-frequency astronomical data sets
Powellsnakes是一种贝叶斯算法,用于检测嵌入在漫射背景中的紧凑物体,并被普朗克财团选择并成功用于其第一个公开交付的产品:早期发布紧凑源目录(ERCSC)。我们提出的关键基础和主要方向的进一步发展PWS,扩展它的形式正确性和最佳利用所有可用的信息在一个一致的统一框架,其中没有区别点源(未解决的对象),SZ集群,单通道或多通道检测。重点放在一个多频率,多模式的检测算法,以实现最优的必要性。
2011-12-20 astro-ph.CO astro-ph.IM
Skykatana: a scalable framework to construct sky masks for the Vera Rubin Observatory and large astronomical surveys
Instituto de Ciencias Astronómicas, de la Tierra y del Espacio (ICATE), Consejo Nacional de Investigaciones Científicas y Técnicas (CONICET)(地球与空间天文科学研究所 (ICATE),阿根廷国家科学研究委员会 (CONICET));Facultad de Ciencias Exactas, Físicas y Naturales (FCEFYN-UNSJ), Universidad Nacional de San Juan(圣胡安国立大学精确、物理与自然科学学院 (FCEFYN-UNSJ));Instituto de Astronomía Teórica y Experimental (IATE), Consejo Nacional de Investigaciones Científicas y Técnicas (CONICET)(理论与实验天文学研究所 (IATE),阿根廷国家科学研究委员会 (CONICET));Observatorio Astronómico Córdoba , Universidad Nacional de Córdoba(科尔多瓦天文台,科尔多瓦国立大学)
Skykatana是一个用于构建天空掩膜的开源框架,通过高效处理和低内存操作,为维拉·鲁宾天文台和大型天文调查提供可扩展的解决方案。
2026-02-23 astro-ph.CO astro-ph.GA astro-ph.IM
The Weizmann Fast Astronomical Survey Telescope (W-FAST): System Overview
一个相对未探索的相空间的瞬变和恒星的变化是第二和亚秒的时间尺度。我们描述了一个新的光学天文台在以色列的内盖夫沙漠中运行,具有55厘米的光圈,视场为2.6x2.6度(~ 7度^2),配备了高帧率,低读取噪声,CMOS相机。该系统可以以高达90 Hz(全帧)的帧率进行观测,而名义上的观测是在10- 25 Hz进行的。在25 Hz的帧速率下以超过6 Gbits/s的速率产生的数据被实时分析。该天文台是完全自动化的,每天晚上能够自动收集每个领域数千颗恒星的数据。我们提出的系统概述,性能指标,科学目标,和一些第一个结果,例如,Nir等人(2020年)报告的对地球同步卫星的高闪烁率的检测。
2021-05-07 astro-ph.IM
AXS: A framework for fast astronomical data processing based on Apache Spark
我们介绍AXS(Astronomy eXtensions for Spark),这是一个基于Apache Spark的可扩展开源天文数据分析框架,Apache Spark是一个广泛使用的行业标准大数据处理引擎。基于Spark中的功能,AXS旨在使用熟悉的Python/AstroPy概念,DataFrame API和SQL语句查询和分析几乎任意大的天文目录。我们通过i)为Spark添加支持以实现高效的在线位置交叉匹配,ii)提供支持天文数据分析常用操作的Python库。为了支持可扩展的交叉匹配,我们开发了一种ZONES算法(Gray et al. 2004)的变体,能够在分布式、无共享架构中运行。我们将其与数据分区方案相结合,该方案可以实现快速目录交叉匹配,并处理深空数据集中经常出现的数据倾斜。交叉匹配和其他常用功能通过易于使用的Python API向最终用户公开。我们展示了AXS在SDSS、ZTF、Gaia DR 2和AllWise目录上的技术和科学性能。使用AXS,我们能够在大约30秒内对Gaia DR 2(18亿行)和AllWise(9亿行)数据集进行动态交叉匹配。我们将讨论像AXS这样的云就绪分布式系统如何提供一种自然的方式来实现对LSST等大型数据集的全面最终用户分析。
2019-05-24 astro-ph.IM cs.DC
A Communication Efficient and Scalable Distributed Data Mining for the Astronomical Data
到2020年,天文学家将可以访问约60PB的存档数据。但分析这样一个至关重要的数据将是一项具有挑战性的任务。这主要是由于计算模型用于将数据从复杂的地理分布的档案下载到中央站点,然后在本地系统中进行分析。由于数据必须下载到中心站点,网络带宽限制将成为科学发现的障碍。此外,以集中的方式在本地机器上分析这种PB规模是具有挑战性的。在这个虚拟天文台是朝着这个问题迈出了一步,但是,它不提供数据挖掘模型。在VO中增加分布式数据挖掘层可以是解决方案,其中知识可以由天文学家下载而不是原始数据,然后天文学家可以从下载的知识中重建数据或直接使用知识进行进一步分析。我们提出了分布式负载平衡主成分分析,用于在可用节点之间优化分配计算,以最小化传输成本以及最终用户的下载成本。用Fundamental Plane(FP)数据、Gadotti数据和复Mfeat数据进行了实验分析。在传输成本方面,我们的方法比Qi更好。Yue.et分析表明,对于复杂的Mfeat数据,可以为最终用户减少约90%的下载成本,而精度损失可以忽略不计。
2016-06-23 astro-ph.IM cs.DC
Ultra-Low Noise L-Band Cryogenic Astronomical Receiver for FAST Telescope
介绍了一种用于FAST望远镜的L波段超低噪声射电天文低温接收机。通过耦合LNA和锥形四脊OMT等关键低噪声微波器件的研制和合理的系统集成,实现了1.2 ~ 1.8GHz频段的高性能接收机。设计了一种低噪声、大回波损耗、高动态范围的低温耦合低噪声放大器,并将放大电路和耦合电路集成为一个耦合低噪声放大器,在物理温度为15 K时,其噪声温度为4 K。回波损耗大于18 dB,输出1dB压缩功率为+5dBm。制作了一个可分别为OMT和耦合LNA提供55 K和15 K低温环境的低温杜瓦。接收机的系统噪声温度低于9 K(以馈源口径面为基准).通过优化设计和精密机械处理,获得了良好的OMT散射性能和均匀的喇叭辐射方向图,天线效率达到75%以上。
2021-03-19 astro-ph.IM
(Very) Fast astronomical photometry for meter-class telescopes
我们在帕多瓦天文台和帕多瓦大学的INAF团队从事光学波段非常高时间精度的仪器的设计,建造和操作,用于高时间分辨率天体物理学和量子天文学。制造了两台仪器,以亚纳秒时间精度进行光子计数,Aqueye+和Iqueye。Aqueye+经常安装在Asiago的1.8米哥白尼望远镜上,而Iqueye则安装在世界各地的几个4米级望远镜上,现在通过Iqueye光纤接口连接在Asiago的1.2米伽利略望远镜上。它们被用于进行协调的高时间分辨率光学观测,并首次在几公里的基线上进行光强干涉测量实验。我将报告在该项目框架内取得的最新技术发展和科学成果。
2019-08-09 astro-ph.IM
Searching for Fast Astronomical Transients in Archival Photographic Plates
Independent Researcher, Retired Developer at NASA/AURA/STScI(独立研究者,NASA/AURA/STScI退休开发者)
基于汉堡天文台施密特相机1950年代底片,独立确认VASCO项目发现的快速瞬变具有系统性窄半峰全宽,支持亚秒级光学闪光解释。
2026-06-23 astro-ph.IM
False Alarm Rate based Statistical Detection Limit for Astronomical Photon Detectors
针对超快天文观测中传统信噪比阈值失效的问题,提出基于误报率的统计探测极限框架,经SPINA实验验证,并比较多种探测器性能以优化选择。
2025-06-23 astro-ph.IM
Imfit: A Fast, Flexible New Program for Astronomical Image Fitting
我描述了一个新的,开源的天文图像拟合程序称为Imfit,专门用于星系,但可能对其他来源有用,这是快速,灵活,高度可扩展的。该程序的一个主要特点是面向对象的设计,允许新类型的图像组件(2D表面亮度函数)可以很容易地编写和添加到程序中。Imfit提供的图像函数包括星系分解的常见嫌疑人(Sersic,指数,高斯),以及Core-Sersic和破指数轮廓,椭圆环和三个组件,它们通过在任意倾角看到的盘和环的3D亮度密度模型执行视线积分。可用的最小化算法包括Levenberg-Marquardt,Nelder-Mead单纯形和差分进化,允许在速度和对拟合景观中局部最小值的敏感性降低之间进行权衡。最小化可以使用标准的卡方2统计量(使用数据或模型值来估计每像素的高斯误差,或者使用用户提供的误差图像)或基于泊松的最大似然统计量来完成;后一种方法特别适用于低计数状态下的泊松数据。我表明,使用卡方平方最小化和单个像素高斯不确定性拟合低信噪比星系图像会导致拟合参数值出现显著偏差,如果使用基于泊松的统计量,则可以避免这种偏差;即使存在高斯读噪声,情况也是如此。
2014-12-03 astro-ph.GA astro-ph.IM
Fast and accurate astronomical source deblending with Density-Peak Clustering
INAF-Osservatorio Astronomico di Trieste(的里雅斯特天文台);Dipartimento di Matematica, Sezione di Matematica e Geoscienze, Università di Trieste(的里雅斯特大学数学与地球科学系)
本文重新设计ADP聚类算法用于天文源去混叠,通过真实模拟和Euclid数据验证,在保持测光精度的同时实现12-156倍加速,为大规模巡天提供高效方案。
2026-09-22 astro-ph.IM
Optimal and Efficient Streak Detection in Astronomical Images
识别天文图像中的线性特征(条纹)很重要,原因有几个,包括:探测快速移动的近地小行星;探测或标记微弱的卫星条纹;标记或消除衍射尖峰、像素出血、线状宇宙射线和不良像素特征。在这里,我们讨论了一个有效的和最佳的算法检测这样的条纹。检测天文图像中条纹的最佳方法是通过将图像与由系统的点扩散函数加宽的线的模板互相关。为了有效地这样做,使用Radon变换来执行条纹位置和角度的互相关,Radon变换是沿着通过图像的所有可能的线的像素值的积分。一个快速版本的拉冬变换存在,我们在这里扩展到有效地检测任意短的线。虽然蛮力Radon变换需要对N × N图像进行N^3次操作,但快速Radon变换的复杂度为N^2 log(N)。我们将此方法应用于模拟图像,恢复理论信噪比,并在实像中,找到长条纹的低轨卫星运载火箭和较短的条纹的全球定位系统卫星。我们从数百张图像中检测出肉眼几乎不可见的条纹,而无需先验知识条纹的位置或角度。我们提供了该算法在Python和MATLAB中的实现。
2018-10-08 astro-ph.IM
The Taiwan Extragalactic Astronomical Data Center
台湾河外天文数据中心(TWEA-DC)成立于2010年,旨在为台湾和国际社会提供大量数据,专注于河外科学。这是国内几年来个人努力的成果,也是迈向国家虚拟天文台的第一步。利用我们自己的快速索引算法(BLINK),基于一个八面体网格的天空加上一个非常快的kd树和一个聪明的并行可用资源,TWEA-DC将提出从2013年春季的服务“在飞”匹配设施,在现场和基于用户的目录。我们还将提供台湾社区可用的公共和私人原始和可还原数据。最后,我们正在开发高端的在线分析工具,如自动测光红移和SED拟合代码(APz),和自动组和集群发现(APFoF)。
2012-12-10 astro-ph.IM
SERVIMON: AI-Driven Predictive Maintenance and Real-Time Monitoring for Astronomical Observatories
INAF, Osservatorio Astrofisico di Catania(意大利国家天体物理研究所,卡塔尼亚天文物理观测站)
ServiMon提出一种结合云原生技术与机器学习的可扩展智能流水线,用于天文望远镜系统的预测性维护、实时异常检测与监控,有效提升系统弹性与科学数据质量。
2025-10-31 astro-ph.IM cs.LG
Real Time Event Detection in Astronomical Data Streams: Lessons from the VLBA
新一代的观测科学仪器大大增加了在一系列领域收集的数据量。这些仪器包括平方公里阵列(SKA)、大型综合巡天望远镜(LSST)、地面传感器网络和参与“十年巡天”任务的NASA卫星。其前所未有的覆盖面和敏感性将可能揭示全新类别的意外和短暂事件。Commensal方法被动地分析这些数据流,识别具有科学意义的异常事件并实时做出反应。我们报告的一个案例:V-FASTR,正在进行的实验在甚长基线阵列(VLBA),使用在线自适应模式识别搜索异常快速无线电瞬变。V-FASTR对毫秒分辨率的数据流进行分类,并促进候选异常进行进一步的离线分析。它实时调整检测参数,注入合成事件,不断重新训练自己,以获得最佳性能。这种自调谐方法保持对弱信号的灵敏度,同时适应不断变化的仪器配置和噪声条件。该系统自2011年7月以来一直在运行,使其成为迄今为止运行时间最长的实时射电瞬态实验。
2013-01-26 astro-ph.IM
SBI++: Flexible, Ultra-fast Likelihood-free Inference Customized for Astronomical Applications
本文提出SBI++方法,通过标准SBI评估处理分布外误差并边缘化缺失数据,实现灵活、超快的天文无似然推断。
2023-07-10 astro-ph.GA astro-ph.IM
Statistical discrimination of RFI and astronomical transients in 2-bit digitized time domain signals
本文研究了广义谱峰度(SK)估计在2位采样时间域甚长基线干涉测量(VLBI)数据中检测和区分自然和人工极短持续时间瞬变的性能。我们证明,虽然这两种类型的瞬态可以有效地检测到,它们的自然或人工性质不能区分,如果只进行时域SK分析。然而,在对2位时域电压执行32位FFT运算之后,这两种类型的瞬变在谱域中变得彼此可区分。我们讨论了这些发现的影响的频谱峰度估计的能力,自动检测明亮的天文瞬态信号的利益-如脉冲星或快速射电暴(FRB)-在VLBI数据流已严重污染不必要的射频干扰。
2019-03-02 astro-ph.IM stat.AP
The Application of the Montage Image Mosaic Engine To The Visualization Of Astronomical Images
Montage Image Mosaic Engine被设计为一个可扩展的工具包,用C语言编写,以提高性能和跨 *nix平台的可移植性,将FITS图像组装成马赛克。该代码是免费提供的,并已被广泛用于天文学和IT社区的研究,产品生成和开发下一代网络基础设施。最近,它已经开始在可视化领域中找到适用性。这是因为工具包的设计允许轻松集成到可扩展的系统中,这些系统处理数据,以便在浏览器或客户端中进行后续可视化。它还包括一个适用于自动化和集成到Python中的可视化工具:mViewer使用单个命令创建覆盖有坐标显示、标签和观察足迹的复杂多色图像,并包括一个自适应图像直方图均衡化方法,该方法可在其动态范围内保留拉伸图像的结构。Montage工具包包含最初开发用于支持马赛克创建和管理的功能,但也为可视化提供了价值:背景校正算法,可显示图像中的模糊结构;以及用于创建大图像的剪切和下采样版本的工具。Montage版本5支持可视化以HEALPix天空镶嵌方案写入的数据,并提供处理和组织图像的功能,以符合World Wide Telescope(WWT)消费所需的TOAST天空镶嵌方案。四个在线教程使读者能够复制和扩展本文中介绍的所有可视化。
2017-02-08 astro-ph.IM
Fast Inference on Astronomical Time Series with Trans-Dimensional Flow Matching Posterior Estimation
Anton Pannekoek Institute University of Amsterdam(阿姆斯特丹大学安东·潘内科克研究所);Informatics Institute University of Amsterdam(阿姆斯特丹大学信息学研究所);GRAPPA Institute Institute for Theoretical Physics Amsterdam University of Amsterdam(阿姆斯特丹大学理论物理研究所 GRAPPA 研究所)
研究天文时间序列中脉冲数量和特征的跨维推理问题,提出跨维流匹配后验估计方法t-FMPE,经测试在模拟和实际数据中与MCMC参考后验定性一致,推理速度比传统方法快几个数量级,有大规模分析潜力。
2026-07-24 astro-ph.IM
FIP-TOI: Fast Imaging Pipeline for Pulsar Localisation with a Transient-Oriented Radio Astronomical Imager
University of Oxford(牛津大学);Silesian University in Opava(奥帕瓦西里西亚大学);Mila - Québec Artificial Intelligence Institute(米拉-魁北克人工智能研究所);University of Cambridge(剑桥大学);Special Astrophysical Observatory of the Russian Academy of Sciences(俄罗斯科学院特别天体物理观测站)
FIP-TOI通过结合SVD和GPU加速的TOI与FITrig检测器,实现脉冲星的快速高精度定位。
2026-08-18 astro-ph.IM
A VO-driven Astronomical Data Grid in China
随着LAMOST、FAST、Doom A南极观测站等多个雄心勃勃的观测项目的实施,中国的观测天文学正步入一个数据雪崩的新时代。在e-Science时代,这些前沿项目和传统天文学研究都需要更强大的数据管理、共享和互操作性。基于数据网格的概念,利用IVOA互操作技术,中国天文台正在开发一个VO驱动的天文数据网格环境,以实现多波长科学和大数据库科学。本文介绍了LAMOST的最新进展、数据流程、数据网格的体系结构及其对虚拟组织的支持。
2010-01-13 astro-ph.IM
Astrophysical constraints on the proton-to-electron mass ratio with FAST
物理学的基本假设之一是,物理定律在整个宇宙的任何时间和任何地点都是相同的。天文观测提供了唯一的手段来检验宇宙学时间和距离尺度上的这一基本假设。无量纲物理常数μ(质子与电子的质量比)的变化可能性,可以通过比较射电波长上某些谱线的静止频率的天文测量值和实验室测定值来检验。不同类型的分子跃迁对μ有不同的依赖性,因此观测两条或多条指向同一天文源的谱线可以用来检验物理基本常数是否存在时间或空间变化的证据。如果强核力相对于电磁力的相对强度发生变化,μ也会发生变化。理论研究表明,在FAST将覆盖的频率范围内具有跃迁的一些分子的旋转跃迁(例如,OH和CH)对μ的变化敏感。已经用现有的望远镜进行了一些寻找μ可能变化的研究,然而,FAST更高的灵敏度意味着它将为显着改进迄今为止的测量提供新的机会。在本文中,我们将讨论哪些分子跃迁和来源(包括银河系和外部星系)可能是FAST对μ提供改进约束的目标。
2019-04-09 astro-ph.IM
A fast machine learning tool to predict the composition of astronomical ices from infrared absorption spectra
Centro de Astrobiología (CAB), CSIC-INTA(天体生物学中心);Facultad de Ciencias Físicas, Universidad Complutense de Madrid(马德里康普顿斯大学物理科学学院);LIRA, CY Cergy Paris Université(CY塞吉巴黎大学 LIRA 实验室);Instituto de Estructura de la Materia (IEM), CSIC(物质结构研究所);MasOrange;Laboratory for Astrophysics, Leiden Observatory, Leiden University(莱顿大学莱顿天文台天体物理实验室)
本文提出AICE工具,基于人工神经网络快速预测冰的组成,通过实验室数据训练,实现高效准确的冰成分分析。
2026-04-13 astro-ph.EP astro-ph.GA astro-ph.IM
Fast and Flexible Characterisation of Astronomical Light Curves Using Multi-Time Attention
University College London(伦敦大学学院);European Southern Observatory(欧洲南方天文台);Swinburne University of Technology(斯威本科技大学)
提出一种基于多时间注意力网络的无监督数据驱动框架,直接从非规则、部分光变曲线中学习时间感知的潜在表征,实现快速准确的光变曲线表征。
2026-05-22 astro-ph.GA astro-ph.IM
HLC2: a highly efficient cross-matching framework for large astronomical catalogues on heterogeneous computing environments
交叉匹配操作是天文数据分析和研究中不可缺少的操作,它是从多个星表中寻找同一天体或区域的对应数据。由于正在进行的和下一代的大规模巡天产生了大量的天文星表,交叉匹配的时间复杂度急剧增加。异构计算环境为加速交叉匹配提供了理论上的可能性,但异构计算资源的性能优势尚未得到充分利用。针对天文观测数据量大幅度增加带来的交叉匹配问题,提出了一种基于CPU-GPU异构计算平台的基于球面位置偏差的高性能交叉匹配框架HLC 2。它支持可扩展和灵活的交叉匹配,可直接应用于来自调查任务和天文数据中心的大型天文目录的融合。提出了一个性能评估模型,用于定位性能瓶颈,指导优化。设计了一种两级划分策略,根据天体的位置生成优化的数据布局,以提高吞吐量。为了使HLC 2成为一个更具适应性的解决方案,架构感知的任务分裂,线程并行化,并发调度策略的设计和集成。此外,提出了一种新的四方向策略,以有效地平衡性能和完整性的边界问题。我们已经实验评估HLC 2使用公开发布的目录数据。实验表明,HLC 2在不同规模的目录和交叉匹配的速度显着提高相比,国家的最先进的交叉匹配器。
2023-01-18 astro-ph.IM cs.PF
Transmission curves of narrow-band filters in large-FoV and fast astronomical instruments
窄带滤光片通常用于通过光度测量来限制天体的化学成分。获得精确光度测量的一个挑战是窄带滤波器是基于透明电介质材料薄层之间的多次反射和折射的干涉。当光线到达不垂直于它的滤光片表面时,它们穿过倾斜的层,其路径比层的厚度长,并且对于每个倾斜度都不同。这导致中心波长的蓝移和透射曲线的失真。因此,在小f数和大非远心角的情况下使用窄带滤波器时应特别小心,这在大视场(FoV)仪器中很常见。有时,在设计小f数仪器的滤波器时,会考虑透射曲线的展宽和中心波长偏移,并进行补偿。在这里,我们考虑小f数、非远心和大FoV的组合效应。在考虑单个谱线的情况下,中心波长的偏移或透射曲线形状的变化可能会在光度和相关的颜色指数中引入仪器色散。我们发现,窄带滤波器的透射曲线可以显着不同的形状比标称的。滤波器的有效FWHM为每个f数的下限;蓝移的单调行为与距离中心的FoV;单调质量下降的透射曲线和光度色散引入的过滤器计算估计。这项工作可以代表一个有用的工具,以评估在特定的设施,一个特定的过滤器的健身。
2022-11-18 astro-ph.IM
Scalable Cosmic AI Inference using Cloud Serverless Computing
Department of Computer Science, University of Virginia(弗吉尼亚大学计算机科学系);School of Data Science, University of Virginia(弗吉尼亚大学数据科学学院)
提出基于云无服务器计算的CAI框架,结合预训练模型与FaaS实现高效可扩展的天文图像推理,红移预测在28秒内完成12.6GB数据处理,成本低于5美元,支持TB级数据。
2025-10-09 astro-ph.IM cs.CV
Clustering Astronomical Orbital Synthetic Data Using Advanced Feature Extraction and Dimensionality Reduction Techniques
Institute of Geosciences and Exact Sciences(地质科学与精确科学研究所)
本文提出基于机器学习的聚类方法,处理22300个模拟卫星轨道,通过MiniRocket等技术提取特征并降维,揭示土星卫星系统的稳定性区域和共振结构,为行星动力学研究提供新方法。
2026-03-13 astro-ph.EP astro-ph.IM cs.AI
CosmoHub: Interactive exploration and distribution of astronomical data on Hadoop
我们介绍了CosmoHub(https://www.example.com),一个基于Hadoop的Web应用程序,用于执行交互式探索和分发海量宇宙数据集。最近的宇宙学试图揭示暗物质和暗能量映射宇宙的大尺度结构的本质,通过分析大量的天文数据,在过去(和未来)的几十年中,随着实验技术的数字化和自动化,这些数据逐渐增加。CosmoHub由Port d'Informació Científica(PIC)托管和开发,为全球科学家社区提供支持,而无需最终用户了解任何结构化查询语言(SQL)。它正在为几个大型国际合作项目提供数据,如欧几里得空间飞行任务、暗能量巡天、加速宇宙物理巡天和西班牙海洋科学研究所数值模拟。虽然最初是作为PostgreSQL关系数据库Web前端开发的,但这项工作描述了构建在Apache Hive之上的CosmoHub的当前版本,它有助于可扩展的读取,写入和管理大型数据集。由于CosmoHub的数据集很少修改,Hive更适合。超过60 TiB的编目信息和$50 \times 10^9$天文物体可以使用集成的可视化工具进行交互式探索,该工具包括1D直方图和2D热图图。在我们当前的实现中,$10^9$对象的数据集的在线探索可以在几十秒的时间尺度内完成。用户还可以下载在几分钟内生成的标准格式的自定义数据子集。
2020-03-10 astro-ph.IM cs.DC physics.data-an
The Five-hundred-meter Aperture Spherical Radio Telescope Project and its Early Science Opportunities
中国科学院国家天文台(NAOC)已经开始建造世界上最大的天线。被称为FAST的500米口径球面射电望远镜是由国家发展和改革委员会(NDRC)资助的中国大型科学项目。FAST也代表了中国对建设平方公里阵列(SKA)的国际努力的一部分。在2016年9月完成后,FAST将成为70 MHz至3 GHz低频无线电波段最灵敏的单碟射电望远镜。Nan等人(2011年)的综述论文描述了FAST的设计规格、预期能力及其主要科学愿望。在本文中,我们简要回顾了FAST的设计和关键的科学目标,推测在FAST运行的初始阶段可能存在的局限性,并讨论了在所谓的早期科学阶段天文发现的机会。
2012-10-23 astro-ph.IM
The Non-homogeneous Poisson Process for Fast Radio Burst Rates
本文提出了一种非齐次泊松过程(NHPP)来模拟快速射电暴(FRB)和其他罕见天文事件的发生率。NHPP在统计学上是众所周知的,它可以将速率的变化建模为天文特征和观测活动细节的函数。这对于像FRB这样的罕见事件特别有用,因为NHPP可以将调查中的信息结合起来,充分利用所有可用信息。本文的目的是双重的。首先,它是一个关于使用国家住房和财产保护方案的教程。其次,我们建立了一个NHPP模型,该模型结合了光束方向图和幂律通量分布的FRB率。利用12次巡天(包括15次探测)的信息,我们发现在1 Jy(95% CI:271.86,923.72)的通量以上,全天FRB发生率为586.88次/天,通量幂律指数为0.91(95% CI:0.57,1.25)。我们的发生率低于其他已发表的发生率,但与Champion et al. 2016中给出的发生率一致。
2016-11-02 astro-ph.HE astro-ph.IM stat.AP
A Distributed GPU-based Framework for real-time 3D Volume Rendering of Large Astronomical Data Cubes
我们提出了一个框架,以交互式体渲染三维数据立方体使用分布式光线投射和体积砖在一个或多个图形处理单元(GPU)和一个多核CPU的工作站集群。该框架的主要设计目标是提供一个核心可视化解决方案,能够提供TB级数据立方体的三维交互式视图。我们使用包含64个节点、总共128个GPU的计算集群测试了所提出的框架。该框架被证明是可扩展的,可以以平均每秒30帧的速度渲染204 GB的数据立方体。我们的性能分析还比较了使用NVIDIA Tesla 1060和2050 GPU架构以及增加可视化输出分辨率对渲染性能的影响。虽然我们最初的重点,并在这项工作中提出的例子,是体绘制的光谱数据立方体从射电天文学,我们认为,我们的方法具有适用性的其他学科接近实时体绘制的TB级的3D数据集是一个要求。
2012-05-01 astro-ph.IM cs.DC cs.GR
Optimal Photon Counting with Fast, Low Noise Astronomical Imagers
Stanford University(斯坦福大学);Kavli Institute for Particle Astrophysics and Cosmology, Stanford University(斯坦福大学粒子天体物理与宇宙学 Kavli 研究所);Massachusetts Institute of Technology(麻省理工学院);Kavli Institute for Astrophysics and Space Research, Massachusetts Institute of Technology(麻省理工学院天体物理与空间研究 Kavli 研究所);The Observatories of the Carnegie Institution for Science(卡内基科学机构天文台)
本文提出一种针对亚电子读噪声探测器的最优光子计数方法,在CMOS等仪器上显著提升暗弱源信噪比(最高约130%),并成功探测四颗脉冲星,配套提供lightspeedpy处理流水线。
2026-10-07 astro-ph.HE astro-ph.IM
Automated Searches for Variable Stars
随着成像和计算机技术的最新发展,可用的天文数据量急剧增加。虽然这些数据集中的大多数并不是专门用于变星的研究,但通过应用适当的软件工具,其中大部分可以被回收用于发现新的变星。Fits Viewer and Data Retrieval System是一个新的软件包,它利用现代计算机的进步来搜索新的变星的天文数据。在卡尔文学院雷霍博斯机器人望远镜使用FVDRS拍摄的数据集中发现了200多颗新的变星。一个特别有趣的例子是一个非常快的次矮星B,轨道周期为95分钟,是目前已知的HW Vir类型中最快的。
2013-10-02 astro-ph.IM astro-ph.SR
A FPGA-based Fast Converging Digital Adaptive Filter for Real-time RFI Mitigation on Ground Based Radio Telescopes
射频干扰(RFI)是射电天文学界日益关注的问题。单碟望远镜特别容易受到RFI的影响。已经开发了几种方法来应对RF污染的环境,其中包括标记、切除和实时消隐。所有这些方法都会产生一定程度的数据丢失,或者需要对天文信号进行假设。我们报告的实时,数字自适应滤波器的开发实现在一个现场可编程门阵列(FPGA)能够处理4096个频谱通道在1 GHz的瞬时带宽。该滤波器能够消除各种干扰信号,并快速适应RFI源的变化,最大限度地减少数据丢失,而无需对天文或干扰信号特性进行任何假设。收敛速度(下降到1%)被测量为208.1 us的宽带噪声类RFI信号和125.5 us的多载波RFI信号记录在FAST射电望远镜。
2018-05-16 astro-ph.IM
Finding Fast Transients in Real Time Using Novel Light Curve Analysis Algorithm
目前的数据采集率的天文瞬态调查和承诺显着更高的利率在未来十年内,有必要开发新的方法来分析天文数据集,并及时发现感兴趣的对象。更深、更广、更快(Deeper,Wider,Faster)计划是一项调查,重点是识别快速演变的瞬变,如快速射电暴、伽马射线暴和超新星冲击爆发。它采用多频率同时覆盖天空的同一部分,覆盖范围超过几个数量级。利用安装在4米布兰科望远镜上的暗能量相机,天文学家每分钟捕捉20秒的g波段曝光,典型的视宁度约为1”,空气质量约为1.5。这些光学数据是与整个电磁波谱(从无线电到伽马射线)以及宇宙射线观测同时收集的。在本文中,我们提出了一种新的实时光变曲线分析算法,旨在检测瞬态的光学数据,该算法的功能独立于,或结合,图像减法。我们提出了一个快速瞬变检测我们的算法,以及假阳性分析的样本。我们的算法是可定制的,可以调整到不同的时间尺度和通量范围内演变的瞬态敏感。
2021-12-06 astro-ph.IM
A Fast Onboard Star-Extraction Algorithm Optimized for the SVOM Visible Telescope
空间多波段可变目标监测器(SVOM)是中国提出的一颗天文卫星,致力于在宇宙尺度上探测、定位和测量伽马射线暴(GRB)。针对SVOM星载可见光望远镜(VT)获取的CCD图像,提出了一种星载恒星提取的有效算法。参考星的CCD像素坐标将用于精确卫星的天文位置,这将有助于触发对伽马射线暴的快速地面跟踪观测。在该算法中,图像被划分为许多网格单元,每个单元内的“全局”像素值最大值被用作“亮”星的第一猜测位置。然后用一个简单的迭代方法计算出恒星的正确中心位置。应用两个额外的策略,即,提出了仅通过偶数(或奇数)行或以黑白棋盘模式扫描图像以进一步减少提取星星的时间。为了检验上述算法的有效性,我们将其应用于地面望远镜获得的实验图像。我们发现,我们的方法所实现的天文定位的精度是可比的,通过使用传统的恒星提取方法,而前者需要的CPU时间约25倍,比后者。这将大大提高SVOM VT任务的性能。
2009-07-08 astro-ph.HE astro-ph.IM
Smart obervation method with wide field small aperture telescopes for real time transient detection
Taiyuan University of Technology(太原理工大学);Durham University(杜伦大学)
宽视场小口径望远镜(WFSAT)通常用于快速巡天。由多个WFSAT组成的望远镜阵列能够每晚扫描天空多次。他们将获得大量的数据,这些数据需要立即处理。在本文中,我们提出了ARGUS(天文taRGets检测框架统一望远镜)的实时过境检测。ARGUS使用基于深度学习的天文探测算法,在每个WFSAT的嵌入式设备中实现,以探测天文目标。探测到的天体目标的位置和概率将被发送到训练的集成学习算法,以输出天体源的信息。ARGUS将这些源与星表匹配后,直接输出瞬变候选源的类型和位置。我们使用模拟数据来测试ARGUS的性能,发现ARGUS可以鲁棒地提高WFSAT在瞬态检测任务中的性能。
2020-11-20 astro-ph.GA astro-ph.IM astro-ph.SR
AstroVaDEr: Astronomical Variational Deep Embedder for Unsupervised Morphological Classification of Galaxies and Synthetic Image Generation
我们提出了AstroVaDEr,变分自动编码器,旨在执行无监督聚类和合成图像生成使用天文成像目录。该模型是一个卷积神经网络,它学习将图像嵌入到低维潜在空间中,同时优化嵌入向量上的高斯混合模型(GMM)以聚类训练数据。通过利用变分推理,我们能够使用学习的GMM作为潜在空间的统计先验,以促进随机采样和合成图像的生成。我们展示了AstroVaDEr的能力,通过训练它的灰度\textit{gri}图像从斯隆数字巡天,使用的样本是由银河动物园2分类的星系。一个无监督的聚类模型,发现分离星系的基础上学习的形态特征,如轴比,表面亮度分布,方向和同伴的存在。我们使用学习的混合模型来生成基于高斯分量的形态轮廓的星系的合成图像。AstroVaDEr成功地从未标记的数据中产生了一个形态分类方案,但出乎意料地高度重视同伴物体的存在-证明了人类解释的重要性。该网络具有可扩展性和灵活性,允许对更大的数据集或不同类型的成像数据进行分类。我们还展示了该模型的生成特性,它允许从学习的分类方案中采样真实的星系合成图像。这些可用于创建合成图像目录或执行图像处理任务,例如去混合。
2020-11-20 astro-ph.GA astro-ph.IM
Enhanced Remote Astronomical Archive System Based on the File-Level Unlimited Sliding-Window Technique
数据归档是现代天文观测最关键的问题之一。随着新一代射电望远镜的发展,海量遥感数据的传输和归档成为亟待解决的问题。在此,我们提出了一个实用的和强大的文件级流量控制方法,称为无限滑动窗口(USW),通过参考经典的流量控制方法在TCP协议。在USW和为Murchison宽视场阵列望远镜开发的下一代归档系统(NGAS)的基础上,我们进一步使用ZeroMQ中间件实现了增强的归档系统(ENGAS)。ENGAS大大提高了传输性能,并确保了传输文件的完整性。在测试中,ENGAS比NGAS快大约3到12倍,并且可以充分利用网络链路的带宽。因此,对于无线电观测数据的存档,ENGAS减少了通信时间,提高了带宽利用率,并解决了来自Mingantu光谱射电日像仪等观测站的数据的远程同步存档。也为未来平方公里阵列(SKA)科学区域中心的建设提供了更好的参考。
2021-06-24 astro-ph.IM
Hyperspectral and multispectral image fusion under spectrally varying spatial blurs -- Application to high dimensional infrared astronomical imaging
University of Toulouse(图卢兹大学);IRIT/INP-ENSEEIHT(图卢兹计算机研究所/国立图卢兹应用科学学院-国立高等电力技术、电子学、计算机、水力学与电信学院);CNRS(法国国家科学研究中心);Institut Universitaire de France (IUF)(法国大学研究院);ISAE-SUPAERO(法国高等航空航天学院);Institut de Recherche en Astrophysique et Planétologie (IRAP)(天体物理与行星学研究所)
在过去的几十年里,高光谱成像已经成为天文学家宝贵数据的重要来源。目前的仪器和观测时间限制允许直接获取空间分辨率高但光谱分辨率低的多光谱图像和空间分辨率低但光谱分辨率高的超光谱图像。为了提高数据的科学解释,我们提出了一种数据融合方法,它结合了每个图像的优点,以恢复一个高的空间-光谱分辨率数据立方体。所提出的逆问题占天文仪器的特殊性,如光谱变化模糊。我们通过在频域和低维子空间中解决问题来提供快速实现,以有效地处理卷积算子以及高维数据。我们进行实验的一个现实的合成数据集的模拟观测即将到来的詹姆斯韦伯太空望远镜,我们表明,我们的融合算法优于国家的最先进的方法,通常用于遥感地球观测。
2019-12-26 astro-ph.IM cs.CV eess.IV
A fast photometric image alignment algorithm with row and column means
本研究提出一种利用图像行、列均值,通过商的标准差评估相似度来寻优偏移的天文图像对齐算法,经验证其具备快速、鲁棒的特性,且论证了理论可行性。
2024-04-15 astro-ph.IM