Hardware-accelerated Inference for Real-Time Gravitational-Wave Astronomy
瞬变天文学领域已经经历了一场革命,第一次引力波探测和多信使观测的到来使它们成为可能。由于首次探测到双黑洞和双中子星并合,引力波天文学的计算需求预计将在未来五年内至少增长两倍,因为全球网络的更大规模的干涉仪将达到设计灵敏度。随着探测器灵敏度的提高,作为多信使后续行动的推动因素,实时提供引力波警报将变得越来越重要。在这项工作中,我们报告了一种用于实时引力波数据去噪和天体物理源识别的深度学习推理的新实现和部署。这是使用通用的推理即服务模型来实现的,该模型能够适应未来对引力波数据分析的需求。我们的实现允许硬件加速器的无缝结合,也使商业或私人(专用)作为一个服务计算的使用。基于我们的研究结果,我们提出了一个范式转变的低延迟和离线计算的引力波天文学。这种转变可以解决峰值使用、可扩展性和可靠性方面的关键挑战,并提供一个特别针对深度学习应用优化的数据分析平台。实现的亚毫秒级延迟也将与任何基于机器学习的实时控制系统相关,这些系统可能在不久的将来和下一代地基激光干涉仪的操作中调用,以及来自此类仪器的数据的前端收集,分发和处理。
2021-08-27 astro-ph.IM gr-qc physics.comp-ph
Introduction to the Special Issue on Digital Signal Processing in Radio Astronomy
天文学的进步与数字信号处理(DSP)的进步密切相关。这期特刊主要关注射电天文学中DSP的进展。该社区的趋势是尽可能使用现成的数字硬件,并利用高性能计算的进步。特别是,图形处理单元(GPU)和现场可编程门阵列(FPGA)正在取代专用电路(ASIC);高速以太网和Infiniband正在取代定制背板用于互连。此外,为了降低数字工程的障碍,社区已经设计并发布了基于FPGA的通用DSP系统,例如CASPER ROACH板,ASTRON Uniboard和CSIRO Redback板。在这篇介绍性的文章中,我们给出了一个简短的历史概述,总结了最近的趋势,并对未来的发展方向进行了展望。
2017-02-01 astro-ph.IM
Adventures in Radio Astronomy Instrumentation and Signal Processing
本论文描述了几种用于数字化和处理利用射电望远镜收集的模拟天文信号的仪器的设计和实现。现代射电望远镜具有显著的数字信号处理需求,通常使用在现场可编程门阵列中实现的定制处理引擎来最好地满足这些需求。这些需求基本上源于天文学家希望观察的越来越大的模拟带宽,导致需要实时处理大量数据。我们专注于光谱仪的发展,以改善艾伦望远镜阵列,哈特比斯多克射电天文台望远镜,南赛射电望远镜和帕克斯射电望远镜上的脉冲星科学。我们还介绍了我们进行的实时脉冲星计时仪器的发展工作。本论文中所描述的所有工作都是使用加州大学伯克利分校天文信号处理和电子研究中心(CASPER)开发的通用天文处理工具和硬件进行的。我们成功地在几个望远镜上部署了完全采用CASPER技术建造的仪器,这有助于验证CASPER倡导的射电天文仪器开发方法。
2011-09-02 astro-ph.IM
ICE-based Custom Full-Mesh Network for the CHIME High Bandwidth Radio Astronomy Correlator
新一代无线电干涉仪对来自数千个天线馈源的信号进行编码。将这些数据进行数据化和关联需要网络功能,这些功能可以以合理的成本处理前所未有的数据速率。加拿大氢强度测绘实验(CHIME)关联函数处理来自N=2048个数字化仪输入的8位,带宽为400 MHz。以$N^2~\times $带宽测量,它是已经建造的最大的无线电关联函数。它的数字后端必须交换和重组其128个数字化和信道化节点产生的6.6太比特/秒,并将其馈送到256节点空间关联函数,其方式是每个节点从所有数字化仪输入获得数据,但跨越带宽的一小部分(即"转弯“)。为了最大限度地提高转弯系统的性能和可靠性,同时最大限度地降低成本,我们实施了定制的网络解决方案。该系统利用现场可编程门阵列(FPGA)收发器在机箱内的16块电路板之间实现直接、无源、全网状、高速串行连接,在机箱之间交换数据,并使用标准的10 Gbit/s以太网链路将数据卸载到256个图形处理单元(GPU)节点的集群。GPU节点通过组合来自所有板条箱的数据然后计算vibration来完成转弯。眼图和帧误差计数器证实了角转向网络在当前运行的CHIME探路者望远镜(完整CHIME望远镜的原型)和完整CHIME硬件的代表性部分中的无错误操作,提供了端到端的系统验证。分析了一个等效的转弯系统,而不是自定义的无源数据链路与以太网交换机。
2016-08-15 astro-ph.IM
A Decade of Developing Radio-Astronomy Instrumentation using CASPER Open-Source Technology
天文信号处理和电子研究合作组织(CASPER)十年来一直致力于减少设计、建造和部署新数字射电天文仪器的时间和成本。今天,CASPER开源技术为全球超过45种科学仪器提供动力,并被数十个学术机构的科学家和工程师使用。在本文中,我们编目的CASPER合作,和仪器过去和现在建立的CASPER用户和开发人员的当前产品。我们描述了软件开发的持续状态,因为CASPER希望支持更广泛的编程环境和硬件,并确保与最新供应商工具的兼容性。
2016-11-06 astro-ph.IM
Renovation of Seoul Radio Astronomy Observatory and Its First Millimeter VLBI Observations
首尔射电天文台(SRAO)在首尔国立大学Gwanak校区运营着一台6.1米射电望远镜。我们提出的努力,改革SRAO甚长基线干涉(VLBI)站,最近的成就,如事件视界望远镜,东亚VLBI网络,韩国VLBI网络(KVN)毫米干涉仪网络的动机。为了实现这一目标,我们安装了一个用于毫米波天文学研究的组合阵列的接收器和一个数字后端,包括一个H脉泽时钟。现有的硬件和软件也进行了修改,这些硬件和软件以前只用于单碟操作。经过几年的准备和1毫米和3毫米波段的测试观测,于2022年6月在SRAO和KVN蔚山站之间相隔300公里的基线上成功探测到86 GHz的3C 84条纹。由于接收机的双频操作,VLBI观测将很快扩展到1毫米波段,并验证1和3毫米波段之间的频率相位参考技术。
2023-01-27 astro-ph.IM
Analysing Astronomy Algorithms for GPUs and Beyond
天文学依赖于不断增长的计算能力。处理器时钟频率已经趋于稳定,性能的提高现在以单个芯片上附加处理器内核的形式出现。这对天文软件社区提出了重大挑战。图形处理单元(GPU),现在能够通用计算,克服了困难的学习曲线和显着的加速表现出的并行硬件架构。我们提出了一种通用的方法来解决这种范式转变,基于算法的分析。我们描述了一个小集合的基础算法相关的天文学,并解释如何使用它们来缓解过渡到并行计算架构。我们证明了我们的方法的有效性,将其应用到四个著名的天文学问题:Hogbom清洁,逆射线拍摄的引力透镜,脉冲星去色散和体绘制。具有明确定义的内存访问模式和高运算强度的算法可以从并行架构中获得最大的性能提升,而那些涉及大量决策的算法可能难以利用可用的处理能力。
2010-07-09 astro-ph.IM cs.DS
Prototyping scalable digital signal processing systems for radio astronomy using dataflow models
在射电天文数字信号处理(DSP)系统的设计和实现中,使用高级工具的趋势越来越明显。这些工具,例如来自天文信号处理和电子研究合作组织(CASPER)的工具,通常是特定于平台的,缺乏高层次的、独立于平台的、可移植的、可扩展的应用规范。这限制了设计人员在开发周期的早期在高抽象级别上试验设计的能力。我们使用基于模型的设计方法,采用Escherlow模型来解决其中的一些问题。我们证明了这种方法,将其应用到一个可调的数字下变频器(TDD)用于窄带光谱的设计。我们的设计是针对一个FPGA平台,称为互连突破板(IBOB),这是可从CASPER。我们使用术语TDD来指代数字下变频器,对于该数字下变频器,可以重新配置解调因子和中心频率,而不需要重新生成硬件代码。这种设计目前在CASPER DSP库中不可用。本文提出的工作集中在两个方面。首先,我们介绍和演示了一个基于XML的设计方法,使用XML交换格式(DIF)工具的高级应用程序规范,我们集成这种方法与CASPER工具流。其次,我们探讨TDD设计的灵活性和固定配置的数字下变频器(FDD)设计,使用现有的CASPER DSP库的低硬件成本之间的权衡。我们进一步探讨这种权衡的上下文中的两级下变频方案采用TDD或FDD设计的组合。
2012-04-20 astro-ph.IM physics.ins-det
Digital Instrumentation for the Radio Astronomy Community
科学时间是服务于天文学界的数字仪器的一个重要品质因数。一个数字信号处理(DSP)社区正在形成,它使用共享的硬件开发、信号处理库和仪器架构来缩短数字仪器的开发时间,并提高各种项目的科学时间。我们建议优先考虑支持这个新兴DSP社区需求的技术开发。在概述了几种依赖数字仪器开发来实现新科学目标的仪器类别后,我们确定了与互操作性和处理灵活性相关的技术将减少射电天文学数字仪器开发的时间、风险和成本的关键领域。这些领域代表了未来十年支持DSP社区通用开源开发的重点。这种技术发展的贡献者可能是DSP社区的支持中心,将通用DSP解决方案作为其自身仪器需求的一部分的科学团体,或从事可能应用于下一代DSP仪器的研究的工程团体。
2009-04-07 astro-ph.IM
Deep Learning Assisted Data Inspection for Radio Astronomy
现代射电望远镜结合了数千个接收器、远距离网络、大规模计算硬件和复杂的软件。由于这种复杂性,故障相对频繁地发生。在这项工作中,我们提出了无监督深度学习的新用途,以诊断现代射电望远镜的系统健康状况。该模型是一个卷积变分自动编码器(VAE),它能够将高维时频数据投影到低维规定空间。使用这种投影,望远镜操作员能够直观地检查故障,从而保持系统的健康。我们已经训练和评估的性能的VAE定量控制实验从HERA的模拟数据。此外,我们对在真实LOFAR数据上训练和测试的模型进行了定性评估。通过使用一个朴素的SVM分类器的投影合成的数据,我们表明,有一个权衡之间的投影的维数和复合功能在一个给定的频谱图的数量。VAE和SVM组合的准确率在65%到90%之间,具体取决于给定输入中的特征数量。最后,我们展示了原型系统健康诊断网络框架,集成了评估模型。该系统目前正在ASTRON天文台进行测试。
2020-05-27 astro-ph.IM
Signal extraction in atmospheric shower arrays designed for $\rm 200\,GeV-50\,TeV$ $γ$-ray astronomy
我们提出了SEMLA(信号提取使用机器学习ALTO)分析方法,开发的$\rm E>200\,GeV$ $γ$射线的背景下,ALTO宽视场大气簇射阵列R&D项目的检测。ALTO的科学重点是河外$γ$射线天文学,因此主要是探测软谱$γ$射线源,如活动星系核和伽马射线暴。ALTO研发项目的当前阶段是优化此类源的灵敏度,并包括通过专用蒙特卡罗模拟和硬件测试分析进行测试和评估的许多想法。在这方面,必须澄清如何分析数据和如何取得结果。SEMLA利用机器学习并且包括四个阶段:初始事件清理(阶段A),滤出重建不良的$γ$射线事件(阶段B),随后是从质子背景事件中提取$γ$射线信号(阶段C),并且最后重建事件的能量(阶段D)。通过SEMLA实现的性能进行评估的角度,簇射核心的位置,和能量分辨率,连同有效的检测区域,和背景抑制。我们的方法可以很容易地推广到任何实验,只要考虑特定分析项目的信号提取变量。
2021-05-14 astro-ph.IM
Data Provenance and Management in Radio Astronomy: A Stream Computing Approach
平方公里阵列等大型科学项目需要新的数据出处和数据管理(DPDM)方法,其特征是数据量极大和高数据率,因此需要创新且高效的计算范式。在这种情况下,我们探索流计算的方法,重点是使用加速器。特别是,我们使用了新一代高性能的基于流的并行化中间件InfoSphere Streams。它的可行性管理和确保互操作性和完整性的信号处理数据管道在射电天文学证明。IBM InfoSphere Streams支持流计算范例。它是从传统的数据采掘技术(包括对数据库中现有数据的分析)向实时分析处理的转变。我们讨论了在射电天文学中使用InfoSphere Streams实现有效的DPDM,并提出了一种将InfoSphere Streams用于大型天线阵列的方法。我们提出一个案例研究:自相关光谱仪的InfoSphere Streams实现,并使用此示例讨论流计算方法的优点和硬件加速器的使用。
2011-12-12 astro-ph.IM cs.DC
Microchannel plate detector development for ultraviolet astronomy
Eberhard Karls Universität Tübingen(蒂宾根大学);Empa, Swiss Federal Laboratories for Materials Science and Technology(瑞士联邦材料科学与技术研究所);Technische Universität Clausthal(克莱夫塔尔工业大学)
本文介绍图宾根大学IAAT团队研制的多功能微通道板(MCP)探测器,该探测器可覆盖完整紫外波段,含密封管型与开放型变体,采用共面交叉条阳极及FPGA电子设备,展示其研制现状与表征结果并展望任务前景。
2026-09-01 astro-ph.IM
Unleashing the Power of Distributed CPU/GPU Architectures: Massive Astronomical Data Analysis and Visualization case study
即将到来的和未来的天文学研究设施将系统地生成TB大小的数据集,将天文学带入Petascale数据时代。虽然这些设施将为天文学家提供前所未有的准确度和覆盖范围,但数据集大小和维度的增加将对许多当前的天文学数据分析和可视化工具构成严重的计算挑战。在这样的数据大小的情况下,即使是简单的数据分析任务(例如,计算直方图或计算数据最小值/最大值)在不访问超级计算设施的情况下也可能无法实现。为了有效地处理这样的数据集大小,这超过了今天的单机内存和处理限制,我们提出了一个框架,利用GPU和众核CPU的分布式电源,目标是提供数据分析和可视化任务作为天文学家的服务。通过混合共享和分布式内存架构,我们的框架有效地利用底层硬件基础设施处理批处理和实时数据分析和可视化任务。以“软件即服务”的方式提供这种功能作为服务将降低总拥有成本,为更广泛的天文社区提供易于使用的工具,并使底层硬件基础设施的利用更加优化。
2011-11-29 astro-ph.IM cs.DC
Evaluating virtual hosted desktops for graphics-intensive astronomy
数据可视化对于理解天文现象至关重要。今天,许多仪器产生的数据集太大,无法下载到本地计算机,但天文学家使用的许多可视化工具只能部署在台式计算机上。云计算越来越多地用于提供天文学中的计算和模拟平台,但它也提供了作为可视化平台的巨大潜力。具有图形处理单元(GPU)加速功能的虚拟托管桌面允许交互式图形密集型桌面应用程序与存储在远程数据中心的天文数据集协同运行。通过结合基准测试和用户体验测试,与20名天文学家的队列,我们调查的可行性取代物理桌面计算机与虚拟托管桌面。在我们的工作中,我们比较了两台Apple MacBook计算机(一台旧的和一台新的,代表硬件和使用寿命的两端)与两个虚拟托管桌面:一个商业(亚马逊网络服务)和一个私人研究云(澳大利亚Nectar Research Cloud)。对于基于二维图像的任务和图形密集型三维操作-典型的天文可视化工作流程-我们发现基准不一定提供最佳性能指标。与典型的笔记本电脑相比,虚拟托管桌面可以提供更好的用户体验,即使使用性能较低的显卡。我们还发现,虚拟托管桌面同样易于使用,在选择配置方面提供了更大的灵活性,并且实际上可能是典型使用配置文件的更具成本效益的选项。
2018-04-30 astro-ph.IM cs.DC
A GPU based real-time software correlation system for the Murchison Widefield Array prototype
现代图形处理单元(GPU)是提供Tflop/s理论计算能力的廉价商品硬件。GPU非常适合许多计算密集型任务,包括数字信号处理。我们描述了一个基于GPU的射电天文数字相关器的实现和性能。相关器使用NVIDIA CUDA开发环境实现。我们评估了两代NVIDIA硬件上的三种设计选项。不同的设计以不同的方式利用内部寄存器、共享内存和多处理器。我们发现,最佳的性能是实现与最小化的全局内存读取最近几代硬件的设计。基于GPU的相关器优于一个单线程的CPU相当于一个32天线阵列的60倍,并在商品PC硬件上运行。GPU提供的额外计算能力最大限度地提高了PC的相关能力,同时保留了与使用标准硬件、网络和编程语言相关的快速开发时间。通过这种方式,基于GPU的关联系统代表了高性能定制硬件和纯基于CPU的软件关联之间的设计空间的中间地带。相关器被部署在Murchison Widefield Array 32天线原型系统中,在那里它可以长时间实时运行。我们简要描述了原型阵列的数据捕获,流和相关系统。
2009-06-10 astro-ph.IM
Accelerating Radio Astronomy Cross-Correlation with Graphics Processing Units
我们提出了一个高度并行实现的时间序列数据的互相关,使用图形处理单元(GPU),这是可扩展到数百个独立的输入,并适合于处理来自“大N”阵列的许多无线电天线的信号。该算法的计算部分,X引擎,在Nvidia的费米架构上有效地实现,维持高达79%的峰值单精度浮点吞吐量。我们比较了硬件和软件管理的缓存获得的性能,观察后者显着更好的性能。报告的高性能涉及使用多级数据平铺策略在内存中,并使用流水线算法,同时计算和传输的数据从主机到设备内存。与ASIC和FPGA实现相比,GPU实现的代码开发速度,灵活性和低成本有可能大大缩短相关器开发和部署的周期,对于可以容忍一些功耗损失的情况。
2011-08-01 astro-ph.IM cs.CE
Compatibility Between Wind Turbines and the Radio Astronomy Service
现代射电天文学设施不仅能够探测到来自宇宙的极其微弱的电磁信号,而且能够探测到来自各种来源的人为射频干扰的信号。这些范围从有用的信号到无线电服务和应用的不必要的带外发射,再到各种电子和电气设备产生的电磁干扰。能量收集风力涡轮机不仅配备有电功率转换硬件,而且还配备有大量的电子设备来控制和监测涡轮机。因此,射电望远镜附近的风力涡轮机可能会导致有害的干扰,破坏测量的天文数据。许多观测站寻求与风力涡轮机制造商和运营商以及当地规划当局协调新风电场的位置,以避免这种情况。在我们的研究中,我们提供的例子,以及指导方针,确定风力涡轮机和无线电观测站之间的间隔距离,使两者的良性共存。建议的计算需要三个基本步骤。首先,根据适用于工业设备的欧洲EN 550011(CISPR-11)标准确定预期的最大发射功率水平。其次,通过国际电信联盟提供的模型计算沿路径到无线电接收机的传播损耗。最后,将接收到的功率与所考虑的受保护射电天文观测波段的允许功率极限进行比较。可以针对望远镜站点周围的每个位置执行该过程,以便获得潜在有问题的风力涡轮机位置的地图。
2018-12-11 astro-ph.IM
A New Hardware Correlator in Korea: Performance Evaluation using KVN observations
我们报告的一个新的硬件关联函数在韩国,大田关联函数,由韩国天文学和空间科学研究所(KASI)和日本国家天文台(NAOJ)开发的性能评估结果。我们利用韩国VLBI观测网(KVN)和日本VLBI射电天体测量探索(VERA)进行了22~GHz的VLBI观测,并利用大田关联函数对所获得的数据进行了相关。为了评估新的硬件关联函数的性能,我们比较了从大田关联函数器的KVN观测与软件关联函数器,分布式FX(DiFX)的相关输出。我们研究了河外致密射电源的相关通量密度和亮度分布。两个关联函数输出的比较表明,在$<8\%$范围内,两个相关器输出是一致的,这与22~GHz KVN观测的幅度校准不确定度相当。我们还发现,8%的通量密度差异主要是由(a)DiFX软件关联函数和大田硬件关联函数之间条纹相位跟踪方式的差异以及(b)大田关联函数输出的振幅相关的异常图案(双层图案)引起的。双层波型的可见度幅值损失最小为3%。我们的结论是,新的硬件关联函数产生合理的相关输出连续观测,这是一致的输出从DiFX软件关联函数。
2015-03-27 astro-ph.IM
High Performance W-stacking for Imaging Radio Astronomy Data: a Parallel and Accelerated Solution
目前和即将到来的无线电干涉仪预计将产生大量的数据,需要进行处理,以便通过成像产生相应的天空亮度分布。这代表了一个突出的计算挑战,特别是当大视场和/或高分辨率的观察处理。我们已经研究了采用现代高性能计算系统,专门解决网格化,FFT变换和w校正的成像,结合并行和加速的解决方案。我们已经证明,我们开发的代码可以支持与可用硬件兼容的任何大小的数据集和图像,有效地扩展到数千个核心或数百个GPU,即使生成数十亿或数百亿像素大小的图像,也可以将解决方案的时间保持在一小时以内。此外,可移植性已被定为主要目标,无论是在不同的计算平台上的可用性和性能方面。所提出的结果已经获得了两个不同的国家的最先进的高性能计算架构。
2023-01-15 astro-ph.IM cs.DC
Bifrost: a Python/C++ Framework for High-Throughput Stream Processing in Astronomy
具有高吞吐量后端仪器的射电天文观测站需要实时数据处理。虽然计算硬件继续快速发展,但实时处理管道的开发仍然困难且耗时,这可能会限制科学生产力。受此启发,我们开发了Bifrost:一个用于快速管道开发的开源软件框架。Bifrost将高级Python接口与高效的可重新配置数据传输以及用于CPU和GPU处理的计算块库相结合。该框架是可推广的,但最初它强调高吞吐量射电天文管道的需求,例如处理数据缓冲区的能力,就好像它们是连续流一样,将处理划分为不同数据序列的能力(例如,单独的观察),以及从缓冲数据中提取特定间隔的能力。库中的计算模块专为干涉测量、脉冲星解色散和定时以及瞬态搜索管道等应用而设计。我们描述的设计和实施的彩虹桥框架,并证明其使用的骨干在塞维利亚国家野生动物保护区,NM的长波长阵列站的相关性和波束成形后端。
2017-08-02 astro-ph.IM cs.DC physics.ins-det
Cobalt: A GPU-based correlator and beamformer for LOFAR
对于低频射电天文学,通用硬件上的软件相关和波束形成是定制设计硬件的可行替代方案。LOFAR是新一代射电望远镜,中心位于荷兰,在德国,法国,爱尔兰,拉脱维亚,波兰,瑞典和英国设有国际站,自2004年以来,它已成功使用基于IBM Blue Gene技术的软件实时处理器。从那时起,技术的发展使我们能够建立一个基于商业现成组件的系统,该系统将相同的功能与较低的运营成本相结合。在本文中,我们描述了一个基于GPU的关联函数和波束形成器的设计和实现具有相同的能力,蓝色基因为基础的系统。我们专注于所采取的设计方法,并显示在选择一个合适的系统所面临的挑战。软件系统的设计、实现和验证充分体现了现代测试驱动开发方法的价值。基于三年运行的运行经验表明,通用系统是以前基于超级计算机的系统或定制设计的硬件的良好替代品。
2018-04-30 astro-ph.IM
Calibration and operation of SiPM-based cameras for gamma-ray astronomy in presence of high night-sky light
下一代切伦科夫望远镜相机具有硅照片倍增器(SiPM),可以保证出色的性能,并允许在月光下进行观察,增加占空比,从而增加物理范围。设计了一个直径4米的Davies-Cotton原型望远镜,具有9度光学FoV和1 296像素SiPM相机,以满足下一代最高能量地面伽马射线观测站的要求。用于阵列部署的望远镜的大规模生产需要开发一种全自动校准策略,该策略依赖于专用硬件,即相机测试设置(CTS)。对于每个摄像头像素,CTS配备了两个LED,一个以脉冲模式运行以再现信号,另一个以连续模式运行以再现夜空背景。在这方面的贡献,我们将提出相机校准策略,从实验室测量到现场监测,重点是与第一台相机原型所获得的结果。此外,还将介绍电荷分辨率、时间分辨率和触发效率等关键性能及其随夜空背景水平增加而降低的情况。
2019-08-19 astro-ph.IM
Neutrino Telescope Event Classification on Quantum Computers
University of the Basque Country UPV/EHU(巴斯克大学);TECNALIA, Basque Research and Technology Alliance (BRTA)(德克拉尼亚,巴斯克研究与技术联盟);Harvard University(哈佛大学);IKERBASQUE, Basque Foundation for Science(伊克尔巴斯基,巴斯克科学基金会);Basque Center for Applied Mathematics (BCAM)(巴斯克应用数学中心)
本文探讨了量子计算机在中微子事件分类中的应用,比较了NPQK和QCNN两种方法的性能,展示了量子机器学习在中微子天文学中的潜力。
2026-10-12 astro-ph.IM hep-ex quant-ph
An Open-Source High-Level Graphical Signal Processing Language with Simulation and HDL Generation
University of California, Berkeley(加州大学伯克利分校)
本文介绍将Scilab作为CASPER工具流的新前端工具,用于开发FPGA基于的光谱仪,并展示其在无线电天文应用中的能力。
2026-04-14 astro-ph.IM
A GPU-based Correlator X-engine Implemented on the CHIME Pathfinder
我们提出了一个自定义的基于GPU的计算集群,提供相关的CHIME探路者射电望远镜的X引擎的设计和实现。它是最大的此类系统之一,在400 MHz的无线电带宽上关联32,896个基线(256个输入)。该系统大量使用消费级部件和定制软件堆栈,开发成本仅为同类安装成本的一小部分。与现有的GPU后端不同,该系统是围绕在消费级AMD GPU上运行的OpenCL内核构建的,利用低成本硬件并利用打包整数运算将算法效率提高一倍。该系统在10 kW的功率范围内实现了所需的105 TOPS,使其成为当今使用的最节能的X发动机之一。
2015-06-11 astro-ph.IM
A hybrid architecture for astronomical computing
随着一批大型科学仪器的建设和投入使用,天文学已经进入了大数据时代。大数据处理的新方法和基础设施已经成为许多天文学家的新需求。云计算、Map/Reduce、Hadoop、Spark等许多新技术近年来如雨后春笋般涌现。相对于高性能计算(HPC),数据是这些新技术的核心。因此,一个新的计算架构基础设施是必要的,它可以由HPC和大数据处理共享。本文以中国虚拟天文台天文云项目为背景,对混合计算平台进行了优化设计。其中包括硬件体系结构、集群管理、作业和资源调度。
2018-01-19 astro-ph.IM cs.DC
The ROAD to discovery: machine learning-driven anomaly detection in radio astronomy spectrograms
University of Amsterdam(阿姆斯特丹大学);ASTRON, the Netherlands Institute for Radio Astronomy(荷兰射电天文研究所(ASTRON));Netherlands eScience Center(荷兰电子科学中心)
针对射电望远镜数据增长下的异常检测需求,提出融合自监督学习与监督分类的ROAD框架,在LOFAR数据集上实现实时高精度的常见异常分类与未知异常检测,性能优于现有方法。
2023-07-03 astro-ph.IM cs.AI
Optical Synoptic Telescopes: New Science Frontiers
在过去的十年里,像斯隆数字巡天这样的巡天观测已经证明了大型数据集在回答基本天体物理学问题方面的力量。这一观测上的进步,基于望远镜建设、探测器和信息技术的协同进步,对几乎所有的天文学领域和基础物理学领域都产生了巨大的影响。下一代仪器以及将使用它们进行的调查将保持这一革命性进展。硬件和计算技术的挑战以及令人兴奋的科学机会正在吸引来自天文学,光学,微光探测器,高能物理,统计学和计算机科学的科学家和工程师。天文学的历史一再告诉我们,每当我们以一种新的方式观察天空时,总会有惊喜。新一代的巡天发现尤其如此。来自具有足够光学扩展量的大型地面主动光学望远镜的成像数据可以同时用于许多科学任务。这些新的研究将依赖于数十亿物体的统计精度。这将是第一次对整个天空进行深入而快速的调查,为宇宙中微弱的移动和遥远的爆炸物体打开一扇新的窗户,并揭开暗能量的神秘面纱。
2010-09-12 astro-ph.CO astro-ph.EP astro-ph.GA
Glancing Through Massive Binary Radio Lenses: Hardware-Aware Interferometry With 1-Bit Sensors
信号数字化的能耗和硬件成本以及所产生的数据量的管理构成了具有多个传感器的高速测量系统的严重问题。切换到二进制感测前端可实现资源高效的布局,但由于非线性信号采集,通常会导致显著失真。特别地,对于需要在极端条件下解决高分辨率处理任务的应用,普遍认为低复杂度$1$位模数转换会导致不可接受的性能下降。在低频射电天文学的大科学背景下,我们提出了一个基于简单的二进制采样,精确的概率建模和似然数据处理的望远镜架构。主要原则,积木,这样的射电望远镜系统,我们称之为大规模的二元射电透镜的优点,勾勒。概述了在建立原型之前必须回答的开放式工程科学问题。我们启航的学术技术研究,推导出一个统计算法的干涉成像从二元阵列测量。该方法的目的是提取完整的判别信息的空间功率分布嵌入在一个二进制传感器数据流中没有偏见。使用LOFAR获得的无线电测量用于测试开发的成像技术,并讨论视觉和定量结果。这些评估揭示了这样一个事实,即双射电望远镜适合于测量宇宙。
2019-07-15 astro-ph.IM cs.IT eess.SP
Differentiable Optics with dLux I: Deep calibration of Flat Field and Phase Retrieval with Automatic Differentiation
本文提出基于 JAX 的可微光学仿真软件包 dLux,利用自动微分和梯度下降仅从科学数据中联合完成相位恢复与像素级探测器灵敏度校准,可扩展至数百万参数。
2024-06-16 astro-ph.IM
Building the Evryscope: Hardware Design and Performance
Evryscope是一个望远镜阵列,旨在打开光学天文学的新参数空间,同时探测跨越极大天空区域的短时间尺度事件。该系统由一个780 MPix 22摄像头阵列组成,具有8150 sq.°的视场,每像素采样13”,并且能够在每2分钟的黑暗天空曝光中检测到Mg=16的物体。Evryscope,占地18,400平方度。每晚有数小时的高节奏曝光时间,旨在发现需要全天空监测的罕见事件,包括白矮星和热亚矮星等外来恒星周围的系外行星过境,银河系内所有类型的恒星活动,附近的超新星,以及其他瞬态事件,如伽马射线暴和引力波电磁对应物。该系统平均每晚拍摄5000张图像,每张图像约30万个来源,迄今已拍摄了300多万张图像,总计250 TB的原始数据。由此产生的光变曲线数据库包含930万个目标的光变曲线,到2018年每个目标平均有32,600个历元。本文总结了Evryscope的硬件和性能,包括在望远镜设计,电子设计,安装的精密极对准的程序Evryscope类系统,机器人控制和操作,以及安全和性能优化系统的经验教训。我们测量了Evryscope的天空性能,讨论了它的数据分析管道,并提出了一些例子变星和日食双星发现的望远镜。我们还讨论了新发现的非常罕见的天体,包括2个热亚矮星食双星与晚M-矮星秒(HW Vir系统),2个白矮星/热亚矮星短周期双星,和4个热亚矮星反射双星。我们的结论与我们的过境调查,M-矮星耀斑…
2019-04-26 astro-ph.IM astro-ph.SR
The Balloon-borne VLBI Experiment (BVEX) Radio Telescope and Position Tracking System
Queen’s University(女王大学);Center for Astrophysics — Harvard & Smithsonian(哈佛-史密森尼天体物理中心);Black Hole Initiative, Harvard University(哈佛大学黑洞倡议);Dalhousie University(达尔豪斯大学);Queen’s University, Smith School of Engineering(女王大学史密斯工程学院);Queen’s University, Department of Mathematics and Statistics(女王大学数学与统计系);MIT Haystack Observatory(麻省理工学院海斯塔克天文台);Trottier Space Institute, McGill University(麦吉尔大学特罗蒂尔太空研究所);McGill University(麦吉尔大学);McMaster University(麦克马斯特大学);StarSpec Technologies Inc.(StarSpec科技有限公司);Johns Hopkins University(约翰斯·霍普金斯大学);University of British Columbia(不列颠哥伦比亚大学)
本文提出气球载VLBI实验(BVEX),一种22 GHz气球射电望远镜及高精度位置跟踪系统,旨在以低成本演示气球平台VLBI,并给出测试结果与未来升级计划。
2026-09-11 astro-ph.IM
Pipeline Collector: gathering performance data for distributed astronomical pipelines
现代天文数据处理需要复杂的软件管道来处理不断增长的数据集。对于射电天文学,这些管道已经变得如此之大,以至于它们需要分布在计算集群中。这使得很难监控每个流水线步骤的性能。为了深入了解每个步骤的性能,需要将性能监视实用程序与管道执行集成。在这项工作中,我们已经开发了这样一个实用程序,并将其与校准管道的低频阵列,LOFAR,领先的射电望远镜。我们通过在几个不同的计算平台上运行管道来测试该工具,并收集性能数据。基于这些数据,我们对未来的硬件和软件升级提出了明智的建议。这些升级的目的是加快LOFAR管道最慢的处理步骤。管道收集器套件是开源的,将被纳入未来的LOFAR管道中,为所有LOFAR处理创建性能数据库。
2018-07-16 astro-ph.IM
Scalable Cosmic AI Inference using Cloud Serverless Computing
Department of Computer Science, University of Virginia(弗吉尼亚大学计算机科学系);School of Data Science, University of Virginia(弗吉尼亚大学数据科学学院)
提出基于云无服务器计算的CAI框架,结合预训练模型与FaaS实现高效可扩展的天文图像推理,红移预测在28秒内完成12.6GB数据处理,成本低于5美元,支持TB级数据。
2025-10-09 astro-ph.IM cs.CV
Polarisation-Inclusive Spiking Neural Networks for Real-Time RFI Detection in Modern Radio Telescopes
International Centre for Radio Astronomy Research(国际射电天文研究中心);The School of Physics, Mathematics and Computing, The University of Western Australia(西澳大利亚大学物理、数学与计算学院)
本文提出一种极化包容型脉冲神经网络,用于提高现代射电望远镜实时射频干扰检测的精度和能效。
2025-08-26 astro-ph.IM cs.NE
Robotic observation pipeline for small bodies in the solar system based on open-source software and commercially available telescope hardware
空间环境中小天体的观测是天文学中一项持续的重要任务。虽然目前新物体大多是在较大的巡天中探测到的,但通常需要对每个物体进行若干次后续观测,以提高轨道确定的准确性。特别是靠近地球轨道的物体,即所谓的近地物体,特别令人关切,因为其中有一小部分但不可忽略,与地球撞击的概率可能不为零。望远镜通常由业余天文台主持。随着新的近地天体搜索活动即将由非常宽的视野望远镜,如维拉C。鲁宾天文台、美国宇航局的近地天体探测器空间任务和欧空局的Flyeye望远镜,近地天体发现的数量将急剧增加。这将需要越来越多的有用望远镜,以便在不同的地理位置进行后续观测。虽然装备精良的业余天文学家通常拥有能够进行有用测量的仪器,但观测计划和时间安排以及分析仍然是许多观测者面临的主要挑战。在这项工作中,我们提出了一个完全机器人的规划,调度和观察管道,扩展了广泛使用的开源跨平台软件KStars/Ekos的INDI设备。该方法包括根据欧空局近地天体协调中心自动优先选择候选近地天体的算法。然后,它分析可检测的物体(基于极限星等,地理位置和时间)与来自小行星中心的初步星历。计算并安排夜间的最佳观测时段。在测量之前,立即重新计算次要物体的准确位置,最后拍摄图像。除了对所有组件的详细描述外,我们还将展示基于我们方法的完整机器人硬件和软件解决方案。
2022-10-03 astro-ph.EP astro-ph.IM
Commensal, Multi-user Observations with an Ethernet-based Jansky Very Large Array
在过去的十年中,数字计算技术成本的持续下降带来了射电天文学数字仪器开发和操作方式的巨大转变。在大多数情况下,现在可以将消费者计算硬件(例如廉价的图形处理单元和存储设备)直接连接到射电望远镜产生的原始数据流。这样的系统带来了无数的好处:简单的升级路径,通过利用规模经济节省成本,以及降低寻求增加新仪器功能的科学家和工程师的进入门槛。此外,与通用计算硬件一起使用的典型数据互连技术-以太网-自然允许多个订户访问单个原始数据流。这使得多个科学项目可以并行进行。当与宽带宽和宽主视场相结合时,射电望远镜能够同时实现许多科学目标。此外,由于许多科学计划并不强烈依赖于观测的节奏和方向(例如寻找地外智慧和无线电瞬变调查),这些所谓的“卫星”观测计划可以显着提高天文台的科学生产力和发现潜力。在本白皮书中,我们详细介绍了一个项目,将基于以太网的卫星观测模式添加到Jansky超大阵列(VLA),并讨论了如何利用这种模式来进行强大的计划,通过搜索指示技术的无线电发射来限制宇宙中高级生命的分布。我们还讨论了该系统的其他潜在科学用例,以及该系统如何用于下一代VLA的下一代处理系统的技术开发。
2019-07-11 astro-ph.IM
Classifying High-Energy Celestial Objects with Machine Learning Methods
Northeastern University(东北大学)
本文利用机器学习方法,特别是基于树的模型和RNN,对高能天体进行分类和实时识别。
2025-12-11 astro-ph.HE astro-ph.IM stat.ML
A GPU-based survey for millisecond radio transients using ARTEMIS
天体物理无线电瞬变是对源自银河系内外紧凑源的极端物理过程的出色探测。从这些物体发出的射频信号提供了一种研究它们所穿过的中介介质的手段。下一代射电望远镜旨在探索高时间分辨率天文学的巨大未知参数空间,但需要高性能计算(HPC)解决方案来处理这些望远镜产生的大量数据。我们已经开发了一个软件/硬件相结合的解决方案(代号为ARTEMIS),用于实时搜索毫秒无线电瞬变,它使用GPU技术来消除星际色散,并实时检测来自天文源的毫秒无线电爆发。在这里,我们介绍了ARTEMIS。我们简要介绍了软件流水线,然后专门关注执行非相干去色散的复杂性。我们提出了两个蛮力算法的结果。第一种是基于GPU的算法,旨在利用NVIDIA Fermi GPU的L1缓存。我们的第二种算法基于CPU,利用英特尔Sandy Bridge CPU中的新AVX单元。
2011-11-28 astro-ph.IM
Towards coordinated site monitoring and common strategies for mitigation of Radio Frequency Interference at the Italian radio telescopes
我们提出了一个项目,以实施一项国家共同战略,以缓解意大利射电望远镜不断恶化的射频干扰(RFI)情况。该项目涉及Medicina、Noto和Sardinia碟形天线,包括确定现场监测的协调计划,以及实施最先进的RFI缓解硬件和软件工具。通过固定台站和流动实验室的连续观测和专门测量活动,对40千兆赫以下的频带进行了协调监测。对分配给射电天文学和空间研究服务共享或专用的频带进行了测量,并对望远镜现有和开发中的接收器所使用的更广泛的频带进行了测量。监测活动的结果提供了一个参考情景,有助于评估望远镜场地干扰情况的演变,并提供了一系列案例,以测试和改进我们为对抗射频干扰而设想的硬件和软件工具。我们开发了一个多用途的数字后端高光谱和时间分辨率观测在大带宽。观测结果表明,光谱仪的鲁棒性和灵敏度,使有效的检测和分析的射电天文数据中的干扰信号。一个原型离线软件工具的干扰检测和标记也已实施。该软件包能够处理意大利无线电望远镜上最现代化的仪器提供的大量数据,如密集的焦平面阵列,其模块化使新算法的集成和在不同环境或望远镜中的可重用性变得容易。
2022-07-15 astro-ph.IM
Viewpoints: A high-performance high-dimensional exploratory data analysis tool
科学数据集的规模和复杂性继续增加。过去,超级计算中心需要专用的图形系统来可视化大型数据集,但随着商品图形硬件的价格下降,其能力增加,原则上,现在可以在单个工作站上查看大型复杂数据集。为了在实践中做到这一点,研究者将需要编写软件,以利用相关的图形硬件。本文描述的Viewpoints可视化包是这种软件的示例。Viewpoints是一个交互式工具,用于探索性地对大型高维(多变量)数据进行可视化分析。它利用现代图形板(GPU)的功能在单个工作站或笔记本电脑上运行。观点是极简主义的:与今天的类似软件包相比,它试图很好地(或者至少非常快地)完成一小部分有用的事情。它的基本功能集包括与刷,动态直方图,归一化和离群值检测/删除链接散点图。Viewpoints最初是为天体物理学家设计的,但它已经被用于各种领域,从天文学,量子化学,流体动力学,机器学习,生物信息学和金融到信息技术服务器日志挖掘。在本文中,我们将描述Viewpoints包并展示其用法示例。
2010-11-08 astro-ph.IM cs.GR physics.data-an
A Digital Correlator Upgrade for the Arcminute MicroKelvin Imager
位于剑桥附近的Mullard射电天文台的角分微开尔文成像仪(AMI)望远镜由于安装了一个新的数字相关器而得到了显著的增强,该数字相关器具有1.2 MHz的光谱分辨率。该系统取代了750兆赫分辨率的模拟滞后关联函数,旨在减轻射频干扰的影响,特别是地球静止卫星对低磁偏角观测造成的干扰。升级后的仪器由18个ROACH 2现场可编程门阵列平台组成,用于实现一对实时FX解调器-AMI的两个阵列中的每一个。新系统将来自每个AMI接收器的下变频RF基带信号分离为两个2.3 GHz宽的子带,每个子带以5 Gsps的8位精度进行数字化。这些数字数据流被过滤到2048个频率通道中,并使用FPGA硬件进行交叉相关,商用10 Gb以太网交换机提供高速数据互连。使用来自新的数字关联函数的数据形成的图像显示出比以前的系统在动态范围上的一个数量级的改进。在低赤纬下的观测能力也得到了显著提高。
2018-02-16 astro-ph.IM
Multi-Level Pre-Correlation RFI Flagging for Real-Time Implementation on UniBoard
由于频谱的密集使用,以及射电望远镜的更高灵敏度,射频干扰(RFI)抑制已成为当前和未来射电望远镜设计的敏感话题。即使近年来已经提出了相当复杂的方法,大多数RFI缓解操作程序是基于后相关损坏的数据标记。此外,考虑到当前和下一代射电望远镜提供的大量数据,所有这些RFI检测程序必须至少是自动的,如果可能的话,必须是实时的。在本文中,一个实时的预相关RFI检测和标记程序到通用的高性能计算平台的基础上,现场可编程门阵列(FPGA)的实施进行了描述,模拟和测试。其中一块板,UniBoard,是在RadioNet FP 7欧洲计划的联合研究活动下开发的,基于8个FPGA,通过高速收发器网格互连。该器件采用Altera Stratix IV FPGA提供多达4个TMAC,输入数据流的数据速率为160 Gbps。考虑到在预相关阶段中的高输入-输出数据速率,只能实现实时和直通检测器(即,没有迭代处理)。本文介绍了一种实时自适应检测方案。目前正在Nançay天文台的电子多波束射电天文学概念射电望远镜设施进行案例研究。我们的目标是评估这一概念的硬件复杂性,检测效率和额外的RFI元数据速率成本方面的性能。描述了UniBoard的实现方案。
2017-03-01 astro-ph.IM
Near-field imaging of local interference in radio interferometric data: Impact on the redshifted 21 cm power spectrum
本文提出匹配滤波和最大后验成像两种近场方法,用于从射电干涉数据中检测和表征局部RFI源,并评估其对21厘米功率谱的影响,代码已开源。
2025-04-11 astro-ph.CO astro-ph.IM
The LOFAR Beam Former: Implementation and Performance Analysis
传统的射电望远镜使用大型的钢制碟形天线来观测射电源。LOFAR射电望远镜是不同的,它使用了成千上万个固定的、不可移动的天线,这是一种新颖的设计,有望在天文学领域进行突破性的研究。这些天线全方位地进行观测,而天空源则通过信号处理技术进行观测,该技术将来自所有天线的数据结合起来。LOFAR的另一个新功能是精心使用软件进行实时的信号处理,而传统望远镜使用定制的硬件。软件的使用使仪器本身更加灵活。然而,巨大的数据率(198 Gb/s的输入数据)和处理要求迫使使用一个超级计算机:我们使用IBM蓝色基因/P.本文提出了一个新的处理管道,统称为波束形成管道,大大提高了望远镜的功能。我们的第一条管道只能关联数据来创建天空图像,新的管道允许发现未知的恒星,观测已知的恒星,并(在未来)观测宇宙射线和研究瞬态事件。与传统望远镜不同,我们可以同时从数百个方向进行观察。这是有用的,例如,搜索天空中的新恒星。软件的使用使我们能够快速添加新功能,并适应新的见解,充分利用我们独特仪器的新颖功能和强大功能。我们还描述了我们的优化,以非常高的效率使用蓝色基因/P,最大限度地提高整个望远镜的有效性。全面的性能研究确定了我们系统的局限性。
2011-05-03 astro-ph.IM cs.DC
Development of Space Qualified Signal Processing Readout Electronics for HabWorlds and Origins Space Telescope Detector and Arrays
为HWO太空望远镜开发基于抗辐射FPGA的MKIDs读出系统,以PRIMA任务要求为基准,实现算法、硬件与固件开发,确保空间兼容性。
2025-08-06 astro-ph.IM physics.ins-det physics.space-ph
Performance and energy footprint assessment of FPGAs and GPUs on HPC systems using Astrophysics application
天文学和天体物理学(AA)的新挑战迫切需要大量的计算密集型模拟。“Exascale”(及以上)计算设施是强制性的,以解决理论问题的规模和数据来自新一代的观测设施在AA。当前,高性能计算(HPC)领域正经历一个深刻的创新阶段,其中实现“Exascale”的主要挑战是功耗。这项工作的目标是提供一些见解的性能和能源足迹的当代架构的一个真正的天体物理应用在HPC的上下文中。我们使用最先进的N体应用程序,我们重新设计和优化,充分利用异构的底层硬件。我们定量地评估了在四个不同平台上运行时计算对能耗的影响。其中两个代表了当前的HPC系统(基于Intel并配备NVIDIA GPU),一个是基于ARM-MPSoC的微集群,一个是配备ARM-MPSoC与FPGA紧密耦合的“迈向Exascale的原型”。我们研究了不同设备的行为,其中高端GPU在解决方案时间方面表现出色,而MPSoC-FPGA系统在功耗方面优于GPU。我们的经验表明,将FPGA用于计算密集型应用似乎非常有前途,因为它们的性能正在提高,以满足科学应用的要求。这项工作可以为未来的天体物理应用平台的开发提供参考,其中需要计算密集型的计算。
2020-04-10 astro-ph.IM cs.PF
A Systematic Assessment of Data Volume Reduction for IACTs
本文系统评估了针对CTAO等IACT阵列的数据量缩减算法,重点提出一种基于时间的聚类算法,在保留低水平信号像素方面显著增强,并在不同观测条件下验证了其稳健性,为高效数据存储提供解决方案。
2025-02-26 astro-ph.HE astro-ph.IM