Comparing Normalizing Flows with Kernel Density Estimation in Estimating Risk of Automated Driving Systems
TNO, Integrated Vehicle Safety(TNO综合车辆安全)
针对自动驾驶系统基于场景的安全验证中概率密度函数估计的难题,提出用归一化流进行高维密度估计,对比核密度估计验证其能更精准评估风险不确定性,展现了应用潜力。
2025-07-30 cs.LG cs.RO
AltUB: Alternating Training Method to Update Base Distribution of Normalizing Flow for Anomaly Detection
KAIST(韩国科学技术院)
由于异常数据量的有限性,无监督异常检测在各个实际领域受到了广泛关注。其主要方法之一是归一化流,该归一化流追求将作为图像的复杂分布可逆地变换为作为N(0,I)的简单分布。事实上,基于FastFlow和CFLOW-AD等规范化流的算法在无监督异常检测任务上建立了最先进的性能。然而,我们调查这些算法转换正常的图像到不N(0,I)作为其目的地,但任意的正态分布。此外,它们的性能通常不稳定,这对于无监督任务非常关键,因为没有提供验证数据。为了突破这些观察结果,我们提出了一个简单的解决方案AltUB,它引入了交替训练来更新异常检测的规范化流的基础分布。AltUB有效地提高了规范化流程性能的稳定性。此外,我们的方法在MVTec AD数据集上实现了异常分割任务的最新性能,AUROC为98.8%。
2022-10-26 cs.AI cs.LG
Efficient Bayesian Sampling Using Normalizing Flows to Assist Markov Chain Monte Carlo Methods
Flatiron Institute(熨斗研究所);Center for Data Science, New York University(纽约大学数据科学中心);Stanford University(斯坦福大学);Courant Institute, New York University(纽约大学柯朗研究所)
规范化流可以生成复杂的目标分布,因此在贝叶斯统计的许多应用中显示出希望,作为MCMC的替代或补充。由于事先没有来自目标后验分布的数据集可用,因此通常使用仅需要来自基础分布的样本的反向Kullback-Leibler(KL)发散来训练流程。当后验复杂且难以用未经训练的归一化流进行采样时,该策略可能表现不佳。在这里,我们探索了一种独特的训练策略,使用直接库尔贝克-莱布勒散度作为损失,其中来自后验的样本通过以下方式生成:(i)在后验上使用归一化流来辅助局部MCMC算法以加速其混合速率,以及(ii)使用以这种方式生成的数据来训练流。该方法只需要有限数量的\textit{a~priori}输入后验,并可用于估计模型验证所需的证据,我们举例说明。
2021-07-16 cs.LG physics.data-an stat.ML
Same Same But DifferNet: Semi-Supervised Defect Detection with Normalizing Flows
Leibniz University Hanover(汉诺威莱布尼茨大学)
在制造过程中,检测制造错误对于确保产品质量和安全标准至关重要。由于许多缺陷很少发生,并且它们的特性大多是先验未知的,因此它们的检测仍然是一个开放的研究问题。为此,我们提出了DifferNet:它利用卷积神经网络提取的特征的连续性,使用归一化流来估计它们的密度。规范化流非常适合处理低维数据分布。然而,他们与图像的高维性作斗争。因此,我们采用多尺度特征提取器,使归一化流程能够为图像分配有意义的可能性。基于这些可能性,我们开发了一个评分功能,表明缺陷。此外,将分数传播回图像实现逐像素定位。为了实现高鲁棒性和高性能,我们在训练和评估中采用了多个转换。与大多数其他方法相比,我们的方法不需要大量的训练样本,并且在低至16张图像的情况下表现良好。我们证明了具有挑战性的和新提出的MVTec AD和磁瓦缺陷数据集的性能优于现有的方法。
2020-08-28 cs.CV cs.LG eess.IV
Training Deep Normalizing Flow Models in Highly Incomplete Data Scenarios with Prior Regularization
Rochester Data Science Consortium(罗切斯特数据科学联盟);University of Rochester(罗切斯特大学)
包括GANs和标准化流模型在内的深度生成框架已被证明可以通过显式或隐式地有效学习复杂的高维统计分布,成功地填补部分观察到的数据样本中的缺失值。然而,在可用于学习的数据仅被部分观察的任务中,它们的性能作为数据缺失率的函数单调衰减。在高丢失数据率状态(例如,60%及以上),已经观察到,最先进的模型往往会崩溃并产生不切实际和/或语义不准确的数据。我们提出了一个新的框架,以促进学习的数据分布在高匮乏的情况下,传统的配方的不适定问题的解决方案的启发。所提出的框架自然源于将从不完整数据中学习的过程作为正在学习的模型参数和缺失数据值的联合优化任务。该方法涉及强制执行先验正则化项,该先验正则化项与用于训练显式和易处理的深度生成框架(例如深度规范化流模型)的目标无缝集成。我们通过广泛的实验验证表明,所提出的框架优于竞争技术,特别是当数据匮乏的速度接近统一。
2021-04-03 cs.CV cs.LG
Emulating compact binary population synthesis simulations with uncertainty quantification and model comparison using Bayesian normalizing flows
Center for Interdisciplinary Exploration and Research in Astrophysics(跨学科天体物理探索与研究中心);Northwestern University(西北大学);The NSF-Simons AI Institute for the Sky (NSF-Simons SkAI)(NSF-模拟斯诺人工智能天空研究所)
本研究提出基于贝叶斯归一化流的紧致双星族合成模拟方法,可量化并边缘化模拟不确定性,在双黑洞族模拟中验证了效果,可应用于引力波星表推断与特征预测场景。
2025-09-03 astro-ph.HE cs.LG gr-qc
Hamiltonian Normalizing Flows as kinetic PDE solvers: application to the 1D Vlasov-Poisson Equations
CEA(法国原子能委员会)
本文提出基于哈密顿归一化流的 Fixed-Kinetic Neural Hamiltonian Flows 变体,将相空间初始高斯分布经可逆保体积变换映射到末态,用于求解一维 Vlasov-Poisson 方程,并可推广到未见中间态。
2025-05-07 cs.LG physics.comp-ph
Uniform-in-Phase-Space Data Selection with Iterative Normalizing Flows
National Renewable Energy Laboratory(国家可再生能源实验室);Princeton University(普林斯顿大学)
计算和实验能力的提高正在迅速增加常规生成的科学数据量。在受内存和计算强度限制的应用程序中,过大的数据集可能会阻碍科学发现,使数据简化成为数据驱动方法的关键组成部分。数据集在两个方向上增长:数据点的数量和它们的维度。虽然降维通常旨在描述低维空间上的每个数据样本,但这里的重点是减少数据点的数量。提出了一种选择数据点的策略,使它们均匀地跨越数据的相空间。所提出的算法依赖于估计数据的概率图,并使用它来构造接受概率。当仅使用数据集的小子集来构建概率图时,使用迭代法来精确地估计稀有数据点的概率。代替将相空间分箱以估计概率图,其函数形式近似于归一化流。因此,该方法自然地扩展到高维数据集。所提出的框架被证明是一个可行的途径,使数据高效的机器学习时,丰富的数据。该方法的实现可以在配套的存储库(https://github.com/Number/Phase-space-sampling)中获得。
2023-02-27 cs.AI cs.LG physics.comp-ph
Normalizing Flow-Based Metric for Image Generation
Indian Institute of Technology Bombay(印度理工学院孟买分校)
本研究提出两种基于归一化流的生成图像真实感评价指标FLD和D-FLD,相比FID等指标需样本量更少、计算效率更高,在新域场景优势显著,且实验验证其与图像退化程度呈预期单调关系。
2024-10-05 cs.AI cs.CV cs.LG
A Flow-Based Generative Model for Rare-Event Simulation
The University of Queensland(昆士兰大学)
本文提出基于归一化流生成模型的条件采样方法,结合重要性采样,高效模拟稀有事件并精确估计复杂期望,适用于高维场景。
2023-05-13 cs.LG stat.CO stat.ML
Partial Information Decomposition via Normalizing Flows in Latent Gaussian Distributions
Texas A&M University(德克萨斯大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出基于归一化流的高斯偏信息分解(GPID)方法,通过信息保持编码器处理非高斯数据,并设计梯度算法提升计算效率,在合成与多模态基准上验证了其准确性与实用性。
2025-10-06 cs.AI cs.CL cs.CV
Log-Likelihood Ratio Minimizing Flows: Towards Robust and Quantifiable Neural Distribution Alignment
Boston University(波士顿大学);Google AI(谷歌人工智能);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
分布对齐在深度学习中有许多应用,包括领域自适应和无监督图像到图像的翻译。大多数关于无监督分布对齐的先前工作依赖于最小化简单的非参数统计距离,例如最大均值差异或对抗对齐。然而,前者未能捕捉到复杂的现实世界的分布结构,而后者是难以训练,并没有提供任何普遍的收敛保证或自动定量验证程序。在本文中,我们提出了一个新的分布对齐方法的基础上对数似然比统计和规范化流。我们表明,在某些假设下,这种组合产生了一个基于深度神经似然的最小化目标,在收敛时达到了一个已知的下限。我们的实验验证,最大限度地减少所产生的目标结果域对齐,保留输入域的局部结构。
2020-10-26 cs.LG stat.ML
Wind speed super-resolution and validation: from ERA5 to CERRA via diffusion models
University of Bologna(博洛尼亚大学)
针对CERRA高分辨率再分析数据滞后两年的问题,提出基于扩散模型的数据驱动方法,利用低分辨率ERA5数据集实现意大利周边风速的超分辨率,输出与原始CERRA数据高度吻合且经原位观测验证准确。
2024-01-31 cs.AI cs.LG physics.ao-ph
MCFlow: Monte Carlo Flow Models for Data Imputation
Rochester Data Science Consortium(罗切斯特数据科学联盟);University of Rochester(罗切斯特大学)
我们考虑数据填补的主题,这是机器学习中的一项基础任务,可以解决丢失数据的问题。为此,我们提出了MCFlow,这是一个利用规范化流生成模型和蒙特卡洛采样的深度插补框架。我们解决的因果关系的困境,训练模型时出现的不完整的数据,通过引入一个迭代学习计划,交替更新的密度估计和缺失的条目的值在训练数据。我们提供了广泛的经验验证所提出的方法对标准的多元和图像数据集的有效性,并基准其性能对国家的最先进的替代品。我们证明了MCFlow在估算数据的质量方面优于竞争方法,并且在保留数据语义结构的能力方面也优于竞争方法。
2020-03-27 cs.CV cs.LG stat.ML
Distribution Matching via Generalized Consistency Models
本文提出一种受连续归一化流中一致性模型启发的分布匹配方法,兼具直接的范数最小化目标与类似GAN的约束适应性,并通过理论和实验验证其有效性。
2025-08-17 cs.AI cs.LG
Beyond Linear Diffusions: Improved Representations for Rare Conditional Generative Modeling
University of Chicago(芝加哥大学);J.P. Morgan AI Research(摩根大通AI研究);J.P. Morgan Quantitative Research(摩根大通量化研究)
针对线性扩散模型在条件分布低概率区域样本稀缺、建模困难的问题,结合条件极值理论提出带数据驱动非线性漂移项的尾部自适应扩散方法,在合成与真实金融数据集上表现优于标准模型。
2025-10-02 cs.LG stat.ML
Learning from Risk: LLM-Guided Generation of Safety-Critical Scenarios with Prior Knowledge
Chinese Academy of Sciences, China(中国科学院);Department of Urban Studies and Planning, Massachusetts Institute of Technology, USA(麻省理工学院城市研究与规划系);School of Vehicle and Mobility, Tsinghua University, China(清华大学车辆与移动系统学院)
本文提出利用LLM和CVAE生成安全关键场景的方法,通过知识驱动优化提升自动驾驶系统在罕见高风险事件下的鲁棒性与可控性。
2025-11-25 cs.AI cs.LG
Hadronic Mono-Z Dark Matter Sensitivity with Flow Matching on CMS Open Data
VIT-AP University(VIT-AP大学);Mohan Babu University(莫汉·巴布大学)
该研究利用CMS开放数据,采用条件流匹配连续归一化流建模本底,开展强子单Z暗物质产生的灵敏度分析,得到三个简化模型基准的预期显著性,并证实额外喷注拓扑的区分能力。
2026-09-04 cs.LG hep-ex hep-ph
Diffusion-Based Data Augmentation for Medical Image Segmentation
School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院);Dept. of Engineering for Innovation Medicine, University of Verona(威尼斯大学创新医学工程系)
针对医学图像分割中罕见异常数据稀缺问题,提出DiffAug框架,结合文本引导扩散生成与自动分割验证合成异常样本,在三个基准上提升分割性能并降低假阴性率。
2025-08-25 cs.CV cs.LG
Prediction of rare feature combinations in population synthesis: Application of deep generative modelling
Technical University of Denmark(丹麦技术大学)
在群体综合应用中,当考虑具有多个属性的群体时,一个基本问题是估计特征属性的稀有组合。毫不奇怪,要可靠地表示这种多变量分布的稀疏区域,特别是原始样本中不存在的属性组合,是非常困难的。在文献中,这通常被称为采样零点,迄今为止还没有提出系统的解决方案。本文提出了两种来自深度生成模型家族的机器学习算法,用于解决人口合成问题,并特别关注采样零的问题。具体来说,我们引入了Wasserstein生成对抗网络(WGAN)和变分自动编码器(VAE),并将这些算法用于大规模人口合成应用。该模型实现了丹麦旅游调查的功能空间超过60个变量。该模型进行了验证,在交叉验证计划和一组新的指标的抽样零问题的评估。结果表明,这些模型是如何能够恢复采样零点,同时保持真正不可能的组合,结构零点,在一个相对较低的水平估计。特别地,对于低维实验,VAE,边际采样器和完全随机采样器分别产生5%,21%和26%,更多的结构零点由WGAN产生,而对于高维情况下,这些数字分别上升到44%,2217%和170440%。这项研究直接支持基于代理的系统的开发,特别是在需要详细的社会经济或地理代表性的情况下。
2019-09-17 cs.LG stat.AP stat.ML
Inverse Autoregressive Flows for Zero Degree Calorimeter fast simulation
AGH University of Krakow(克拉科夫AGH大学)
本文提出逆自回归流方法,通过引入新的损失函数和缩放机制,提升ZDC模拟的准确性和速度,比现有方法快421倍。
2026-08-13 cs.LG hep-ex physics.ins-det
Low-Shot Validation: Active Importance Sampling for Estimating Classifier Performance on Rare Categories
Stanford University(斯坦福大学);Carnegie Mellon University(卡内基梅隆大学);Google(谷歌);Argo AI
对于用有限的标记训练数据训练的机器学习模型,验证将成为降低整体注释成本的主要瓶颈。我们提出了一种统计验证算法,可以准确估计稀有类别的二进制分类器的F分数,其中找到相关的例子进行评估是特别具有挑战性的。我们的关键见解是,即使在低样本状态(< 300个样本)下,同步校准和重要性采样也能实现准确的估计。重要的是,我们还推导出了我们方法方差的准确单次试验估计量,并证明了该估计量在低样本数下凭经验是准确的,使从业者能够知道他们可以信任给定的低样本估计值。在ImageNet和iNaturalist 2017上验证最先进的半监督模型时,我们的方法实现了相同的模型性能估计,标签数量比竞争方法少10倍。特别是,我们可以使用少至100个标签来估计方差为0.005的模型F1得分。
2021-09-13 cs.CV cs.LG
NFAD: Fixing anomaly detection using normalizing flows
Laboratory of Methods for Big Data Analysis, HSE University(HSE大学大数据分析方法实验室)
异常检测是一项具有挑战性的任务,几乎在工业和科学的所有领域都经常出现,从欺诈检测和数据质量监控到发现罕见疾病病例和寻找新的物理学。大多数用于异常检测的常规方法,例如单类SVM和鲁棒自动编码器,都是单类分类方法,即专注于将正常数据与空间的其余部分分离。这种方法是基于正常和异常类的可分离性的假设,并且随后不考虑任何可用的异常样本。尽管如此,在实际环境中,一些异常样本往往是可用的;然而,通常在数量上远远低于平衡分类任务所需的,并且可分性假设可能并不总是成立。这导致了一个重要的任务-将已知的异常样本纳入异常检测模型的训练过程。在这项工作中,我们提出了一种新的模型不可知的训练过程来解决这个任务。我们将一类分类问题转化为二元分类问题,将正常数据与伪异常样本区分开来。通过将潜在分布的尾部馈送到模型中,从归一化流模型的低密度区域中提取伪异常样本。这种方法允许容易地将已知异常包括到任意分类器的训练过程中。我们证明了我们的方法在一类问题上表现出相当的性能,最重要的是,在具有可变数量的已知异常的任务上实现了相当或优越的结果。
2021-11-19 cs.LG stat.ML
Fast light-field 3D microscopy with out-of-distribution detection and adaptation through Conditional Normalizing Flows
Technical University of Munich(慕尼黑工业大学);Munich Institute of Biomedical Engineering(慕尼黑生物医学工程研究所);Massachusetts Institute of Technology(麻省理工学院);University of Bern(伯尔尼大学)
本研究针对XLFM传统3D重建速度慢、神经网络方法缺可信度的问题,提出基于条件归一化流的架构,实现高速3D重建,还支持分布外检测与自适应重训练。
2023-06-14 cs.CV cs.LG eess.IV
Provable benefits of annealing for estimating normalizing constants: Importance Sampling, Noise-Contrastive Estimation, and beyond
Université Paris-Saclay(巴黎萨克雷大学);Inria(法国国家信息与自动化研究所);CEA(法国原子能和替代能源委员会);University of Helsinki(赫尔辛基大学);Carnegie-Mellon University(卡内基梅隆大学)
该研究针对退火法估计归一化常数的设计选择缺乏效率理论的问题,通过渐近误差分析对比估计器与分布路径的性能,证明算术路径的最优性并提出高效逼近最优路径的两步估计器。
2023-10-09 cs.LG stat.ML
A Risk-Field Enhanced Closed-Loop Digital Twin Framework for Autonomous Driving Safety Validation
针对自动驾驶安全验证,提出风险场增强闭环数字孪生框架,集成多方面功能,引入驾驶风险场描述风险,通过评估协议比较不同方法,该框架能让验证更具针对性、可解释性和可重用性,但受模型保真度等因素限制。
2026-07-14 cs.LG cs.RO
Foundation Models for Rapid Autonomy Validation
Zoox Inc.(Zoox公司)
针对自动驾驶车辆性能验证中场景覆盖与可扩展性挑战,提出使用掩码自编码器重建驾驶场景,通过嵌入空间分组和微调碰撞难度评分进行重要性加权,从而更快速地估计碰撞发生率和严重程度。
2025-05-29 cs.LG cs.RO
Deep importance sampling using tensor trains with application to a priori and a posteriori rare event estimation
Monash University(莫纳什大学);University of Bath(巴斯大学);Heidelberg University(海德堡大学)
本文提出基于平方张量列分解的保序变换复合来构建深度重要性采样方法,用于高维稀有事件概率估计,并通过比率估计器改进方差缩减,在微分方程约束问题上实现了此前无法达到的高维后验稀有事件概率计算。
2023-05-25 cs.LG stat.CO stat.ME
CENTS: Generating synthetic electricity consumption time series for rare and unseen scenarios
Technical University of Munich(慕尼黑工业大学);Universidad Rey Juan Carlos(胡安卡洛斯国王大学);Massachusetts Institute of Technology(麻省理工学院)
针对能源领域高质量数据稀缺问题,提出CENTS方法,通过上下文归一化、新颖上下文编码器及联合训练框架,生成高保真家庭级电力消耗时间序列数据,为能源领域训练更大基础模型铺平道路。
2025-01-28 cs.LG
Prediction model for rare events in longitudinal follow-up and resampling methods
Université Clermont Auvergne(克莱蒙奥弗涅大学);CNRS(法国国家科学研究中心)
本研究针对纵向随访中的罕见事件预测,比较多种重采样方法以改进标准回归模型,并评估采样率影响,采用时间感知的验证技术。主要贡献在于提出并验证了改进预测性能的有效方法。
2023-06-19 cs.LG stat.AP stat.ME
Introduction to Rare-Event Predictive Modeling for Inferential Statisticians -- A Hands-On Application in the Prediction of Breakthrough Patents
Aalborg University(奥尔堡大学)
近年来,定量方法有了长足的发展,主要是由计算机科学社区领导的,其目标是开发更好的机器学习应用,主要集中在预测建模上。然而,经济,管理和技术预测研究迄今为止一直犹豫不决,应用预测建模技术和工作流程。在本文中,我们介绍了一个机器学习(ML)的定量分析方法,旨在优化预测性能,对比它与标准实践推理统计,重点是产生良好的参数估计。我们讨论这两个领域之间的潜在协同作用的背景下,乍一看,目标不兼容。我们讨论预测建模中的基本概念,如样本外模型验证,变量和模型选择,泛化和超参数调整程序。我们正在为定量社会科学观众提供一个动手预测建模介绍,同时旨在揭开计算机科学术语的神秘面纱。我们使用专利质量评估的说明性例子-这应该是Scientometrics社区感兴趣的一个熟悉的话题-指导读者通过各种模型类和数据预处理,建模和验证的过程。我们从更熟悉的易于解释的模型类(Logit和弹性网络)开始,继续使用不太熟悉的非参数方法(分类树,随机森林,梯度提升树),最后介绍人工神经网络架构,首先是一个简单的前馈,然后是面向罕见事件预测的深度自动编码器。
2021-03-01 cs.LG stat.ML
A Versatile Approach to Evaluating and Testing Automated Vehicles based on Kernel Methods
University of Michigan(密歇根大学);Columbia University(哥伦比亚大学)
复杂控制系统的评估和验证是保证可用性和安全性的关键。通常,故障发生在一些很少遇到的情况下,但一旦触发,后果是灾难性的。加速评估是一种通过智能采样测试用例有效测试那些罕见但关键的故障的方法。抽样中使用的分布对该方法的性能至关重要,但构建合适的分布需要逐个分析。提出了一种利用核方法构造抽样分布的通用方法。该方法使用统计学习工具来近似的关键事件集和构造分布的基础上的高斯分布的独特属性。我们应用该方法来评估自动驾驶汽车。数值实验表明,该方法可以鲁棒地识别罕见故障,并显着减少评估时间。
2017-10-01 cs.LG cs.RO stat.ML
Scalable Autonomous Vehicle Safety Validation through Dynamic Programming and Scene Decomposition
Stanford University(斯坦福大学);NASA Ames Research Center(NASA艾姆斯研究中心)
自动驾驶中的一个悬而未决的问题是如何最好地使用模拟来验证自动驾驶汽车的安全性。现有技术依赖于模拟的推出,这对于发现罕见的故障事件可能是低效的,而其他技术被设计为仅发现单个故障。在这项工作中,我们提出了一种新的安全验证方法,试图估计分布超过故障的自治政策使用近似动态规划。这种分布的知识允许有效地发现许多失败的例子。为了解决问题的可扩展性,我们分解复杂的驾驶场景子问题,只包括自我车辆和其他车辆。这些子问题可以用近似动态规划来解决,并且它们的解被重新组合以近似完整场景的解。我们将我们的方法应用到一个简单的两辆车的情况下,以证明该技术,以及一个更复杂的五辆车的情况下,以证明可扩展性。在这两个实验中,我们观察到与基线方法相比,发现的失败数量有所增加。
2020-06-26 cs.LG cs.RO cs.SY
LatticeBridge: Rare-Event Sequential Inference for Faithful Structured Sequence Synthesis
Bahcesehir University(巴切塞希尔大学)
针对结构化序列生成中约束满足的罕见事件问题,提出LatticeBridge方法,结合前缀语言模型、实例编译表面自动机和扭曲序列蒙特卡洛解码器,在多个基准上显著提升锚点满足率和覆盖率。
2026-06-11 cs.CL cs.LG
Generalisable prediction model of surgical case duration: multicentre development and temporal validation
Kobe University(神户大学);Hyogo Prefectural Nishinomiya Hospital(兵库县立西宫医院);Kobe City Medical Center General Hospital(神户市立医疗中心中央市民医院)
针对现有手术时长预测模型可推广性受限的问题,本研究开发了基于多中心数据的堆叠机器学习模型,经时间外部验证显示准确且校准良好,支持跨机构和时间迁移,可改进手术室调度。
2025-11-12 cs.LG stat.AP
Nonparametric Reaction Coordinate Optimization with Histories: A Framework for Rare Event Dynamics
Faculty of Biological Sciences, University of Leeds(生物学学院,利兹大学);Astbury Center for Structural Molecular Biology, University of Leeds(结构分子生物学中心,利兹大学)
该研究提出了一种非参数反应坐标优化框架,利用轨迹历史克服传统方法的局限,实现对稀有事件动力学的高效分析。
2026-03-03 cs.LG math.PR physics.chem-ph
How to Train Your Flare Prediction Model: Revisiting Robust Sampling of Rare Events
Georgia State University(佐治亚州立大学);Academy of Athens(雅典学院);University of Hawai‘i at Mānoa(夏威夷大学马诺阿分校)
我们提出了一个案例研究的太阳耀斑预测的元数据特征时间序列,通过处理它作为一个突出的类不平衡和时间相干的问题。通过太阳耀斑(SWAN-SF)基准数据集的空间天气分析,充分利用太阳活动区的耀斑前时间序列成为可能;活动区属性的多变量时间序列的分区集合,包括4075个区域,跨越9年的太阳动力学观测站(SDO)运行期间。我们展示了时间序列预测中连续性需求引发的时间相干性的一般概念,并表明缺乏对这种效应的正确理解可能会虚假地提高模型的性能。我们进一步解决了罕见事件预测中另一个众所周知的挑战,即类不平衡问题。SWAN-SF是一个合适的数据集,GOES M级和X级耀斑的不平衡比为60:1,X级耀斑与耀斑安静实例的不平衡比为800:1。我们重新审视了这些挑战的主要补救措施,并提出了几个实验来说明这些补救措施中的每一个可能对性能产生的确切影响。此外,我们承认一些基本的数据操作任务,如数据规范化和交叉验证也可能影响性能-我们也讨论了这些问题。在这个框架中,我们还审查了使用真正的技能统计和Heidke技能得分,作为两个广泛使用的性能验证指标的耀斑预测任务的主要优点和缺点。总之,我们展示并倡导时间序列与时间点预测的优势,前提是上述挑战得到可衡量和定量的解决。
2021-03-12 astro-ph.SR cs.LG