Flow to Rare Events: An Application of Normalizing Flow in Temporal Importance Sampling for Automated Vehicle Validation
KTH Royal Institute of Technology(KTH皇家理工学院)
针对自动驾驶验证中风险罕见事件分布难以刻画的问题,提出基于归一化流的时序重要性采样方法TrimFlow,通过分解时序变量并引入风险指示函数生成罕见事件分布,在估计跟车碰撞率时减少了86.1%的测试。
2024-09-24 cs.LG cs.RO
Enabling Causal Discovery in Post-Nonlinear Models with Normalizing Flows
Applied Artificial Intelligence Institute (A2I2)(应用人工智能研究所);Deakin University(迪肯大学)
针对Post-Nonlinear因果模型中可逆性约束难以捕捉的问题,提出基于归一化流的因果发现方法CAF-PoNo,通过精确重构隐藏噪声实现双变量与多变量因果发现,性能优于现有先进方法。
2024-08-29 cs.AI cs.LG stat.ME
Hypothesis testing near singularities and boundaries
似然比统计量在规则模型点处具有渐近$χ^2$分布,通常用于假设检验。然而,在模型奇点和边界处,渐近分布可能不是$χ^2$,Drton最近的工作强调了这一点。实际上,$χ^2$在奇点和边界附近进行测试时的不良行为在模拟中是明显的,并且可能导致保守或反保守测试。在这里,我们开发了一个新的分布设计用于在奇点和边界附近的假设检验,渐近同意的似然比统计量。对于两个例子三项式模型,进化树的推理的背景下产生的,我们表明新的分布优于一个$χ^2$。
2018-06-22 math.ST q-bio.PE stat.TH
Translation and Rotation Equivariant Normalizing Flow (TRENF) for Optimal Cosmological Analysis
University of California at Berkeley(加州大学伯克利分校);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
我们的宇宙是均匀和各向同性的,它的扰动服从平移和旋转对称性。在这项工作中,我们开发了平移和旋转等变归一化流(TRENF),这是一种生成的归一化流(NF)模型,它明确地结合了这些对称性,通过一系列基于傅立叶空间的卷积和逐像素非线性变换来定义数据的似然性。TRENF给出了对高维数据似然性p(x)的直接访问|y)作为标签y的函数,例如宇宙学参数。与基于汇总统计的传统分析相比,NF方法没有信息损失,因为它保留了数据的全部维度。在高斯随机场上,TRENF似然与解析表达式吻合得很好,并且饱和了标签y中的Fisher信息含量。从N体模拟的非线性宇宙学的过密度场,TRENF导致显着改善约束功率超过标准的功率谱摘要统计。TRENF也是数据的生成模型,并且我们表明TRENF样本与它训练的N体模拟吻合良好,并且数据的逆映射在视觉上和各种汇总统计上与高斯白噪声吻合良好:当这完全实现时,得到的p(x| y)似然分析变得最优。最后,我们开发了这个模型的泛化,可以处理打破数据对称性的影响,例如调查掩码,它可以在没有周期性边界的情况下对数据进行似然分析。
2022-02-10 astro-ph.CO cs.LG
BEACON: Bayesian Experimental design Acceleration with Conditional Normalizing flows $-$ a case study in optimal monitor well placement for CO$_2$ sequestration
Georgia Institute of Technology(佐治亚理工学院)
本文提出BEACON方法,将流体求解器与条件归一化流生成网络结合,在贝叶斯最优实验设计框架下优化CO$_2$封存监测井布设,并通过真实案例验证其在大规模域中的可扩展性和最优性。
2024-03-28 cs.LG math-ph math.MP
Data-driven identification of nonlinear dynamical systems with LSTM autoencoders and Normalizing Flows
Michigan Technological University(密歇根理工大学)
本研究提出一种基于 LSTM 自编码器和 Normalizing Flows 的深度学习框架,用于非线性动力系统的数据驱动辨识,在 Duffing、Lorenz 及流体流动等案例中有效实现了时间特征提取与系统参数关联。
2025-03-05 cs.LG
Marginal likelihood computation for model selection and hypothesis testing: an extensive review
Universidad Carlos III de Madrid(马德里卡洛斯三世大学);Universidad Rey Juan Carlos(胡安卡洛斯国王大学)
这是一个最新的介绍和概述,边际似然计算模型选择和假设检验。计算概率模型的归一化常数(或常数比)是统计学、应用数学、信号处理和机器学习中的许多应用中的基本问题。本文提供了一个全面的研究国家的最先进的主题。我们强调的限制,好处,连接和不同的技术之间的差异。问题和可能的解决方案与使用不当的先验也进行了描述。一些最相关的方法进行了比较,通过理论比较和数值实验。
2022-01-04 cs.LG stat.CO
Fast & Efficient Normalizing Flows and Applications of Image Generative Models
International Institute of Information Technology (Deemed to be University)(国际信息技术学院(认定为大学));IIIT Hyderabad(IIIT海得拉尔)
本研究提出高效归一化流及图像生成模型的应用,包括超分辨率、农业质量评估、地质制图、隐私保护及艺术修复等
2025-12-03 cs.AI cs.CV cs.LG
Numerical determination of the width and shape of the effective string using Stochastic Normalizing Flows
Department of Physics, University of Turin(都灵大学物理系);INFN(意大利国家核物理研究所)
本研究使用随机归一化流(一种基于非平衡蒙特卡洛的深度学习架构)研究有效弦模型,通过与Nambu-Gotō模型精确结果验证方法可靠性,分析弦宽度等难解析可观测量,探索含额外项的有效弦理论并讨论其在格点规范理论中的意义,为禁闭机制研究及复杂模型应用奠定基础。
2025-02-15 cs.LG hep-lat hep-th
From Conditional to Unconditional Independence: Testing Conditional Independence via Transport Maps
Institute of Statistics and Big Data, Renmin University of China(中国人民大学统计与大数据研究院);Department of Data Science and Artificial Intelligence, The Hong Kong Polytechnic University(香港理工大学数据科学与人工智能学院);Department of Applied Mathematics, The Hong Kong Polytechnic University(香港理工大学应用数学系)
本文提出利用两个由条件连续归一化流估计的传输映射,将条件独立性检验转化为无条件独立性检验,并给出渐近有效的统计量与置换显著性评估,实验验证了其有效性。
2025-07-25 cs.LG stat.ME stat.ML
Testing Goodness of Fit of Conditional Density Models with Kernels
Google Research(谷歌研究院);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);University College London(伦敦大学学院)
我们提出了两个条件分布拟合优度的非参数统计检验:给定一个条件概率密度函数$p(y|x)$和一个联合样本,判断样本是否是从$p(y|x)r_x(x)$中抽取的,对于某个密度$r_x$ .我们的测试,制定与斯坦运营商,可以适用于任何可微的条件密度模型,并不需要知识的归一化常数。我们证明了:1)我们的检验对任何固定的替代条件模型都是一致的; 2)统计量可以很容易地估计,不需要密度估计作为中间步骤; 3)我们的第二个检验提供了一个可解释的检验结果,提供了对条件模型在协变量域中不适合的地方的见解。我们证明了我们的测试的可解释性的任务建模纽约市的出租车下车位置给定的一个接人点的分布。据我们所知,我们的工作是第一个提出这样的条件拟合优度测试,同时具有所有这些理想的属性。
2020-06-30 cs.LG math.ST stat.ML
Beyond boundaries: Gary Lorden's groundbreaking contributions to sequential analysis
本文回顾了 Gary Lorden 在序贯假设检验和变点检测中的基础性贡献及其后续扩展,并介绍了他在 NASA、娱乐业和棒球等领域的重要咨询工作。
2024-06-29 math.ST stat.ME stat.TH
Targeted Deep Learning System Boundary Testing
Technical University of Munich(慕尼黑技术大学);fortiss;North Carolina State University(北卡罗来纳州立大学);University of Udine(乌迪内大学)
本文提出Mimicry方法,通过风格GANs解构输入特征,实现对深度学习系统边界的定向探索,生成具有语义意义的边界测试用例,揭示新的功能行为。
2025-11-27 cs.LG cs.SE
Methodological considerations for semialgebraic hypothesis testing with incomplete U-statistics
本文评估了Sturma等人提出的半代数假设检验随机方法在系统发育学模型中的实际表现,并总结了有效应用中需注意的若干方法论问题。
2025-07-17 q-bio.PE stat.ME
A Deep Learning Approach to Probabilistic Forecasting of Weather
Argonne National Laboratory(阿贡国家实验室)
我们讨论了一种基于两个链式机器学习步骤的概率预测方法:降维步骤,以保留预测量信息的方式将预测信息的降维映射学习到低维空间;以及密度估计步骤,使用概率机器学习规范化流技术来计算减少的预测因子和预测量的联合概率密度。然后将该联合密度重新归一化以产生条件预测分布。在该方法中,概率校准测试扮演着正则化过程的角色,防止在第二步中过度拟合,而从第一步开始的有效降维是预测清晰度的来源。我们使用一个22年的1小时的节奏时间序列的天气研究和预报(WRF)模拟数据的地面风网格上的方法进行验证。
2022-03-24 cs.LG physics.ao-ph stat.ML
Testing and estimation of clustered signals
针对大规模多重检验问题,提出了一种变点检测方法。与经典的变点设置不同,信号在一个集群中的大小可以不同。信号上的聚类结构使我们能够有效地描绘信号和非信号段之间的边界。新的检验统计量提出了一个和/或多个实现的观察。导出了它们的渐近分布。我们还研究了相关的方差估计问题。我们允许的方差是异方差的多个实现的情况下,这大大扩展了所提出的方法的适用性。仿真研究表明,该方法具有良好的性能。我们的程序被应用到{基于阵列的比较基因组杂交(aCGH)}数据集。
2021-04-29 stat.ME
Computationally efficient goodness-of-fit tests through kernelized Stein discrepancy
Department of Statistics and Data Science(统计与数据科学系)
本文提出了一种半参数核化Stein检验,统一了基于分数和距离的拟合优度检验方法,通过指数倾斜模型展示其等价性,并在计算效率和通用性方面优于现有方法。
2026-10-27 cs.LG stat.ME stat.ML
Flow Matching on General Geometries
FAIR, Meta(Meta FAIR研究院);Weizmann Institute of Science(魏茨曼科学研究所)
本文提出黎曼流匹配框架,通过构造预度量并以闭式形式计算目标向量场,实现流形上免模拟、免散度计算的可扩展连续归一化流训练,在非欧数据集上取得最先进性能。
2024-02-26 cs.AI cs.LG stat.ML
Multiple testing of interval composite null hypotheses using randomized p-values
本文提出一种两阶段随机化RAND2 p值,结合一致最优势UMP p值,用于多重双单侧等价性检验,通过自适应Bonferroni程序控制族错误率,并验证其性能。
2024-01-03 stat.ME
Hypothesis Testing over Observable Regimes in Singular Models
本文研究了奇异模型中假设检验的可行性,指出非识别参数的假设导致检验障碍,而基于可识别可观测值的假设则回归经典检验理论。
2026-02-27 math.ST stat.ML stat.TH
AI Feynman 2.0: Pareto-optimal symbolic regression exploiting graph modularity
Institute for AI & Fundamental Interactions(人工智能与基础交互研究所);Theiss Research
我们提出了一种改进的方法,符号回归,旨在适应数据的帕累托最优的公式,在这个意义上具有最佳的准确性为给定的复杂性。它改进了以前的最先进的通常是数量级更强大的噪音和坏数据,也发现了许多公式,难倒以前的方法。我们开发了一种方法,发现广义对称性(任意模块化的计算图形的公式)从梯度性质的神经网络适合。我们使用归一化流来将我们的符号回归方法推广到我们只有样本的概率分布,并采用统计假设检验来加速鲁棒的蛮力搜索。
2020-12-16 cs.AI cs.IT cs.LG
Large-scale adaptive multiple testing for sequential data controlling false discovery and nondiscovery rates
针对高维序列数据,本文提出自适应停止边界的序贯多重检验,利用oracle与局部FDR数据驱动规则渐近同时控制FDR和FNR,并显著降低期望样本量。
2023-06-08 math.ST stat.ME stat.TH
On the continuity of flows
Penn State College of Medicine(宾夕法尼亚州立大学医学院)
本文研究了流匹配中因分布拓扑不匹配导致的连续性问题,揭示了最优速度场的跳跃不连续性现象,并探讨了其对流匹配方法的影响。
2025-12-14 cs.AI cs.LG physics.data-an
InVAErt networks: a data-driven framework for model synthesis and identifiability analysis
University of Notre Dame(圣母大学);Pontificia Universidad Católica de Chile(智利天主教大学)
本文提出inVAErt网络,一个用于参数化物理系统数据驱动分析和综合的框架,结合确定性编解码器、归一化流和变分编码器实现模型反演与可辨识性分析,并通过大量数值实验验证其有效性。
2023-09-11 cs.LG cs.NA math.NA
A Statistical Framework for Spatial Boundary Estimation and Change Detection: Application to the Sahel Sahara Climate Transition
Virginia Commonwealth University(弗吉尼亚联邦大学)
本文提出一种结合异方差高斯过程和MAD测试的统计框架,用于估计和检测空间边界变化,应用于撒哈拉气候过渡区,发现局部边界变化但无十年尺度显著变化。
2025-12-17 stat.AP stat.ML
Sharp detection boundaries on testing dense subhypergraph
研究稠密子超图存在性的判定问题。原假设是Erdos-Renyi一致随机超图,备择假设备择假设是包含稠密子超图的一致随机超图.我们在两种情况下建立尖锐的检测边界:(1)边缘概率已知;(2)边缘概率未知。在这两种情况下,尖锐的可检测的边界的特征在于适当的模型参数。渐近强大的测试时,模型参数落在可检测的区域。我们的研究结果表明,一般超图模型的可检测区域显着不同,从他们的图形同行。
2021-01-12 math.ST stat.ML stat.TH
Hypothesis testing for high-dimensional sparse binary regression
本文研究了高维稀疏二元回归模型中极大极小假设检验的检测边界。出于对罕见变异效应的基因测序关联研究的动机,我们研究了当设计矩阵稀疏时假设检验问题的复杂性。我们观察到一个新的现象,在检测边界的行为,不发生在高斯线性回归的情况下。我们推导出的检测边界作为两个组件的函数:一个设计矩阵稀疏指数和信号强度,其中每一个是一个函数的稀疏性的替代品。对于任何替代方案,如果设计矩阵稀疏性指数过高,则无论信号强度的大小如何,任何测试都是渐近无效的。对于稀疏性指数不太高的二进制设计矩阵,我们的结果与高斯情况下的结果是平行的。在这种情况下,我们推导出密集和稀疏制度的检测边界。对于密集制度,我们证明了广义似然比是率最优的,稀疏制度,我们提出了一个扩展的更高的批评测试,并表明它是率最优和尖锐的。我们用模拟研究说明了理论结果的有限样本性质。
2015-03-05 math.ST stat.CO stat.ME
Sequential Audit Sampling for Finite Populations with Exact and Simulation-based Guarantee
Osaka Metropolitan University, Graduate School of Business(大阪公立大学 大学院经营学研究科);RIKEN AIP(理化学研究所 先进智能研究中心);Mizuho-DL Financial Technology Co., Ltd.(瑞穗DL金融科技有限公司)
本文提出一种基于有限总体的顺序检验方法,用于审计抽样中的额外顺序收集项目,定义了零假设和备择假设,制定了停止和决策规则,并通过蒙特卡洛模拟校准边界条件,实现决策错误概率的前控。
2026-08-14 econ.EM q-fin.RM q-fin.ST
Robust Sequential Hypothesis Testing with Generalized Estimating Equations for Incomplete Clustered and Longitudinal Data
University of Rochester(罗切斯特大学)
本文提出了一种基于广义估计方程的稳健序列假设检验方法,适用于不完整聚类和纵向数据,通过不依赖建模假设来提高鲁棒性,并改进功效边界计算与多重插补应用。
2026-03-13 stat.ME
Hierarchical testing designs for pattern recognition
我们探索的理论基础的“20个问题”的方法来模式识别。分析的对象是计算过程本身,而不是概率分布(贝叶斯推断)或决策边界(统计学习)。我们的配方是出于应用场景的解释,其中有很多可能的解释的数据,一个(“背景”)是统计上占主导地位的,它是必要的,以限制密集的计算真正的模糊区域。这里的重点是模式过滤:给定一个可能的模式或解释的大集合Y,将真实的一个Y缩小到"检测到的“模式的一个小(随机)子集\hat Y \subsetY,以进行进一步的,更密集的处理。为此,我们考虑Y \in A与非特异性替代物Y \in A^c的假设检验族。每个测试具有空的I型错误,并且候选集合A \subsetY被布置在嵌套分区的层级中。这些测试的特点是范围(|A|),功率(或II型错误)和算法成本。我们考虑顺序测试策略,其中的决策是迭代的,根据过去的结果,关于下一步执行哪个测试以及何时停止测试。然后,将集合\hat Y视为未被所执行的测试排除的模式的集合。策略的总成本是“测试成本”和“后处理成本”的总和(与|\hat Y|),并分析了相应的最优化问题。
2005-07-21 math.ST stat.TH
Liouville PDE-based sliced-Wasserstein flow
Department of Mathematics(数学系);Morgan State University(摩根州立大学)
本文将切片Wasserstein流转化为基于Liouville偏微分方程的形式,通过改进密度估计和Wasserstein barycenter计算,提升了训练和测试性能,并在公平回归中展示了改进公平性的优势。
2026-05-09 cs.LG math.PR math.ST
Detection of sparse additive functions
研究了高斯白噪声模型中高维信号函数的检测问题。以及平滑的信号函数的假设,我们假设一个附加的稀疏条件,后者。检测问题表示为一个非参数假设检验问题,并根据渐近极小极大方法解决。对于高稀疏性的情况,极大极小检验程序在稀疏性参数中是自适应的。我们扩展到功能的情况下,已知的结果在检测稀疏的高维向量。特别是,我们的渐近检测边界来自相同的渐近关系,在向量的情况下。
2012-07-20 math.ST stat.TH
Pooling Sequential Evidence Across Hypotheses: Rate-Optimal Multiple Testing at a Fixed Horizon
H. Milton Stewart School of Industrial;Systems Engineering, Georgia Institute of Technology, e1,e2
本文提出一种在固定时间范围内对未知数量错误假设进行序贯检验的方法,通过先验加权混合和闭合检验实现速率最优的多重检验,并有效控制族系错误率。
2026-09-24 math.ST stat.ME stat.TH