Sampling normalizing constants in high dimensions using inhomogeneous diffusions
受计算高维中的归一化常数和重要性抽样任务的启发,我们研究了$\mathbb{R}^{d}$上时间非均匀Langevin型扩散的加性泛函的涨落对维数的依赖性.主要结果是非渐近方差和偏差界,并在$d\to\infty$制度的中心极限定理。我们证明了时间离散继承了底层扩散的波动特性,这是控制在最多项式与$d$增长的计算成本。关键步骤包括建立扩散时间边缘分布的Poincaré不等式和鞅中心极限定理中偏离高斯性的非渐近界。
2018-09-06 math.ST stat.TH
GDFlow: Anomaly Detection with NCDE-based Normalizing Flow for Advanced Driver Assistance System
Sungkyunkwan University(成均馆大学);Hyundai-KEFICO(现代-凯菲科)
针对ADAS未标记、有限且含噪驾驶数据中的异常制动识别问题,提出融合NCDE与归一化流的GDFlow,并用分位数最大似然目标提升边界判别能力,在真实电动车及时间序列基准上取得最优性能与推理效率。
2024-09-09 cs.AI cs.LG
Beyond Noise: A Hypothesis Testing Approach to Robust Feature Selection
本文提出了一种基于噪声假设检验的特征选择方法,通过非参数自助法建立理论基础,有效提升特征选择的可靠性与性能。
2026-08-04 cs.LG stat.ML
Parameter-Efficient Generative Modeling with Controlled Vector Fields
Department of Computer Sciences, University of Wisconsin, Madison, WI, 53706(威斯康星大学麦迪逊分校计算机科学系)
提出一种基于Chow-Rashevskii定理的连续时间生成建模框架,通过少量固定向量场和学习的标量控制构建表达流,实现参数高效的分布变换。
2026-05-27 cs.LG stat.ML
Physics-integrated generative modeling using attentive planar normalizing flow based variational autoencoder
University of Central Punjab(中央旁遮普大学)
本研究提出一种物理集成变分自编码器,利用平面归一化流学习后验分布,并在编码器中引入缩放点积注意力以增强对噪声的鲁棒性,实验表明其提升了重建质量与抗噪能力。
2024-04-18 cs.AI cs.LG stat.ML
Knoop: Practical Enhancement of Knockoff with Over-Parameterization for Variable Selection
Shandong University(山东大学);Yanqi Lake Beijing Institute of Mathematical Sciences And Applications(雁栖湖北京数学科学与应用研究院);Microsoft(微软公司)
本文提出 Knoop 方法,通过为每个变量生成多个 knockoff 变量并结合过参数化无正则 Ridge 回归模型进行基于异常的显著性检验,有效提升了高维数据下的变量选择与预测性能。
2025-01-28 cs.AI cs.LG stat.ML
Annealed Flow Transport Monte Carlo
University College London(伦敦大学学院);DeepMind(深度思维)
退火重要性抽样(AIS)及其序贯蒙特卡罗(SMC)扩展是估计概率分布归一化常数的最新方法。我们在这里提出了一种新的蒙特卡罗算法,退火流传输(AFT),建立在AIS和SMC,并将它们与归一化流(NF),以提高性能。该方法不仅使用重要性抽样(IS)、马尔可夫链蒙特卡罗(MCMC)和重新定位步骤(如SMC中那样)来传输一组粒子,而且还依赖于按顺序学习的NF来将粒子推向连续退火的目标。我们提供极限定理的归一化常数和期望相对于目标分布的蒙特卡罗估计。此外,我们表明,连续时间缩放限制的人口版本的AFT是由费曼-卡茨措施,简化了法律的控制扩散的表达NF。我们通过实验证明了我们的方法在各种应用中的优点和局限性。
2021-07-09 cond-mat.stat-mech cs.LG math.ST
Factorizable Normalizing Flows for parameter-dependent density morphing
Institute for Particle Physics and Astrophysics, D-PHYS, ETH Zurich(粒子物理与天体物理学研究所,D-PHYS,苏黎世联邦理工学院)
提出可分解归一化流(FNFs),通过参数多项式分解学习参数依赖密度变形,实现线性扩展和可解释性,适用于高能物理等领域的连续密度变形。
2026-06-29 cs.LG hep-ex hep-th
An Automatic Relevance Determination Prior Bayesian Neural Network for Controlled Variable Selection
University of Johannesburg(约翰内斯堡大学)
我们提出了一个自动相关性确定先验贝叶斯神经网络(BNN-ARD)的权重l2范数测量作为模型x敲除过滤器的特征重要性统计。我们在模拟数据和挪威风电场数据集上表明,相对于现实世界数据集上的变量选择能力和预测性能,所提出的特征重要性统计量在统计上都有显着改善。
2020-01-06 cs.LG stat.ML
Normalizing flows as approximations of optimal transport maps via linear-control neural ODEs
Technische Universität München(慕尼黑工业大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);University of Genoa(热那亚大学)
本文提出通过线性控制神经ODE将归一化流作为最优传输映射的近似,构建离散测度下的近似最优控制问题,基于庞特里亚金极大值原理设计迭代数值方案,在二维示例验证了方法有效性。
2024-12-02 cs.LG math.OC
Differentially Private Model-X Knockoffs via Johnson-Lindenstrauss Transform
Department of Mathematics, University of Southern California(数学系,南加州大学);Department of Data Sciences and Operations, University of Southern California(数据科学与运营系,南加州大学)
本文提出基于Johnson-Lindenstrauss变换的差分隐私Model-X knockoff框架,实现隐私约束下的FDR控制,并通过去偏技术理论分析隐私-功效权衡,证明随机投影优于噪声添加机制。
2026-09-09 cs.LG math.ST stat.ML
Interpretable Classification of Bacterial Raman Spectra with Knockoff Wavelets
深度神经网络和其他复杂的机器学习模型被广泛应用于生物医学信号数据,因为它们可以检测复杂的模式并计算准确的预测。然而,解释这些模型的困难是一个限制,特别是对于涉及高风险决策的应用,包括细菌感染的识别。在本文中,我们考虑了快速拉曼光谱数据,并证明了具有精心选择的特征的逻辑回归模型可以达到与神经网络相媲美的精度,同时更简单,更透明。我们的分析利用小波特征与直观的化学解释,并进行控制变量选择与仿制品,以确保预测是相关的和非冗余的。虽然我们专注于一个特定的数据集,所提出的方法是广泛适用于其他类型的信号数据的可解释性可能是重要的。
2021-05-02 eess.SP stat.AP stat.ML
DeepPINK: reproducible feature selection in deep neural networks
University of Washington(华盛顿大学);University of Southern California(南加州大学)
由于其出色的经验性能,深度学习在监督和无监督机器学习中越来越受欢迎。然而,由于其内在的复杂性,大多数深度学习方法在很大程度上被视为黑盒工具,几乎没有可解释性。尽管最近已经尝试促进深度神经网络(DNN)的可解释性,但是现有方法易受噪声影响并且缺乏鲁棒性。因此,科学家们对发现的可重复性非常谨慎,这通常与基础统计模型的可解释性有关。在本文中,我们描述了一种方法,以提高DNN的解释性和再现性,结合特征选择的想法与控制出错率。通过设计一个新的DNN架构并将其与最近提出的仿制品框架相集成,我们以受控的出错率执行特征选择,同时保持高功率。这种新方法,DeepPINK(深度特征选择使用配对输入非线性敲除),被应用到模拟和真实数据集,以证明其经验效用。
2018-09-06 cs.LG stat.ML
Bounding the FDP in competition-based control of the FDR
基于竞争的方法来控制错误发现率(FDR)最近上升到突出的时候,推广到顺序假设检验,巴伯和坎迪斯使用它作为他们的敲除过滤器的一部分。对FDR的控制意味着,可以说更重要的是,错误发现的比例仅在平均意义上得到控制。我们提出了TDC-SB和TDC-UB,提供上的FDP的发现时,使用竞争控制FDR的列表中的预测界限。使用模拟和真实的数据,我们表明,总体而言,我们的新程序提供显着更严格的上限比使用最近发表的Katsevich和Ramdas的方法,即使后者是进一步改善使用戈曼等人的插值概念。
2023-02-23 stat.ME
Self-supervised In-context Operator Learning for Stochastic Mean-Field Control
Purdue University(普渡大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本研究提出首个无网格自监督神经算子NFIST,通过结合概率流ODE与可逆归一化流Transformer解决随机平均场控制问题,可实现未见任务的一次前向求解,在多任务上展现零样本泛化并降低计算成本。
2026-08-20 cs.LG cs.SY eess.SY
Neural Triangular Transport Maps: A New Approach Towards Sampling in Lattice QCD
Department of Mathematics(数学系);Laboratory for Information and Decision Systems(信息与决策系统实验室)
针对格点场论采样难题,提出稀疏三角输运映射,利用条件独立结构实现线性复杂度,并在二维φ⁴模型中验证了其优于HMC和RealNVP的性能。
2025-10-15 cs.LG hep-lat physics.comp-ph
Devil is in the Details: Density Guidance for Detail-Aware Generation with Flow Models
Aalto University(阿尔托大学);YaiYai Ltd.(YaiYai 有限公司)
针对扩散模型中图像似然与感知质量不一致的问题,提出Density Guidance方法,通过修改生成ODE实现精确对数密度控制,在保证样本质量的同时提供对图像细节的细粒度控制。
2025-05-28 cs.LG
A Scale-free Approach for False Discovery Rate Control in Generalized Linear Models
广义线性模型(GLM)已被广泛应用于非高斯响应变量的建模。当解释性特征的数量相对较大时,科学研究人员感兴趣的是执行受控特征选择以简化下游分析。本文介绍了一种新的框架,GLM的特征选择,可以实现错误发现率(FDR)控制在两个渐近制度。关键的一步是构建一个镜像统计来衡量每个功能的重要性,这是基于两个(渐近)独立的估计相应的真实系数通过数据分裂方法或高斯镜像方法获得。FDR控制是通过利用镜像统计的特性来实现的,对于任何空特征,其采样分布关于0(渐近)对称。在中维环境下,特征维数p与样本量n之比收敛于一个固定值,我们基于极大似然估计构造镜像统计量。在p远大于n的高维设置中,我们使用去偏Lasso来构建镜像统计。与Benjamini-Hochberg方法相比,该方法主要依赖于Z统计量的渐近正态性,所提出的方法是无标度的,因为它只取决于对称性,因此预计在有限样本情况下更具鲁棒性。仿真结果和实际数据的应用表明,所提出的方法是能够控制FDR,往往比现有的方法,包括Benjamini-Hochberg程序和敲除滤波器更强大。
2020-07-02 stat.ME
Variational Mixtures and Multi-Marginal Flow Matching: Advancing Statistical Inference with Biological Applications
KTH Royal Institute of Technology(KTH皇家理工学院)
本论文针对复杂生物系统中的多模态分布,提出从变分推断到多边缘流匹配的系列方法,并推翻混合在变分推断中性能优势的长期误解,应用于三维空间转录组学。
2026-09-30 cs.LG
Deep neural networks with controlled variable selection for the identification of putative causal genetic variants
Stanford University(斯坦福大学)
深度神经网络(DNN)因其高预测精度已成功应用于许多科学问题,但由于其可解释性差,其在遗传研究中的应用仍然具有挑战性。在本文中,我们考虑了DNN中可扩展的,鲁棒的变量选择问题,用于识别基因组测序研究中假定的因果遗传变异。我们发现DNN中的特征选择具有明显的随机性,这可能会妨碍可解释性并产生误导性结果。我们提出了一个可解释的神经网络模型,稳定使用集成,控制变量选择遗传研究。所提出的方法的优点包括:(1)对遗传变体的非线性效应进行灵活建模以提高统计功效;(2)在输入层中进行多个仿制品以严格控制错误发现率;(3)分层以大幅减少权重参数和激活的数量以提高计算效率;(4)去随机化特征选择以稳定所识别的信号。我们在广泛的模拟研究中评估了所提出的方法,并将其应用于阿尔茨海默病遗传学的分析。我们表明,所提出的方法,与传统的线性和非线性方法相比,可以导致更多的发现。
2021-09-29 cs.LG stat.AP stat.CO
FDR-Controlled Portfolio Optimization for Sparse Financial Index Tracking
Technische Universität Darmstadt(达姆施塔特工业大学);The Hong Kong University of Science and Technology(香港科技大学)
针对高维场景下变量强相关性会削弱FDR控制效果的问题,研究扩展T-Rex框架加入近邻惩罚机制,可证明能控制FDR,在少量股票追踪S&P 500指数任务中有效并提供开源实现。
2024-01-30 cs.LG q-fin.PM stat.ME
ODE$_t$(ODE$_l$): Shortcutting the Time and the Length in Diffusion and Flow Models for Faster Sampling
Panasonic AI Lab(松下人工智能实验室);UC Berkeley(加州大学伯克利分校);Panasonic DX-CPS(松下DX-CPS)
针对扩散与流模型采样计算复杂度高的问题,提出ODE$_t$(ODE$_l$)方法,通过架构重布线与长度一致性训练实现任意时间步、网络块数采样,可降延迟减内存,生成性能更优。
2025-11-18 cs.CV cs.LG
A Unified Measure-Theoretic View of Diffusion, Score-Based, and Flow Matching Generative Models
Center for Applied Scientific Computing(应用科学计算中心);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);University of California Merced(加州默塞德大学)
本文从测度论角度统一了扩散、基于分数和流匹配生成模型,探讨了时间依赖向量场诱导的边缘分布,并分析了采样、稳定性和计算的权衡。
2026-05-07 cs.CV cs.ET cs.IT
Error-controlled non-additive interaction discovery in machine learning models
University of Michigan(密歇根大学);University of Waterloo(滑铁卢大学);University of Washington(华盛顿大学)
针对特征交互发现缺乏稳健误差控制的问题,提出Diamond,利用model-X knockoffs与非加性蒸馏在多类ML模型中控制FDR,并验证其可提升生物医学数据发现可靠性。
2025-02-13 cs.LG stat.AP stat.ML