Multivariate Gaussian Process Regression for Multiscale Data Assimilation and Uncertainty Reduction
我们提出了一个多元高斯过程回归方法参数场重建的基础上,现场的测量收集在两个不同的尺度,粗和细尺度。所提出的方法将定义在细尺度和粗尺度上的参数场视为具有参数化多尺度协方差模型的双变量高斯过程。我们采用一个完整的双变量Matérn内核作为多尺度协方差模型,形状和光滑度超参数,占精细和粗糙字段之间的粗化关系。与假设尺度之间存在已知粗化关系的类似多尺度克里金方法相比,多尺度协方差模型的超参数通过伪似然最大化直接从数据中估计。我们说明了所提出的方法与预测模拟应用饱和多孔介质中的流动。多尺度高斯过程回归被用来估计二维对数饱和导水率分布。粗饱和电导率的随机模型,量化和减少压力预测的不确定性。
2018-04-17 stat.ME
Augmenting Ground-Level PM2.5 Prediction via Kriging-Based Pseudo-Label Generation
Duke University(杜克大学)
本文提出利用普通克里金法为未标注卫星图像生成伪标签以扩充训练数据,从而提升CNN-RF模型对地面PM2.5的预测性能,改善空间相关性并降低预测误差。
2024-01-16 cs.CV cs.LG
Extending classical surrogate modelling to high-dimensions through supervised dimensionality reduction: a data-driven approach
由于其多功能性,易于部署和高性能,代理模型已成为不确定性量化(UQ)武器库中的主要工具。从局部插值到全局谱分解,代理函数的特点是能够基于用于训练的一小组模型运行有效地模拟复杂的计算模型。许多代理模型的固有局限性是它们对维数灾难的敏感性,这传统上将它们的适用性限制在最大的$\mathcal{O}(10^2)$输入维度。我们提出了一种新的方法,在高维代理建模,是模型,降维和代理模型不可知(黑箱),并可以使高维(即高达$\mathcal{O}(10^4)$)问题的解决方案。在介绍了一般算法之后,我们结合Kriging和多项式混沌展开替代和核主成分分析来证明其性能。特别是,我们比较的泛化性能,所得到的代理实现的经典顺序应用程序的降维,然后通过代理建模的几个基准应用程序,包括一个分析功能和两个工程应用程序的维数和复杂性的增加。
2020-02-11 cs.LG stat.CO stat.ME
Rennala MVR: Improved Time Complexity for Parallel Stochastic Optimization via Momentum-Based Variance Reduction
KAUST(卡塔尔科技大学)
本文提出Rennala MVR算法,通过基于动量的方差缩减技术,在异构系统中改进时间复杂度,验证了方差缩减对时间复杂度的提升效果。
2026-05-09 cs.DC cs.LG math.OC
Variance Reduction and Low Sample Complexity in Stochastic Optimization via Proximal Point Method
Goergen Institute for Data Science and Artificial Intelligence (GIDS-AI)(数据科学与人工智能研究所);Department of Computer Science, University of Rochester(计算机科学系)
本文提出一种随机近点法,通过方差缩减和概率增强技术,在无需强噪声假设的情况下实现低样本复杂度的随机优化收敛。
2025-12-21 cs.LG math.OC stat.ML
RCR-AF: Enhancing Model Generalization via Rademacher Complexity Reduction Activation Function
Tsinghua University(清华大学);Computer Science, Tsinghua University(计算机科学,清华大学)
针对深度神经网络易受对抗攻击的问题,提出结合GELU与ReLU优势、带超参数调控裁剪机制的RCR-AF激活函数,经理论与实验验证其可提升模型泛化性与鲁棒性。
2025-07-30 cs.AI cs.CV cs.LG
Exponential Reduction in Sample Complexity with Learning of Ising Model Dynamics
Massachusetts Institute of Technology(麻省理工学院);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
用于学习图形模型的结构和参数的通常设置假设从相应的多元概率分布产生的独立样本的可用性。然而,对于许多模型,各个马尔可夫链的混合时间可以非常大,并且独立同分布。可能无法获得样品。我们研究的问题,重建二进制图形模型的相关样本产生的动态过程,这是自然的,在许多应用中。我们分析了两个估计的样本复杂性,这是基于相互作用的筛选目标和条件似然损失。我们观察到,对于来自远离平衡的动态过程的样本,与快速混合的动态过程相比,样本复杂性呈指数级降低。
2021-06-14 cond-mat.stat-mech cs.LG physics.data-an
Computational complexity reduction of deep neural networks
United States Naval Academy(美国海军学院);U.S. Army Combat Capabilities Development Command(美国陆军作战能力发展司令部);U.S. Army Research Laboratory(美国陆军研究实验室)
深度神经网络(DNN)在计算机视觉和自主导航领域得到了广泛的应用并发挥了重要作用。然而,这些DNN在计算上是复杂的,并且如果没有额外的优化和定制,它们在资源受限的平台上的部署是困难的。在本文中,我们描述了DNN架构的概述,并提出了降低计算复杂性的方法,以加快训练和推理速度,使其适合计算资源较低的边缘计算平台。
2022-07-29 cs.CC cs.CV cs.LG
Greedy-GQ with Variance Reduction: Finite-time Analysis and Improved Complexity
University of Utah(犹他大学);University at Buffalo(布法罗大学)
Greedy-GQ是一种基于值的强化学习(RL)算法,用于最优控制。最近,有限时间分析的贪婪-GQ已被开发下的线性函数逼近和马尔可夫采样,该算法被证明是实现一个$ε$ -平稳点的顺序$\mathcal{O}(ε^{-3})$的样本复杂度。如此高的样本复杂度是由于马尔可夫样本引起的大方差。本文提出了一种用于非策略最优控制的方差减小的贪婪GQ(VR-Greedy-GQ)算法。特别地,该算法应用基于SVRG的方差减小方案来减小两个时间尺度更新的随机方差。在线性函数逼近和马尔可夫采样下,研究了VR-Greedy-GQ的有限时间收敛性,并证明了该算法比原Greedy-GQ具有更小的偏差和方差误差.特别是,我们证明了VR-Greedy-GQ实现了一个改进的样本复杂度是在$\mathcal{O}(ε^{-2})$的顺序。我们进一步比较了VR-Greedy-GQ和Greedy-GQ在各种RL实验中的性能,以证实我们的理论研究结果。
2021-03-30 cs.LG math.OC
Analysis & Computational Complexity Reduction of Monocular and Stereo Depth Estimation Techniques
具有最低计算和能量成本的精确深度估计是无人驾驶和电池操作的自主系统的关键要求。机器人应用需要实时的深度估计,以便在快速变化的3D环境下进行导航和决策。高精度算法可以提供最佳的深度估计,但是可能消耗巨大的计算和能量资源。一般的权衡是选择不太准确的方法进行初始深度估计,并在需要时选择更准确但计算密集的方法。以前的工作已经表明,这种权衡可以通过开发一种最先进的方法(AnyNet)来改善立体声深度估计。我们研究了单目和立体视觉的深度估计方法,并研究了降低这些方法的计算复杂性的方法。这是我们的基线。因此,我们的实验表明,单眼深度估计模型大小减少约75%,准确度降低不到2%(SSIM度量)。我们的实验与新的立体视觉方法(AnyNet)表明,深度估计的准确性不会降低超过3%(三个像素的误差度量),尽管减少了约20%的模型大小。我们已经证明,较小的模型确实可以表现出竞争力。
2022-06-18 cs.CV cs.LG eess.IV
Regularized impurity reduction: Accurate decision trees with complexity guarantees
KTH Royal Institute of Technology(瑞典皇家理工学院)
决策树是一种流行的分类模型,它提供了高精度和直观的解释。然而,随着树的大小的增长,模型的可解释性恶化。传统的树归纳算法,如C4.5和CART,依赖于杂质减少函数,以提高每个分裂的区分能力。因此,尽管这些传统方法在实践中是准确的,但没有理论保证它们会产生小树。在本文中,我们证明了使用一般家庭的杂质功能,包括熵和基尼指数的流行功能,在场景中,小树是可取的,通过显示一个简单的增强可以装备他们的复杂性保证。我们考虑一个一般的设置,其中要分类的对象是从一个任意的概率分布,分类可以是二进制或多类,和分裂测试与非均匀的成本。作为树的复杂性的一种度量,我们采用期望成本来分类从输入分布中提取的对象,在均匀成本的情况下,这是预期的测试次数。我们提出了一个树归纳算法,给出了一个对数近似保证树的复杂性。这个近似因子在温和的假设下紧到常数因子。该算法递归地选择一个测试,最大化贪婪的标准定义为三个组件的加权和。前两个组件鼓励选择的测试,提高平衡和成本效益的树,分别,而第三个杂质减少组件鼓励选择更多的歧视性测试。正如我们的经验评估中所示,与原始算法相比,增强的算法在预测精度和树复杂度之间取得了很好的平衡。
2022-08-23 cs.DS cs.LG
Mode Reduction for Markov Jump Systems
University of Michigan(密歇根大学)
切换系统能够对可能随时间突然改变的潜在动态过程进行建模。为了在实践中实现精确的建模,可能需要大量的模式,但这反过来可能会大大增加模型的复杂性。现有的降低系统复杂度的工作主要考虑状态空间的缩减,而减少模式数的研究较少。在这项工作中,我们考虑马尔可夫跳线性系统(MJSs),一类特殊的切换系统的主动模式切换根据马尔可夫链,以及与其模式复杂性的几个问题。具体来说,受无监督学习的聚类技术的启发,我们能够构建一个具有更少模式的简化MJS,它在各种指标下都很好地近似原始MJS。此外,无论是理论上和经验上,我们展示了如何可以使用减少MJS分析稳定性和设计控制器的计算成本显着降低,同时达到保证精度。
2022-10-20 cs.LG cs.SY eess.SY
Learning to Unscramble Feynman Loop Integrals with SAILIR
Rutgers University(罗格斯大学)
SAILIR通过自监督学习解费曼环形积分,相比传统方法更节省内存,能处理高权重积分。
2026-04-06 cs.LG hep-ph hep-th