A straightforward line search approach on the expected empirical loss for stochastic deep learning problems
University of Tübingen（图宾根大学）
深度学习的一个基本挑战是随机梯度下降的更新步骤的最佳步长是未知的。在传统的优化中，使用线搜索来确定好的步长，然而，在深度学习中，由于噪声损失，在预期的经验损失上搜索好的步长成本太高。这项实证工作表明，对于常见的深度学习任务，可以相当便宜地近似垂直截面上的预期经验损失。这是通过将传统的一维函数拟合应用于此类横截面的测量噪声损耗来实现的。然后将所得近似的最小值的步长用作优化的步长。这种方法导致了一种强大而直接的优化方法，该方法在数据集和架构上表现良好，而无需超参数调整。
2020-10-02 cs.LG stat.ML
Diffusion Posterior Sampling for General Noisy Inverse Problems
KAIST（韩国科学技术院）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
针对现有扩散逆问题求解器多聚焦无噪简单线性场景的局限，提出扩散后验采样方法，融合扩散采样与流形约束梯度，可高效处理通用含噪（非）线性逆问题，适配多种噪声类型。
2024-05-20 cs.AI cs.CV cs.LG
A survey of Monte Carlo methods for noisy and costly densities with application to reinforcement learning and ABC
Stony Brook University（石溪大学）；Universitá degli Studi di Catania（卡塔尼亚大学）；École Polytechnique（巴黎高等理工学院）；Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
本文综述了基于代理模型的蒙特卡洛方法，用于处理难解、高成本或带噪密度，并将其系统分类并应用于强化学习和无似然推断等场景。
2025-01-02 cs.LG stat.CO stat.ME
Fourier-RNNs for Modelling Noisy Physics Data
UK Atomic Energy Authority（英国原子能管理局）
时间序列预测中采用的经典序列模型依赖于通过隐藏状态的方式学习从过去到未来实例的映射。隐藏状态隐藏历史信息并编码所需的时间依赖性。然而，大多数现有的顺序模型在有限维欧几里得空间内操作，当用于对物理相关数据进行建模时，这些空间提供有限的功能。另外，最近在傅立叶空间内进行的神经算子学习的工作已经显示了参数化偏微分方程（PDE）的有效策略。在这项工作中，我们提出了一种新的顺序模型，通过将传统的RNN架构与傅立叶神经运算符（FNO）的架构相结合来处理物理相关数据。Fourier-RNN允许学习从输入到输出以及到与时间数据相关联的傅立叶空间内的隐藏状态的映射。虽然在处理PDE数据时，Fourier-RNN的性能与FNO相同，但在对噪声、非马尔可夫数据建模时，它的性能优于FNO和传统RNN。
2023-02-13 cs.LG
A hierarchical Bayesian setting for an inverse problem in linear parabolic PDEs with noisy boundary conditions
在这项工作中，我们开发了一个贝叶斯设置来推断未知参数的初边值问题相关的线性抛物型偏微分方程。对于给定的初始条件，我们实际上假设边界数据是有噪声的。我们展示了如何推导出联合似然函数的正问题，给出了一些测量的解决方案领域的高斯噪声。给定高斯先验的时间依赖的Dirichlet边界值，我们分析边缘化的联合似然使用方程的线性。我们的分层贝叶斯方法在涉及热方程的示例中完全实现。在该示例中，热扩散率是未知参数。我们假设热扩散率参数可以通过对数正态随机变量或通过空间相关的平稳对数正态随机场先验建模。合成数据被用来测试的推断。我们利用非归一化的日志后验分布的热扩散率的行为。然后，我们使用拉普拉斯方法来获得一个近似的高斯后验，从而避免昂贵的马尔可夫链蒙特卡罗计算。预期的信息增益和预测后验密度的可观测量的数值估计使用拉普拉斯近似为不同的实验设置。
2015-01-28 stat.ME
Fourier Transform Approach to Machine Learning I: Fourier Regression
我们提出了一个监督学习算法的机器学习应用。相反，在经典的方法，把训练，验证和测试作为单独的步骤，在所提出的方法中，有一个统一的训练和评估过程的基础上，通过使用快速傅立叶变换的迭代带滤波的模型开发。所提出的方法不应用最小二乘法，因此，基本上典型的病态矩阵不会出现在所有。最优模型源于性能度量的收敛，它自动防止了通常的欠拟合和过拟合问题。算法的能力进行了研究，噪声数据，得到的结果表明，一个可靠的和强大的机器学习方法超出了典型的限制的经典方法。
2019-09-22 cs.LG
Query-Efficient Correlation Clustering with Noisy Oracle
CENTAI Institute（CENTAI研究所）；Eurecat（欧雷特卡特研究中心）；Microsoft Research（微软研究院）
针对相似度计算成本高且带噪的聚类场景，研究者基于组合多臂老虎机纯探索范式提出两种在线学习问题构造，设计了结合采样策略与经典相关聚类近似算法的方案，首次给出底层问题为NP难的该类场景多项式时间算法。
2024-11-03 cs.DS cs.LG stat.ML
Classical Verification of Quantum Learning Advantages with Noises
Tsinghua University（清华大学）；Hefei National Laboratory（合肥国家实验室）；Shanghai Qi Zhi Institute（上海期智研究院）
针对含噪量子设备，提出经典纠错算法重构量子傅里叶采样的无噪声结果，并证明经典客户端可高效验证不可知奇偶校验学习任务，实现含噪量子学习优势的经典验证。
2024-11-14 cs.LG quant-ph
Robustness and Reliability When Training With Noisy Labels
Linköping University（林雪平大学）
为监督学习标记数据可能是昂贵和耗时的，并且在大型数据集中引入标签噪声的风险迫在眉睫。当使用严格适当的损失来训练灵活的判别模型时，这种噪声将不可避免地使解决方案朝向噪声标签上的条件分布移动。尽管如此，虽然深度神经网络已被证明能够拟合随机标签，但正则化和鲁棒损失函数的使用凭经验减轻了标签噪声的影响。然而，此类观察结果涉及准确性的鲁棒性，如果可靠的不确定性量化至关重要，则这是不够的。我们证明了这一点，通过分析的条件分布的属性在噪声标签的输入相关的噪声模型。此外，我们评估了一组鲁棒的损失函数，其特征在于噪声不敏感，渐近风险最小化。我们发现，严格适当的和强大的损失函数都提供渐近鲁棒性的准确性，但都不能保证最终的模型是校准。此外，即使使用鲁棒损失函数，过拟合在实践中也是一个问题。有了这些结果，我们的目标是解释观察到的鲁棒性常见的训练实践，如早期停止，标签噪声。此外，我们的目标是鼓励开发新的噪声鲁棒算法，不仅保持准确性，但也确保可靠性。
2022-05-12 cs.LG stat.ML
Efficient Bayesian Inference from Noisy Pairwise Comparisons
ETH Zurich, Switzerland（苏黎世联邦理工学院）
本文提出BBQ模型，通过贝叶斯方法处理噪声成对比较数据，改进了传统Bradley-Terry方法，提供更稳健和可解释的排名结果。
2026-05-12 cs.CV cs.LG
PIFON-EPT: MR-Based Electrical Property Tomography Using Physics-Informed Fourier Networks
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Massachusetts Institute of Technology（麻省理工学院）；New York University Grossman School of Medicine（纽约大学格罗斯曼医学院）
提出PIFON-EPT，一种基于物理信息傅里叶网络的深度学习方法，利用含噪声和不完整的MR测量同时重建电阻抗和发射场，在3T和7T模拟实验中实现低误差重建，并扩展至广义亥姆霍兹方程以改善界面效果。
2023-12-20 cs.AI cs.LG
Convex and Nonconvex Optimization Are Both Minimax-Optimal for Noisy Blind Deconvolution under Random Designs
Princeton University（普林斯顿大学）
研究了凸松弛和非凸优化在两种不同设计（即$~$（一种随机Fourier设计）和Gauss设计）下求解双线性方程组的有效性.尽管这两种范式具有广泛的适用性，但在存在随机噪声的情况下，对这两种范式的理论理解仍然很不充分。本文证明了两点贡献：（1）两阶段非凸算法在对数迭代次数内达到极小极大最优精度。(2)凸松弛还实现了相对于随机噪声的最小最大最优统计精度。这两个结果显着改善后，国家的最先进的理论保证。
2021-07-13 cs.IT cs.LG eess.SP
On the Structure of Stationary Solutions to McKean-Vlasov Equations with Applications to Noisy Transformers
Department of Statistics, University of California, Davis（加州大学戴维斯分校统计学系）；Department of Statistics and Operations Research, University of North Carolina, Chapel Hill（北卡罗来纳大学教堂山分校统计学与运筹学系）；Department of Mathematics, Massachusetts Institute of Technology（麻省理工学院数学系）
本研究通过傅里叶系数等价性刻画圆上McKean-Vlasov方程平稳解的结构，解析分岔类型与相变，并应用于带噪声Transformer，揭示逆温度参数对多模式亚稳态的影响。
2026-11-03 cs.AI cs.LG math.AP
Error Estimation for Random Fourier Features
University of California, Davis（加利福尼亚大学戴维斯分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
随机傅立叶特征（RFF）是最流行和广泛适用的方法之一，用于按比例放大核方法。从本质上讲，RFF允许用户通过快速随机近似来避免在大型内核矩阵上进行昂贵的计算。然而，应用RFF的普遍困难在于用户不知道近似的实际误差，或者该误差将如何传播到下游学习任务中。到目前为止，RFF文献主要使用理论误差界限来处理这些不确定性，但从用户的角度来看，这样的结果通常是不切实际的-因为它们是高度保守的或涉及未知量。为了以数据驱动的方式解决这些一般性问题，本文开发了一种自举方法来数值估计RFF近似的误差。这种方法的三个主要优点是：（1）误差估计是特定于手头的问题，避免了最坏情况下的界限的悲观。(2)该方法对于RFF的不同用途是灵活的，甚至可以估计下游学习任务中的错误。(3)该方法支持自适应计算，因此用户可以快速检查粗略初始核近似的误差，然后预测需要多少额外的工作。最后，作为所有这些益处的交换，可以以适度的计算成本获得误差估计。
2023-02-22 cs.LG stat.ME stat.ML
On the eigenvector bias of Fourier feature networks: From regression to solving multi-scale PDEs with physics-informed neural networks
University of Pennsylvania（宾夕法尼亚大学）
物理信息神经网络（PINN）在将物理模型与有间隙和噪声的观测数据相结合方面表现出了显着的前景，但在要近似的目标函数表现出高频或多尺度特征的情况下，它们仍然很难实现。在这项工作中，我们通过神经切线核（NTK）理论的镜头调查这种限制，并阐明PINNs是如何偏向于学习功能沿其限制NTK的主导特征方向。利用这一观察结果，我们构建了采用时空和多尺度随机傅立叶特征的新架构，并证明了这种坐标嵌入层如何能够产生鲁棒和准确的PINN模型。数值例子提出了几个具有挑战性的情况下，传统的PINN模型失败，包括波传播和反应扩散动力学，说明所提出的方法可以用来有效地解决正问题和反问题，涉及偏微分方程与多尺度行为。本手稿随附的所有代码和数据将在\url{https://github.com/PredictiveIntelligenceLab/MultiscalePINNs}上公开。
2020-12-18 cs.AI cs.LG stat.ML
Probabilistic PolarGMM: Unsupervised Cluster Learning of Very Noisy Projection Images of Unknown Pose
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
低温电子显微镜（Cryo-EM）的单粒子分析（SPA）中的一个关键步骤，2D分类和对齐需要收集噪声粒子图像来推断方向并将相似图像分组在一起。平均这些对齐和聚类的噪声图像产生一组干净的图像，准备进一步分析，如3D重建。傅立叶-贝塞尔可操纵主成分分析（FBsPCA）实现了一种高效、自适应、低秩旋转算子。我们扩展了FBsPCA以额外处理翻译。在这个扩展的FBsPCA表示，我们使用概率极坐标高斯混合模型学习软集群在无监督的方式使用期望最大化（EM）算法。因此，所获得的旋转簇对于成对对准缺陷的存在是额外鲁棒的。来自模拟Cryo-EM数据集的多个基准测试显示，与标准单粒子Cryo-EM工具EMAN 2和RELION相比，PolarGMM在各种聚类指标和对齐误差方面的性能有所改善。
2022-06-26 cs.CE cs.CV cs.LG
Learning dissipative Hamiltonian dynamics with reproducing kernel Hilbert spaces and random Fourier features
Norwegian University of Science and Technology (NTNU)（挪威科技大学）
针对有限含噪数据下的耗散 Hamilton 动力学学习，提出基于 Helmholtz 分解、专用 RKHS 核与随机 Fourier 特征的方法，并在两个系统仿真中显著提升预测精度。
2024-10-24 cs.LG cs.RO
