Stochastic Variance Reduction for Deep Q-learning
Carnegie Mellon University（卡内基梅隆大学）；Shanghai Jiao Tong University（上海交通大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
深度强化学习的最新进展已经在各种现实世界的应用中实现了人类水平的性能。然而，目前的算法仍然遭受差的梯度估计与过多的方差，导致不稳定的训练和低的样本效率。在我们的论文中，我们提出了一个创新的优化策略，利用随机方差降低梯度（SVRG）技术。通过对Atari域的广泛实验，我们的方法在20个游戏中的18个上优于深度q学习基线。
2019-05-20 cs.LG stat.ML
Deep Reinforcement Learning for Online Control of Stochastic Partial Differential Equations
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
在许多领域，如物理科学，生命科学和金融，控制方法被用来实现由微分方程控制的复杂动力系统的预期目标。在这项工作中，我们制定了控制随机偏微分方程（SPDE）的问题作为一个强化学习问题。提出了一种基于学习的分布式控制方法，利用深度确定性策略梯度方法对具有高维状态-动作空间的SPDE系统进行在线控制。我们测试了我们的方法控制随机Burgers方程的问题上的性能，描述了一个湍流流体流动在一个无限大的域。
2021-12-08 cs.LG math.DS
Multi-Agent Reinforcement Learning-Based UAV Pathfinding for Obstacle Avoidance in Stochastic Environment
School of Automation Science and Electrical Engineering, Beihang University（北京航空航天大学自动化科学与电气工程学院）
提出一种融合模型预测控制与距离加权平均场的多智能体强化学习方法，实现随机环境中无人机集中式训练、分散式避障路径规划，并通过仿真与真实机器人验证其效率和泛化性。
2026-10-19 cs.LG cs.RO
STORI: A Benchmark and Taxonomy for Stochastic Environments
针对现有强化学习基准难捕捉真实环境随机性、缺乏统一随机性分类的问题，提出含五类随机效应的STORI基准，评估发现主流基于模型的RL算法存在多种鲁棒性缺陷，为构建更鲁棒的RL系统提供统一框架。
2025-10-03 cs.AI cs.LG
Weighted Double Deep Multiagent Reinforcement Learning in Stochastic Cooperative Environments
Tianjin University（天津大学）；Soochow University（苏州大学）
近年来，多智能体深度强化学习（DRL）受到越来越广泛的关注。现有的多智能体动态学习算法在随机协作环境中由于智能体同时更新策略而导致的非平稳性问题上效率低下。本文将最近提出的加权双重估计扩展到多智能体领域，提出了一个多智能体DRL框架，命名为加权双重深度Q网络（WDDQN）。通过使用加权双重估计器和深度神经网络，WDDQN不仅可以有效地减少偏差，而且还可以扩展到具有原始视觉输入的场景。为了实现多智能体领域的有效合作，我们引入了宽松的奖励网络和计划重放策略。实验表明，WDDQN优于现有的DRL和multiaent DRL算法，即，双DQN和宽松的Q学习，在随机合作环境中的平均回报和收敛速度。
2018-04-14 cs.AI cs.LG cs.MA
Ensuring Safety in an Uncertain Environment: Constrained MDPs via Stochastic Thresholds
School of Informatics University of Edinburgh（信息学院爱丁堡大学）
本文提出SPOT算法，通过随机阈值在不确定环境中实现安全的强化学习，理论证明其在约束和奖励方面具有次线性遗憾性能。
2025-12-24 cs.AI cs.LG stat.ML
An Efficient Algorithm for Deep Stochastic Contextual Bandits
University of Connecticut（康涅狄格大学）
在随机上下文强盗（SCB）问题中，智能体基于某些观察到的上下文选择动作，以最大化迭代的累积奖励。最近，已经有一些研究使用深度神经网络（DNN）来预测动作的预期回报，并且DNN通过基于随机梯度的方法来训练。然而，收敛性分析已大大忽略了检查这些方法是否收敛以及收敛于何处。在这项工作中，我们制定了SCB，使用DNN奖励函数作为一个非凸随机优化问题，并设计了一个逐阶段的随机梯度下降算法来优化问题，并确定行动策略。我们证明了该算法所选择的动作序列以高概率收敛到一个关于局部最优奖励函数的贪婪动作策略。在多个真实数据集上进行了大量的实验，证明了该算法的有效性和效率。
2021-04-22 cs.GT cs.LG
Control in Stochastic Environment with Delays: A Model-based Reinforcement Learning Approach
Stevens Institute of Technology（斯蒂文斯理工学院）
针对带延迟反馈的随机环境控制问题，提出一种采用随机规划、可嵌入风险偏好的基于模型的强化学习方法，该方法可恢复确定性转移问题的最优策略，在Atari游戏控制任务中性能优于现有两种方法。
2024-02-01 cs.LG cs.SY eess.SY
Social Laws for Multi-agent Coordination in Stochastic Environments
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Technion Israel Institute of Technology（以色列理工学院）
本文提出随机环境下多智能体社会法则的形式化框架，引入α-稳健性度量，并通过化简为马尔可夫决策过程进行验证，在玩具环境中展示其潜力。
2026-09-17 cs.AI cs.LG cs.MA
Variance Driven Exploration: A Provable and Efficient Methodology for Pure Exploration in Highly Stochastic Environments
Hanoi University of Science and Technology（河内科技大学）；Quantum AI & Cyber Security Institute, FPT Corporation（FPT公司量子人工智能与网络安全研究院）
该研究提出 VarDE 方法，将其应用于 BAI、MCTS、BPI 问题，在方差衰减和简单遗憾上有理论保证，在高度随机环境中性能优于现有方法。
2026-08-25 cs.AI cs.LG stat.ML
Vector Quantized Models for Planning
DeepMind（深度思维）；Mila（米拉）；University of Montreal（蒙特利尔大学）
基于模型的强化学习领域的最新发展已经证明在一系列环境中是成功的，特别是在规划至关重要的环境中。然而，这样的成功仅限于确定性的充分观察的环境。我们提出了一种新的方法，处理随机和部分可观察的环境。我们的关键见解是使用离散自动编码器来捕获随机环境中动作的多种可能影响。我们使用随机变量的蒙特卡罗树搜索规划代理的行动和离散的潜变量代表环境的响应。我们的方法显着优于离线版本的MuZero对国际象棋的随机解释，其中对手被认为是环境的一部分。我们还表明，我们的方法可以扩展到DeepMind Lab，这是一个具有大量视觉观察和部分可观察性的第一人称3D环境。
2021-06-10 cs.AI cs.LG stat.ML
Stochastic Optimization for Deep CCA via Nonlinear Orthogonal Iterations
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Johns Hopkins University（约翰斯·霍普金斯大学）
深度CCA是最近提出的对传统典型相关分析（CCA）的深度神经网络扩展，并且已经在多个领域中成功地用于多视图表示学习。然而，深度CCA目标的随机优化并不简单，因为它不会在训练样本上解耦。以前的深度CCA优化器要么是基于批处理的算法，要么是使用大型小批量的随机优化，这可能会占用很高的内存。在本文中，我们解决了随机优化的问题，深CCA与小minibatches，基于迭代解决方案的CCA目标，并表明，我们可以实现良好的性能，因为以前的优化，从而减轻内存需求。
2015-10-07 cs.LG
Training of deep residual networks with stochastic MG/OPT
Euler Institute, Università della Svizzera Italiana（瑞士意大利语区大学欧拉研究所）
我们训练深残差网络的随机变量的非线性多重网格方法MG/OPT. To建立多级层次结构，我们使用动力系统的观点，具体到残差网络。我们报告了在深度残差网络上训练MNIST的显着速度提升和额外的鲁棒性。我们的数值实验还表明，多级训练可以用作修剪技术，因为许多辅助网络具有与原始网络相当的精度。
2021-08-09 cs.LG
A Robust Adaptive Stochastic Gradient Method for Deep Learning
Université de Montréal（蒙特利尔大学）；University of Oxford（牛津大学）
随机梯度算法是大规模优化问题的主要焦点，并在深度学习算法的最新进展中取得了重要成功。SGD的收敛依赖于学习率的仔细选择和梯度的随机估计中的噪声量。在本文中，我们提出了一种自适应学习率算法，它利用损失函数的随机曲率信息自动调整学习率。关于损失函数的逐单元曲率的信息由随机一阶梯度的局部统计量估计。我们进一步提出了一种新的方差减少技术，以加快收敛速度。在我们对深度神经网络的实验中，与流行的随机梯度算法相比，我们获得了更好的性能。
2017-03-02 cs.LG
Multi-Environment Meta-Learning in Stochastic Linear Bandits
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Google Research（谷歌研究院）；Stanford University（斯坦福大学）；University of British Columbia（不列颠哥伦比亚大学）
在这项工作中，我们研究元学习（或学习学习）的方法在多任务线性随机强盗问题，可以起源于多个环境。受[1]关于线性强盗问题序列中的元学习的工作的启发，该线性强盗问题的参数是从单个分布中采样的（即，单个环境），这里我们考虑当任务参数从混合分布中提取时元学习的可行性。对于这个问题，我们提出了一个正则化版本的OFUL算法，当训练的任务与标记的环境，实现低遗憾的新任务，而不需要的环境知识，新任务的起源。具体来说，我们对新算法的遗憾范围捕获了环境误分类的影响，并强调了单独学习每个任务或在不识别不同混合成分的情况下进行元学习的好处。
2022-05-12 cs.LG
Combining Adversarial Guarantees and Stochastic Fast Rates in Online Learning
Centrum Wiskunde & Informatica（荷兰国家数学与计算机科学研究所）；Leiden University（莱顿大学）
我们考虑在线学习算法，保证最坏情况下的后悔率在对抗性的环境（因此，他们可以安全地部署，并将执行鲁棒性），但最佳地适应有利的随机环境（因此，他们将在各种实际重要性的设置表现良好）。我们通过著名的伯恩斯坦（a.k.a.广义Tsybakov边限）条件。对于最近的两个算法（眯着眼睛的对冲设置和MetaGrad的在线凸优化），我们表明，他们的数据依赖的个人序列的遗憾保证的特定形式意味着他们自动适应随机环境的伯恩斯坦参数。我们证明，这些算法在各自的设置中达到快速的速度都在预期和高概率。
2016-05-20 cs.LG
Learning Deep Generative Models with Doubly Stochastic MCMC
Tsinghua University（清华大学）
我们提出了双随机梯度MCMC，一个简单而通用的方法（近似）贝叶斯推理的深度生成模型（DGMs）在一个崩溃的连续参数空间。该算法在每个MCMC采样步骤中随机抽取一小批数据样本来估计对数后验梯度，并通过神经自适应重要性采样器进一步估计隐变量上的难处理期望，其中建议分布由深度神经网络参数化并联合学习。我们证明了学习各种DGMs在广泛的任务，包括密度估计，数据生成和缺失数据填补的有效性。我们的方法优于许多最先进的竞争对手。
2016-03-07 cs.LG
Importance Sampling for Stochastic Gradient Descent in Deep Neural Networks
Dassault Aviation（达索航空）
随机梯度下降对训练集进行均匀采样，以建立具有有限数量样本的无偏梯度估计。然而，在训练过程的给定步骤中，某些数据比其他数据更有助于继续学习。用于训练深度神经网络的重要性采样已被广泛研究，以提出比均匀采样方案产生更好性能的采样方案。在回顾了深度学习的重要性采样理论之后，本文回顾了该研究领域固有的挑战。特别是，我们提出了一个度量标准，允许一个给定的采样方案的质量进行评估，我们研究的采样方案和使用的优化器之间的相互作用。
2023-03-29 cs.LG
Uniform Learning in a Deep Neural Network via "Oddball" Stochastic Gradient Descent
University of Surrey（萨里大学）
当训练深度神经网络时，通常假设训练样本是一致难以学习的。或者，重申一下，假设训练误差将均匀分布在训练样本中。基于这些假设，每个训练样本被使用相同的次数。然而，这一假设在许多情况下可能并不成立。最近引入了“Oddball SGD”（新奇驱动的随机梯度下降），以根据误差分布概率地驱动训练-训练频率与训练误差大小成比例。在这篇文章中，使用深度神经网络对视频进行编码，我们证明了oddball SGD可以用于在训练集上强制执行统一的错误。
2015-10-08 cs.LG
Stochastic Deep Networks with Linear Competing Units for Model-Agnostic Meta-Learning
Cyprus University of Technology（塞浦路斯理工大学）
这项工作通过考虑具有随机局部赢家通吃（LWTA）激活的深度网络来解决元学习（ML）。这种类型的网络单元导致每个模型层的稀疏表示，因为单元被组织成块，其中只有一个单元生成非零输出。引入的单元的主要操作原理依赖于随机原理，因为网络对竞争单元进行后验采样以选择获胜者。因此，所提出的网络被明确地设计为提取稀疏随机性质的输入数据表示，而不是当前标准的确定性表示范式。我们的方法在Few-Shot图像分类和回归实验中产生了最先进的预测精度，并且在主动学习设置中减少了预测误差;这些改进极大地降低了计算成本。
2022-08-02 cs.LG
"Oddball SGD": Novelty Driven Stochastic Gradient Descent for Training Deep Neural Networks
University of Surrey（萨里大学）
随机梯度下降（SGD）可以说是当今应用于训练深度神经网络（DNN）的最流行的机器学习方法。最近已经证明，SGD可以在统计上有偏差，使得训练集的某些元素比其他元素更快地学习。在这篇文章中，我们将SGD放入一个反馈回路中，从而选择的概率与误差大小成正比。这提供了一个新颖性驱动的oddball SGD过程，通过优先考虑训练集中具有最大新颖性（错误）的元素，比传统SGD更快地学习。在我们的DNN示例中，oddball SGD的训练速度比常规SGD快50倍。
2015-09-18 cs.LG
Conjugate-gradient-based Adam for stochastic optimization and its application to deep learning
Meiji University（明治大学）
将Adam算法与非线性共轭梯度法相结合，提出了一种基于共轭梯度的Adam算法，并给出了收敛性分析。文本分类和图像分类的数值实验表明，与现有的自适应随机最优化算法相比，该算法能够在更少的时期内训练深度神经网络模型。
2020-03-03 cs.LG math.OC
Solving stochastic optimal control problem via stochastic maximum principle with deep learning method
Shandong University（山东大学）；Shandong University-Zhongtai Securities Institute for Financial Studies（山东大学-中泰证券金融研究院）
本文从随机最大值原理的角度出发，通过深度学习来解决高维随机最优控制问题。通过引入扩展的哈密顿系统，它本质上是一个具有极大条件的FBM，我们将原来的控制问题转化为一个新的问题。提出了三种算法来解决新的控制问题。不同算例的数值结果表明了所提算法的有效性，特别是在高维情况下。该方法的一个重要应用是计算次线性期望，它对应于一类完全非线性的偏微分方程。
2021-06-22 cs.LG math.OC
Efficient Deep Feature Learning and Extraction via StochasticNets
University of Waterloo（滑铁卢大学）
深度神经网络是特征学习和提取的强大工具，因为它们能够对高度复杂数据中的高级抽象进行建模。在使用深度神经网络的特征学习和提取中值得探索的一个领域是用于更快特征学习和提取的有效神经连接形成。受大脑中随机突触连接形成的发现以及大脑有效表示信息的不可思议的能力的启发，我们提出了通过StochasticNets进行特征的有效学习和提取，其中稀疏连接的深度神经网络可以通过神经元之间的随机连接形成。为了评估这种深度神经网络架构用于特征学习和提取的可行性，我们训练深度卷积StochasticNets，以使用CIFAR-10数据集学习抽象特征，并从图像中提取学习的特征，以在SVHN和STL-10数据集上执行分类。实验结果表明，使用深度卷积StochasticNets学习的特征，比传统的深度卷积神经网络具有更少的神经连接，可以实现比传统的深度神经网络更好或相当的分类精度：STL-10数据集上分类的相对测试误差降低约4.5%，SVHN数据集上分类的相对测试误差降低约1%。此外，研究表明，即使只有10%的训练数据用于特征学习，使用深度卷积StochasticNets提取的深度特征也可以提供相当的分类精度。最后，它还表明，显着增益的特征提取速度可以实现在嵌入式应用程序中使用随机网络。因此，StochasticNets允许更快的特征学习和提取性能，同时有助于更好或相当的准确性性能。
2015-12-11 cs.LG stat.ML
StochasticNet: Forming Deep Neural Networks via Stochastic Connectivity
University of Waterloo（滑铁卢大学）；Aimetis Corp.（Aimetis公司）
深度神经网络是机器学习的一个分支，由于其在高度复杂的数据中表示和建模高级抽象的强大能力，它的流行度迅速上升。深度神经网络中一个已经成熟的探索领域是神经连接的形成。一项关于大鼠脑组织的关键研究发现，新皮层神经微回路中特定功能连接的突触形成可以令人惊讶地被建模和预测为随机形成。受这一有趣发现的启发，我们引入了StochasticNet的概念，其中深层神经网络通过神经元之间的随机连接形成。因此，通过允许神经元连接是随机的，任何类型的深度神经网络都可以形成为StochasticNet。在深度神经网络架构中，随机突触形成可以允许有效利用神经元来执行特定任务。为了评估这种深度神经网络架构的可行性，我们使用四种不同的图像数据集（CIFAR-10，MNIST，SVHN和STL-10）训练StochasticNet。实验结果表明，使用不到传统深度神经网络一半数量的神经连接的StochasticNet在CIFAR-10，MNIST和SVHN数据集上实现了相当的准确性并减少了过拟合。有趣的是，与传统的深度神经网络相比，神经连接数量不到一半的StochasticNet在STL-10数据集上实现了更高的准确性（与ConvNet相比，测试出错率相对提高了约6%）。最后，StochasticNets具有更快的运行速度，同时实现更好或类似的精度性能。
2015-11-10 cs.CV cs.LG cs.NE
Stochastic approximation in non-markovian environments revisited
Department of Electrical Engineering, Indian Institute of Technology Bombay（印度理工学院孟买分校电子工程系）
本文探讨非马尔可夫且非遍历随机过程对随机逼近的影响，提出基于Transformer的学习框架，分析注意力机制和持续学习的理论基础。
2026-03-22 cs.LG math.PR stat.ML
Learning for Single-Shot Confidence Calibration in Deep Neural Networks through Stochastic Inferences
Seoul National University（首尔大学）；POSTECH（浦项科技大学）
我们提出了一个通用框架，通过随机推理来校准深度神经网络中预测的准确性和置信度。我们解释随机正则化使用贝叶斯模型，并分析网络的预测不确定性和方差的预测得分的随机推断获得的单个例子之间的关系。我们的实证研究表明，预测的准确性和得分是高度相关的多个随机推断的随机深度或辍学的方差。基于这一观察结果，我们设计了一种新的方差加权置信度集成损失函数，该函数由两个关于地面真值和均匀分布的交叉熵损失项组成，它们由随机预测分数的方差来平衡。提出的损失函数使我们能够学习深度神经网络，这些网络使用单个推理来预测置信度校准分数。该算法在多个模型和数据集上结合两种流行的随机正则化技术--随机深度和dropout--，表现出出色的置信度校准性能，提高了分类精度;通过训练网络，使预测精度与预测置信度成正比，显著改善了深度神经网络中的过度自信问题。
2019-04-24 cs.LG stat.ML
Deep Physics Corrector: A physics enhanced deep learning architecture for solving stochastic differential equations
Indian Institute of Technology (IIT) Delhi（印度理工学院德里分校）
提出了一种新的灰箱建模算法，用于随机微分方程所控制的物理系统。所提出的方法，被称为深度物理校正器（DPC），融合了近似物理表示的深度神经网络（DNN）。这里的主要思想是利用DNN来建模缺失的物理。我们假设，将不完整的物理与数据相结合，将使模型可解释，并允许更好的泛化。与随机模拟器的训练代理模型相关的主要瓶颈通常与选择合适的损失函数相关。在文献中可用的不同损失函数中，我们使用条件最大平均差异（CMMD）损失函数在DPC中，因为它的性能已被证明。总体而言，物理数据融合和CMMD允许DPC从稀疏数据中学习。我们说明了所提出的DPC从文献中的四个基准例子的性能。所得到的结果是高度准确的，表明其可能的应用程序作为代理模型的随机模拟器。
2022-09-20 cs.LG stat.ML
Estimating Stochastic Poisson Intensities Using Deep Latent Models
Purdue University（普渡大学）
提出了一种估计重随机泊松过程随机强度的方法。交通痕迹的统计和理论分析表明，这些过程是适当的模型，高强度的交通到达一系列的服务系统。驱动交通模型的潜在随机强度过程的统计估计涉及到一个相当复杂的非线性滤波问题。我们开发了一种新的模拟方法，使用深度神经网络来近似随机强度过程引起的路径测量，用于解决这个非线性滤波问题。我们的模拟研究表明，该方法是相当准确的样本内估计和无限服务器队列的样本外性能预测任务。
2020-07-23 cs.LG stat.ML
Horizontal Flows and Manifold Stochastics in Geometric Deep Learning
University of Copenhagen（哥本哈根大学）；Technion – Israel Institute of Technology（以色列理工学院）
我们在几何深度学习中引入了两种构造：1）以连续的方式在流形上传输方向相关的卷积滤波器，从而定义一个自然结合完整性旋转效应的卷积算子; 2）通过对以加权扩散平均值为中心的流形值随机变量进行采样，允许对流形卷积层进行有效评估。这两种方法都受到流形上的随机学和几何统计学的启发，并提供了随机方法的例子-这里是水平框架束流和非线性桥梁采样方案，可以用于几何深度学习。我们概述了这两种方法的理论基础，讨论了它们与欧几里得深度网络和几何深度学习中现有方法的关系，并建立了所提出的构造的重要属性。
2021-05-31 cs.LG stat.ML
Expected flow networks in stochastic environments and two-player zero-sum games
Mila – Québec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）
本文提出期望流网络（EFlowNets）扩展GFlowNets至随机环境，又提出对抗流网络（AFlowNets）用于两人零和博弈，前者在蛋白质设计任务中表现更优，后者在四子棋中找到超80%最优走法且优于AlphaZero。
2026-09-01 cs.GT cs.LG
Exact Stochastic Second Order Deep Learning
Directed Energy Research Centre（定向能研究中心）；Technology Innovation Institute（技术创新研究院）
深度学习中的优化主要由围绕反向传播的中心概念构建的一阶方法主导。考虑二阶导数的二阶优化方法尽管具有优越的理论性质，但使用得很少。二阶方法的这种不足源于其过高的计算成本、糟糕的性能以及深度学习不可避免的非凸性。为了解决二阶优化的不足，人们进行了几次尝试，但没有得到一个具有成本效益的解决方案，更不用说精确的解决方案了。在这项工作中，我们证明了深度学习中这个长期存在的问题可以在随机情况下得到解决，只要神经网络得到适当的正则化。有趣的是，我们提供了一个表达式的随机海森和它的确切特征值。我们提供了一个封闭形式的公式，精确的随机二阶牛顿方向，我们解决了非凸性问题，并调整我们的精确解，有利于平坦的最小值，通过正则化和谱调整。我们在流行的数据集上测试了我们的精确随机二阶方法，并揭示了它对深度学习的充分性。
2021-04-08 cs.LG stat.ML
Concentration inequalities and optimal number of layers for stochastic deep neural networks
University of Pennsylvania（宾夕法尼亚大学）；Universität Leipzig（莱比锡大学）；Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学科学研究所）；Duke University（杜克大学）
我们陈述了随机深度神经网络（SDNN）隐层输出以及整个SDNN输出的浓度不等式。这些结果使我们能够引入一个预期的分类器（EC），并给出概率上限的EC的分类错误。我们还通过最佳停止过程来确定SDNN的最佳层数。我们将我们的分析应用于具有ReLU激活函数的前馈神经网络的随机版本。
2023-03-20 cs.LG stat.ML
MultiAuto-DeepONet: A Multi-resolution Autoencoder DeepONet for Nonlinear Dimension Reduction, Uncertainty Quantification and Operator Learning of Forward and Inverse Stochastic Problems
Purdue University（普渡大学）
提出了一种新的数据驱动的随机微分方程算子学习方法。中心目标是使用有限的数据更有效地解决正向和反向随机问题。深度算子网络（DeepONet）最近被提出用于算子学习。与其他神经网络学习函数相比，它针对的是非线性算子的学习问题。然而，使用原始模型来学习高维随机问题的非线性算子可能具有挑战性。我们提出了一种新的多分辨率自动编码器DeepONet模型，称为MultiAuto-DeepONet，以在卷积自动编码器的帮助下解决这一困难。网络的编码器部分被设计为降低维数以及发现高维随机输入的隐藏特征。解码器被设计为具有特殊结构，即DeepONet的形式。解码器中的第一个DeepONet用于重建涉及随机性的输入函数，而第二个DeepONet用于近似所需方程的解。这两个DeepONet有一个公共的分支网络和两个独立的主干网络。这种架构使我们能够自然地处理多分辨率输入。通过对网络进行$L_1$正则化，我们发现分支网络和两个主干网络的输出都具有稀疏结构。这减少了神经网络中可训练参数的数量，从而使模型更有效。最后，我们进行了几个数值实验来说明我们提出的具有不确定性量化的MultiAuto-DeepONet模型的有效性。
2022-04-07 cs.LG stat.ML
GenFormer: A Deep-Learning-Based Approach for Generating Multivariate Stochastic Processes
本文提出GenFormer，一种基于Transformer的深度学习随机生成器，用于生成时空多元随机过程，保持目标统计特性，并应用于佛罗里达风速模拟以计算超越概率。
2024-02-03 cs.LG stat.ML
Stochastic Variational Deep Kernel Learning
Cornell University（康奈尔大学）；CMU（卡内基梅隆大学）
深度核学习将核方法的非参数灵活性与深度学习架构的归纳偏差相结合。我们提出了一种新的深度内核学习模型和随机变分推断过程，该过程将深度内核学习方法推广到分类，多任务学习，加性协方差结构和随机梯度训练。具体来说，我们将加性基础内核应用于深度神经架构的输出特征子集，并通过高斯过程边缘似然目标联合学习基础内核和深度网络的参数。在这个框架内，我们推导出一个有效的形式的随机变分推断，利用本地内核插值，诱导点，和结构利用代数。我们在几个分类基准上显示了独立深度网络，SVM和最先进的可扩展高斯过程的性能改进，包括包含600万个训练点的航班延误数据集，CIFAR和ImageNet。
2016-11-02 cs.LG stat.ME stat.ML
ImitationFlow: Learning Deep Stable Stochastic Dynamic Systems by Normalizing Flows
TU Darmstadt（达姆施塔特工业大学）；University of Verona（维罗纳大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
我们引入了ImitationFlow，这是一种新型的深度生成模型，允许学习复杂的全局稳定，随机，非线性动力学。我们的方法扩展了规范化流框架来学习稳定的随机微分方程。我们证明了一类随机微分方程的李雅普诺夫稳定性，我们提出了一个学习算法，学习他们从一组演示的轨迹。我们的模型扩展了可以用最先进的方法表示的稳定动力系统的集合，消除了演示中的高斯假设，并且在表示精度方面优于以前的算法。我们证明了我们的方法与标准数据集和一个真正的机器人实验的有效性。
2020-10-25 cs.LG cs.RO
Conditional deep surrogate models for stochastic, high-dimensional, and multi-fidelity systems
University of Pennsylvania（宾夕法尼亚大学）
我们提出了一种概率深度学习方法，可以为随机系统构建预测数据驱动的代理。利用隐式分布的变分推断的最新进展，我们提出了一个统计推断框架，该框架能够在成对的输入-输出观测上进行代理模型的端到端训练，这些观测可能是随机的，源于可变保真度的不同信息源，或者被复杂的噪声过程破坏。由此产生的代理可以容纳高维输入和输出，并能够返回具有量化不确定性的预测。我们的方法的有效性证明了通过一系列的规范研究，包括回归噪声数据，随机过程的多保真度建模，在高维动力系统中的不确定性传播。
2019-01-15 cs.LG stat.ML
Stochastic Deep Graph Clustering for Practical Group Formation
Inha University（釜山大学）
针对动态场景下群组推荐系统中群组形成的挑战，提出DeepForm框架，利用轻量级GCN、随机聚类学习与对比学习，实现实时、动态调整群组数量的高质量群组形成与推荐。
2025-11-04 cs.AI cs.LG
Directional Analysis of Stochastic Gradient Descent via von Mises-Fisher Distributions in Deep learning
KAIST（韩国科学技术院）；Center for Superintelligence, SNU（首尔大学超级智能中心）；New York University（纽约大学）；Facebook AI Research（Facebook人工智能研究院）
虽然随机梯度下降（SGD）是深度学习最近成功背后的驱动力，但我们对其在高维参数空间中的动力学的理解是有限的。近年来，一些研究人员使用小批量梯度的随机性或信噪比来更好地表征SGD的学习动态。受这些工作的启发，我们在这里通过检查小批量梯度的范数和方向的随机性，从几何角度分析SGD。我们提出了一个模型的方向浓度的minibatch梯度通过von Mises-Fisher（VMF）分布，并表明，minibatch梯度的方向均匀性增加的过程中的SGD。我们使用深度卷积网络实证验证了我们的结果，并观察到梯度随机性与所提出的方向均匀性之间的相关性高于梯度范数随机性，这表明小批量梯度的方向统计是SGD背后的主要因素。
2018-11-28 cs.LG stat.ML
A deep learning based surrogate model for stochastic simulators
Indian Institute of Technology Delhi（印度理工学院德里分校）
提出了一种基于深度学习的随机模拟器代理模型。其基本思想是用产生式神经网络逼近随机响应。这样一个框架的挑战在于设计的网络架构和选择损失函数适合随机响应。虽然我们利用一个简单的前馈神经网络，我们建议使用条件最大均值差异（CMMD）的损失函数。CMMD利用再生核希尔伯特空间的属性，并允许捕获目标和神经网络预测分布之间的差异。所提出的方法在数学上是严格的，在这个意义上说，它没有假设的概率密度函数的响应。所提出的方法的性能说明使用四个基准问题从文献中选择。所获得的结果表明所提出的方法的优异性能。
2021-10-24 cs.LG stat.ML
Deep Graphic FBSDEs for Opinion Dynamics Stochastic Control
Georgia Institute of Technology（佐治亚理工学院）
在本文中，我们提出了一种可扩展的深度学习方法来解决动态和成本函数中具有平均场项耦合的意见动态随机最优控制问题。我们的方法依赖于Hamilton-Jacobi-Bellman偏微分方程解的概率表示。基于Feynman-Kac引理的非线性版本，Hamilton-Jacobi-Bellman偏微分方程的解与正倒向随机微分方程的解相联系。这些方程可以使用一种新的深度神经网络进行数值求解，该网络具有针对所考虑的问题定制的架构。由此产生的算法进行了测试的两极分化的意见一致的实验。大规模（10 K）代理实验验证了我们的算法的可扩展性和通用性。建议的框架开辟了未来的应用程序上的超大规模的问题的可能性。
2022-04-18 cs.LG cs.MA
Deep Online Learning with Stochastic Constraints
Technion - Israel Institute of Technology（以色列理工学院）
深度学习模型在许多离线机器学习任务中被认为是最先进的。然而，开发的许多技术不适合在线学习任务。当需要同时考虑多个损失函数时，将深度学习模型用于序列数据的问题变得更加困难，正如在许多现实世界的应用中一样。因此，在本文中，我们提出了一种新的在线深度学习训练过程，无论神经网络的架构如何，都可以使用该过程，旨在处理多目标情况。我们证明了我们的算法在几个基准数据集上的Neyman-Pearson分类问题的有效性。
2019-05-26 cs.LG stat.ML
Infinitely Deep Bayesian Neural Networks with Stochastic Differential Equations
University of Toronto（多伦多大学）；Stanford Unviersity（斯坦福大学）
我们在连续深度贝叶斯神经网络中进行可扩展的近似推理。在这个模型类中，每个层中单独权重的不确定性给出了遵循随机微分方程的隐藏单元。我们证明了基于梯度的随机变分推断在这个无限参数设置，产生任意灵活的近似后验。我们还得到了一个新的梯度估计，接近零方差的近似后验权重接近真正的后验。这种方法将连续深度贝叶斯神经网络与离散深度替代方案进行了竞争性比较，同时继承了神经ODE的内存高效训练和可调精度。
2022-01-30 cs.LG stat.ML
Langevin algorithms for Markovian Neural Networks and Deep Stochastic control
Sorbonne Université（索邦大学）
随机梯度下降朗之万动力学（SGLD）算法，它添加噪声到经典的梯度下降，是已知的，以改善神经网络的训练，在某些情况下，神经网络是非常深的。在本文中，我们研究了训练加速的可能性，通过梯度下降的数值分辨率的随机控制问题，其中控制参数化的神经网络。如果在许多离散化时间应用控制，则解决随机控制问题减少到最小化非常深的神经网络的损失。我们数值计算表明，朗之万算法提高了训练的各种随机控制问题，如对冲和资源管理，并为不同的选择梯度下降方法。
2023-01-13 cs.LG math.OC q-fin.CP
A Unified Analysis of Stochastic Momentum Methods for Deep Learning
Southern University of Science and Technology（南方科技大学）；University of Technology Sydney（悉尼科技大学）；The University of Iowa（爱荷华大学）
随机动量方法已被广泛用于训练深度神经网络。然而，他们的理论分析的收敛性的训练目标和预测的泛化误差仍然是探索不足。本文旨在通过分析随机梯度法和随机动量法，随机重球（SHB）方法和Nesterov加速梯度（SNAG）方法的随机变体。我们提出了一个框架，统一的三个变量。然后，我们得到了非凸优化问题的梯度范数的收敛速度，并通过一致稳定性方法分析了推广性能。特别是，训练目标的收敛性分析表明，SHB和SNAG没有优势比SG。然而，稳定性分析表明，动量项可以提高学习模型的稳定性，从而提高泛化性能。这些理论见解验证了常识，也被我们对深度学习的实证分析所证实。
2018-08-30 cs.LG stat.ML
Deep Stochastic Configuration Networks with Universal Approximation Property
La Trobe University（拉筹伯大学）；Department of Computer Science and Information Technology（计算机科学与信息技术系）
本文提出了一种用于增量构建深度神经网络的随机方法，其中提出了一种监督机制来约束权重和偏差的随机分配，并且所有隐藏层都与输出层有直接联系。建立了这类随机化精益模型，即深度随机配置网络（DeepSCN）的泛逼近性质的基本结果。提出了一种学习算法来实现具有特定架构或自组织的DeepSCN。从每个隐藏层到输出层的所有直接链接的读出权重由最小二乘法评估。给定一组训练样本，DeepSCN可以快速生成学习表示，即具有级联输入以及读出权重的随机基函数的集合。对函数逼近进行了实证研究，以证明所提出的深度学习器模型的一些性质。
2018-03-16 cs.LG cs.NE
Deep Latent Dirichlet Allocation with Topic-Layer-Adaptive Stochastic Gradient Riemannian MCMC
针对深度离散潜变量模型（LVMs）开发基于随机梯度的可扩展推理是具有挑战性的，这是由于不仅难以计算梯度，而且难以使步长适应不同的潜在因子和隐藏层。对于泊松伽马信念网络（PGBN），最近提出的深度离散LVM，我们推导出一种替代表示，被称为深度潜在狄利克雷分配（DLDA）。利用数据增广和边缘化技术，我们推导出一个块对角费舍尔信息矩阵和它的逆单形约束的全球模型参数的DLDA。利用费舍尔信息矩阵与随机梯度MCMC，我们提出了主题层自适应随机梯度黎曼（TLASGR）MCMC，共同学习单纯形约束的全局参数在所有层和主题，主题和层特定的学习率。在大数据集上展示了最先进的结果。
2017-06-06 cs.LG stat.CO stat.ML
Stochastic AUC Maximization with Deep Neural Networks
The University of Iowa（爱荷华大学）；SUNY at Albany（奥尔巴尼州立大学）
随机AUC最大化由于更好地适应不平衡数据分类而引起了越来越多的兴趣。然而，现有的工作仅限于随机AUC最大化与线性预测模型，这限制了其预测能力时，处理极其复杂的数据。在本文中，我们考虑随机AUC最大化问题与深度神经网络作为预测模型。基于AUC的替代损失的鞍点重构，该问题可以转换为{ \it非凸凹}最小-最大问题。本文的主要贡献是使随机AUC最大化对于深度神经网络和大数据更实用，同时具有理论见解。特别是，我们建议探索在深度学习中已被证明和观察到的Polyak-Projojasiewicz（PL）条件，这使我们能够开发具有更快收敛速度和更实用步长方案的新随机算法。在PL条件下，分析了AdaGrad算法的自适应收敛速度。我们的实验结果证明了所提出的算法的有效性。
2020-06-30 cs.LG math.OC stat.ML
Deep Generative Modeling with Backward Stochastic Differential Equations
Shanghai AI Laboratory（上海人工智能实验室）
本文提出新型深度生成模型BSDE-Gen，结合倒向随机微分方程与深度神经网络生成高维复杂数据，提供了理论框架、模型架构、MMD损失函数及实验结果。
2023-04-08 cs.LG math.PR stat.ML
A Backward SDE Method for Uncertainty Quantification in Deep Learning
Oak Ridge National Laboratory（橡树岭国家实验室）；Florida State University（佛罗里达州立大学）；Auburn University（奥本大学）；Jilin University（吉林大学）
本文提出了一种概率机器学习方法，通过随机最优控制问题来构造一类随机神经网络。在随机最大值原理框架下，提出了一种有效的随机梯度下降算法。随机神经网络的应用进行了数值实验，以验证我们的方法的有效性。
2021-04-04 cs.LG math.OC stat.ML
Safer Autonomous Driving in a Stochastic, Partially-Observable Environment by Hierarchical Contingency Planning
Renault Software Labs（雷诺软件实验室）；EURECOM（欧洲通信学院）
当学习在随机的、部分可观察的环境中行动时，智能代理应该准备好预测其对环境状态的信念的变化，并且能够在飞行中调整其行动以适应不断变化的条件。作为人类，我们在学习一项任务时能够形成应急计划，其明确目标是能够纠正初始控制中的错误，因此，如果我们对环境的感知发生突然变化，需要立即采取纠正措施，这证明是有用的。对于在安全至关重要的现实世界中导航的自动驾驶汽车（AV）来说尤其如此，并且真正需要对环境变化的信念做出反应的强大能力。在本文中，我们探索了一个端到端的方法，从训练到执行，学习强大的应急计划，并将它们与层次规划器相结合，以获得一个强大的代理政策，在自主导航任务中，其他车辆的行为是未知的，代理人对这些行为的信念是受到突然的，最后一秒的变化。我们表明，我们的方法在部分可观察的随机环境中产生了鲁棒，安全的行为，在训练过程中没有看到环境动态。
2022-04-13 cs.AI cs.LG cs.RO
Stochastic Block-ADMM for Training Deep Networks
Oregon State University（俄勒冈州立大学）；Applied Research Center, PCG, Tencent（腾讯PCG应用研究中心）
在本文中，我们提出了随机块ADMM作为训练深度神经网络的方法，在批量和在线设置。我们的方法通过将神经网络分成任意数量的块，并利用辅助变量连接这些块，同时使用随机梯度下降进行优化。这允许在传统的反向传播不适用的情况下训练具有不可微约束的深度网络。这一点的一个应用是监督特征分解，我们提出的DeepFacto将非负矩阵分解（NMF）层插入网络。由于反向传播只需要在每个块内执行，我们的方法消除了消失的梯度，并提供了并行化的潜力。我们证明了我们提出的方法的收敛性，并通过监督和弱监督设置中的实验证明了其能力。
2021-05-01 cs.AI cs.DC cs.LG
Stochastic Deep Model Reference Adaptive Control
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出了一种基于随机深度神经网络的模型参考自适应控制。在我们的工作“深度模型参考自适应控制“的基础上，我们通过使用贝叶斯深度神经网络（DNN）来表示不确定性和模型非线性来扩展控制器的能力。随机深度模型参考自适应控制使用基于Lyapunov的方法来实时调整DNN模型的输出层权重，同时使用数据驱动的监督学习算法来更新内层参数。这种异步网络更新确保有界性和保证跟踪性能与基于学习的实时反馈控制器。DNN学习的贝叶斯方法有助于避免过度拟合数据，并提供预测的置信区间。控制器的随机特性也确保了“激励的诱导持续性”，从而导致整个系统信号的收敛。
2021-08-04 cs.AI cs.LG cs.RO
