Persistent Gaussian Perturbations Prevent Oversmoothing in Recurrent Graph Neural Networks
Amirkabir University of Technology (Tehran Polytechnic)（阿米尔卡比尔理工大学（德黑兰理工大学））
本文针对循环图神经网络的过平滑问题，提出注入持续高斯噪声的方法，从理论上证明该方法可保留表示多样性，实验也验证了其有效性。
2026-07-31 cs.AI cs.IT cs.LG
Functional Optimization Reinforcement Learning for Real-Time Bidding
Wenzhou-Kean University（温州肯恩大学）；Findability Sciences Private Limited（Findability Sciences私人有限公司）；Babasaheb Bhimrao Ambedkar University（巴巴萨赫布·比姆拉奥·阿姆倍伽尔大学）
实时的【形】竞价是程序化广告的新范式。广告商希望明智地选择使用\textbf{Demand-Side Platform}来提高其广告活动的效果。现有的方法是努力提供一个令人满意的解决方案，由于随机投标行为的投标优化。提出了一种基于功能优化的RTB多智能体强化学习体系结构。我们设计了四个代理投标环境：三个拉格朗日乘数为基础的功能优化代理和一个基线代理（没有任何属性的功能优化）首先，许多属性已分配给每个代理，包括有偏或无偏的获胜概率，拉格朗日乘数，点击率。为了评估所提出的RTB策略的性能，我们展示了十个连续的模拟拍卖活动的结果。结果表明，在有偏和无偏获胜信息下，具有功能性行为和奖励的代理人具有最显著的平均获胜率和获胜盈余。实验评估表明，我们的方法显着提高运动的有效性和盈利能力。
2022-09-13 cs.AI cs.LG
LADDER: A Human-Level Bidding Agent for Large-Scale Real-Time Online Auctions
我们提出了LADDER，这是第一个深度强化学习代理，可以直接从由高级语义信息组成的原始输入中成功地学习大规模现实问题的控制策略。该代理基于DQN（Deep Q Network）的异步随机变体DASQN。智能体的输入是对不完全信息博弈状态的明文描述，即实时的【形】大规模在线拍卖，奖励是非常大规模的拍卖利润。我们将代理应用于京东在线RTB（实时的【形】竞价）广告业务的重要部分，发现它轻松击败了由人类专家精心设计和校准的前最先进的竞价策略：在JD.com 6月18日的周年销售期间，代理将公司的广告收入从该部分增加了50%以上，而广告主的ROI（投资回报率）也显著提高。
2017-09-01 cs.AI cs.CL cs.GT
Machine Learning-Driven Virtual Bidding with Electricity Market Efficiency Analysis
提出了一种基于机器学习的电力市场虚拟竞价投资组合优化框架，该框架同时考虑了风险约束和价格敏感性。算法交易策略是从自营交易公司的角度开发的，以实现利润最大化。利用市场出清算法的小时间依赖性，建立了基于递归神经网络的LMP价差预测模型。利用所提出的约束梯度提升树，将LMP价差对净虚拟报价的灵敏度建模为单调函数。我们利用所提出的算法虚拟投标交易策略来评估虚拟投标组合的盈利能力和美国批发电力市场的效率。对PJM、ISO-NE和CAISO的综合实证分析表明，考虑价格敏感性的虚拟投标组合优化策略明显优于忽略价格敏感性的虚拟投标组合优化策略。所有三个电力市场的虚拟投标组合的夏普比率都远高于标准普尔500指数。CAISO的双结算系统的效率低于PJM和ISO-NE。
2021-04-06 cs.LG
Fast Rate Learning in Stochastic First Price Bidding
Université PSL（巴黎文理研究大学）；mercis Group（1000mercis集团）；CNRS（法国国家科学研究中心）；ENS Lyon（里昂高等师范学院）
在程序化广告中，第一价格拍卖在很大程度上取代了基于Vickrey拍卖的传统投标方法。就学习而言，第一价格拍卖更具挑战性，因为最优投标策略不仅取决于物品的价值，而且还需要其他投标的一些知识。他们已经在顺序学习中产生了一些作品，其中许多考虑了以对抗方式选择买方价值或对手最大出价的模型。即使在最简单的设置中，这也会导致算法的遗憾随着时间范围$T$的$\sqrt{T}$而增长。专注于买方发挥对一个平稳的随机环境的情况下，我们展示了如何实现显着降低遗憾：当对手的最大出价分布是已知的，我们提供了一个算法，其遗憾可以低$\log^2(T)$的情况下，分布必须学习顺序，概括该算法可以实现$T^{1/3+ ε}$遗憾，任何$ε>0$。为了获得这些结果，我们引入了两个新的想法，可以在自己的权利感兴趣。首先，通过转置在公布的价格设置中获得的结果，我们提供的条件下，第一个价格投标效用是局部二次在其最优。第二，我们利用的观察，在小的子区间，浓度的经验分布函数的变化可以更准确地控制比使用经典的Dvoretzky-Kiefer-Wolfowitz不等式。数值模拟证实，我们的算法收敛速度远远快于文献中提出的各种出价分布的替代方案，包括在实际的程序化广告平台上收集的出价。
2021-11-22 cs.LG stat.ML
Strategic bidding in freight transport using deep reinforcement learning
提出了一种多智能体强化学习算法来表征货运市场中的策略性投标行为。使用该算法，我们调查是否可行的市场均衡出现没有任何中央控制或代理之间的通信。在这样的环境中研究行为可能会成为像物理互联网这样的自组织物流系统的垫脚石。我们模拟一个基于代理的环境中，托运人和承运人积极学习投标策略，使用策略梯度方法，提出出价和要价在个别集装箱水平。这两个代理的目标是学习最好的反应给定的预期行为的对手。中立经纪人根据买卖价差分配工作。我们的博弈理论分析和数值实验专注于行为洞察。为了评估系统的性能，我们衡量坚持纳什均衡，公平的奖励分工和利用的运输能力。我们在可预测的、确定性的环境（约95%符合纳什均衡）和高度随机的环境（约85%符合）中都观察到了良好的性能。风险寻求行为可能会增加代理人的奖励份额，只要策略不是过于激进。研究结果表明，货运市场有可能实现完全自动化和分散化。
2021-02-18 cs.LG
Reinforcement Learning for Dynamic Bidding in Truckload Markets: an Application to Large-Scale Fleet Management with Advance Commitments
Foster School of Business, University of Washington（华盛顿大学福斯特商学院）；Department of Operations Research and Financial Engineering, Princeton University（普林斯顿大学运筹学与金融工程系）
卡车经纪公司是美国一个每年1000亿美元的行业，在匹配托运人和承运人方面发挥着关键作用，通常要在未来几天内移动货物。经纪人不仅要找到同意运输货物的公司，而且还必须找到托运人和承运人都同意的价格。价格不仅因托运人和承运人而异，而且因交通路线和商品类型等其他变量而异。经纪人必须通过提供价格并观察每个人是否接受报价来了解托运人和承运人的响应功能。我们提出了一个知识梯度政策与引导聚合高维上下文设置，以指导价格实验，最大限度地提高信息的价值。使用仔细校准的车队模拟器，包括随机前瞻政策，模拟车队的运动，以及随机建模的司机分配和承运人的负荷承诺政策与提前预订的学习策略进行测试。
2019-06-04 cs.LG stat.ML
Dynamic Bidding Strategies with Multivariate Feedback Control for Multiple Goals in Display Advertising
Copilot AI；Xaxis
实时竞价（RTB）展示广告是一种在毫秒内发生的拍卖中购买展示广告库存的方法。RTB活动的绩效通常通过一系列关键绩效指标（KPI）来衡量，这些指标用于确保活动具有成本效益，并购买有价值的库存。虽然RTB活动应该理想地满足所有KPI，但同时改进往往非常具有挑战性，因为任何一个KPI的改进都有可能对其他KPI产生不利影响。在这里，我们提出了一种方法，同时控制多个KPI与基于PID的反馈控制系统。该方法基于PID控制器模块的输出和量化每个KPI对于内部业务需求的重要性的度量来为每个KPI生成控制分数。定期，此算法-顺序控制-将选择具有最大总体改进需求的KPI。通过这种方式，我们的算法能够不断寻求对其当前状态的最大边际改进。多个控制方法可以与每个KPI相关联，并且可以同时触发或随机选择，以避免局部最优。在离线广告竞价模拟和实时流量测试中，我们的方法被证明可以有效地同时控制多个KPI，并使它们达到各自的目标。
2020-06-01 cs.GT cs.LG stat.ML
Auto-bidding in real-time auctions via Oracle Imitation Learning (OIL)
EPFL Japan, Switzerland（瑞士EPFL日本分校）；Sony（索尼公司）
针对实时拍卖自动出价的约束优化难题，提出Oracle模仿学习（OIL）框架，以先知算法求得的近似最优解为训练目标，训练仅用实时信息的出价网络，性能和样本效率均优于强化学习方法。
2025-05-16 cs.AI cs.LG
Learning for Dynamic Bidding in Cognitive Radio Resources
University of California Los Angeles (UCLA)（加利福尼亚大学洛杉矶分校）
在本文中，我们在认知无线电网络中的各种无线用户的自私，自主智能体，战略互动，以获取动态可用的频谱机会的集合建模。我们的主要重点是为无线用户开发解决方案，以便在无线网络中经验丰富的动态环境下，成功地相互竞争有限且随时间变化的频谱机会。我们将这些动态分为两种类型：一种是由于环境（例如无线信道条件，源流量特性等）引起的干扰。另一个是竞争用户带来的影响。为了分析用户之间的相互作用，给定的环境干扰，我们提出了一个通用的随机框架建模如何随着时间的推移，用户之间的频谱机会的竞争演变。在动态资源分配的每个阶段，中央频谱调节器拍卖可用资源，并且用户策略性地投标所需资源。联合投标动作影响资源分配，并因此影响所有用户的回报和未来策略。基于观察到的资源分配和相应的奖励从以前的分配，我们提出了一个最佳响应学习算法，可以部署无线用户，以改善他们的投标政策在每个阶段。仿真结果表明，通过部署所提出的最佳响应学习算法，无线用户可以在丢包率和所用资源的成本方面显着提高自己的性能。
2007-09-15 cs.GT cs.LG
Deep Landscape Forecasting for Real-time Bidding Advertising
Shanghai Jiao Tong University（上海交通大学）
在线广告中实时的【形】拍卖的出现引起了对市场竞争建模的巨大关注，即，景观预测该问题被公式化为预测每个广告拍卖的市场价格的概率分布。考虑到第二价格拍卖机制所带来的审查问题，许多研究者将医学研究领域的生存分析引入到竞价景观预测中。然而，大多数现有的解决方案主要集中在基于计数的统计的分割样本聚类，或学习一个参数化模型的基础上的一些启发式假设的分布形式。此外，他们也没有考虑该功能在价格空间上的序列模式。为了在数据的细粒度级别捕获更复杂但灵活的模式，我们提出了一种深度景观预测（DLF）模型，该模型结合了用于概率分布预测的深度学习和用于审查处理的生存分析。具体来说，我们利用一个循环神经网络灵活地建模的条件获胜概率w.r.t.每一个出价。然后通过严格的数学推导，运用概率链法则对投标前景进行预测。而且，在端到端的方式，我们优化模型，最大限度地减少两个负面的可能性损失与综合动机。在没有对投标景观的分布形式进行任何具体假设的情况下，我们的模型在拟合各种复杂的市场价格分布方面表现出了很大的优势。在两个大规模真实世界数据集上的实验中，我们的模型在各种指标下都显着优于最先进的解决方案。
2019-05-12 cs.GT cs.IR cs.LG
RoxyBot-06: Stochastic Prediction and Optimization in TAC Travel
Brown University（布朗大学）；University of Washington（华盛顿大学）
在本文中，我们描述了我们的自主投标代理，RoxyBot，谁出现在2006年的贸易代理竞争的旅游部门在照片完成的胜利。在高层次上，许多成功的交易代理人的设计可以总结如下：（i）价格预测：建立市场价格模型;（ii）优化：在给定模型的情况下，求解近似最优的一组出价。为了进行预测，RoxyBot通过模拟同时上涨的拍卖建立了一个市场价格的随机模型。为了进行优化，RoxyBot依赖于样本平均近似方法，这是一种随机优化技术。
2014-01-16 cs.GT cs.LG
Learning Stochastic Recurrent Networks
Technische Universität München（慕尼黑工业大学）；Leibniz Universität Hannover（莱布尼茨汉诺威大学）
利用变分推断的进步，我们提出用潜变量增强递归神经网络，从而产生随机递归网络（STORN）。该模型i）可以用随机梯度方法训练，ii）允许在每个时间步的结构化和多模态条件，iii）具有边缘似然的可靠估计器，iv）是确定性递归神经网络的概括。我们评估的方法对四个复调音乐数据集和运动捕捉数据。
2015-03-05 cs.LG stat.ML
Recurrent Stochastic Configuration Networks with Incremental Blocks
Northeastern University（东北大学）；China University of Mining and Technology（中国矿业大学）
本文提出块递归随机配置网络（BRSCNs），通过同时添加多个子储备池节点、监督机制配置结构及在线更新权重，提升了网络学习效率与逼近能力，在多项任务中表现出优异的建模与泛化性能。
2024-11-18 cs.AI cs.LG
Semi-Implicit Stochastic Recurrent Neural Networks
Texas A&M University（得克萨斯农工大学）；University of Texas at Austin（得克萨斯大学奥斯汀分校）
具有复杂依赖结构的潜在随机变量的随机循环神经网络在建模序列数据方面比确定性深度模型更成功。然而，大多数现有的方法有有限的表达能力，由于高斯假设的潜变量。在本文中，我们提倡使用半隐式变分推理来学习隐式潜在表示，以进一步增加模型的灵活性。半隐式随机递归神经网络（SIS-RNN）的发展，以丰富推断模型后验，可能没有解析密度函数，只要独立的随机样本可以通过重新参数化生成。在真实世界数据集上进行的不同任务的大量实验表明，SIS-RNN优于现有方法。
2020-04-23 cs.LG stat.ML
Intrinsic Motivation and Mental Replay enable Efficient Online Adaptation in Stochastic Recurrent Networks
Technische Universität Darmstadt（达姆施塔特工业大学）；Max-Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Universität zu Lübeck（吕贝克大学）
自主机器人需要与未知、非结构化和不断变化的环境进行交互，不断面临新的挑战。因此，持续在线适应终身学习和样本效率机制的需求，以适应环境，约束，任务或机器人本身的变化至关重要。在这项工作中，我们提出了一个新的框架，概率在线运动规划与在线适应的基础上，生物启发的随机递归神经网络。通过使用模仿内在动机信号的学习信号，加上心理重放策略来强化经验，随机递归网络可以从很少的物理交互中学习，并在几秒钟内适应新的环境。我们在拟人KUKA LWR手臂上评估了我们的在线规划和自适应框架。快速在线自适应通过从少量物理交互中有效地学习未知的工作空间约束，同时遵循给定的路径点来实现。
2018-10-23 cs.AI cs.LG cs.RO
Fuzzy Recurrent Stochastic Configuration Networks for Industrial Data Analytics
Northeastern University（东北大学）；China University of Mining and Technology（中国矿业大学）
针对工业数据分析中非线性动力学建模的不确定性问题，提出结合TSK模糊规则与多子储层的模糊循环随机配置网络，经RSC算法训练和投影算法在线更新，性能优于经典模型，可用于复杂工业系统建模。
2024-08-13 cs.AI cs.LG cs.NE
Learning Wake-Sleep Recurrent Attention Models
University of Toronto（多伦多大学）
尽管卷积神经网络取得了成功，但由于它们必须检查所有图像位置，因此计算成本很高。基于随机注意力的模型已被证明可以提高测试时的计算效率，但由于难以处理的后验推理和随机梯度估计的高方差，它们仍然难以训练。借鉴文献中关于训练深度生成模型的技术，我们提出了唤醒-睡眠循环注意模型，这是一种训练随机注意网络的方法，它可以改善后验推理，减少随机梯度的变化。我们表明，我们的方法可以大大加快随机注意网络的训练时间在图像分类和字幕生成领域。
2015-09-22 cs.LG
Recurrent neural network training with preconditioned stochastic gradient descent
研究了最近提出的预条件随机梯度下降（PSGD）算法在循环神经网络（RNN）训练中的性能。PSGD自适应地估计预条件子以加速梯度下降，并且被设计为简单、通用和易于使用，如随机梯度下降（SGD）。RNN，特别是那些需要极长时间记忆的RNN，很难训练。我们已经在一组合成病理RNN学习问题和真实世界的MNIST手写数字识别任务上测试了PSGD。实验结果表明，PSGD是能够实现高度竞争力的性能，而无需使用任何技巧，如预处理，预训练或参数调整。
2016-12-08 cs.LG stat.ML
Efficient Algorithms for Stochastic Repeated Second-price Auctions
ENS Paris（巴黎高等师范学院）；Université PSL（巴黎文理研究大学）；mercis Group（1000mercis集团）；INRIA（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；UMPA（纯粹与应用数学研究所）；ENS Lyon（里昂高等师范学院）
在各种市场营销任务中，为重复拍卖开发有效的顺序投标策略是一个重要的实际挑战。在这种情况下，投标代理人只有在赢得拍卖时才能获得关于出售物品的价值和其他投标人的行为的信息。标准的强盗理论不适用于这个问题，由于存在行动依赖的审查。在这项工作中，我们考虑第二价格拍卖，并提出了新的，高效的UCB类算法完成这项任务。这些算法进行了分析，在随机设置，假设规则的分布对手的出价。我们提供了遗憾的上限，量化的改进在文献中提出的基线算法。这种改善在拍卖物品价值较低的情况下尤其显著，从而使最坏情况下的遗憾程度显著降低。我们进一步提供了第一个参数下限这个问题，适用于通用的UCB类策略。作为一种替代方案，我们提出了更容易解释的策略，这让人想起探索然后提交强盗算法。我们对此类策略进行了批判性分析，展示了重要的优势和局限性。特别是，我们提供了一个极大极小的下限，并提出了一个近极大极小最优的实例，这个类。
2021-02-26 cs.LG stat.ML
Recurrent Neural Networks for Stochastic Control Problems with Delay
Princeton University（普林斯顿大学）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
由于时滞系统的路径依赖性及其固有的高维性，使得具有时滞的随机控制问题具有挑战性。本文提出并系统研究了基于深度神经网络的算法，用于解决具有时滞特征的随机控制问题。具体来说，我们采用神经网络序列建模（\emph{e.g.}，循环神经网络，如长短期记忆）参数化的政策和优化的目标函数。所提出的算法进行了测试的三个基准的例子：一个线性二次型问题，固定有限延迟的最优消费，投资组合优化与完全记忆。特别是，我们注意到，与前馈网络相比，循环神经网络的架构自然地捕获了具有更大灵活性的路径依赖特征，并通过更有效和更稳定的网络训练产生更好的性能。这种优越性甚至在具有无限时滞的完全记忆的投资组合优化的情况下也是显而易见的。
2021-06-16 cs.LG math.OC q-fin.CP
Z-Forcing: Training Stochastic Recurrent Networks
MILA, Université de Montréal（蒙特利尔大学 MILA）；Microsoft Maluuba（微软 Maluuba）；MILA, Polytechnique Montréal（蒙特利尔理工学院 MILA）
许多努力致力于用自回归解码器（诸如递归神经网络（RNN））来训练生成潜变量模型。随机递归模型已经成功地捕捉到自然序列数据（如语音）中观察到的变异性。我们将最近提出的架构中的成功想法统一到一个随机递归模型中：序列中的每一步都与一个潜在变量相关联，该变量用于调节未来步骤的递归动态。训练是用摊销的变分推断来执行的，其中近似后验是用向后运行通过序列的RNN来增强的。除了最大化变分下界之外，我们还通过添加辅助成本来简化潜变量的训练，该辅助成本迫使它们重建向后递归网络的状态。这为潜在变量提供了一个独立于任务的目标，提高了整个模型的性能。我们发现这种策略比其他方法（如KL退火）表现更好。虽然在概念上很简单，我们的模型实现了国家的最先进的标准语音基准测试，如TIMIT和暴雪和竞争力的性能顺序MNIST的结果。最后，我们将我们的模型应用于IMDB数据集上的语言建模，其中辅助成本有助于学习可解释的潜变量。源代码：\url{https://github.com/anirudh9119/zforcing_nips17}
2017-11-16 cs.LG stat.ML
Conformal Prediction for Stochastic Decision-Making of PV Power in Electricity Markets
Wageningen University（瓦赫宁根大学）；Utrecht University（乌得勒支大学）
本文研究将保形预测用于光伏发电日前功率预测的不确定性量化，结合多种投标策略优化电力市场电量投标，发现随机森林回归后使用k近邻和Mondrian分箱的保形预测系统配合EUM与CVaR策略可获得最高利润和最小能量不平衡。
2024-03-29 cs.LG cs.SY eess.SY
Towards Recurrent Autoregressive Flow Models
Stanford University（斯坦福大学）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
由非平稳分布产生的随机过程很难用常规模型（如高斯过程）表示。这项工作提出了递归自回归流作为一种方法对一般的随机过程建模与规范化流。所提出的方法定义了一个条件分布的每个变量在一个连续的过程中，通过调节参数的归一化流与循环神经连接。复杂的条件关系通过递归网络参数学习。在这项工作中，我们提出了一个循环流动池的初始设计和方法，训练模型，以匹配观察到的经验分布。我们证明了这类模型的有效性，通过一系列的实验中，模型训练三个复杂的随机过程。我们强调我们目前的配方的缺点，并提出一些潜在的解决方案。
2020-06-17 cs.LG stat.ML
Sequential Neural Models with Stochastic Layers
Technical University of Denmark（丹麦技术大学）；University of Copenhagen（哥本哈根大学）；Google DeepMind（谷歌DeepMind）
我们如何用递归神经网络有效地传播潜在状态表示中的不确定性？本文介绍了随机递归神经网络，它将确定性递归神经网络和状态空间模型粘合在一起，形成一个随机和顺序的神经生成模型。确定性层和随机性层的明确分离允许结构化变分推断网络跟踪模型的后验分布的因子分解。通过保留递归神经网络的非线性递归结构，并对潜在路径中的不确定性进行平均，如状态空间模型，我们大幅提高了Blizzard和TIMIT语音建模数据集的最新结果，同时实现了与复调音乐建模竞争方法相当的性能。
2016-11-13 cs.LG stat.ML
Recurrent Neural Networks with Stochastic Layers for Acoustic Novelty Detection
IMT Atlantique（大西洋国立高等工业技术与矿业学校）；Dalhousie University（达尔豪斯大学）；Polish Academy of Sciences（波兰科学院）
在本文中，我们适应递归神经网络与随机层，这是国家的最先进的生成文本，音乐和语音，声学新奇检测的问题。通过将不确定性集成到隐藏状态中，这种类型的网络能够学习复杂序列的分布。因为学习的分布可以用概率来显式计算，所以我们可以评估观察结果的可能性，然后将低概率事件检测为新事件。该模型是鲁棒的，高度无监督的，端到端的，需要最少的预处理，特征工程或超参数调整。在基准数据集上的实验表明，我们的模型优于最先进的声学新奇检测器。
2019-02-13 cs.LG cs.SD eess.AS
Stochastic Graph Recurrent Neural Network
Beijing Institute of Technology（北京理工大学）
基于图结构数据的表示学习因其广泛的应用前景而得到了广泛的研究。然而，以前的方法主要集中在静态图，而许多现实世界的图随着时间的推移而演变。对这种演化进行建模对于预测未知网络的属性非常重要。为了解决这一挑战，我们提出了SGRNN，这是一种新型神经架构，它应用随机潜变量来同时捕获节点属性和拓扑的演变。具体而言，确定性状态从随机状态在迭代过程中分离，以抑制相互干扰。将半隐式变分推断与SGRNN相结合，提出了一种非高斯变分分布，以帮助进一步提高性能。此外，为了解决SGRNN中KL-消失问题，基于KL-发散的下界，提出了一种简单且可解释的结构。在真实数据集上的大量实验证明了该模型的有效性。代码可在https://github.com/StochasticGRNN/SGRNN上获得。
2020-09-01 cs.LG stat.ML
Path classification by stochastic linear recurrent neural networks
RWTH Aachen University（亚琛工业大学）；Jülich Research Centre（于利希研究中心）
本文从统计学习理论视角研究分类生物神经网络，将其建模为连续时间随机线性RNN，证明了其泛化误差界，发现RNN保留路径部分签名作为唯一训练信息，并验证了其易训练性与准确率及鲁棒性的权衡现象。
2022-01-07 cs.IT cs.LG math.IT
Self-Organizing Recurrent Stochastic Configuration Networks for Nonstationary Data Modelling
Northeastern University（东北大学）；China University of Mining and Technology（中国矿业大学）；State Key Laboratory of Synthetical Automation for Process Industries（流程工业综合自动化国家重点实验室）；Research Center for Stochastic Configuration Machines（随机配置机器研究中心）
本文提出自组织循环随机配置网络（SORSCNs），通过实时调整网络参数与储备池结构、在线更新输出权重并动态调整网络结构，有效提升非平稳数据建模的持续学习能力，且实验表明其泛化性能优于ESN、OSL-SCN等模型。
2024-10-14 cs.LG stat.ML
Recurrent Stochastic Configuration Networks with Hybrid Regularization for Nonlinear Dynamics Modelling
State Key Laboratory of Synthetical Automation for Process Industries（过程工业综合自动化国家重点实验室）；Northeastern University（东北大学）；Research Center for Stochastic Configuration Machines（随机配置机器研究中心）；China University of Mining and Technology（中国矿业大学）
本文提出结合 LASSO 变量选择、L2 正则化改进 RSCN 与投影算法实时更新权重的混合模型，用于非线性动态系统建模，并通过理论与实验验证其优越性能。
2024-11-26 cs.AI cs.CE cs.LG
Deep Reinforcement Learning for Wind and Energy Storage Coordination in Wholesale Energy and Ancillary Service Markets
Monash University（莫纳什大学）
针对风电波动性导致弃风损失、储能调度难平衡弃风消纳与市场收益的问题，提出基于深度强化学习的风电-储能共址系统联合市场竞价方法，收益较基准提升约25%，弃风减少2.3倍。
2023-08-28 cs.LG cs.SY eess.SY
Re-examination of the Role of Latent Variables in Sequence Modeling
Carnegie Mellon University（卡内基梅隆大学）；Brookhaven National Laboratory（布鲁克海文国家实验室）
随机递归模型在对声波序列进行建模时采用了隐变量，取得了很好的效果。然而，在其他领域也观察到相反的结果，其中标准的递归网络通常优于随机模型。为了更好地理解这种差异，我们重新审视潜变量在语音密度估计的随机递归模型中的作用。我们的分析表明，在以前的评估中，在完全因子化的输出分布的限制下，随机模型隐含地利用了步内相关性，但标准的经常性基线被禁止这样做，导致不公平的比较。为了纠正这种不公平，我们在重新检查中删除了这种限制，其中所有模型都可以显式地利用具有自回归结构的步内相关性。在一组不同的序列数据，包括人类语音，音乐，手写轨迹和帧置换语音，我们的研究结果表明，随机递归模型未能表现出任何实际优势，尽管声称的理论优势。相比之下，配备自回归输出分布的标准递归模型始终表现更好，显着推进了三个语音数据集上的最新结果。
2019-09-16 cs.LG stat.ML
StochEP: Stochastic Equilibrium Propagation for Spiking Convergent Recurrent Neural Networks
School of Electrical Engineering and Computer Science（电气工程与计算机科学学院）；The Pennsylvania State University（宾夕法尼亚州立大学）；University Park（大学公园）；PA 16802, USA（宾夕法尼亚州16802, 美国）
针对现有均衡传播框架训练脉冲神经网络存在的缺陷，本文提出融合概率脉冲神经元的随机EP框架StochEP，可稳定训练深度脉冲CRNN，在视觉基准上性能接近主流方法且保留学习局部性。
2025-11-14 cs.ET cs.LG
Scalable Bayesian Learning of Recurrent Neural Networks for Language Modeling
Duke University（杜克大学）
循环神经网络（RNN）在语言建模方面表现出了良好的性能。然而，使用时间反向传播的RNN的传统训练经常遭受过拟合。其中一个原因是随机优化（用于大型训练集）不能提供模型不确定性的良好估计。本文利用随机梯度马尔可夫链蒙特卡罗（也适用于大型训练集）的最新进展来学习RNN中的权重不确定性。它产生了一个原则性的贝叶斯学习算法，在训练过程中添加梯度噪声（增强对模型参数空间的探索），并在测试时对模型进行平均。在各种RNN模型和广泛的应用程序上进行的大量实验表明，所提出的方法优于随机优化。
2017-04-24 cs.CL cs.LG
Stochastic optimization with arbitrary recurrent data sampling
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文证明在循环数据采样下，正则化MISO算法对非凸非光滑随机优化可实现最优一阶收敛速率，并表明采样算法的覆盖效率可加速收敛。
2024-07-20 cs.LG math.OC stat.ML
Deep Recurrent Stochastic Configuration Networks for Modelling Nonlinear Dynamic Systems
Northeastern University（东北大学）；China University of Mining and Technology（中国矿业大学）；State Key Laboratory of Synthetical Automation for Process Industries（过程综合自动化国家重点实验室）；Research Center for Stochastic Configuration Machines（随机配置机器研究中心）
本文提出深度循环随机配置网络DeepRSCN，通过监督式随机参数分配、增量构造与投影算法在线更新输出权重，提升非线性动态系统建模效率、学习与泛化能力。
2024-10-28 cs.LG math.DS stat.ML
Inferring stochastic low-rank recurrent neural networks from neural data
University of Tübingen（蒂宾根大学）；Tübingen AI Center（蒂宾根人工智能中心）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
本文提出用变分序贯蒙特卡洛方法拟合随机低秩循环神经网络，在神经数据上获得更低维潜在动力学，并实现多项式成本识别不动点，兼具可解释性与生成能力。
2025-02-26 cs.LG q-bio.NC stat.ML
Learning Coordination Policies over Heterogeneous Graphs for Human-Robot Teams via Recurrent Neural Schedule Propagation
Georgia Institute of Technology（佐治亚理工学院）；Institute for Robotics and Intelligent Machines（机器人与智能机器研究所）
随着人机协作在劳动力中的增加，人机团队有效和直观地协调变得至关重要。传统的人-机器人调度方法要么利用精确的方法，这对于大规模的问题是难以解决的，并且难以考虑随机的、时变的人类任务性能，要么利用需要专家领域知识来开发的特定于应用的方法。我们提出了一个基于深度学习的框架，称为HybridNet，结合了异构的基于图的编码器与经常性的调度传播调度随机人类机器人团队的上限和下限的时间约束。HybridNet的编码器利用异构图注意力网络对初始环境和团队动态进行建模，同时考虑约束。通过将任务调度制定为顺序决策过程，HybridNet的递归神经调度传播器利用长短期记忆（LSTM）模型来传播动作的前向结果，以执行快速调度生成，从而消除了在每个任务代理对选择之间与环境交互的需要。由此产生的调度策略网络提供了一个计算量小但表达能力强的模型，该模型可通过强化学习算法进行端到端训练。我们开发了一个虚拟的任务调度环境，在多轮设置的混合人类机器人团队，能够模拟人类工人的随机学习行为。实验结果表明，HybridNet在确定性和随机性人类性能方面优于其他人类-机器人调度解决方案，与基于纯GNN的机器人相比，运行时间更快。
2023-01-30 cs.AI cs.LG cs.MA
Transformer meets wcDTW to improve real-time battery bids: A new approach to scenario selection
针对实时能源市场的随机电池报价问题，提出融合 Transformer 价格预测与 wcDTW 历史场景选择的方法，并在 PJM 市场验证可提升 10% 收益。
2024-04-02 cs.CY cs.LG
DeepBayes -- an estimator for parameter estimation in stochastic nonlinear dynamical models
KTH Royal Institute of Technology（瑞典皇家理工学院）；Uppsala University（乌普萨拉大学）
随机非线性动力系统在现代现实世界的应用中无处不在。然而，估计随机，非线性动力学模型的未知参数仍然是一个具有挑战性的问题。大多数现有的方法采用极大似然或贝叶斯估计。然而，这些方法受到一些限制，最值得注意的是大量的计算时间的推理加上有限的灵活性，在应用中。在这项工作中，我们提出了DeepBayes估计器，它利用了深度递归神经网络在学习估计器时的能力。该方法包括首先训练一个递归神经网络，以最小化的均方估计误差在一组合成生成的数据使用模型从模型集的兴趣。先验训练的估计器然后可以通过用估计数据评估网络来直接用于推断。深度递归神经网络架构可以离线训练，并确保在推理过程中节省大量时间。我们使用两种流行的递归神经网络进行实验-长短期记忆网络（LSTM）和门控递归单元（GRU）。我们证明了我们提出的方法在不同的示例模型上的适用性，并与最先进的方法进行了详细的比较。我们还提供了一个现实世界中的非线性基准问题的研究。实验结果表明，所提出的方法是渐近的贝叶斯估计一样好。
2022-05-04 cs.LG cs.SY eess.SY
Dynamic Scheduling for Stochastic Edge-Cloud Computing Environments using A3C learning and Residual Recurrent Neural Networks
The University of Melbourne（墨尔本大学）；Indian Institute of Technology, Delhi（印度理工学院德里分校）
基于物联网（IoT）的应用程序的普遍采用导致了雾计算范式的出现，该范式允许无缝地利用移动边缘和云资源。由于受限的资源能力、物联网中的移动性因素、资源异构性、网络层次结构和随机行为，在这样的环境中有效调度应用任务是具有挑战性的。现有的基于数学和强化学习的方法缺乏泛化能力和快速适应性，因此不能最佳地解决这个问题。它们也无法利用时间工作负载模式，仅适用于集中式设置。然而，A3C学习可以快速适应数据较少的动态场景，R2N2可以快速更新模型参数。因此，我们提出了一个基于A3C的随机边缘云环境的实时调度器，允许分散学习，同时跨多个代理。我们使用R2N2架构来捕获大量的主机和任务参数以及时间模式，以提供高效的调度决策。该模型具有自适应性，能够根据应用需求调整不同的超参数。我们解释我们的超参数的选择，通过敏感性分析。在真实数据集上进行的实验表明，与现有算法相比，该算法在能耗、响应时间、服务水平一致性和运行成本方面分别有14.4%、7.74%、31.9%和4.64%的显著改善.
2020-09-01 cs.DC cs.LG
Recurrent Stochastic Configuration Networks for Temporal Data Analytics
State Key Laboratory of Synthetical Automation for Process Industries（流程工业综合自动化国家重点实验室）；Northeastern University（东北大学）；Research Center for Stochastic Configuration Machines（随机配置机器研究中心）；China University of Mining and Technology（中国矿业大学）
本文提出了一种递归随机配置网络（RSCN），通过监督机制构建模型并利用投影算法在线更新输出权重，在无需假设输入变量动态阶数的情况下，实现了优于LSTM和多种ESN方法的时序数据建模性能。
2025-04-02 cs.LG
A Neural Stochastic Volatility Model
University College London（伦敦大学学院）；Shanghai Jiao Tong University（上海交通大学）
在本文中，我们表明，最近将统计模型与深度递归神经网络相结合，为制定波动率（时间序列的变化程度）模型提供了一种新的方法，这些模型已广泛用于金融领域的时间序列分析和预测。该模型包括一对互补的随机递归神经网络：生成网络模型的随机波动过程的联合分布;推理网络近似的条件分布的潜变量给定的观测值。我们在这里的重点是制定的时间动态波动随时间的随机递归神经网络框架下。在真实世界股票价格数据集上的实验表明，所提出的模型产生了更好的波动率估计和预测，优于主流方法，例如，确定性模型，如GARCH及其变体，以及随机模型，即基于MCMC的模型\emph{stochvol}以及高斯过程波动模型\emph{GPVol}，平均负对数似然。
2018-12-05 cs.CE cs.LG q-fin.ST
Recurrent Multi-Graph Neural Networks for Travel Cost Prediction
Aalborg University（奥尔堡大学）
在城市规划中经常使用出发地-目的地（OD）矩阵，其中城市被划分为区域，并且OD矩阵中的元素（i，j）记录成本（例如，行驶时间、燃料消耗或行驶速度）。在本文中，我们将一天划分为多个区间，例如，96个15分钟的间隔，每个间隔与OD矩阵相关联，该矩阵表示间隔中的成本;我们考虑稀疏和随机OD矩阵，其中元素表示随机但不确定的成本，并且由于两个区域之间缺乏数据，一些元素缺失。我们解决了稀疏，随机OD矩阵预测问题。给定一个稀疏的历史OD矩阵序列，我们的目标是预测没有空元素的未来OD矩阵。我们提出了一个通用的学习框架来解决这个问题，通过矩阵分解和两个图卷积神经网络处理稀疏矩阵，并通过递归神经网络捕获时间动态。使用两个不同国家的出租车数据集的实证研究验证了所提出的框架的有效性。
2018-11-13 cs.LG stat.ML
Memory-based control with recurrent neural networks
Google Deepmind（谷歌DeepMind）
部分观测控制问题是强化学习的一个挑战性方面。我们扩展了两个相关的，无模型的连续控制算法-确定性的策略梯度和随机值梯度-解决部分观察域使用循环神经网络训练通过时间的反向传播。我们证明，这种方法，加上长短期记忆是能够解决各种各样的物理控制问题，表现出各种各样的内存需求。这些问题包括来自噪声传感器的信息的短期整合和系统参数的识别，以及需要在许多时间步长上保存信息的长期记忆问题。我们还证明了成功的结合探索和记忆问题的形式，一个简化版本的著名的莫里斯水迷宫任务。最后，我们证明了我们的方法可以通过直接从像素学习来处理高维观测。我们发现，经常性的确定性和随机政策能够学习类似的好的解决方案，这些任务，包括水迷宫的代理必须学习有效的搜索策略。
2015-12-14 cs.LG
Efficient Data-Driven MPC for Demand Response of Commercial Buildings
Polytechnique Montreal（蒙特利尔理工学院）；MILA；GERAD；BrainBox AI
本研究针对商业建筑需求响应，提出基于输入凸循环神经网络的混合整数凸数据驱动MPC方法，通过无导数优化求解，在仿真中验证其可兼顾热舒适度提升与能耗、成本降低。
2024-08-15 cs.LG cs.SY eess.SY
Self-organization of action hierarchy and compositionality by reinforcement learning with recurrent neural networks
Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）
用于强化学习（RL）的循环神经网络（RNN）已经显示出明显的优势，例如，解决依赖记忆的任务和元学习。然而，在改进RNN架构和理解性能增益的底层神经机制方面几乎没有付出任何努力。在本文中，我们提出了一种新的，多时间尺度，随机RNN的RL。实验结果表明，该网络可以自主学习抽象的子目标，并可以自我发展的行动层次结构，在一个具有挑战性的连续控制任务使用内部动力学。此外，我们还表明，与从头开始相比，网络的自我开发组合性在适应新任务（重新组合之前学习的子目标）时可以更快地重新学习。我们还发现，当神经活动受到随机而不是确定性的动态时，可以实现更好的性能。
2019-11-26 cs.LG stat.ML
Learning to Bid in FCR Markets: A Best-of-Both-Worlds Approach
EDF Lab Paris-Saclay, FiME (Laboratoire de Finance des Marchés de l’Énergie)（EDF巴黎萨克雷实验室，FiME（能源市场金融实验室））
针对欧洲频率控制储备（FCR）市场中投标者仅能观察到部分反馈（如出清价格和分配数量）的问题，提出了一种将多国FCR出清问题转化为重复多单位统一价格拍卖的方法，并采用两全其美的组合半强盗算法实现对数伪遗憾（随机环境）和平方根遗憾（对抗环境），实验验证了其理论缩放性和实际竞争力。
2026-05-29 cs.GT cs.LG
Sensory robustness through top-down feedback and neural stochasticity in recurrent vision models
Hertie Institute for Clinical Brain Research, University of Tübingen（图宾根大学赫蒂临床脑研究所）；University of Tübingen（图宾根大学）；Center for Bionic Intelligence Tübingen Stuttgart (BITS)（图宾根-斯图加特仿生智能中心）；Institute of Cognitive Sciences and Technologies, National Research Council（国家研究委员会认知科学与技术研究所）；Institute of Neurology, University College London（伦敦大学学院神经病学研究所）；German Center for Mental Health (DZPG)（德国心理健康中心）
本研究通过训练带有自上而下反馈和随机神经变异性的卷积循环神经网络，发现反馈与 dropout 结合能显著提升模型的速度-准确率权衡及鲁棒性，揭示了神经随机性与自上而下反馈在弹性感知编码中的双重稳定机制。
2025-08-09 cs.CV cs.LG q-bio.NC
A Unified Framework of Online Learning Algorithms for Training Recurrent Neural Networks
Center for Neural Science（神经科学中心）；New York University（纽约大学）；Facebook AI Research（Facebook人工智能研究院）；Center for Data Science（数据科学中心）
我们提出了一个框架，以全面总结许多最近的结果，在有效的和/或生物学上合理的在线训练的循环神经网络（RNN）。该框架根据几个标准组织算法：（a）过去与面向未来，（b）张量结构，（c）随机与确定性，以及（d）封闭形式与数值。这些轴揭示了在线学习的几个最新进展之间潜在的概念联系。此外，我们为他们的成功程度提供了新的数学直觉。在两个合成任务上测试各种算法表明，根据我们的标准，性能聚类。虽然梯度对齐也观察到类似的聚类，但与精确方法对齐并不能单独解释最终性能，特别是对于随机算法。这表明需要更好的比较指标。
2019-07-05 cs.LG cs.NE q-bio.NC
Recurrent Ladder Networks
The Curious AI Company（好奇人工智能公司）
我们提出了一个经常性的梯子网络的扩展，其结构是由层次潜变量模型中所需的推理动机。我们证明，经常性的梯子是能够处理各种各样的复杂的学习任务，受益于迭代推理和时间建模。该架构在视频数据的时间建模上显示出接近最佳的结果，在音乐建模上显示出有竞争力的结果，并且基于更高阶的抽象（例如随机纹理和运动线索）改进了感知分组。我们提出了完全监督，半监督和无监督任务的结果。结果表明，所提出的架构和原则是强大的工具，学习层次的抽象，学习迭代推理和处理时间信息。
2017-12-18 cs.AI cs.LG cs.NE
A comprehensive study of batch construction strategies for recurrent neural networks in MXNet
AppTek（AppTek 公司）
在这项工作中，我们比较了不同的小批量训练的循环神经网络批量建设方法。虽然像TensorFlow和MXNet这样的流行实现建议采用分桶方法来提高循环训练过程的并行化能力，但我们提出了一种简单的排序策略，以随机交替排序的方式排列训练序列。我们比较我们的方法序列桶以及其他各种批量建设策略的CHiME-4嘈杂的语音识别语料库。实验表明，我们的交替排序方法能够在训练时间和识别性能方面进行竞争，同时在概念上更容易实现。
2017-05-05 cs.LG stat.ML
Surprisal-Driven Feedback in Recurrent Networks
IBM Research（IBM研究院）
循环神经网络广泛用于预测时态数据。它们固有的深度前馈结构允许学习复杂的序列模式。据认为，自上而下的反馈可能是一个重要的缺失成分，在理论上可以帮助消除歧义类似的模式取决于更广泛的背景。在本文中，我们介绍了一种递归驱动的递归网络，它在进行新的预测时会考虑过去的错误信息。这是通过不断监测最新预测与实际观测之间的差异来实现的。此外，我们表明，它优于其他随机和完全确定性的方法enwik8字符级预测任务实现1.37 BPC的测试部分的文本。
2016-10-19 cs.LG cs.NE
Noisy Recurrent Neural Networks
Nordita, KTH Royal Institute of Technology（北欧理论物理研究所，瑞典皇家理工学院）；Stockholm University（斯德哥尔摩大学）；University of Pittsburgh（匹兹堡大学）；ICSI（国际计算机科学研究所）；UC Berkeley（加州大学伯克利分校）
我们提供了一个通用框架，用于研究通过将噪声注入隐藏状态来训练的循环神经网络（RNN）。具体来说，我们认为RNN可以被视为由输入数据驱动的随机微分方程的离散化。这个框架使我们能够研究一般的噪声注入计划的隐式正则化效果，推导出一个近似的显式正则化在小噪声制度。我们发现，在合理的假设下，这种隐式正则化促进了更平坦的最小值;它偏向于具有更稳定动态的模型;并且，在分类任务中，它有利于具有更大分类边际的模型。得到了全局稳定的充分条件，突出了随机稳定的现象，其中噪声注入可以提高稳定性在训练过程中。我们的理论得到了实证结果的支持，这些结果表明，RNN对各种输入扰动具有更好的鲁棒性。
2021-12-01 cs.LG math.DS math.PR
