Variational Mixture of Normalizing Flows
Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院）；Instituto de Telecomunicações（电信研究所）
在过去的几年里，深度生成模型，如生成对抗网络\autocite{GAN}、变分自编码器\autocite{vaepaper}及其变体，已经被广泛用于复杂数据分布建模的任务。尽管这些早期的方法取得了出色的样本质量，但它们对目标分布\emph{implicitly}进行建模，因为它们诱导的概率密度函数无法明确获得。这一事实使得这些方法不适合需要例如用学习的分布对数据的新实例进行评分的任务。规范化流通过利用概率密度函数的变量变化公式，并通过使用设计为具有易处理且易于计算的雅可比矩阵的变换，克服了这一限制。虽然灵活，这个框架缺乏（直到最近\autocites{semisuplearning_nflows, RAD}）一种方法来引入离散结构（如在混合物中发现的）的模型，它允许构建，在无监督的情况下。本工作克服了这一点，通过使用归一化流作为混合模型中的组件，并为这样的模型设计了一个端到端的训练过程。该过程基于变分推断，并使用由神经网络参数化的变分后验。正如将变得清楚的那样，该模型自然地适用于（多模态）密度估计、半监督学习和聚类。该模型在两个合成数据集和一个真实数据集上进行了说明。关键词：深度生成模型，规范化流，变分推断，概率建模，混合模型。
2020-09-01 cs.LG stat.ML
Bayesian Sparsification of Gated Recurrent Neural Networks
National Research University Higher School of Economics（国立研究型大学高等经济学院）；Samsung AI Center（三星人工智能中心）
贝叶斯方法已成功地应用于神经网络权值的稀疏化和网络结构单元的去除。G.神经元我们应用并进一步发展这种方法的门控经常性架构。具体来说，除了单个权重和神经元的稀疏化之外，我们还建议稀疏化LSTM中的门和信息流的预激活。它使某些门和信息流分量保持不变，加快了前向传递速度，提高了压缩率。此外，由此产生的门稀疏结构是可解释的，并取决于任务。代码可以在github上找到：https://github.com/tipt0p/SparseBayesianRNN
2018-12-12 cs.CL cs.LG stat.ML
Probabilistic Classification by Density Estimation Using Gaussian Mixture Model and Masked Autoregressive Flow
University of Waterloo（滑铁卢大学）；Drexel University（德雷塞尔大学）
本文提出利用高斯混合模型和掩码自回归流进行密度估计，以建模类别似然实现分类，优于线性判别分析，为概率分类器开辟新方向。
2023-10-16 cs.LG cs.NE stat.ML
Deep Probabilistic Modelling of Price Movements for High-Frequency Trading
University College London（伦敦大学学院）
在本文中，我们提出了一个深经常性的架构，高频市场价格的概率建模，重要的自动交易系统的风险管理。我们提出的架构将概率混合模型纳入深度递归神经网络。由此产生的深度混合模型同时解决了几个实际的挑战，重要的自动化高频交易策略的发展，以前被忽视的文献：1）概率预测的价格变动; 2）单一目标预测的方向和大小的价格变动。我们对高频比特币市场数据进行训练，并根据从文献中获得的基准模型对其进行评估。我们表明，我们的模型优于基准模型在基于指标的测试和模拟交易情况
2020-03-31 cs.LG q-fin.ST q-fin.TR
Guidance Without Labels: Flow Matching from Coupled Gaussian Mixtures
EPFL（洛桑联邦理工学院）
本文提出一种无标签引导的流匹配方法，通过耦合高斯混合模型与熵最优传输，复用预训练速度场，在CIFAR-10和CelebA-HQ上提升FID，CelebA-HQ仅需约半数步数即可达到基线质量。
2026-10-14 cs.LG
Robust Classification using Hidden Markov Models and Mixtures of Normalizing Flows
KTH Royal Institute of Technology（KTH皇家理工学院）
我们测试的鲁棒性的最大似然（ML）为基础的分类，连续的数据作为观察被噪声破坏。假设是，生成模型，结合隐马尔可夫模型（HMM）的状态转换和神经网络的隐状态的概率分布的HMM，可以提供一个强大的分类性能。该模型被称为基于归一化流混合模型的隐马尔可夫模型（NMM-HMM）。它可以使用期望最大化（EM）和反向传播的组合进行训练。我们在语音识别的应用中验证了改进的NMM-HMM分类器的鲁棒性。
2021-02-15 cs.LG eess.SP
A Review of Brown 1971 (in)admissibility results under scale mixtures of Gaussian priors
布朗1971年的论文“Admissible Estimators，Recurrent Diffusions and Unsolved边值问题“是可容许性文献中的一个里程碑。它几乎完全解决了误差平方和损失下协方差一致的多元正态分布均值估计的容许/不容许问题。我们重新审视这一美妙的巡回演出的力量在其成立50周年，并提出了一种替代和更直接的证明结果的广义贝叶斯估计对应的先验是一个子类的规模混合球法线。
2021-10-05 math.ST stat.TH
Mixture Prototype Flow Matching for Open-Set Supervised Anomaly Detection
Nanjing University of Science（南京理工大学）；Beijing Normal University, Beijing, China（北京师范大学）；China Academy of Space Technology, Beijing, China（中国空间技术研究院）
本文提出MPFM框架，通过学习正常特征分布到结构化高斯混合原型空间的连续变换，改进传统方法对多模态数据的建模，引入MIMR正则化器提升正常-异常分离性能，实验证明其在多种基准上达到最佳性能。
2026-05-14 cs.CV cs.LG
Convolutional Mixture Density Recurrent Neural Network for Predicting User Location with WiFi Fingerprints
使用WiFi指纹预测智能手机用户活动是近年来室内定位的流行方法。然而，这样的高维时间序列预测问题可能非常棘手。为了解决这个问题，我们提出了一种新的深度学习模型，卷积混合密度循环神经网络（CMDRNN），它结合了卷积神经网络，递归神经网络和混合密度网络的优势。在我们的模型中，CNN子模型用于检测高维输入的特征，RNN子模型用于捕获时间依赖性，MDN子模型用于预测最终输出。为了验证该方法的有效性，我们在真实数据集上进行了实验，实验结果表明了该方法的有效性。
2019-11-21 cs.LG eess.SP stat.ML
Gaussian Mixture Flow Matching Models
Stanford University（斯坦福大学）；Adobe Research（Adobe研究）
针对扩散与流匹配模型少步采样性能差、CFG下易过饱和的问题，提出高斯混合流匹配模型GMFlow，通过预测动态高斯混合参数学习多模态流速分布，结合GM-SDE/ODE求解器与概率引导方案，在ImageNet上仅6步采样即达0.942精确率，显著提升生成质量。
2025-08-30 cs.CV cs.LG
Learning Discriminators for Resampling in the Ensemble Gaussian Mixture Filter through a Normalizing Flow Approach
Department of Mathematics, The University of Hawaii at Manoa（夏威夷大学马诺阿分校数学系）；Department of Information and Computer Sciences, The University of Hawaii at Manoa（夏威夷大学马诺阿分校信息与计算机科学系）
本文提出通过归一化流方法学习判别器以改进集合高斯混合滤波器的重采样步骤，减少低样本量下的误差。
2026-05-01 cs.LG math.PR stat.CO
Bayesian Nonparametric Modelling of Joint Gap Time Distributions for Recurrent Event Data
我们提出了自回归贝叶斯半参数模型的等待时间之间的经常性事件。目的有两个：推断可能随时间变化的协变量对间隙时间的影响，并根据复发事件的时间轨迹对个体进行聚类。间隙时间之间的时间依赖性考虑到通过规范的自回归组件的随机效应参数影响的响应在不同的时间。自回归的顺序可以假设为未知和推断的对象，我们考虑两种替代方法来执行模型选择在这种情况下。协变量可以很容易地包含在回归框架中，删失和缺失数据也很容易解释。由于所提出的方法属于Dirichlet过程混合物类，因此可以通过高效的MCMC算法进行后验推理。我们说明了通过模拟和医疗应用程序，涉及癌症患者和连续的尿路感染复发住院治疗的方法。
2016-07-27 stat.AP
On the characterization of flowering curves using Gaussian mixture models
在本文中，我们开发了一种统计方法，适用于使用高斯混合模型的开花曲线的表征。我们的研究依赖于一组玫瑰开花数据，高斯混合模型主要用于量化每一个的再开花属性。在这方面，我们也建议我们自己的选择标准，以考虑到大多数开花曲线的对称性。三个类创建的基础上进行的主成分分析的一组再开花指标，并使用纵向$k$ -手段算法，也突出了早熟的开花所发挥的作用的子分类。通过这种方式，我们获得了我们决定保留在每条曲线上的特征之间的相关性的概述。特别是，结果表明，缺乏相关性之间的再开花和开花早熟。本研究中获得的相关指标将是理解这些生物过程的环境和遗传控制的第一步。
2016-04-18 q-bio.QM stat.AP
Linear pretraining in recurrent mixture density networks
Concordia University（康考迪亚大学）
我们提出了一种预训练递归混合密度网络（RMDN）的方法。我们还对Nikolaev等人[2012]提出的RMDN-Gestro架构进行了轻微修改。预训练方法有助于RMDN在训练过程中避免不良的局部极小值，并提高其对Guillaumes [2017]定义的持续NaN问题的鲁棒性，这是混合密度网络经常遇到的问题。这样的问题在于在训练期间频繁地获得“非数字”（NaN）值。所提出的预训练方法通过在开始包括非线性节点更新之前训练RMDN的隐藏层中的线性节点来解决这些问题。这种方法提高了RMDN的性能，并确保它超过了RMDN的线性对应的Gesterion模型。
2023-02-27 cs.LG
Attention-based Mixture Density Recurrent Networks for History-based Recommendation
eBay；New York University（纽约大学）
个性化的基于历史的推荐的目标是自动输出一个分布在所有的项目给定的一系列以前购买的用户。在这项工作中，我们提出了一种新的方法，使用一个经常性的网络来总结购买的历史，连续的向量表示项目的可扩展性，和一个新的基于注意力的经常性混合密度网络，它输出每个组件的混合物顺序，建模多模态条件分布。我们在两个公开的数据集MovieLens-20 M和RecSys 15上评估了所提出的方法。实验表明，所提出的方法，明确建模的多模态性质的预测分布，是能够提高性能在各种基线的精度，召回率和nDCG。
2017-09-22 cs.IR cs.LG
Adaptive mixture approximation for target tracking in clutter
目标跟踪是一个状态估计问题，在空中交通管制、无人驾驶汽车、海上雷达监视等实际应用中经常出现，从贝叶斯的角度来看，当存在杂波等现象时，现有的绝大多数跟踪算法都必须处理关联假设，这些关联假设的数量会随着时间的推移而增加;在这种情况下，后验状态分布在计算上可能变得难以处理，并且必须引入近似。在这项工作中，假设的数量和相应的减少的影响进行了调查，无论是在所采用的计算资源和跟踪性能。为了这个目的，最近开发的自适应混合模型降阶算法被认为是为了评估其性能时，适用于在杂波的存在下的单目标跟踪的问题，并提供额外的见解所解决的问题。
2022-11-24 cs.SY eess.SY stat.AP
Interpretable mixture of experts for time series prediction under recurrent and non-recurrent conditions
Carnegie Mellon University（卡内基梅隆大学）；Heinz College（海因茨学院）
本文提出一种可解释的专家混合模型，分别用周期性与非周期性专家模型处理有无事件条件下的交通速度预测，并结合多源数据与专门训练流程，在真实路网中取得优于基准算法的预测精度。
2024-09-05 cs.LG eess.SP
Bayesian semi-parametric inference for clustered recurrent events with zero-inflation and a terminal event/4163305
复发性事件数据在临床研究中很常见，当受试者纵向随访时，经常发生终末事件。随着具有异质性来源人群的大型实用性试验的日益普及，参与者通常嵌套在诊所中，并且可能对复发过程敏感或结构上不敏感。这些复杂性需要新的建模策略，以适应潜在的零事件膨胀以及分层数据结构的终端和非终端事件过程。在本文中，我们开发了一个贝叶斯半参数模型，以联合特征的零膨胀的复发事件过程和终端事件过程。我们使用一个点质量混合的非齐次泊松过程来描述经常性的强度，并引入共享的随机效应从不同的来源来桥接非终端和终端事件过程。为了实现鲁棒性，我们考虑非参数Dirichlet过程建模的剩余的加速失效时间模型的生存过程以及集群特定的脆弱性分布，并开发一个马尔可夫链蒙特卡罗算法的后验推理。我们证明了我们提出的模型与竞争模型相比，通过模拟的优越性，并将我们的方法应用到一个务实的集群随机试验中的老年人跌倒伤害预防。
2022-12-05 stat.ME
ARMDN: Associative and Recurrent Mixture Density Networks for eRetail Demand Forecasting
IIT-Bombay（印度理工学院孟买分校）
准确的需求预测可以帮助在线零售组织更好地规划其供应链流程。然而，面临的挑战是大量的关联因素导致需求的大，非平稳变化，传统的时间序列和回归方法无法建模。在本文中，我们提出了一个神经网络架构称为AR MDN，同时模型关联因素，时间序列的趋势和方差的需求。我们首先识别几个因果特征，并使用特征嵌入、MLP和LSTM的组合来表示它们。然后，我们将输出密度建模为高斯分布的学习混合。AR-MDN可以进行端到端的训练，而无需额外的监督。我们在Flipkart的数万种产品的一年数据集上进行了实验。与现有的替代方案相比，所提出的架构产生了显着的改善预测精度。
2018-03-16 cs.AI cs.LG stat.ML
Predicting Aircraft Trajectories: A Deep Generative Convolutional Recurrent Neural Networks Approach
University of California, Berkeley（加州大学伯克利分校）
可靠的4D飞行器轨迹预测，无论是在实时环境中还是用于反事实分析，对航空系统的效率都很重要。为此，我们首先提出了一个高度概括的高效的基于树的匹配算法，从高保真气象数据集-风，温度和对流天气构造图像般的特征地图。然后，我们将轨迹上的轨迹点建模为条件高斯混合，其中参数将从我们提出的深度生成模型中学习，该模型是一个端到端卷积递归神经网络，由长短期记忆（LSTM）编码器网络和混合密度LSTM解码器网络组成。编码器网络将最后一个字段的飞行计划信息嵌入到固定大小的隐藏状态变量中，并馈送给解码器网络，解码器网络进一步从历史飞行轨迹中学习时空相关性，并输出高斯混合的参数。卷积层被集成到管道中，以从高维天气特征中学习表示。在推理过程中，束搜索，自适应卡尔曼滤波器，和Rauch-Tung-Striebel平滑算法被用来修剪生成的轨迹的方差。
2018-12-31 cs.LG stat.ML
Traffic Flow Forecast of Road Networks with Recurrent Neural Networks
FernUniversität in Hagen（哈根函授大学）
近年来，人们对发展智慧城市的兴趣急剧增加。在这种情况下，智能交通系统描绘了一个主要议题。交通流预测是高效智能交通系统不可或缺的一部分。由于交通流的随机性和非线性，交通流预测是一项困难的任务。除了经典的统计方法外，神经网络是预测未来交通流的一种很有前途的可能性。在我们的工作中，这种预测是用各种循环神经网络进行的。这些都是在测量感应线圈，这是放置在城市的十字路口的培训。我们使用了2018年1月初至7月底的数据。每个模型结合了所有传感器测量的交通流序列，并同时预测每个传感器的未来交通流。对各种模型结构、预测范围和输入数据进行了研究。在大多数情况下，具有门控递归单元的向量输出模型在所有考虑的预测场景中在测试集上实现了最小的误差。由于数据量小，训练模型的推广是有限的。
2020-06-08 cs.LG stat.ML
Depth-Recurrent Attention Mixtures: Giving Latent Reasoning the Attention it Deserves
Aleph Alpha Research, Heidelberg, Germany（Aleph Alpha研究机构）；Technical University of Munich, Germany（慕尼黑技术大学）；Research Group Social Computing, Technical University of Munich, Germany（社会计算研究组，慕尼黑技术大学）；Lab1141, Germany（Lab1141研究机构）；Computer Science Department, TU Darmstadt, Germany（图林根达姆施塔特技术大学计算机科学系）
本文提出深度递归注意力混合框架，通过结合序列、深度和稀疏专家注意力，解决潜在推理中的瓶颈问题，提升模型效率和性能。
2026-01-29 cs.AI cs.CL cs.LG
Diverse and Styled Image Captioning Using SVD-Based Mixture of Recurrent Experts
Amirkabir University of Technology (Tehran Polytechnic)（德黑兰理工大学）；Department of Mathematics and Computer Science（数学与计算机科学系）；Department of Computer Engineering（计算机工程系）
随着视觉和自然语言处理技术的发展，图像字幕的生成成为一种需要。Mathews、Xie和He [1]在最近的一篇论文中扩展了一个新的模型，通过分离语义和风格来生成风格化的字幕。在继续这项工作中，这里开发了一个新的字幕模型，包括一个图像编码器来提取特征，一个混合的递归网络来嵌入一组提取的特征到一组单词中，以及一个句子生成器，它将所获得的单词组合为一个风格化的句子。由此产生的系统，称为递归专家混合（MoRE），使用一种新的训练算法，从递归神经网络（RNN）的加权矩阵导出奇异值分解（SVD），以增加字幕的多样性。每个分解步骤取决于基于MoRE中RNN数量的独特因子。由于所使用的句子生成器提供了一个风格化的语言语料库，没有配对的图像，我们的字幕模型也可以做到这一点。此外，风格化和多样化的字幕提取，而无需在密集标记或风格化的数据集上进行训练。为了验证该字幕模型，我们使用Microsoft COCO，这是一个标准的事实图像字幕数据集。我们表明，建议的字幕模型可以生成一个多样化的和风格化的图像字幕，而不需要额外的标签。结果还显示在内容准确性方面有更好的描述。
2020-07-07 cs.CL cs.CV cs.LG
XRMDN: An Extended Recurrent Mixture Density Network for Short-Term Probabilistic Rider Demand Forecasting with High Volatility
Concordia University（康考迪亚大学）；Concordia Institute for Information Systems Engineering (CIISE)（康考迪亚信息系统工程研究所）；Concordia John Molson School of Business (JMSB)（康考迪亚约翰莫尔森商学院）
针对 MoD 需求受内外因素影响且高波动、传统点预测难以刻画不确定性的问题，提出 XRMDN 深度概率预测框架，并在真实数据集上验证其优于基准模型。
2024-03-05 cs.LG
Adaptive Heterogeneous Mixtures of Normalising Flows for Robust Variational Inference
School of Computer Science and Informatics（计算机科学与信息学学院）
针对单流变分推断在不同分布上表现不稳定的问题，提出由多种互补流组成的两阶段训练自适应混合模型AMF-VI，在六类标准后验上实现更优的似然与传输度量，以低开销提升了变分推断的鲁棒性。
2025-10-02 cs.LG stat.ML
Flow-based Recurrent Belief State Learning for POMDPs
Tsinghua University（清华大学）；The University of Hong Kong（香港大学）；Shanghai Qizhi Institute（上海期智研究院）
部分可观测马尔可夫决策过程（POMDP）提供了一个原则性和通用的框架来建模现实世界的顺序决策过程，但仍然没有解决，特别是对于高维连续空间和未知模型。主要的挑战在于如何准确地获得信念状态，这是给定历史信息的不可观测环境状态的概率分布。准确地计算这种信念状态是获得POMDPs最优策略的前提。深度学习技术的最新进展显示出学习良好信念状态的巨大潜力。然而，现有的方法只能学习近似分布，灵活性有限。在本文中，我们介绍了\textbf{F} l \textbf{O} w的\textbf{R} ecurrent \textbf{BE} lief \textbf{S} tate model（FORBES），它将归一化流的变分推理学习一般连续的信念状态POMDPs。此外，我们表明，学习的信念状态可以插入到下游RL算法，以提高性能。在实验中，我们表明，我们的方法成功地捕捉复杂的信念状态，使多模态预测以及高质量的重建，具有挑战性的视觉运动控制任务的结果表明，我们的方法实现了卓越的性能和样本效率。
2022-05-23 cs.LG stat.ML
Deep Recurrent Modelling of Stationary Bitcoin Price Formation Using the Order Flow
University College London（伦敦大学学院）
本文提出了一个基于订单流的深度递归模型，用于高频方向性价格波动的平稳建模。订单流是到达交易所的微秒级订单流，推动股票或货币价格图表上的价格形成。为了测试我们提出的模型的平稳性，我们在2017年比特币泡沫时期之前的数据上训练我们的模型，并在泡沫期间和之后测试我们的模型。我们表明，在没有任何再训练的情况下，即使比特币交易进入一个极其不稳定的“泡沫麻烦”时期，所提出的模型也是暂时稳定的。结果的重要性是通过对文献中现有的最先进的模型进行基准测试来显示的，用于使用深度学习来建模价格形成。
2020-03-31 cs.LG q-fin.ST q-fin.TR
Auto-conditioned Recurrent Mixture Density Networks for Learning Generalizable Robot Skills
University of Southern California（南加利福尼亚大学）
辅助人类的个人机器人必须执行复杂的操作任务，这些任务通常难以在传统的运动规划管道中指定，其中必须满足多个目标并考虑高层上下文。示教学习（LfD）提供了一种很有前途的方法来学习这些复杂的操作技能，即使从非技术用户。然而，它是具有挑战性的，现有的LfD方法，有效地学习技能，可以推广到任务规范，不包括示范。在本文中，我们介绍了一个状态转换模型（STM），通过模仿专家行为的运动产生关节空间轨迹。给出了一些演示，我们在真实的机器人实验中表明，学习的STM可以快速概括到看不见的任务，并合成比专家轨迹具有更长时间范围的运动。与传统的运动规划器相比，我们的方法使机器人能够从高级指令完成复杂的行为，而无需费力的手工设计规划目标，同时能够适应技能执行过程中不断变化的目标。结合轨迹优化器，我们的STM可以构建一个高质量的轨迹骨架，可以进一步提高平滑度和精度。结合一个学习的逆动力学模型，我们还提出了STM被用作一个高层次的计划的结果。我们实验的视频可以在https://youtu.be/85DX9Ojq-90上获得
2019-03-20 cs.LG cs.RO
Learning Hierarchical Information Flow with Recurrent Neural Modules
Google Brain（谷歌大脑）；Google DeepMind（谷歌DeepMind）
我们提出了ThalNet，这是一个受丘脑新皮层通信启发的深度学习模型。我们的模型由循环神经模块组成，这些模块通过路由中心发送特征，赋予模块在多个时间步上共享特征的灵活性。我们表明，我们的模型学习分层路由信息，处理输入数据的模块链。我们观察常见的架构，如前馈神经网络和跳过连接，新兴的特殊情况下，我们的架构，而新的连接模式学习的text8压缩任务。我们的模型在几个连续的基准测试中优于标准的递归神经网络。
2017-11-04 cs.AI cs.LG
Multi-Graph Convolutional-Recurrent Neural Network (MGC-RNN) for Short-Term Forecasting of Transit Passenger Flow
Delft University of Technology（代尔夫特理工大学）；City University of Hong Kong（香港城市大学）；Virginia Polytechnic Institute and State University（弗吉尼亚理工学院暨州立大学）
短期客流预测对于公交管理和人群调节至关重要。空间相关性、时间相关性、其他潜在因素驱动下的站间相关性以及外生因素对城市轨道交通网络客流短期预测带来了挑战。提出了一种新的深度学习方法--多图卷积-递归神经网络（MGC-RNN）来预测城市轨道交通系统中的客流，以综合考虑这些复杂因素。我们建议使用多个图来编码的空间和其他异质站间的相关性。站间相关性的时间动态也通过建议的多图卷积递归神经网络结构建模。所有站点的流入和流出可以通过序列到序列（seq 2seq）架构提前多个时间步长进行集体预测。将该方法应用于深圳地铁客流的短期预测。实验结果表明，MGC-RNN在预测精度方面优于基准算法。此外，研究发现，由网络距离、网络结构和最近的客流模式驱动的站间是客流预测的重要因素。此外，LSTM-编解码器的架构可以很好地捕捉时间依赖性。总体而言，该框架可以提供多视角的客流动态精细预测，并为时空预测任务中的多源异构数据融合提供了可能性。
2022-05-20 cs.LG
Multi-Scale Spatial-Temporal Recurrent Networks for Traffic Flow Prediction
Soochow University（苏州大学）；University of North Carolina at Greensboro（北卡罗来纳大学格林斯伯勒分校）；The Hong Kong Polytechnic University（香港理工大学）
本文提出多尺度时空循环网络MSSTRN，结合单步与多步门控循环单元及时空同步注意力机制，在四个真实数据集上以显著优势超越二十种基线方法，实现高精度交通流预测。
2023-10-12 cs.AI cs.LG
Highway State Gating for Recurrent Highway Networks: improving information flow through time
Ben-Gurion University（本-古里安大学）
递归神经网络（RNN）在顺序学习领域发挥着重要作用，并且在许多基准测试中优于传统算法。训练深度RNN仍然是一个挑战，大多数最先进的模型都具有2-4层的过渡深度。为了解决这一问题，引入了经常性公路网。这些已经在使用10层深度的一些基准测试中实现了最先进的性能。然而，这种架构的性能受到瓶颈的影响，并且当尝试添加更多层时，性能不再改善。在这项工作中，我们分析了原因，并假设主要来源是信息流经时间的方式。我们介绍了一种新颖的和简单的变化的RHN细胞，称为高速公路状态门控（HSG），它允许添加更多的层，同时继续提高性能。通过对状态使用门控机制，我们允许网络“选择”是直接通过时间传递信息，还是通过门控传递信息。这种机制也允许梯度直接通过时间反向传播，因此，收敛速度略快。我们使用Penn Treebank（PTB）数据集作为经验概念证明的平台。实证结果表明，由于公路状态门控的改善是为所有的深度，随着深度的增加，改善也增加。
2018-05-23 cs.AI cs.LG stat.ML
SSTM: Spatiotemporal Recurrent Transformers for Multi-frame Optical Flow Estimation
The University of Memphis（孟菲斯大学）
本文提出SSTM，利用3D-ConvGRU和时空Transformer从多帧序列并行估计光流，以增强遮挡及边界外区域的光流估计精度，并在Sintel Final和KITTI2015上取得领先结果。
2023-04-26 cs.CV cs.LG
Lattice Recurrent Unit: Improving Convergence and Statistical Efficiency for Sequence Modeling
Carnegie Mellon University（卡内基梅隆大学）
递归神经网络在序列建模方面取得了显着的成功。然而，资源不足的情况仍然对这些模式的普遍性产生不利影响。我们引入了一个新的模型家族，称为格递归单元（LRU），以解决在有限资源下学习深度多层递归模型的挑战。LRU模型通过在单元内部创建不同的（但耦合的）信息流来实现这一目标：沿着时间维度的第一个流和沿着深度维度的第二个流。它还提供了一个对称的信息如何可以流动的水平和垂直。我们分析了我们的LRU模型的三个不同的组件：复位门，更新门和投影状态解耦的效果。我们评估这个家庭的新LRU模型的计算收敛速度和统计效率。我们的实验在四个公开的数据集上进行，与Grid-LSTM和递归高速公路网络进行比较。我们的研究结果表明，LRU具有更好的经验计算收敛速度和统计效率值，以及学习更准确的语言模型。
2017-11-22 cs.AI cs.LG cs.NE
A deep-learning-based surrogate model for data assimilation in dynamic subsurface flow problems
Stanford University（斯坦福大学）
开发了一种基于深度学习的代理模型，并将其应用于预测渠化地质模型中的动态地下水流。代理模型基于深度卷积和递归神经网络架构，特别是残差U-Net和卷积长短期记忆递归网络。训练样本需要全局压力和饱和度图，在一系列的时间步长，通过模拟油-水流动在许多（在我们的情况下，1500）实现的二维通道化系统。在训练之后，“递归R-U-Net”代理模型被示出能够准确地预测动态压力和饱和度图以及井速率（例如，生产井处随时间变化的油和水速率）以用于新的地质实现。表现出高的代理模型精度的评估提出了一个单独的地质实现和500个测试geomodels的合奏。代理模型，然后用于具有挑战性的问题，数据同化（历史匹配）在一个渠道化的系统。在这项研究中，后验储层模型使用随机最大似然法生成，渗透率场使用最近开发的CNN-PCA参数化表示。在数据同化过程中所需的流响应由经常性的R-U-Net提供。整体的方法，导致大幅减少预测的不确定性。高保真度数值模拟结果的后几何模型（由基于代理的数据同化程序）被证明是在基本上与经常性的R-U-Net预测。代理模型提供的准确性和显着的加速表明，它可能最终使更正式的后验抽样方法在现实问题中的应用。
2019-08-16 cs.LG physics.comp-ph stat.ML
Global-Aware Enhanced Spatial-Temporal Graph Recurrent Networks: A New Framework For Traffic Flow Prediction
Soochow University（苏州大学）；University of North Carolina at Greensboro（北卡罗来纳大学格林斯伯勒分校）
针对交通流预测中循环网络难以捕获全局信息及固定图结构假设的局限，提出包含时空图循环网络与全局感知层的GA-STGRN框架，集成序列感知图神经网络与全局时空类Transformer架构，在四个真实数据集上验证了其优越性。
2024-01-07 cs.AI cs.LG
WeNet: Weighted Networks for Recurrent Network Architecture Search
Amazon AWS AI（亚马逊AWS人工智能）
近年来，在深度学习中对自动架构搜索的需求越来越大。已经提出了许多方法，并在各种应用中产生了最先进的结果，包括图像分类和语言建模。在本文中，我们提出了一种新的方式架构搜索加权网络（WeNet），它由一些网络，每个分配一个权重。这些权重通过反向传播进行更新，以反映不同网络的重要性。这种加权网络具有类似于混合专家模型的特点。我们在Penn Treebank和WikiText-2上进行实验。我们表明，所提出的WeNet可以找到经常性的架构，从而导致最先进的性能。
2019-04-08 cs.LG cs.NE
Sparse Mixture of Local Experts for Efficient Speech Enhancement
Indiana University（印第安纳大学）
在本文中，我们研究了一种通过高效的专家神经网络集成进行语音去噪的深度学习方法。通过将语音去噪任务拆分为不重叠的子问题并引入分类器，我们能够提高去噪性能，同时降低计算复杂度。更具体地说，该模型采用了一个门控网络，该网络将噪声语音信号分配给一个适当的专家网络的基础上，无论是语音退化水平或扬声器性别。在我们的实验中，基线递归网络与由辅助门控网络调节的类似设计的较小递归网络的集合进行比较。使用随机生成的批次从一个大的嘈杂的语音语料库，该模型学习估计的时间-频率掩蔽矩阵的基础上的输入混合信号的幅度谱图。基线和专家网络都经过训练以估计理想的比率掩码，而门控网络则经过训练以执行子问题分类。我们的研究结果表明，一个微调的集成网络能够超过一个通才网络的语音去噪能力，这样做的模型参数较少。
2020-05-16 cs.LG cs.SD eess.AS
RAFT-MSF: Self-Supervised Monocular Scene Flow using Recurrent Optimizer
Shanghai Jiao Tong University（上海交通大学）
从单目相机学习场景流仍然是一个具有挑战性的任务，由于其不适定性以及缺乏注释的数据。自监督方法展示了从未标记数据中学习场景流估计，但它们的准确性落后于（半）监督方法。在本文中，我们介绍了一个自我监督的单目场景流方法，大大提高了以前的方法的准确性。基于RAFT，一个最先进的光流模型，我们设计了一个新的解码器，迭代更新三维运动场和视差图同时进行。此外，我们还提出了一种增强的上采样层和视差初始化技术，总体上进一步提高了7.2%的准确度。我们的方法在所有自监督单目场景流方法中达到了最先进的精度，精度提高了34.2%。我们的微调模型优于以前最好的半监督方法，运行时间快228倍。代码将公开提供。
2022-05-03 cs.CV cs.LG cs.RO
On the use of recurrent neural networks for predictions of turbulent flows
Swedish e-Science Research Centre (SeRC)（瑞典电子科学研究中心）
本文在Moehlis { \it et al.}的近壁湍流低阶模型中，对循环神经网络的预测能力进行了评估。(New{ \bf 6}，56，2004）。我们的研究结果表明，有可能获得良好的预测的湍流统计和流动的动态行为与适当训练的长短期记忆（LSTM）网络，导致相对误差的平均值和波动低于$1\%$。我们还观察到，使用的损失函数的基础上的瞬时预测的流量可能不会导致最好的预测方面的湍流统计，它是必要的，以定义一个停止标准的基础上计算的统计。此外，更复杂的损失函数，不仅包括瞬时预测，还包括流的平均行为，可以导致更快的神经网络训练。
2020-02-04 cs.LG physics.comp-ph physics.flu-dyn
Recurrent convolutional neural network for the surrogate modeling of subsurface flow simulation
Stanford University（斯坦福大学）
多孔介质中流体流动不确定性的量化常常受到多尺度非均匀性和场地表征不足的阻碍。蒙特卡罗模拟（MCS）对大量输入参数的实现进行数值模拟，当模拟成本昂贵或不确定性程度较大时变得不可行。许多基于深度神经网络的方法被开发出来以取代数值流模拟，但以前的研究仅集中于在固定的时间步长生成输出的多个快照，并且缺乏反映模拟数据的时间依赖性。最近，卷积长短期记忆（ConvLSTM）被用来处理时间序列图像数据。在这里，我们建议将SegNet与ConvLSTM层相结合，用于数值流模拟的代理建模。结果表明，当仿真输出为时间序列数据时，该方法显著提高了基于SegNet的代理模型的性能.
2020-10-08 cs.LG physics.flu-dyn
Attention-based Dynamic Graph Convolutional Recurrent Neural Network for Traffic Flow Prediction in Highway Transportation
North China University of Technology（北方工业大学）
本文提出ADGCRNN模型，通过自注意力整合多时间分辨率特征并动态创建多动态图，引入专用门控核减少过拟合，有效提升了高速公路交通流预测精度。
2023-09-13 cs.AI cs.GR cs.LG
Traffic Volume Prediction using Memory-Based Recurrent Neural Networks: A comparative analysis of LSTM and GRU
University of Memphis（孟菲斯大学）
实时预测交通量可以改善交通流量和道路安全。精确的交通量预测有助于提醒驾驶员沿其首选路线的交通流量，防止潜在的僵局情况。现有的参数模型不能可靠地预测动态复杂交通条件下的交通量。因此，为了实时评估和预测每个给定时间步长的交通量，我们开发了基于非线性记忆的深度神经网络模型。我们在Metro Interstate Traffic Volume数据集上进行的大量实验证明了所提出的模型在高度动态和异构交通环境中预测交通量的有效性。
2023-03-22 cs.LG
Flow Equivariant Recurrent Neural Networks
Harvard University（哈佛大学）
本文提出流等变递归神经网络，通过引入时间参数化的对称性，提升序列模型在训练速度、长度泛化和速度泛化方面的性能。
2025-12-01 cs.CV cs.LG
Learning multi-phase flow and transport in fractured porous media with auto-regressive and recurrent graph neural networks
Khalifa University of Science and Technology（哈利法科技大学）；Delft University of Technology（代尔夫特理工大学）；Qingdao University of Technology（青岛理工大学）
本文提出用图神经网络学习裂隙多孔介质多相流，采用两阶段训练（自回归+微调），循环GNN在长时预测中表现更优。
2025-02-22 cs.LG physics.flu-dyn
BARNN: A Bayesian Autoregressive and Recurrent Neural Network
sissa（国际先进研究学院）；uva（阿姆斯特丹大学）
本文提出BARNN，一种基于变分dropout和时间版VAMP先验的贝叶斯自回归与循环神经网络，可将任意自回归或循环模型转化为贝叶斯版本，并在PDE建模与分子生成中展现出优越的精度与不确定性量化能力。
2025-07-18 cs.AI cs.LG
Pedestrian Volume Prediction Using a Diffusion Convolutional Gated Recurrent Unit Model
School of Statistics（统计学院）；Renmin University of China（中国人民大学）；School of Mathematics and Statistics（数学与统计学院）；The University of Melbourne（墨尔本大学）；School of Business, Law and Entrepreneurship（商学、法学与创业学院）；Swinburne University of Technology（斯威本科技大学）
本研究提出DCGRU-DTW模型，结合扩散卷积与门控循环单元及动态时间规整，利用墨尔本行人计数数据预测行人流量，在精度上优于经典VAR和原始DCGRU模型。
2024-11-05 cs.LG stat.AP
Efficient Metropolitan Traffic Prediction Based on Graph Recurrent Neural Network
Shanghai Jiao Tong University（上海交通大学）；Shanghai Transportation Information Center（上海交通信息中心）
交通流预测是智能交通系统（ITS）中的一项重要任务，但由于交通流的时空特性，特别是在大城市环境下，如何在保证低计算复杂性的前提下实现高精度的交通流预测具有很大的挑战性。在这项工作中，一个新的拓扑框架，称为链接网络，提出了道路网络建模和交通流的传播模式。基于链接网络模型，设计了一种新的在线预测器--图循环神经网络（GRNN），用于学习图中的传播模式。该算法能够根据整个图的信息同时预测所有路段的交通流，从而在保证较高精度的同时，将计算复杂性从O（nm）降低到O（n+m）.此外，它还可以预测交通趋势的变化。基于真实数据的实验表明，该方法优于现有的预测方法。
2018-11-02 cs.AI cs.LG
Pruning Increases Orderedness in Recurrent Computation
Harvard College（哈佛学院）
本文研究人工神经网络中方向性是否是有益的归纳偏置，将方向性形式化为神经元间的拓扑有序信息流，并在权重共享循环网络上通过剪枝技术成功诱导出更强的拓扑有序性且不损害性能，表明方向性可由梯度下降和稀疏化发现。
2025-07-19 cs.LG cs.NE
Physics-Guided Recurrent Graph Networks for Predicting Flow and Temperature in River Networks
University of Pittsburgh（匹兹堡大学）；U.S. Geological Survey（美国地质调查局）；University of Minnesota（明尼苏达大学）
本文提出了一种物理引导的机器学习方法，将先进的机器学习模型和基于物理的模型相结合，以提高对河流网络中的水流和温度的预测。我们首先建立一个递归图网络模型来捕捉河流网络中多个段之间的相互作用。然后，我们提出了一种预训练技术，该技术从基于物理的模型中转移知识，以初始化机器学习模型并学习水流和热力学的物理学。我们还提出了一个新的损失函数，平衡不同河段的性能。我们证明了所提出的方法在预测温度和流量在特拉华河流域的一个子集的有效性。特别是，我们表明，所提出的方法比最先进的基于物理的模型提高了33%/14%，比传统的机器学习模型提高了24%/14%（例如，长短期记忆神经网络）在温度/流量预测中使用非常稀疏（0.1\%）的观测数据进行训练。所提出的方法也已被证明，以产生更好的性能时，推广到不同的季节或不同的流量范围的河流段。
2020-12-08 cs.CV cs.LG physics.geo-ph
Recurrent Neural Networks for Polyphonic Sound Event Detection in Real Life Recordings
Tampere University of Technology（坦佩雷理工大学）
本文提出了一种基于双向长短期记忆（BLSTM）循环神经网络（RNN）的复调声音事件检测方法。训练单个多标签BLSTM RNN以将由来自多个类别的声音组成的混合信号的声学特征映射到每个事件类别的二进制活动指标。我们的方法在一个大型的现实生活录音数据库上进行了测试，其中包括来自10个不同日常环境的61个类别（例如音乐，汽车，语音）。所提出的方法优于以前的方法的一个很大的利润率，并使用数据增强技术的结果进一步改善。总的来说，我们的系统报告了1秒块的平均F1分数为65.5%，单帧的平均F1分数为64.7%，分别比之前的6.8%和15.1%的最先进方法有相对的改进。
2016-04-04 cs.LG cs.NE cs.SD
Adaptive recurrent flow map operator learning for reaction diffusion dynamics
DDOL-ART通过适应性递归训练在反应扩散动力学中实现高效稳定的运算符学习，无需PDE残差，且在训练成本上显著优于传统方法。
2026-02-10 cs.LG cs.NA math.NA
Category-orthogonal object features guide information processing in recurrent neural networks trained for object categorization
Donders Institute for Brain, Cognition and Behaviour（唐德斯大脑、认知与行为研究所）
循环神经网络（RNN）已被证明在视觉对象分类任务中比前馈架构表现更好，特别是在具有挑战性的条件下，如杂乱的图像。然而，很少有人知道在这些条件下经常性信息流的确切计算作用。在这里，我们测试了为对象分类训练的RNN，假设递归通过类别正交辅助变量（对象的位置，方向和规模）的通信迭代地帮助对象分类。使用诊断线性读数，我们发现：（a）关于辅助变量的信息在所有网络层中随着时间的推移而增加，（b）这些信息确实存在于经常性信息流中，（c）它的操纵显着影响任务性能。这些观察结果证实了这一假设，即类别正交辅助变量信息是通过经常性的连接，并用于优化类别推理在杂乱的环境。
2022-05-10 cs.AI cs.CV cs.LG
Multi-resolution Physics-Aware Recurrent Convolutional Neural Network for Complex Flows
School of Data Science, University of Virginia（数据科学学院，弗吉尼亚大学）；Department of Mechanical Engineering, University of Iowa（机械工程系，爱荷华大学）；Department of Mechanical and Aerospace Engineering, University of Virginia（机械与航空航天工程系，弗吉尼亚大学）
MRPARCv2通过多分辨率架构和物理约束提升复杂流体模拟精度与效率，显著优于单分辨率模型。
2025-12-04 cs.LG physics.comp-ph physics.flu-dyn
