Memory-Based Dual Gaussian Processes for Sequential Learning
Aalto University(阿尔托大学);Finnish Center for Artificial Intelligence (FCAI)(芬兰人工智能中心(FCAI));RIKEN Center for AI Project(理化学研究所人工智能项目中心)
针对持续与主动学习中历史数据受限导致GP后验、超参数及诱导点误差累积的问题,本文基于对偶稀疏变分GP提出记忆机制,支持通用似然的精确推断并在多类任务中验证有效。
2023-06-06 cs.LG stat.ML
Martingale Posterior Neural Networks for Fast Sequential Decision Making
Oxford-Man Institute of Quantitative Finance(牛津-曼定量金融研究所);Mathematical Institute, University of Oxford(牛津大学数学研究所);Google Deepmind(谷歌DeepMind)
本文提出基于鞅后验的预测优先神经网络算法,通过卡尔曼滤波式递推在线更新后验预测,实现快速贝叶斯序贯决策,在非平稳上下文赌博机和贝叶斯优化中比经典汤普森采样快10-100倍且性能相当或更优。
2025-10-08 cs.LG stat.ML
Bayesian Learning from Sequential Data using Gaussian Processes with Signature Covariances
University of Oxford(牛津大学)
我们开发了一种贝叶斯方法,通过使用高斯过程(GP)与所谓的签名内核作为协方差函数从序列数据中学习。这允许使不同长度的序列具有可比性,并依赖于来自随机分析的强有力的理论结果。签名捕获序列结构与张量,可以缩放不利的序列长度和状态空间维度。为了解决这个问题,我们引入了一个稀疏变分方法与诱导张量。然后,我们将得到的GP与LSTM和GRU相结合,以构建更大的模型,这些模型利用了每种方法的优势,并将得到的GP在多变量时间序列(TS)分类数据集上进行基准测试。代码可在https://github.com/tgcsaba/GPSig获得。
2020-07-06 cs.LG math.PR stat.ML
Warm-Starting Iterative Gaussian Processes for Faster Sequential Inference
本文提出三种 warm-start 策略,通过利用更小线性系统解加速后验更新,提升高斯过程在序列任务中的效率,实验证明在回归和贝叶斯优化中具有显著速度提升和精度提升。
2026-06-26 cs.LG stat.ML
Function-space Parameterization of Neural Networks for Sequential Learning
Aalto University(阿尔托大学)
本文提出一种通过双重参数化将神经网络从权重空间转换为函数空间的技术,以解决序列学习中纳入新数据和保留先验知识的挑战,实现持续学习、不确定性量化及强化学习中的探索引导。
2024-03-16 cs.LG stat.ML
Optimal Transport Kernels for Sequential and Parallel Neural Architecture Search
Amazon(亚马逊);RIKEN AIP(理化学研究所先进智能项目中心);Kyoto University(京都大学);University of Oxford(牛津大学)
神经架构搜索(NAS)自动化深度神经网络的设计。在搜索复杂和非连续的架构的主要挑战之一是比较的相似性,传统的欧几里德度量可能无法捕捉的网络。最优传输(OT)通过考虑将一个网络传输到另一个网络的最小成本来适应这种复杂的结构。然而,OT通常不是负定的,这可能限制其构建许多依赖于内核的框架中所需的正定内核的能力。树Wasserstein(TW)的基础上,这是一个负定的OT的变体,我们开发了一种新的差异神经架构,并证明它在一个高斯过程代理模型的顺序NAS设置。此外,我们推导出一种新的并行NAS,使用质量的GP后验k-行列式点过程,从一组离散的候选人中选择多样化和高性能的架构。从经验上讲,我们证明了我们的基于TW的方法优于其他基线在顺序和并行NAS。
2021-06-10 cs.LG cs.NE stat.ML
Sequential Neural Posterior and Likelihood Approximation
Lund University(隆德大学);Technical University of Denmark(丹麦技术大学);Chalmers University of Technology(查尔姆斯理工大学);University of Gothenburg(哥德堡大学)
我们介绍了顺序神经后验和似然近似(SNPLA)算法。SNPLA是一种用于隐式模型中推理的标准化基于流的算法,因此是一种基于模拟的推理方法,仅需要来自生成模型的模拟。SNPLA避免了类似方法中引入的参数建议函数的马尔可夫链蒙特卡罗采样和校正步骤,但其可能在数值上不稳定或受到限制。通过利用反向库尔贝克-莱布勒散度,SNPLA设法以顺序的方式学习似然性和后验。在四个实验中,我们表明,SNPLA执行竞争力时,利用相同数量的模型模拟在其他方法中使用,即使SNPLA的推理问题是更复杂的,由于联合学习后验和似然函数。由于利用了标准化流,SNPLA比基于MCMC的方法更快地生成后验绘制(4个数量级)。
2021-06-05 cs.LG stat.ME stat.ML
An efficient likelihood-free Bayesian inference method based on sequential neural posterior estimation
Purdue University(普渡大学);South China University of Technology(华南理工大学);University of Chinese Academy of Sciences(中国科学院大学)
针对现有序列神经后验估计方法因校准核导致训练效率低的问题,提出带自适应校准核与方差缩减技术的改进无似然贝叶斯推断方法,在多组实验中实现更快训练与更优后验近似。
2025-01-16 cs.LG stat.CO stat.ML
Sequential Inference for Gaussian Processes: A Signal Processing Perspective
Basis Research Institute(基础研究机构);Department of Electrical and Computer Engineering, Stony Brook University(石溪大学电气与计算机工程系);Data Sciences Directorate, Brookhaven National Laboratory(布鲁赫斯国家实验室数据科学总局)
本文从信号处理角度探讨高斯过程的序列推断方法,介绍其在状态空间建模、序列回归预测、时间序列异常检测等领域的应用。
2026-04-30 cs.LG eess.SP stat.CO
Weak convergence of the sequential empirical copula processes under long-range dependence
我们考虑高斯从属下的多元基于Copula的平稳时间序列。观测到的时间序列服从长程相关的高斯过程,其特征在于任意的边际copula分布。首先,我们建立了多元平稳长程相依序列在高斯从属下的边际和分位数边际经验过程的极限定理。在非限制性光滑性假设下,建立了序列经验copula过程的渐近性态。在长记忆序列的情况下,极限过程与i.i.d.的情况完全不同。弱相关的观测
2018-03-15 math.ST stat.TH
Fast and Provably Accurate Sequential Designs using Hilbert Space Gaussian Processes
National University of Singapore(新加坡国立大学)
本文提出一种高效且精确的希尔伯特空间高斯过程近似方法,用于改进基于高斯过程的序列设计中的IMSE获取函数,通过截断特征基实现闭式计算,并建立了非渐近的全局误差界。
2026-04-22 math.ST stat.ME stat.ML
Sequential Likelihood-Free Inference with Neural Proposal
Korea Advanced Institute of Science and Technology(韩国科学技术院);University of Seoul(首尔市立大学);ioCrops(ioCrops公司);EWHA Womans University(梨花女子大学)
无似然估计的贝叶斯推断或无似然推理,一直是仿真研究中的一个关键研究课题,用于在真实世界数据集上获得定量验证的仿真模型。由于可能性评估是不可访问的,以前的论文训练摊销神经网络估计地面真实后验的模拟兴趣。以顺序方式交替训练网络和积累数据集可以节省数量级的总模拟预算。在数据累积阶段,在总模拟预算的一部分内选择新的模拟输入以在收集的数据集上累积。这种新积累的数据退化,因为模拟输入的集合几乎没有混合,并且这种退化的数据收集过程破坏了后验推理。本文介绍了一种新的采样方法,称为神经建议(NP),解决了有偏见的数据收集,因为它保证了独立同分布的模拟输入。取样.实验表明,我们的采样器的性能有所改善,特别是对多模态后验的模拟。
2022-11-04 cs.AI cs.LG stat.ME
DeepPCR: Parallelizing Sequential Operations in Neural Networks
Apple(苹果公司)
DeepPCR通过将顺序步骤视为方程组解并用并行循环归约求解,把复杂度从O(L)降至O(log₂L),在MLP、ResNet和扩散模型中实现显著加速。
2023-10-27 cs.LG
Misspecification-robust Sequential Neural Likelihood for Simulation-based Inference
School of Mathematical Sciences(数学科学学院);Centre for Data Science(数据科学中心);Queensland University of Technology(昆士兰科技大学);Institute of Operations Research and Analytics(运营研究与分析研究所);National University of Singapore(新加坡国立大学);Department of Econometrics and Business Statistics(计量经济学与商务统计系);Monash University(莫纳什大学)
针对序列神经似然(SNL)在模型误设下性能不可靠、易产生过置信后验的问题,提出引入额外调整参数的新型SNL方法,兼具模型误设鲁棒性与数据不可复现特征识别能力,实验验证其点估计和不确定性量化效果优于传统SNL。
2024-03-07 cs.LG stat.CO stat.ME
Minimax Sequential Testing for Poisson Processes
针对强度未知的泊松过程,提出极小极大序贯检验方法,在最坏先验下最小化错误概率与等待时间加权和,并给出最不利分布的存在条件。
2025-04-24 math.OC math.ST stat.TH
Regularized Sequential Latent Variable Models with Adversarial Neural Networks
KTH Royal Institute of Technology(瑞典皇家理工学院)
递归神经网络(RNN)具有丰富的内部状态分布和灵活的非线性转移函数,在对高度结构化的序列数据建模方面已经超过了动态贝叶斯网络,如隐马尔可夫模型(HHMM)。这些数据,例如来自语音和手写的数据,通常包含基础变分因子和观察到的数据之间的复杂关系。标准RNN模型在其结构中具有非常有限的随机性或可变性,来自输出条件概率模型。本文将介绍在RNN中使用高级潜随机变量对序列数据的变异性建模的不同方法,以及在VAE(变分自编码器)原理下这种RNN模型的训练方法。我们将探索使用对抗方法来训练变分RNN模型的可能方法。与竞争方法相反,我们的方法在模型训练中具有理论上的最优性,并且提供了更好的模型训练稳定性。我们的方法还通过单独的对抗训练步骤改进了变分推理网络中的后验近似。对TIMIT语音数据的仿真结果表明,重构损失和证据下限收敛到同一水平,对抗训练损失收敛到0。
2021-08-10 cs.AI cs.LG
Sequential learning theory for Markov genealogy processes
MRC Biostatistics Unit, University of Cambridge(剑桥大学医学研究委员会生物统计单元)
本文基于滤子框架,探讨了添加物种如何提升系统动力学推断,并通过分解方差减少成分,揭示了学习类估计量与吸收估计量之间的本质差异,指出序列数据难以完全揭示潜在基因谱信息。
2026-04-06 math.ST q-bio.QM stat.TH
Consistency of some sequential experimental design strategies for excursion set estimation based on vector-valued Gaussian processes
本文扩展了逐步不确定性减少序贯设计的一致性结果至向量值高斯过程,澄清了连续高斯过程与高斯测度的联系,并应用于极值集估计的不确定性泛函。
2023-10-11 math.PR math.ST stat.ML
Composite likelihood inference of fractional Gaussian processes with sequentially optimal subset selection
ESILV;De Vinci Higher Education, De Vinci Research Center(德芬奇高等教育,德芬奇研究中心)
针对分数高斯过程,提出通过顺序最大化Godambe信息来选择子集,以平衡估计精度与计算成本,并推导了Fisher信息和Godambe信息的理论表达式。
2026-07-15 q-fin.ST stat.CO stat.ME
Sequential construction and dimension reduction of Gaussian processes under constraints
考虑不等式约束,如有界性,单调性或凸性,是具有挑战性的建模成本评估黑箱函数。在这方面,有限维高斯过程(GP)回归模型带来了有价值的解决方案,因为它们保证不等式约束在任何地方都得到满足。然而,这些模型目前仅限于小尺寸的情况下(高达5维)。为了解决这个问题,我们引入了MaxMod算法,该算法顺序地插入一维节点或添加活动变量,从而同时进行降维和有效的节点分配。我们证明了该算法的收敛性。在证明的中间步骤中,我们提出了多重仿射扩张的概念,并研究了它的性质。我们还证明了有限维GP的收敛性,当节点在输入空间中不稠密时,扩展了最近的文献。通过模拟和真实数据,我们证明了MaxMod算法在高维(至少在20维)中仍然是有效的,并且需要比其他约束GP模型更少的结,以达到给定的近似误差。
2022-03-10 math.ST stat.TH
Recurrent Attentive Neural Process for Sequential Data
Carnegie Mellon University(卡内基梅隆大学);Columbia University(哥伦比亚大学)
神经过程(NPs)学习随机过程,并根据观察到的输入输出对的上下文集自适应地预测目标输出的分布。注意神经过程(AttentiveNeuralProcess,ANP)通过在上下文和目标之间引入注意力机制,提高了NP的预测精度。在机器人、金融、语音和生物学等许多实际应用中,从序列数据中学习时序和递归结构至关重要。然而,由于其排列不变性的本能,NP捕捉这些属性的能力是有限的。在本文中,我们提出了递归注意神经过程(RANP),或者,注意神经过程-递归神经网络(ANP-RNN),其中ANP被纳入到一个递归神经网络。该模型既包含了递归神经网络的归纳偏差,也包含了NP建模不确定性的强度。我们证明了RANP可以有效地建模序列数据,并在1D回归玩具示例以及快速驱动应用程序中显着优于NP和LSTM。
2019-10-17 cs.LG stat.ML
Robustifying Sequential Neural Processes
University of Torontoland(托伦托兰大学);Googol ShallowMind;University of Edenborrow(伊登伯勒大学)
当任务随时间变化时,Meta迁移学习试图通过元学习和迁移学习来提高学习新任务的效率。虽然标准注意力在各种环境中都是有效的,但我们质疑它在改善Meta迁移学习方面的有效性,因为学习的任务是动态的,上下文的数量可以小得多。在本文中,使用最近提出的Meta迁移学习模型,顺序神经过程(SNP),我们首先经验表明,它遭受了类似的欠拟合问题,神经过程推断的功能。然而,我们进一步证明,与元学习设置,标准的注意力机制是无效的元迁移设置。为了解决这个问题,我们提出了一种新的注意力机制,递归记忆重建(RMR),并证明了提供一个虚构的上下文,是递归更新和重建的互动是至关重要的,在实现有效的注意力的Meta迁移学习。此外,将RMR纳入SNP,我们提出了注意顺序神经过程-RMR(ASNP-RMR),并在各种任务中证明ASNP-RMR显着优于基线。
2020-06-29 cs.LG stat.ML
Interpretable Recurrent Neural Networks Using Sequential Sparse Recovery
University of Washington(华盛顿大学)
循环神经网络(RNN)是处理连续数据的强大而有效的方法。然而,RNN通常被认为是“黑箱”模型,其内部结构和学习参数是不可解释的。在本文中,我们提出了一个可解释的RNN的顺序迭代软阈值算法(SISTA)的基础上解决顺序稀疏恢复问题,该模型与稀疏的潜在向量序列的相关观测序列。由此产生的SISTA-RNN的架构是由SISTA的计算结构隐式定义的,这导致了一种新的堆叠RNN架构。此外,SISTA-RNN的权重完全可以解释为原则性统计模型的参数,在这种情况下,包括稀疏化字典,迭代步长和正则化参数。此外,在特定的顺序压缩感知任务中,SISTA-RNN比传统的最先进的黑盒RNN(包括长短期记忆(LSTM)RNN)训练得更快,性能更好。
2016-11-22 cs.LG stat.ML
Sequential change-point detection for mutually exciting point processes over networks
Georgia Institute of Technology(佐治亚理工学院);Duke University(杜克大学)
本文提出了一种新的连续检测自激和互激过程变点的方法。使用离散事件数据的霍克斯网络。霍克斯网络已经成为统计学和机器学习的流行模型,因为它们能够对不规则观测数据进行建模,其中事件之间的时间携带大量信息。在霍克斯网络中检测突变的问题来自于各种应用,包括神经元成像,传感器网络和社交网络监控。尽管如此,还没有一个计算和内存有效的在线算法来检测这样的变化,从顺序数据。我们提出了一个有效的在线递归实现的Hawkes过程,既分散和内存效率,并建立了这个新的CRACUUM过程的理论性质的CRACUUM统计。然后,我们表明,建议的CRAMUM方法实现了更好的性能比现有的方法,包括Shewhart程序计数数据的基础上,广义似然比(GLR)在现有的文献中,和标准得分统计。我们证明了这一点,通过一个模拟的例子和应用程序的人口代码变化检测神经网络。
2022-03-04 cs.LG stat.ML
Understanding Recurrent Neural Architectures by Analyzing and Synthesizing Long Distance Dependencies in Benchmark Sequential Datasets
ADAPT Research Centre(ADAPT研究中心);Technological University Dublin(都柏林理工大学)
为了构建高效的深度递归神经架构,必须分析建模数据集的长距离依赖(LDD)的复杂性。在本文中,我们提出了各种数据集所表现出的依赖衰减曲线的详细分析。从类似过程(例如,自然语言,顺序MNIST,逐段语言等)中采样的数据集显示依赖性衰减曲线的属性变化。我们的分析揭示了导致这些变化的因素;例如(i)数据集中唯一符号的数量,(ii)数据集的大小,(iii)给定LDD内相互作用符号的数量,以及(iv)相互作用符号之间的距离。我们测试这些因素通过生成合成的数据集的cultlyk-Piecewise语言。这些合成数据集的另一个优点是,它们能够对深度递归神经架构进行有针对性的测试,以模拟具有不同特征的LDD。我们还证明,分析依赖性衰减曲线可以为SOTA深度递归神经架构的最佳超参数选择提供信息。这种分析可以直接有助于更准确和有效的序列模型的发展。
2020-12-08 cs.LG stat.ML
Gradient Descent in Neural Networks as Sequential Learning in RKBS
神经切核(NTK)的研究提供了非常需要的洞察神经网络的收敛性和泛化性能在过参数化(宽)的限制,通过使用一阶泰勒展开近似的网络在其初始值附近的权重。这允许从再生核希尔伯特空间(RKHS)的角度分析神经网络训练,RKHS在过参数化的情况下是信息丰富的,但对于较窄的网络来说是一个很差的近似,因为在训练期间权重变化更多。我们的目标是超越NTK的限制,走向更一般的理论。我们构建了一个精确的幂级数表示的神经网络在一个有限的邻域内的初始权重作为两个特征映射的内积,分别从数据和权重步长空间,特征空间,允许神经网络训练的再生核{ \em Banach}空间(RKBS)的角度进行分析。我们证明,无论宽度,梯度下降产生的训练序列可以完全复制正则化顺序学习RKBS。利用这一点,我们提出了新的一致收敛的迭代次数和学习率发挥核心作用,新的理论见解神经网络训练。
2023-02-01 cs.LG stat.ML
Utilising Gradient-Based Proposals Within Sequential Monte Carlo Samplers for Training of Partial Bayesian Neural Networks
Department of Electronics and Electrical Engineering, University of Liverpool(利物浦大学电子与电气工程系)
本文提出了一种基于SMC的训练方法,利用梯度引导的提案和马尔可夫核,提升pBNNs在高维问题中的可扩展性和预测性能。
2026-01-29 cs.LG stat.ML
A Survey on Self-supervised Pre-training for Sequential Transfer Learning in Neural Networks
University of California, San Diego(加利福尼亚大学圣迭戈分校)
深度神经网络通常在监督学习框架下进行训练,其中模型使用标记数据学习单个任务。从业者可以利用未标记或相关数据来提高模型性能,而不是仅仅依赖于标记数据,这些数据通常更容易访问和无处不在。用于迁移学习的自监督预训练正在成为一种越来越流行的技术,用于使用未标记数据来改善最先进的结果。它首先在大量未标记的数据上预训练模型,然后使模型适应感兴趣的目标任务。在这篇综述中,我们调查自监督学习方法及其应用程序中的顺序迁移学习框架。我们概述了自监督学习和迁移学习的分类,并强调了一些在不同领域设计预训练任务的突出方法。最后,我们讨论了最近的趋势,并建议未来的调查领域。
2020-07-01 cs.LG stat.ML
Edge-based sequential graph generation with recurrent neural networks
Università di Pisa(比萨大学)
基于机器学习的图生成是一个开放性的问题,在各个研究领域都有应用。在这项工作中,我们建议铸造成一个连续的一个图的生成过程,依赖于节点排序过程。我们使用这个顺序的过程来设计一个新的生成模型,由两个循环神经网络组成,学习预测图的边:第一个网络生成每个边的一个端点,而第二个网络生成另一个端点的状态的第一个。我们在五个不同的数据集上广泛地测试了我们的方法,与来自图形文献的两个众所周知的基线和两个经常性的方法进行了比较,其中一个方法具有最先进的性能。考虑生成样品的定量和定性特征进行评价。结果表明,我们的方法是能够产生新颖的,独特的图形来自非常不同的分布,同时保留结构特性非常相似的训练样本。根据建议的评估框架,我们的方法是能够达到性能相媲美的图形生成任务的当前最先进的。
2020-01-31 cs.LG stat.ML
Neural Adaptive Sequential Monte Carlo
University of Cambridge(剑桥大学);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所)
序贯蒙特卡罗(SMC),或粒子滤波,是一种流行的方法,从一个棘手的目标分布使用一系列简单的中间分布采样。与其他基于重要性采样的方法一样,性能严重依赖于提案分布:一个糟糕的提案可能导致对目标分布的任意不准确的估计。本文提出了一种新的方法,自动适应的建议,使用近似的Kullback-Leibler分歧之间的真实后验分布和建议。该方法非常灵活,适用于任何参数化的建议分发,它支持在线和批量变量。我们使用新的框架来适应强大的建议分布与丰富的参数化的基础上神经网络导致神经自适应顺序蒙特卡罗(NASMC)。实验表明,NASMC显着改善推理的非线性状态空间模型优于自适应建议方法,包括扩展卡尔曼和无迹粒子滤波器。实验还表明,改进的推理转化为改进的参数学习时,NASMC被用作粒子边缘大都会黑斯廷斯的子程序。最后,我们表明,NASMC是能够训练的潜变量递归神经网络(LV-RNN)实现的结果,竞争与国家的最先进的多态音乐建模。NASMC可以被看作是自适应SMC方法和最近的工作在可扩展的,黑盒变分推理之间的差距。
2015-11-16 cs.LG stat.ML
Sequential Transfer Machine Learning in Networks: Measuring the Impact of Data and Neural Net Similarity on Transferability
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
在面临类似预测任务的独立实体网络中,迁移机器学习能够使用分布式数据集重用和改进神经网络,而不会暴露原始数据。随着业务网络中数据集数量的增长,并不是每个神经网络传输都是成功的,需要指标来衡量其对目标性能的影响-其可传输性。我们对一个独特的真实用例进行了实证研究,该用例由六家不同餐馆的销售数据组成。我们在这些餐厅销售数据中训练和传输神经网络,并测量它们的可移植性。此外,我们计算潜在的指标的基础上的数据,数据预测和神经网络相似性的新度量的分歧的可转移性。我们得到显着的负相关关系之间的转移性和测试指标。我们的研究结果允许根据这些指标选择传输路径,这提高了模型性能,同时需要更少的模型传输。
2020-03-29 cs.LG stat.ML
Sequential Learning Of Neural Networks for Prequential MDL
DeepMind(深度思维)
最小描述长度(MDL)为原则模型评估提供了一个框架和目标。它形式化了奥卡姆剃刀,并可应用于非平稳源的数据。在MDL的序贯公式中,目标是当顺序遍历数据并使用先前的观测值进行参数估计时,使累积的下一步对数损失最小化。因此,它非常类似于一个持续或在线学习问题。在这项研究中,我们评估的方法,计算与神经网络的图像分类数据集的前置描述长度。考虑到计算成本,我们发现,与以前广泛使用的分块估计相比,在线学习与排练具有良好的性能。我们提出了前向校准,以更好地将模型预测与经验观察相结合,并引入了重放流,这是一种小批量增量训练技术,可以有效地实现近似随机重放,同时避免大型内存重放缓冲区。因此,我们提出了一套图像分类数据集的描述长度,大大提高了以前报告的结果。
2022-10-14 cs.LG stat.ML
Dual Memory Neural Computer for Asynchronous Two-view Sequential Learning
Applied AI Institute, Deakin University(迪肯大学应用人工智能研究所)
多视图学习的核心任务之一是捕捉视图之间的关系。对于顺序数据,关系不仅跨越视图,而且还延伸到整个视图长度以形成长期的视图内和视图间交互。在本文中,我们提出了一个新的记忆增强神经网络模型,旨在模拟这些复杂的两个异步顺序视图之间的相互作用。我们的模型使用两个编码器来读取和写入两个外部存储器,以对输入视图进行编码。视图内交互和长期依赖性通过在该编码过程期间使用存储器来捕获。在我们的系统中有两种模式的内存访问:晚融合和早融合,对应于晚和早视图间的交互。在后期融合模式下,两个存储器是分开的,只包含视图特定的内容。在早期融合模式下,两个存储器共享相同的寻址空间,允许跨存储器访问。在这两种情况下,来自存储器的知识将由解码器组合以在输出空间上进行预测。由此产生的双记忆神经计算机在一组全面的实验中得到了证明,包括对两个序列求和的合成任务以及医疗保健中的药物处方和疾病进展任务。结果表明,与传统算法和针对多视图问题设计的深度学习方法相比,该算法具有竞争力的性能。
2018-02-11 cs.LG stat.ML
Churn Prediction with Sequential Data and Deep Neural Networks. A Comparative Analysis
Humboldt University of Berlin(柏林洪堡大学);IÉSEG School of Management(埃塞克高等商学院);Audencia Business School(南特高等商学院)
用于预测的现成机器学习算法(诸如正则化逻辑斯谛回归)在没有预先使用这种顺序数据的聚合过程的情况下不能利用时变特征的信息。然而,递归神经网络提供了一种替代方法,通过该方法,时变特征可以容易地用于建模。本文评估了神经网络的性能流失建模使用近,频率和货币价值的数据,从金融服务提供商。结果表明,RFM变量与LSTM神经网络相结合,比具有常用人口统计变量的正则化逻辑斯谛回归模型具有更大的前十分位提升和预期最大利润指标。此外,我们表明,使用LSTM的拟合概率作为逻辑斯谛回归的特征,与仅具有静态特征的模型相比,后者的样本外性能提高了25%。
2019-09-24 cs.LG stat.AP stat.ML
Robustness Analysis of Classification Using Recurrent Neural Networks with Perturbed Sequential Input
Lehigh University(理海大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
对于一个给定的稳定的递归神经网络(RNN),训练使用顺序输入执行分类任务,我们量化显式的鲁棒性边界作为可训练的权重矩阵的函数。顺序输入可以以各种方式被扰动,例如,流图像可能由于机器人运动或不完美的相机镜头而变形。使用稳定RNN的沃罗诺伊图和Lipschitz性质的概念,我们提供了一个彻底的分析和表征最大允许扰动,同时保证分类任务的完全准确性。我们说明和验证我们的理论结果使用地图数据集与云以及MNIST数据集。
2022-03-10 cs.LG
Sequential training algorithm for neural networks
University of Leeds(利兹大学)
提出了一种大规模前向神经网络的序贯训练方法。神经网络的每一层都是解耦的,并分别进行训练。每一层的训练完成后,将它们组合在一起。如果将实现最优解,则与完整网络训练相比,网络的性能将是次优的。然而,实现整个网络的最优解将是不可行的或需要很长的计算时间。所提出的顺序方法大大减少了所需的计算机资源,并将具有更好的收敛性,因为每个优化步骤都优化了单个层。实现顺序训练所需的现有算法的修改是最小的。通过一个简单的例子验证了该方法的有效性。
2019-05-17 cs.LG cs.NE
Classification of Long Sequential Data using Circular Dilated Convolutional Neural Networks
Norwegian University of Science and Technology(挪威科技大学)
长序列数据的分类是机器学习的一项重要任务,在许多应用场景中都有出现。递归神经网络、Transformers和卷积神经网络是从序列数据中学习的三种主要技术。在这些方法中,时间卷积网络(TCN),可扩展到很长的序列,在时间序列回归取得了显着的进展。然而,TCN的序列分类的性能并不令人满意,因为它们使用一个倾斜的连接协议和输出类在最后的位置。这种不对称性限制了它们对依赖于整个序列的分类的性能。在这项工作中,我们提出了一种称为圆形扩张卷积神经网络(CDIL-CNN)的对称多尺度架构,其中每个位置都有相等的机会从先前层的其他位置接收信息。我们的模型在所有位置都给出了分类逻辑,我们可以应用一个简单的集成学习来实现更好的决策。我们已经在各种长序列数据集上测试了CDIL-CNN。实验结果表明,我们的方法具有优越的性能超过许多国家的最先进的方法。
2022-05-27 cs.LG
Learning The Sequential Temporal Information with Recurrent Neural Networks
XRVision Research and Development center(XRVision研发中心)
递归神经网络是处理自然语言、声音、时间序列数据等序列数据的最有效和最有前途的人工神经网络算法之一。与传统的前馈网络不同,递归网络具有固有的反馈回路,允许存储时间上下文信息并将信息的状态传递给整个事件序列。这有助于在许多重要任务中实现最先进的性能,例如语言建模、股票市场预测、图像描述、语音识别、机器翻译和对象跟踪等,然而,训练完全连接的RNN和管理梯度流是一个复杂的过程。许多研究都是针对上述局限性进行的。本文旨在提供有关递归神经元的简要细节,它的变化和训练全递归神经网络的行程和技巧。这项审查工作是作为我们的IPO工作室软件模块“多目标跟踪”的一部分进行的。
2018-07-08 cs.CV cs.LG stat.ML
MPC-Inspired Neural Network Policies for Sequential Decision Making
Georgia Institute of Technology(佐治亚理工学院);Autonomous Control and Decisions Lab(自主控制与决策实验室)
在本文中,我们研究了使用MPC启发的神经网络政策的顺序决策。我们介绍了一个扩展的Dagger算法训练这样的政策,并显示他们如何提高训练性能和泛化能力。我们利用这个扩展来展示复杂的规划策略架构在连续状态和动作空间中的可扩展和有效的训练。我们提供了一个广泛的比较神经网络政策考虑前馈政策,经常性的政策,经常性的政策与规划结构的启发路径积分控制框架。我们的研究结果表明,MPC型的经常性政策有更好的鲁棒性干扰和建模误差。
2018-03-14 cs.LG
Feedforward Sequential Memory Neural Networks without Recurrent Feedback
University of Science and Technology of China(中国科学技术大学);York University(约克大学);IFLYTEK Research(科大讯飞研究院)
本文介绍了一种新的记忆神经网络结构,称为前馈顺序记忆网络(FSMN),它可以在不使用递归反馈的情况下学习长期依赖性。建议FSMN是一个标准的前馈神经网络配备了学习的顺序记忆块的隐藏层。在这项工作中,我们已经应用FSMN的几个语言建模(LM)的任务。实验结果表明,FSMN中的记忆块可以学习到长历史的有效表示。实验表明,基于FSMN的语言模型不仅可以显著优于基于前馈神经网络(FNN)的LM,而且还可以显著优于流行的递归神经网络(RNN)LM。
2015-10-09 cs.CL cs.LG cs.NE
Counterfactual Explanations in Sequential Decision Making Under Uncertainty
IIT Bombay(印度理工学院孟买分校);Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所)
寻找反事实解释的方法主要集中在一步决策过程。在这项工作中,我们开始开发的方法,以找到反事实的解释决策过程中,多个,依赖的行动,随着时间的推移顺序。我们开始正式使用有限时域马尔可夫决策过程和Gumbel-Max结构因果模型的动作和状态序列的特征。在此基础上,我们正式声明的问题,找到反事实的解释顺序决策过程。在我们的问题表述中,反事实解释指定了一个替代的行动序列,与观察到的序列最多有k个不同的行动,这些行动可能会导致观察到的过程实现更好的结果。然后,我们引入了一个基于动态规划的多项式时间算法来构建一个反事实策略,该策略保证总是对反事实环境动态的每一个可能的实现提供最优的反事实解释。我们使用来自认知行为治疗的合成数据和真实数据来验证我们的算法,并表明我们的算法发现的反事实解释可以提供有价值的见解,以增强不确定性下的顺序决策。
2021-10-27 cs.CY cs.LG stat.ML
Sequential Short-Text Classification with Recurrent and Convolutional Neural Networks
MIT(麻省理工学院)
最近的方法基于人工神经网络(ANN)的短文本分类显示出可喜的成果。然而,许多短文本是按顺序出现的(例如,文档中的句子或对话中的话语),并且大多数现有的基于ANN的系统在对后续文本进行分类时不利用前面的短文本。在这项工作中,我们提出了一个基于递归神经网络和卷积神经网络的模型,它结合了前面的短文本。我们的模型在三个不同的对话行为预测数据集上实现了最先进的结果。
2016-03-12 cs.AI cs.CL cs.LG
Sequential Estimation of Gaussian Process-based Deep State-Space Models
针对状态空间和深度状态空间模型的未知量序贯估计问题,提出基于粒子滤波并结合随机特征高斯过程的方法,将条件线性参数积分消除以获取预测密度,实验表明该方法能有效追踪潜在过程。
2024-03-23 cs.LG
Continual Learning via Sequential Function-Space Variational Inference
University of Oxford(牛津大学)
本文提出将持续学习建模为序贯函数空间变分推断,允许参数灵活变化并有效正则化预测,在多个任务序列上提升了神经网络的预测准确性,并减少对旧任务代表性点的依赖。
2023-12-28 cs.AI cs.LG stat.ML
Stochastic Sequential Neural Networks with Structured Inference
University of Electronic Science and Technology of China(电子科技大学);SMILE Lab & Yingcai Honors College(SMILE实验室与英才实验学院);SMILE Lab & Big Data Research Center(SMILE实验室与大数据研究中心);School of Computer Science and Engineering(计算机科学与工程学院)
高维时间序列数据的无监督结构学习已经引起了广泛的研究兴趣。例如,分割和标记高维时间序列可以有助于行为理解和医学诊断。生成顺序建模的最新进展已经建议将递归神经网络与状态空间模型(例如,隐马尔可夫模型)。这种组合不仅可以模拟序列数据中的长期依赖性,而且还可以模拟隐藏状态中包含的不确定性。继承随机神经序列模型的这些优点,我们提出了一个结构化的随机序列神经网络,它通过递归神经网络和离散随机变量的分割和标签的不确定性模型的长期依赖性。为了准确和有效的推理,我们提出了一个双向推理网络,通过重新分配的分类分割和标签与最近提出的Gumbel-Softmax近似和诉诸随机梯度变分贝叶斯。我们评估所提出的模型在一些任务,包括语音建模,自动分割和标记的行为理解,和顺序多对象识别。实验结果表明,我们提出的模型可以实现显着的改进,比国家的最先进的方法。
2017-05-24 cs.CV cs.LG
Oscillatory Fourier Neural Network: A Compact and Efficient Architecture for Sequential Processing
School of Electrical and Computer Engineering, Purdue University(普渡大学电气与计算机工程学院)
随着递归神经网络的发展,序列处理取得了巨大的进展。然而,递归架构面临着训练期间梯度爆炸/消失的挑战,并且需要大量的计算资源来执行时间上的反向传播。此外,执行复杂的顺序任务通常需要大型模型。为了解决这些挑战,我们提出了一种新的神经元模型,它具有用于顺序处理的时变分量的余弦激活。所提出的神经元提供了一个有效的构建块,用于将顺序输入投影到谱域,这有助于以最小的额外模型参数和计算来保持长期依赖性。提出了一种基于该神经元的递归神经网络结构--振荡傅立叶神经网络,并将其应用于各种类型的时序任务。我们证明,建议的神经元模型的递归神经网络在数学上等价于一个简化形式的离散傅立叶变换应用到周期性激活。特别是,消除了训练中计算密集型的时间反向传播,导致更快的训练,同时在不同的顺序任务组中实现最先进的推理准确性。例如,将所提出的模型应用于IMDB评论数据集的情感分析,在5个epoch内达到了89.4%的测试准确率,与LSTM相比,模型大小减少了35倍以上。所提出的新型RNN架构为资源受限硬件中的智能顺序处理做好了充分准备。
2021-10-11 cs.LG cs.NE
Tensor-Based Backpropagation in Neural Networks with Non-Sequential Input
University of Edinburgh(爱丁堡大学);AndPlus LLC(AndPlus有限责任公司)
神经网络已经能够在传统上被认为只有人类才能完成的任务上实现突破性的准确性。使用随机梯度下降,在许多维度上的优化是可能的,尽管计算成本相对较高。通过将训练数据拆分成批次,可以更有效地分布和训练网络,并且精度损失最小。我们已经探索了有效实现基于张量的批量反向传播算法背后的数学原理。批量训练的一种常见方法是逐个迭代批量项。使用张量操作来反向传播允许非线性地执行训练,从而提高计算效率。
2017-07-13 cs.LG
Recurrent Neural Networks for Long and Short-Term Sequential Recommendation
CAIL;Université de Lille(里尔大学)
推荐系统的目标可以概括为在短期或长期时间范围内对用户偏好进行建模。以往的大量研究通过降维技术应用于历史用户-项目交互来研究长期推荐。最近引入的基于会话的推荐设置强调了建模短期用户偏好的重要性。在这项任务中,循环神经网络(RNN)已被证明在短时间内成功捕捉用户交互的细微差别。在本文中,我们评估了基于RNN的短期和长期推荐任务模型。我们的实验结果表明,RNN能够预测即时和远程用户交互。我们还发现性能最好的配置是具有层归一化和绑定项嵌入的堆叠RNN。
2018-07-23 cs.IR cs.LG stat.ML
Sequential Neural Probabilistic Amplitude Shaping: Learning the Channel's Language
Department of Electrical and Computer Engineering, University of British Columbia(英国不列颠哥伦比亚大学电气与计算机工程系);Nokia Bell Labs(诺基亚贝尔实验室)
提出首个考虑所有实现损耗的神经概率幅度整形方法,采用无块、易于实现的序列自回归编码器与算术分布匹配,降低速率损失并提高可达信息率。
2026-05-27 cs.IT cs.LG eess.SP
A Sequential Framework Towards an Exact SDP Verification of Neural Networks
Electrical Engineering and Computer Sciences UC Berkeley(加州大学伯克利分校电气工程与计算机科学学院);Electrical Engineering and Computer Sciences Mechanical Engineering UC Berkeley(加州大学伯克利分校电气工程与计算机科学学院、机械工程学院)
尽管近年来神经网络已被应用于多个系统中,但由于缺乏有效的技术来证明其鲁棒性,它们仍然不能用于安全关键系统。文献中已经提出了许多基于凸优化的技术来研究神经网络的鲁棒性,并且半定规划(SDP)方法已经成为神经网络鲁棒性认证的主要竞争者。SDP方法的主要挑战是它易于产生大的弛豫间隙。在这项工作中,我们通过开发一个顺序框架来解决这个问题,通过将非凸切割添加到通过析取编程的优化问题中,将这个差距缩小到零。我们从理论和经验两方面分析了这种顺序SDP方法的性能,并表明,它的桥梁的差距,削减的数量增加。
2021-09-27 cs.LG math.OC
Sequential Convolutional Recurrent Neural Networks for Fast Automatic Modulation Classification
Science and Technology on Electronic Information Control Laboratory(电子信息控制科技实验室)
针对无线频谱监测应用,提出了一种新型高效的自动调制分类端到端学习模型,该模型能够从时域同相和正交数据中自动学习,无需手工设计专家特征。利用卷积层的直觉,池化作为前端特征提取和降维的作用,开发了顺序卷积递归神经网络,以利用卷积神经网络的并行计算能力和递归神经网络的时间敏感性。实验结果表明,该结构在信噪比大于-10 dB的范围内具有较好的分类性能,在高信噪比范围内,分类准确率从80%提高到92.1%,同时平均训练时间和预测时间分别减少了约74%和67%.通过所提出的架构学习的响应模式被可视化,以更好地理解模型的物理特性。此外,进行了比较研究,以调查各种顺序卷积递归神经网络结构设置对分类性能的影响。一个具有代表性的顺序卷积递归神经网络架构的两层卷积神经网络和随后的两层长短期记忆神经网络的开发建议的选择快速自动调制分类。
2021-01-20 cs.LG eess.SP
Sequential modeling of Sessions using Recurrent Neural Networks for Skip Prediction
FindHotel
推荐系统在音乐流媒体服务中发挥着至关重要的作用,特别是以个性化播放列表的形式。探索这些收听会话内的用户交互对于理解单个会话的上下文中的用户偏好是有益的。在“Spotify顺序跳过预测测试”中,WSDM和Spotify正在挑战人们理解用户顺序与音乐交互的方式。我们在本文中描述了我们的解决方案的方法,并提出进一步改进的模型。所提出的模型最初生成会话的固定向量表示,并且将此附加信息并入编码器-解码器风格的架构中。该方法在比赛中获得了第七名,在测试集上的平均准确率为0.604。解决方案代码可在https://github.com/sainathadapa/spotify-sequential-skip-prediction上获得。
2019-04-23 cs.IR cs.LG
Sequential Changepoint Detection in Neural Networks with Checkpoints
DeepMind(深度思维)
我们介绍了一个在线变点检测和同步模型学习的框架,该框架适用于高度参数化的模型,如深度神经网络。它基于通过顺序执行广义似然比检验来检测时间上的变点,该检验仅需要简单预测得分函数的评估。该过程使用检查点,由实际模型参数的早期版本组成,允许通过对未来数据进行预测来检测分布变化。我们定义了一个算法,在序贯测试过程中的第一类错误的界限。我们证明了我们的方法在具有未知任务变点的具有挑战性的持续学习应用程序中的效率,并且与在线贝叶斯变点检测相比,表现出更好的性能。
2020-10-06 cs.AI cs.LG stat.CO
Neural-based classification rule learning for sequential data
IBM France Lab(IBM法国实验室);Inria Saclay(法国国家信息与自动化研究所萨克雷分部);IBM Research(IBM研究院)
发现序列数据分类的可解释模式对于从基因组学到欺诈检测或更一般的可解释决策的各种领域都至关重要。在本文中,我们提出了一种新的微分完全可解释的方法,发现本地和全球的模式(即捕捉相对或绝对的时间依赖性)基于规则的二进制分类。它由一个卷积二进制神经网络与一个可解释的神经过滤器和训练策略的基础上动态强制稀疏。我们证明了该方法在合成数据集和开源肽数据集上的有效性和实用性。这种端到端可区分方法的关键在于,规则中使用的表达模式是与规则本身一起学习的。
2023-02-22 cs.AI cs.LG