Continuous Depth Recurrent Neural Differential Equations
Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校)
递归神经网络(RNN)在序列标记任务和序列数据方面带来了很多进步。然而,当序列中的观测是不规则采样的,其中观测以不规则的时间间隔到达时,它们的有效性是有限的。为了解决这个问题,基于神经常微分方程(NODE)引入了RNN的连续时间变量。它们使用隐藏状态随时间的连续变换来学习更好的数据表示,同时考虑到观察之间的时间间隔。然而,它们的能力仍然有限,因为它们使用离散变换和序列中输入的固定离散层数(深度)来产生输出观察。我们打算通过提出基于微分方程的RNN来解决这一限制,该微分方程对深度和时间上的连续变换进行建模,以预测序列中给定输入的输出。具体来说,我们提出了连续深度递归神经微分方程(CDR-NDE),它通过在时间和深度维度上不断进化隐藏状态来推广RNN模型。CDR-NDE在每个维度上考虑两个单独的微分方程,并交替地模拟时间和深度方向的演化。我们还提出了基于偏微分方程的CDR-NDE-热模型,该模型将隐态的计算视为求解随时间变化的热方程。我们通过与现实世界序列标记问题和数据的最新RNN模型进行比较,证明了所提出模型的有效性。
2022-12-28 cs.LG
PAC bounds of continuous Linear Parameter-Varying systems related to neural ODEs
Institute for Computer Science and Control (ELKH SZTAKI)(计算机科学与控制研究所(ELKH SZTAKI));Eötvös Loránd University(厄特沃什·罗兰大学);Université de Lille(里尔大学)
本文在连续时间LPV系统框架下研究neural ODEs的学习问题,并在稳定性条件下给出了不依赖于积分区间的PAC泛化界。
2023-07-07 cs.LG
Continuously Evolving Graph Neural Controlled Differential Equations for Traffic Forecasting
针对交通预测中现有方法忽略连续时间依赖与动态空间依赖的问题,提出持续演化图神经受控微分方程CEGNCDE,通过持续演化图生成器与GNCDE框架同时捕捉两类依赖,在多项指标上优于当前最优方法。
2024-01-26 cs.LG
Latent Discretization for Continuous-time Sequence Compression
Meta AI
神经压缩提供了一种域不可知的方法来通过深度生成模型创建用于有损或无损压缩的编解码器。然而,对于序列压缩,大多数深度序列模型具有随序列长度而不是序列复杂度缩放的成本。在这项工作中,我们将数据序列视为来自底层连续时间过程的观测,并学习如何有效地离散化,同时保留有关完整序列的信息。由于解耦的时间离散化的顺序信息,我们的方法允许更大的压缩率和更小的计算复杂性。此外,连续时间方法自然允许我们在不同的时间间隔进行解码。我们经验验证我们的方法在多个领域涉及视频和运动捕捉序列的压缩,表明我们的方法可以通过学习如何离散化自动实现比特率的降低。
2022-12-28 cs.LG stat.ML
Learning Temporal Point Processes for Efficient Retrieval of Continuous Time Event Sequences
IIT Delhi(印度理工学院德里分校);IIT Bombay(印度理工学院孟买分校)
最近的发展,在预测建模使用标记时间点过程(MTPP),使几个真实世界的应用,涉及连续时间事件序列(CTES)的准确表征。然而,这些序列的检索问题在文献中仍然很大程度上没有得到解决。为了解决这个问题,我们提出了NEUROSEQRET,它学习检索和排名一组相关的连续时间事件序列为一个给定的查询序列,从一个大型语料库的序列。更具体地说,NEUROSEQRET首先在查询序列上应用可训练的解扭曲函数,这使得它与语料库序列相当,特别是当相关的查询-语料库对具有单独不同的属性时。然后,它将未变形的查询序列和语料库序列馈送到MTPP引导的神经相关性模型中。我们开发了两种变体的相关性模型,提供了准确性和效率之间的权衡。我们还提出了一个优化框架来学习二进制序列嵌入的相关性分数,适合本地敏感的哈希导致显着的加速返回给定的查询序列的前K个结果。我们对几个数据集的实验表明,NEUROSEQRET的准确性显著提高,超过了几个基线,以及我们的哈希机制的有效性。
2022-02-17 cs.IR cs.LG
Sequence-to-Sequence Learning with Latent Neural Grammars
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
使用神经网络的序列到序列学习已经成为序列预测任务的事实标准。这种方法通常使用一个强大的神经网络对下一个单词的局部分布进行建模,该神经网络可以根据任意上下文进行调节。虽然灵活且性能良好,但这些模型通常需要大型数据集进行训练,并且可能在旨在测试组合泛化的基准测试中失败。这项工作探讨了一种替代的,层次化的方法,序列到序列的学习与准同步语法,在目标树中的每个节点是由源树中的一个节点转换。源树和目标树都被视为潜在的,并在训练过程中诱导。我们开发了一个神经参数化的语法,使参数共享的组合空间的推导规则,而不需要手动功能工程。我们将这种潜在的神经语法应用于各个领域-诊断语言导航任务,旨在测试成分概括(SCAN),风格转移和小规模机器翻译-并发现与标准基线相比,它的表现相当不错。
2021-11-16 cs.CL cs.LG
A Neural Model of Rule Discovery with Relatively Short-Term Sequence Memory
The Whole Brain Architecture Initiative(全脑架构倡议)
针对流体智力任务中依赖短期记忆发现事件序列规律的问题,提出一种神经认知模型,并通过延迟样本匹配任务加以实现与验证。
2024-12-07 cs.AI cs.LG
End-to-End Radio Traffic Sequence Recognition with Deep Recurrent Neural Networks
Virginia Tech(弗吉尼亚理工大学);Corgan Labs(科尔根实验室)
我们调查序列机器学习技术的原始无线电信号的时间序列数据。通过应用深度循环神经网络,我们学会了在不使用专家解调算法的情况下,在恒定包络调制的基础上区分几种应用层流量类型。我们表明,复杂的协议序列可以学习和使用这种方法的分类和生成任务。
2016-10-03 cs.LG cs.NI
Bandit Structured Prediction for Neural Sequence-to-Sequence Learning
Heidelberg University(海德堡大学)
Bandit结构化预测描述了一个随机最优化框架,其中从部分反馈执行学习。该反馈以对预测输出结构的任务损失评估的形式被接收,而无需访问黄金标准结构。我们通过使用基于注意力的递归神经网络将线性强盗学习提升到神经序列到序列学习问题来推进这个框架。此外,我们展示了如何将控制变量纳入我们的学习算法,以减少方差和提高泛化能力。我们提出了一个神经机器翻译任务的评估,显示了高达5.89 BLEU点的改进,从模拟的强盗反馈域适应。
2018-12-13 cs.CL cs.LG stat.ML
Neural SDEs as a Unified Approach to Continuous-Domain Sequence Modeling
Shanghai QiZhi Institute(上海智己研究院);University of Pennsylvania(宾夕法尼亚大学)
提出基于Neural SDE的连续序列建模方法,将时间序列视为连续动力系统的离散样本,推导最大似然目标与无模拟训练方案,在具身与生成AI任务中验证有效性。
2025-01-31 cs.LG stat.ML
Transformer Neural Networks Attending to Both Sequence and Structure for Protein Prediction Tasks
George Mason University(乔治梅森大学)
越来越多的基因组蛋白质序列的解码开辟了新的研究途径,连接蛋白质序列的功能与Transformer神经网络。最近的研究表明,已知蛋白质序列的数量支持通过Transformers学习有用的,任务不可知的序列表示。在本文中,我们认为学习联合序列结构表示可以为功能相关的预测任务提供更好的表示。我们提出了一个Transformer神经网络,出席了序列和三级结构。我们表明,这种联合表示比基于序列的表示更强大,并且它们在各种指标上对超家族成员产生更好的性能。
2022-06-17 cs.AI cs.LG q-bio.QM
Continuous-Time Attention: PDE-Guided Mechanisms for Long-Sequence Transformers
The Chinese University Of Hongkong(香港中文大学);Fudan University(复旦大学)
本文提出连续时间注意力机制,通过引入偏微分方程提升长序列Transformer对长距离依赖性和梯度流动的处理能力。
2025-05-27 cs.AI cs.LG
Sequence Modeling using Gated Recurrent Neural Networks
Universite de Montreal(蒙特利尔大学)
在本文中,我们已经使用循环神经网络捕捉和建模人体运动数据,并产生运动预测的下一个即时的数据点在每个时间步。我们的RNN配备了最近提出的门控递归单元,在一些序列建模问题,如机器翻译和语音合成中显示出有前途的结果。我们证明了该模型能够捕获数据中的长期依赖关系并生成逼真的运动。
2015-01-01 cs.LG cs.NE
Anomaly Detection for Industrial Control Systems Using Sequence-to-Sequence Neural Networks
The Affiliated Institute of ETRI(韩国电子通信研究院附属研究所)
提出了一种工业控制系统运行数据异常检测方法。将序列到序列神经网络应用于ICS运行数据的训练和预测,并解释其时间序列特征。所提出的方法只需要一个正常的数据集,以了解ICS的正常状态和检测离群值。使用SWaT(安全水处理)数据集对该方法进行了评估,检测到36次攻击中的29次。报告的方法还检测攻击点,并检测到53个点中的25个。本研究详细分析了假阳性和假阴性的实验结果。
2019-11-12 cs.CR cs.LG
Lexicon Learning for Few-Shot Neural Sequence Modeling
Massachusetts Institute of Technology(麻省理工学院)
序列到序列转换是语言处理应用中的核心问题,如语义解析、机器翻译和指令遵循。为这些问题提供主要解决方案的神经网络模型是脆弱的,特别是在低资源环境中:它们无法从小数据集正确或系统地泛化。过去的研究表明,许多系统概括的失败源于神经模型无法将词汇现象与句法现象分开。为了解决这个问题,我们用词汇翻译机制来增强神经解码器,该机制概括了现有的复制机制,以纳入学习的,去语境化的,令牌级的翻译规则。我们描述了如何使用各种词典学习算法来初始化这种机制,并表明它提高了从认知科学,形式语义学和机器翻译中提取的序列建模任务的系统概括。
2021-06-07 cs.CL cs.LG
Neural Machine Translation and Sequence-to-sequence Models: A Tutorial
Carnegie Mellon University(卡内基梅隆大学)
本教程介绍了一组新的强大的技术,称为“神经机器翻译“或“神经序列到序列模型”。这些技术已经被用于处理人类语言的许多任务中,并且可以成为任何想要对某种顺序数据建模的人的工具箱中的强大工具。本教程假设读者了解数学和编程的基础知识,但不假设有任何神经网络或自然语言处理的特定经验。它试图解释所涵盖的各种方法背后的直觉,然后用足够的数学细节深入研究它们,以具体理解它们,并提出实施练习的建议,读者可以在实践中测试他们是否理解了内容。
2017-03-05 cs.CL cs.LG stat.ML
Hybrid Neural Models For Sequence Modelling: The Best Of Three Worlds
LIG(格勒诺布尔信息学实验室);Lattice CNRS(法国国家科学研究中心Lattice实验室);ALMAnaCH Inria(法国国家数字科学技术研究所ALMAnaCH)
我们提出了一个神经架构,它具有过去几年最成功的神经模型的主要特征:双向RNN,编码器-解码器和Transformer模型。对三个序列标记任务的评估产生的结果是接近国家的最先进的所有任务,并优于它的一些,显示这种混合架构的这种任务的相关性。
2019-09-16 cs.LG stat.ML
A new neural-network-based model for measuring the strength of a pseudorandom binary sequence
La Trobe University(拉筹伯大学)
最大阶复杂度是衡量伪随机序列非线性的重要工具。缺乏用于以有效且高效的方式预测伪随机二进制序列的强度的工具。为此,本文提出了一种基于神经网络的伪随机二进制序列强度测量模型。使用收缩生成器(SG)密钥流作为伪随机二进制序列,然后计算唯一窗口大小(UWS)作为最大阶复杂度的表示,我们证明了所提出的模型提供了更准确和有效的预测(测量)比经典的方法预测最大阶复杂度。
2019-10-09 cs.CR cs.LG
Von Mises-Fisher Loss for Training Sequence to Sequence Models with Continuous Outputs
Language Technologies Institute(语言技术研究所);Carnegie Mellon University(卡内基梅隆大学)
Softmax函数用于几乎所有现有序列到序列模型的最后一层,用于语言生成。然而,它通常是计算速度最慢的一层,这将词汇表大小限制为最常见类型的子集;并且它具有很大的内存占用。我们提出了一种通用的技术,用连续的嵌入层代替softmax层。我们的主要创新是一种新的概率损失,以及一种训练和推理过程,在该过程中,我们在预训练的词嵌入上生成概率分布,而不是通过softmax获得的词汇表上的多项分布。我们评估这类新的序列到序列模型的神经机器翻译任务上的连续输出。我们表明,我们的模型在训练时间上获得了高达2.5倍的速度提升,同时在翻译质量方面与最先进的模型不相上下。这些模型能够处理非常大的词汇量,而不会影响翻译质量。它们还产生比基于softmax的模型更有意义的错误,因为这些错误通常位于参考翻译的向量空间的子空间中。
2019-03-22 cs.CL cs.LG stat.ML
Event Outlier Detection in Continuous Time
University of Pittsburgh(匹兹堡大学);Borealis AI
连续时间事件序列表示在连续时间内发生的离散事件。这样的序列在现实生活中经常出现。通常我们期望序列随着时间的推移遵循某种规律。然而,有时这些模式可能会被意外的缺失或事件的发生所打断。识别这些意外情况可能非常重要,因为它们可能指向需要人类注意的异常情况。在这项工作中,我们研究和开发的方法检测连续时间事件序列中的离群值,包括意外的缺席和意外发生的事件。由于事件序列倾向于遵循的模式可能会在不同的上下文中发生变化,我们开发了基于点过程的离群值检测方法,可以考虑上下文信息。我们的方法是基于贝叶斯决策理论和假设检验的理论保证。为了测试方法的性能,我们对合成数据和真实世界的临床数据进行了实验,并显示了所提出的方法的有效性。
2021-06-12 cs.LG stat.ML
SegINR: Segment-wise Implicit Neural Representation for Sequence Alignment in Neural Text-to-Speech
Seoul National University(首尔大学);Samsung Research(三星研究院);Samsung Electronics Co.,Ltd.(三星电子株式会社)
本文提出SegINR,通过分段式隐式神经表示直接将文本序列转换为帧级特征,无需时长预测器和复杂序列建模,在零样本自适应TTS中实现更高质量的语音合成并降低计算成本。
2024-10-07 cs.LG eess.AS
Seq2Biseq: Bidirectional Output-wise Recurrent Neural Networks for Sequence Modelling
LIG(格勒诺布尔信息学实验室);Lattice CNRS(法国国家科学研究中心Lattice实验室);ALMAnaCH Inria(法国国家信息与自动化研究所ALMAnaCH)
在过去的几年中,循环神经网络(RNN)在大多数序列建模问题上都达到了最先进的性能。特别是,“序列到序列”模型和神经CRF已被证明是非常有效的,在这一领域。在这篇文章中,我们提出了一种新的RNN架构用于序列标记,利用门控递归层来考虑任意长的上下文,并使用两个向前和向后操作的解码器。我们比较了几个变种的建议的解决方案和他们的表现,以国家的最先进的。我们的大多数结果是优于国家的最先进的或非常接近它,并感谢使用最新的技术,我们的架构可以扩展语料库大于在这项工作中使用的。
2019-04-16 cs.CL cs.LG
Accelerating recurrent neural network training using sequence bucketing and multi-GPU data parallelization
Samsung R&D Institute Ukraine (SRK)(三星乌克兰研发中心)
提出了一种有效的循环神经网络训练算法。该方法提高了输入序列的长度可能显著变化的任务的训练速度。所提出的方法是基于最佳的批量分桶输入序列的长度和数据并行多个图形处理单元。将没有序列分桶的基线训练性能与针对不同数量的桶提出的解决方案进行比较。给出了使用LSTM循环神经网络的在线手写识别任务的示例。根据挂钟时间、epoch数和验证损失值执行评估。
2017-08-18 cs.LG cs.NE
Tackling Sequence to Sequence Mapping Problems with Neural Networks
在自然语言处理(NLP)中,重要的是检测两个序列之间的关系,或者在给定另一个观察序列的情况下生成标记序列。我们称之为序列对建模问题的类型为序列到序列(seq2seq)映射问题。大量的研究致力于寻找解决这些问题的方法,传统的方法依赖于手工制作的特征,对齐模型,分割算法和外部语言资源的组合。虽然这些传统的方法已经取得了很大的进展,但仍存在着各种缺点,如复杂的管道,费力的特征工程,以及领域自适应的困难。近年来,神经网络作为解决自然语言处理、语音识别和计算机视觉中许多问题的一种有前途的方法而出现。神经模型是强大的,因为它们可以端到端训练,很好地概括了看不见的例子,并且相同的框架可以很容易地适应新的领域。本论文的目的是推进神经网络在seq2seq映射问题中的应用。我们从三个主要方面探索解决方案:研究用于表示序列的神经模型,对序列之间的相互作用进行建模,以及使用未配对数据来提高神经模型的性能。对于每个方面,我们提出了新的模型,并评估其对seq2seq映射的各种任务的有效性。
2018-10-25 cs.AI cs.CL cs.LG
Continuous Neural Algorithmic Planners
University of Cambridge(剑桥大学);DeepMind(深度思维);Mila(米拉人工智能研究所);Université de Montréal(蒙特利尔大学)
神经算法推理研究的是神经网络的学习算法问题,特别是图结构。最近的一项提案XLVIN利用了在深度强化学习代理中使用模拟值迭代算法的图神经网络的好处。它允许无模型规划,而无需访问有关环境的特权信息,这通常是不可用的。然而,XLVIN只支持离散的动作空间,因此非常适用于现实世界感兴趣的大多数任务。我们通过离散化将XLVIN扩展到连续的动作空间,并评估了几种选择性扩展策略来处理大型规划图。我们的提案CNAP展示了神经算法推理如何在更高维的连续控制设置中产生可衡量的影响,例如MuJoCo,在低数据设置中带来收益并优于无模型基线。
2022-11-29 cs.AI cs.LG
Approximating Lipschitz continuous functions with GroupSort neural networks
Criteo(Criteo公司);Sorbonne Université(索邦大学)
对抗性攻击和Wasserstein GANs的最新进展提倡使用具有受限Lipschitz常数的神经网络。出于这些观察,我们研究了最近推出的GroupSort神经网络,限制的权重,并作出理论上的一步,更好地了解他们的表达能力。我们特别展示了这些网络如何表示任何Lipschitz连续分段线性函数。我们还证明了它们非常适合于近似Lipschitz连续函数,并且在深度和大小上都具有上界。总之,GroupSort网络与更标准的ReLU网络相比的效率在一组合成实验中得到了说明。
2021-02-08 cs.LG stat.ML
Probabilistic Querying of Continuous-Time Event Sequences
University of California, Irvine(加州大学欧文分校)
连续时间事件序列,即,由连续时间戳和相关事件类型(“标记”)组成的序列是具有许多应用的重要类型的顺序数据,例如,临床医学或用户行为建模。由于这些数据通常是自回归建模的(例如,使用神经Hawkes过程或它们的经典对应物),很自然地询问关于未来场景的问题,例如“接下来将发生什么类型的事件”或“$A$类型的事件将在$B$类型的事件之前发生吗“。不幸的是,这些查询中的一些非常难以解决,因为当前的方法仅限于简单的模拟,这可能是非常低效的。本文介绍了一种新的类型学的查询类型和解决他们使用重要性抽样的框架。示例查询包括预测序列中的$n^\text{th}$事件类型以及一个或多个事件类型的命中时间分布。我们还利用这些发现进一步适用于估计一般的“$A$之前$B$“类型的查询。我们从理论上证明了我们的估计方法总是有效地优于天真的模拟,并根据三个真实世界的数据集进行了经验证明,它的效率平均比现有方法高出1,000倍。
2022-11-15 cs.LG stat.ML
NLP4Neuro: Sequence-to-sequence learning for neural population decoding
Duke University(杜克大学)
本文提出 NLP4Neuro 框架,系统评估现成大语言模型从全脑神经群体解码行为,发现文本预训练权重和 DeepSeek Coder-7b 能显著提升解码准确率、长时程运动预测及可解释的神经元显著性读出。
2025-07-03 cs.LG q-bio.NC
An Algorithm for Approximating Continuous Functions on Compact Subsets with a Neural Network with one Hidden Layer
George Cybenko在1989年的里程碑式论文中指出,存在一个前馈神经网络,它只有一个隐藏层(和有限数量的神经元),可以任意逼近单位超立方体上给定的连续函数$f$。这篇论文没有讨论如何找到这样一个网络的权重/参数,或者找到它们在计算上是否可行。本文给出了一个具有一个隐层的神经网络重构任意连续标量或向量值连续函数的算法。
2019-02-10 cs.LG math.FA stat.ML
Graph-to-Sequence Learning using Gated Graph Neural Networks
University of Melbourne(墨尔本大学);Monash University(莫纳什大学)
许多NLP应用程序可以被构建为图到序列的学习问题。与基于语法的方法相比,以前提出这种设置的神经架构的工作获得了有希望的结果,但仍然依赖于线性化算法和/或标准递归网络来实现最佳性能。在这项工作中,我们提出了一个新的模型,编码的全部结构信息中包含的图形。我们的架构耦合最近提出的门控图神经网络与输入变换,允许节点和边缘有自己的隐藏表示,同时解决参数爆炸问题,目前在以前的工作。实验结果表明,我们的模型优于强基线生成AMR图和基于语法的神经机器翻译。
2018-06-26 cs.CL cs.LG
NLNDE at CANTEMIST: Neural Sequence Labeling and Parsing Approaches for Clinical Concept Extraction
Bosch Center for Artificial Intelligence(博世人工智能中心);Saarland University(萨尔大学);University of Sydney(悉尼大学)
临床信息的识别和标准化,如肿瘤形态的提及,是一个重要的,但复杂的过程,包括多个子任务。在本文中,我们描述了我们的系统CANTEMIST共享任务,它能够提取,规范化和排名ICD代码从西班牙电子健康记录使用神经序列标签和解析方法与上下文感知嵌入。我们最好的系统实现了85.3 F1,76.7 F1和77.0 MAP的三个任务,分别。
2020-10-23 cs.CL cs.LG
Deterministic Non-Autoregressive Neural Sequence Modeling by Iterative Refinement
New York University(纽约大学)
提出了一种基于迭代精化的条件非自回归神经序列模型。该模型基于隐变量模型和去噪自编码器的原理设计,一般适用于任何序列生成任务。我们广泛评估了所提出的模型对机器翻译(En-De和En-Ro)和图像字幕生成,并观察到它显着加快解码,同时保持生成质量相媲美的自回归对应。
2018-08-27 cs.CL cs.LG stat.ML
Instant One-Shot Word-Learning for Context-Specific Neural Sequence-to-Sequence Speech Recognition
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Carnegie Mellon University(卡内基梅隆大学)
神经序列到序列系统为自动语音识别(ASR)提供最先进的性能。当使用适当的建模单位时,例如,字节对编码的字符,这些系统原则上是开放的词汇系统。然而,在实践中,他们经常无法识别在训练期间没有看到的单词,例如,命名实体、数字或技术术语。为了缓解这个问题,我们补充了一个端到端的ASR系统与单词/短语的内存和访问该内存的机制,以正确地识别单词和短语。在ASR系统的训练之后,并且当它已经被部署时,可以立即添加或减去相关单词,而不需要进一步的训练。在本文中,我们证明了通过这种机制,我们的系统能够识别超过85%的新添加的单词,它以前没有识别相比,一个强大的基线。
2021-07-05 cs.CL cs.LG
Wearing a MASK: Compressed Representations of Variable-Length Sequences Using Recurrent Neural Tangent Kernels
Rice University(莱斯大学)
高维数据给数据的使用带来了许多挑战,从可视化和解释,到预测和历史保存的存储。减少固定长度序列的维数的技术比比皆是,但这些方法很少推广到可变长度序列。为了解决这一差距,我们扩展现有的方法,依赖于使用内核的可变长度的序列,通过使用递归神经切线内核(RNTK)。由于具有ReLu激活的深度神经网络是一个最大仿射样条算子(MASO),因此我们将我们的方法称为最大仿射样条核(MASK)。我们演示了如何MASK可以用来扩展主成分分析(PCA)和t分布随机邻居嵌入(t-SNE),并应用这些新算法来分离从二阶微分方程采样的合成时间序列数据。
2021-04-17 cs.LG eess.SP
C-RNN-GAN: Continuous recurrent neural networks with adversarial training
Chalmers University of Technology(查尔姆斯理工大学)
生成对抗网络已经被提出作为有效训练深度生成神经网络的一种方式。我们提出了一个生成式对抗模型,该模型适用于连续的序列数据,并通过在一组古典音乐上训练它来应用它。我们的结论是,随着模型的训练,它生成的音乐听起来越来越好,报告生成的音乐的统计数据,并让读者通过下载生成的歌曲来判断质量。
2016-11-29 cs.AI cs.LG
Continuous-Time Cloth Dynamics with Physics-Informed Neural ODEs
University of Glasgow(格拉斯哥大学)
研究人员提出ContinuousCloth,一种嵌入弹簧-质量ODE的连续时间物理信息神经求解器,其在布料动力学模拟中兼具高精度与高效性,还能提升插值和参数估计任务的鲁棒性。
2026-10-14 cs.LG cs.RO
Exponentially Consistent Statistical Classification of Continuous Sequences with Distribution Uncertainty
Space Information Research Institute, Hangzhou Dianzi University(杭州电子科技大学空间信息研究院);School of Cyber Science and Technology, Beihang University(北京航空航天大学网络空间科学与技术学院)
针对分布不确定的连续序列多分类问题,提出无分布检验方法,证明固定长度、序贯、两阶段三种检验的错误概率均指数衰减,并推广至含零假设的一般情形。
2024-10-29 cs.LG eess.SP stat.ML
Improving Neural Sequence Labelling using Additional Linguistic Information
University of Western Ontario(西安大略大学)
序列标记是指为数据序列分配分类标签的任务。在自然语言处理中,序列标记可以应用于各种基本问题,例如词性(POS)标记,命名实体识别(NER)和组块。在这项研究中,我们提出了一种方法来添加各种语言特征的神经序列框架,以改善序列标记。除了词级知识外,还增加了意义嵌入以提供语义信息。此外,添加了字符嵌入的选择性阅读,以捕获句子中每个单词的上下文和形态特征。与以前的方法相比,这些增加的语言特征使我们能够设计更简洁的模型并执行更有效的训练。我们提出的架构实现了最先进的结果的基准数据集的POS,NER和分块。此外,我们的模型的收敛速度显着优于以前的最先进的模型。
2018-07-27 cs.CL cs.LG
Multi-Scale One-Class Recurrent Neural Networks for Discrete Event Sequence Anomaly Detection
Michigan State University(密歇根州立大学)
离散事件序列是普遍存在的,例如在信息和通信技术系统中的过程交互的有序事件序列。近年来,人们越来越多地致力于用离散事件序列检测异常。然而,它仍然是一个非常困难的任务,由于一些固有的挑战,包括数据不平衡问题,事件的离散性,以及数据的连续性。为了解决这些挑战,在本文中,我们提出了OC4Seq,这是一种用于检测离散事件序列中异常的多尺度单类递归神经网络。具体来说,OC4Seq将异常检测目标与循环神经网络(RNN)集成,将离散事件序列嵌入到潜在空间中,在潜在空间中可以轻松检测异常。此外,考虑到异常序列可能是由单个事件、事件的连续性或整个序列引起的,我们设计了一个多尺度RNN框架来同时捕获不同级别的序列模式。在三个基准数据集上的实验结果表明,OC4Seq的性能始终大大优于各种代表性基线。此外,通过定量和定性分析,捕获多尺度序列模式的事件异常检测的重要性进行了验证。
2020-08-31 cs.LG stat.ML
A self-organizing fuzzy neural network for sequence learning
Shahid Beheshti University(沙希德贝赫什提大学);Amirkabir University of Technology(阿米爾卡比爾理工大學)
本文提出了一种新的自组织模糊神经网络模型,它能够准确地学习和再现不同的序列。序列学习对于完成技巧性任务很重要,比如写作和弹钢琴。该网络的结构由两部分组成:1-序列识别器,它根据序列的初始样本计算一个新的序列身份值,并根据适当的模糊规则检测序列身份; 2-序列定位器,它定位序列中的输入样本。因此,通过在模糊规则中整合这两个部分的输出,网络能够基于序列的当前状态产生适当的输出。为了学习所提出的结构,提出了一个渐进的学习过程。首先,学习是通过添加新的模糊规则,覆盖措施的基础上,使用可用的正确数据。然后,基于反馈的近似网络输出作为下一个输入,通过梯度下降算法对初始化参数进行微调。该方法具有动态结构,能够在线学习新的序列。所提出的方法是用来学习和再现不同的序列同时这是该方法的新颖之处。
2020-10-30 cs.LG cs.NE
Probabilistic Modeling for Sequences of Sets in Continuous-Time
University of California, Irvine(加利福尼亚大学欧文分校)
本文提出连续时间集合事件序列的概率建模框架,兼容神经点过程模型,并开发重要性采样方法高效回答概率查询,实验验证效率提升数量级。
2024-03-18 cs.LG stat.ML
Neural Integration of Continuous Dynamics
Massachusetts Institute of Technology(麻省理工学院)
神经动力系统是至少部分地由神经网络描述的动力系统。连续时间神经动力系统的类,但是,必须进行数值积分的模拟和学习。在这里,我们提出了一个紧凑的神经电路两个常见的数值积分器:显式固定步骤的龙格-库塔方法的任何顺序和半隐式/预测-校正亚当斯-Bashforth-Moulton方法。它们被建模为嵌入连续神经微分方程的恒定大小的递归网络,实现了完全神经的时间输出。使用动力系统的多项式类,我们证明了神经和数值积分的等价性。
2019-11-23 cs.LG cs.NA math.DS
A Neural Transducer
Google Brain(谷歌大脑);Google DeepMind(谷歌DeepMind);Open AI(开放人工智能)
序列到序列模型在各种任务上取得了令人印象深刻的结果。然而,它们不适合需要随着更多数据到达而进行增量预测的任务或具有长输入序列和输出序列的任务。这是因为它们生成一个以整个输入序列为条件的输出序列。在本文中,我们提出了一种神经传感器,它可以随着更多输入的到来而进行增量预测,而无需重新进行整个计算。与序列到序列模型不同,神经传感器根据部分观察到的输入序列和部分生成的序列计算下一步分布。在每个时间步长,换能器可以决定发射零到多个输出符号。可以使用编码器处理数据,并将其作为传感器的输入。在每个时间步长发出一个符号的离散决策使得传统的反向传播难以学习。然而,可以通过使用动态规划算法来训练换能器以生成目标离散决策。我们的实验表明,神经传感器在数据输入时需要产生输出预测的设置中工作良好。我们还发现,即使在不使用注意力机制的情况下,神经传感器也能很好地处理长序列。
2016-08-04 cs.CL cs.LG cs.NE
Neural Associative Memory for Dual-Sequence Modeling
DFKI(德国人工智能研究中心)
许多重要的NLP问题都可以作为双序列或序列到序列建模任务提出。构建端到端神经架构的最新进展在解决此类任务方面非常成功。在这项工作中,我们提出了一种新的架构,双序列建模,是基于联想记忆。我们推导出AM-RNN,一种增强通用递归神经网络(RNN)的递归联想记忆(AM)。这种架构被扩展到双AM-RNN,它同时在两个AM上运行。我们的模型在文本蕴涵方面取得了非常有竞争力的结果。定性分析表明,使用双AM-RNN可以有效地桥接源序列和目标序列之间的长程依赖关系。然而,自动编码的初步实验表明,当学习解决序列到序列任务时,系统没有利用这些好处,这表明需要额外的监督或正则化。
2016-06-14 cs.AI cs.CL cs.LG
Hybrid Data-Model Parallel Training for Sequence-to-Sequence Recurrent Neural Network Machine Translation
National Institute of Information and Communications Technology(信息通信研究机构)
减少训练时间是许多任务中的一个重要问题,例如涉及神经网络的专利翻译。数据并行和模型并行是在一台机器上使用多个图形处理单元(GPU)来减少训练时间的两种常见方法。本文提出了一种用于序列到序列(Seq 2Seq)循环神经网络(RNN)机器翻译的混合数据模型并行方法。我们将模型并行方法应用于Seq 2Seq模型的RNN编码器-解码器部分,并将数据并行方法应用于模型的attention-softmax部分。与使用1个GPU时的训练速度相比,使用4个GPU时,我们实现了4.13到4.20倍的速度提升,而不会影响机器翻译的准确性(以BLEU分数衡量)。
2019-09-09 cs.CL cs.DC cs.LG
Retrosynthetic reaction prediction using neural sequence-to-sequence models
Stanford University(斯坦福大学)
我们描述了一个完全数据驱动的模型,该模型学习执行逆合成反应预测任务,该任务被视为序列到序列映射问题。端到端训练模型具有由两个递归神经网络组成的编码器-解码器架构,该架构先前在解决其他序列到序列预测任务(如机器翻译)方面取得了巨大成功。该模型基于来自美国专利文献的50,000个实验反应示例进行训练,这些示例涵盖了药物化学家常用的10种广泛的反应类型。我们发现,我们的模型执行与基于规则的专家系统基线模型,并克服了某些限制与基于规则的专家系统和任何机器学习方法,包含一个基于规则的专家系统组件。我们的模型提供了一个重要的第一步,解决具有挑战性的问题,计算逆合成分析。
2017-06-06 cs.LG q-bio.QM stat.ML
Improving Coherence and Consistency in Neural Sequence Models with Dual-System, Neuro-Symbolic Reasoning
MIT(麻省理工学院);DeepMind;NYU(纽约大学);Facebook AI Research(Facebook人工智能研究院)
人类推理通常可以理解为两个系统之间的相互作用:直觉和联想(“系统1”)和深思熟虑和逻辑(“系统2”)。神经序列模型-在执行复杂的结构化任务方面越来越成功-展示了系统1的优势和失败模式:它们速度快,可以从数据中学习模式,但通常不一致和不连贯。在这项工作中,我们寻求一种轻量级的,无需训练的方法,通过添加System 2启发的逻辑推理来改进现有的System 1类序列模型。我们探讨了这个主题的几种变化,其中候选人的神经序列模型的逻辑一致性检查的符号推理模块,它可以接受或拒绝的代。我们的方法使用神经推理在神经系统1和逻辑系统2之间进行调解。结果表明,该方法可以提高基于神经的故事生成的一致性和准确性。
2021-12-15 cs.AI cs.CL cs.LG
Deriving Neural Architectures from Sequence and Graph Kernels
MIT Computer Science & Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室)
结构化对象的神经架构设计通常由实验见解而不是正式过程指导。在这项工作中,我们呼吁内核的组合结构,如序列和图形,以获得适当的神经操作。我们引入了一类深度递归神经操作,并形式化地描述了它们相关的核空间。我们的循环模块将输入与虚拟参考对象进行比较(参见。CNN中的滤波器)。与传统的神经操作类似,这些参考对象在端到端训练中被参数化并直接优化。我们根据经验评估了标准应用程序(如语言建模和分子图回归)上提出的神经架构类别,在这些应用程序中实现了最先进的结果。
2017-10-30 cs.CL cs.LG cs.NE
Translating Math Formula Images to LaTeX Sequences Using Deep Neural Networks with Sequence-level Training
Texas A&M University(得克萨斯农工大学)
在本文中,我们提出了一个深度神经网络模型,该模型具有编码器-解码器架构,可以将数学公式的图像转换为LaTeX标记序列。编码器是一个卷积神经网络(CNN),它将图像转换为一组特征图。为了更好地捕捉数学符号的空间关系,在将特征图展开为向量之前,使用2D位置编码来增强特征图。解码器是一个堆叠的双向长短期记忆(LSTM)模型,集成了软注意力机制,作为语言模型将编码器输出转换为LaTeX令牌序列。神经网络的训练分两步进行。第一步是使用最大似然估计(MLE)作为目标函数的令牌级训练。在令牌级训练完成后,基于强化学习的策略梯度算法,采用序列级训练目标函数来优化整体模型。我们的设计还通过在序列级训练期间关闭解码器中的反馈回路来克服曝光偏差问题,即,在每个时间步馈入所述预测令牌而不是所述地面实况令牌。该模型在IM 2LATEX-100 K数据集上进行训练和评估,并在基于序列和基于图像的评估指标上显示出最先进的性能。
2019-09-09 cs.CV cs.LG stat.ML
Point process models for sequence detection in high-dimensional neural spike trains
Stanford University(斯坦福大学);Columbia University(哥伦比亚大学)
稀疏的神经尖峰序列被认为是工作记忆、运动产生和学习的基础。以无监督的方式发现这些序列是统计神经科学中的一个长期问题。最近有希望的工作利用卷积非负矩阵分解模型来应对这一挑战。然而,该模型需要将尖峰时间离散化,利用次优最小二乘准则,并且不提供模型预测或估计参数的不确定性估计。我们通过开发一个点过程模型来解决这些缺点,该模型在单个尖峰的水平上表征精细尺度序列,并将序列发生表示为连续时间内的少量标记事件。这种序列事件的超稀疏表示为尖峰训练建模开辟了新的可能性。例如,我们引入可学习的时间规整参数来模拟不同持续时间的序列,这在神经电路中已经被实验观察到。我们证明了这些优势的实验录音鸣禽更高的声乐中心和啮齿动物海马。
2020-10-10 cs.LG q-bio.NC stat.ML
Sequence Transduction with Recurrent Neural Networks
University of Toronto(多伦多大学)
许多机器学习任务可以表示为输入序列到输出序列的转换--或\emph{transduction} --:语音识别,机器翻译,蛋白质二级结构预测和文本到语音,仅举几例。序列转换中的一个关键挑战是学习以一种对序列失真(如收缩、拉伸和平移)不变的方式来表示输入和输出序列。循环神经网络(RNN)是一种强大的序列学习架构,已被证明能够学习这种表示。然而,RNN传统上需要输入和输出序列之间的预定义对齐来执行转导。这是一个严重的限制,因为\emph{finding}的比对是许多序列转导问题中最困难的方面。实际上,即使是确定输出序列的长度也常常具有挑战性。本文介绍了一个端到端的概率序列转换系统,完全基于RNN,原则上能够将任何输入序列转换为任何有限的离散输出序列。音素识别的实验结果提供的TIMIT语音语料库。
2012-11-14 cs.LG cs.NE stat.ML
k-Nearest Neighbors by Means of Sequence to Sequence Deep Neural Networks and Memory Networks
Northwestern University(西北大学)
k-最近邻是最基本但最有效的分类模型之一。在本文中,我们提出了两个系列的模型建立在一个序列到序列模型和记忆网络模型来模仿k-最近邻模型,产生一个序列的标签,一个序列的样本外的特征向量和分类的最终标签,因此他们也可以作为过采样器。我们还提出了我们的模型的“核心外”版本,假设只有一小部分数据可以加载到内存中。计算实验表明,我们的模型在结构化数据集上的性能优于k-最近邻,前馈神经网络,XGBoost,lightGBM,随机森林和记忆网络,因为我们的模型必须产生额外的输出,而不仅仅是标签。在图像和文本数据集上,我们模型的性能接近许多最先进的深度模型。作为不平衡数据集上的过采样器,序列到序列kNN模型往往优于合成少数过采样技术和自适应合成采样。
2019-11-27 cs.AI cs.LG stat.ML
Improving Recurrent Neural Networks For Sequence Labelling
LaTTiCe (UMR 8094)(LaTTiCe实验室(UMR 8094));CNRS(法国国家科学研究中心);ENS Paris(巴黎高等师范学院);Université Sorbonne Nouvelle - Paris 3(索邦新巴黎第三大学);PSL Research University(PSL研究大学);USPC (Université Sorbonne Paris Cité)(索邦巴黎西岱大学)
在本文中,我们研究了不同类型的循环神经网络(RNN)的序列标记任务。我们提出了两种新的RNN变体,整合了序列标记的改进,并将它们与更传统的Elman和Jordan RNN进行了比较。我们比较所有的模型,无论是传统的还是新的,在四个不同的任务序列标签:两个口语语言理解(ATIS和媒体);和两个POS标记的法国树库(FTB)和宾夕法尼亚州树库(PTB)语料库。结果表明,我们的RNN新变体总是比其他变体更有效。
2016-06-08 cs.CL cs.LG cs.NE
Imputing Missing Events in Continuous-Time Event Streams
Johns Hopkins University(约翰斯·霍普金斯大学);Peking University(北京大学)
世界上的事件可能是由其他未观察到的事件引起的。我们考虑连续时间中的事件序列。给出了一个完整序列的概率模型,我们提出了粒子平滑-一种序列重要性采样-来估算不完整序列中的缺失事件。我们基于一种双向连续时间LSTM开发了一个可训练的建议分布族:双向性让建议以未来的观察为条件,而不仅仅是像粒子滤波那样以过去为条件。我们的方法可以对可能的完整序列(粒子)的集合进行采样,从中我们形成一个单一的共识预测,该预测在我们选择的损失度量下具有低贝叶斯风险。我们在多个合成和真实域中进行实验,使用不同的缺失机制,并使用神经Hawkes过程对每个域中的完整序列进行建模(Mei & Reynner 2017)。在不完整的序列上,我们的方法可以有效地推断出未观察到的地面实况事件,粒子平滑不断提高粒子滤波。
2019-05-14 cs.AI cs.LG stat.ML