Out-of-Support Generalisation via Weight-Space Sequence Modelling
University of Bristol（布里斯托大学）
通过权重空间序列建模方法，提升模型对超出训练集范围数据的泛化能力与预测可靠性。
2026-03-04 cs.LG
Recurrent Graph Tensor Networks: A Low-Complexity Framework for Modelling High-Dimensional Multi-Way Sequence
Department of Electrical and Electronic Engineering Imperial College London（帝国理工学院电子与电气工程系）；Imperial College London（帝国理工学院）
递归神经网络（RNN）是序列建模中最成功的机器学习模型之一，但在处理大型多维数据时，往往会遇到参数数量呈指数增长的问题。为此，我们开发了一个多线性图过滤器框架，用于近似RNN中隐藏状态的建模，该框架嵌入在张量网络架构中，以提高建模能力并降低参数复杂性，从而产生一种新的递归图张量网络（RGTN）。通过几个多路序列建模任务验证了所提出的框架，并以传统的RNN为基准。凭借图过滤器的域感知信息处理和张量网络的表达能力，我们表明，建议的RGTN不仅能够超越标准RNN，而且还减轻了与传统RNN相关的诅咒，在性能和复杂性方面表现出优越的性能。
2021-05-11 cs.LG stat.ML
Seq2Biseq: Bidirectional Output-wise Recurrent Neural Networks for Sequence Modelling
LIG（格勒诺布尔信息学实验室）；Lattice CNRS（法国国家科学研究中心Lattice实验室）；ALMAnaCH Inria（法国国家信息与自动化研究所ALMAnaCH）
在过去的几年中，循环神经网络（RNN）在大多数序列建模问题上都达到了最先进的性能。特别是，“序列到序列”模型和神经CRF已被证明是非常有效的，在这一领域。在这篇文章中，我们提出了一种新的RNN架构用于序列标记，利用门控递归层来考虑任意长的上下文，并使用两个向前和向后操作的解码器。我们比较了几个变种的建议的解决方案和他们的表现，以国家的最先进的。我们的大多数结果是优于国家的最先进的或非常接近它，并感谢使用最新的技术，我们的架构可以扩展语料库大于在这项工作中使用的。
2019-04-16 cs.CL cs.LG
Hybrid Neural Models For Sequence Modelling: The Best Of Three Worlds
LIG（格勒诺布尔信息学实验室）；Lattice CNRS（法国国家科学研究中心Lattice实验室）；ALMAnaCH Inria（法国国家数字科学技术研究所ALMAnaCH）
我们提出了一个神经架构，它具有过去几年最成功的神经模型的主要特征：双向RNN，编码器-解码器和Transformer模型。对三个序列标记任务的评估产生的结果是接近国家的最先进的所有任务，并优于它的一些，显示这种混合架构的这种任务的相关性。
2019-09-16 cs.LG stat.ML
RotRNN: Modelling Long Sequences with Rotations
UCL AI Centre（UCL人工智能中心）；UiPath London, UK（UiPath伦敦英国）
提出RotRNN线性循环模型，利用旋转矩阵简化初始化与归一化，在长序列基准上达到竞争性能。
2026-06-25 cs.LG stat.ML
Discriminative protein sequence modelling with Latent Space Diffusion
InstaDeep Ltd（英斯塔迪普公司）
提出潜在空间扩散架构，结合自编码器与扩散模型学习蛋白质表示，在判别任务上优于掩码语言模型基线，但不及掩码语言模型嵌入。
2025-03-24 cs.AI cs.LG
Reparameterized Multi-Resolution Convolutions for Long Sequence Modelling
University College London（伦敦大学学院）；Amazon（亚马逊）
针对长卷积训练难、易过拟合的问题，提出融合多分辨率卷积、结构重参数化与可学习核衰减的$\texttt{MRConv}$，在多任务上取得SOTA并提升ImageNet分类性能。
2024-08-18 cs.CV cs.LG
SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking
Stanford University（斯坦福大学）
本文提出 SequenceMatch，将自回归序列生成建模为模仿学习问题，并引入退格动作实现回溯，以缓解复合误差，在文本生成和算术任务上优于 MLE。
2024-05-06 cs.AI cs.LG
Tree Memory Networks for Modelling Long-term Temporal Dependencies
Queensland University of Technology（昆士兰科技大学）
在序列建模领域，递归神经网络（RNN）已经能够在各种应用领域取得令人印象深刻的结果，包括视觉问答，词性标注和机器翻译。然而，这种在短期依赖性建模方面的成功还没有成功地过渡到诸如轨迹预测之类的应用领域，这些应用领域需要捕获短期和长期关系。在本文中，我们提出了一个树记忆网络（TMN）的建模长期和短期的关系，在序列到序列的映射问题。所提出的网络结构由输入模块、控制器和存储器模块组成。与将记忆建模为历史状态序列的相关文献相比，我们将记忆建模为递归树结构。该结构使用其分层结构更有效地捕获跨短期和长期序列的时间依赖性。我们证明了建议的TMN的有效性和灵活性，在两个实际问题，飞机轨迹建模和行人轨迹建模的监视设置，并在这两种情况下，我们优于目前的国家的最先进的。此外，我们对存储模块内容随时间的演变进行了深入分析，并提供了有关建议的TMN如何能够映射长期和短期的可视证据通过层次结构有效地建立术语关系。
2018-05-20 cs.CV cs.LG cs.NE
Imputer: Sequence Modelling via Imputation and Dynamic Programming
Google Research（谷歌研究院）；The D. E. Shaw Group（D. E. Shaw集团）
本文介绍了输入，神经序列模型，通过插补迭代生成输出序列。输入器是一个迭代生成模型，只需要恒定数量的生成步骤，与输入或输出令牌的数量无关。输入器可以被训练为在输入和输出序列之间的所有可能的比对以及所有可能的生成顺序上近似边缘化。我们提出了一个易于处理的动态规划训练算法，它产生一个下界的对数边际似然。当应用于端到端语音识别时，输入器优于先前的非自回归模型，并达到与自回归模型竞争的结果。在LibriSpeech测试中，Imputer达到11.1 WER，优于CTC的13.0 WER和seq2seq的12.5 WER。
2020-04-22 cs.CL cs.LG cs.SD
Seq-U-Net: A One-Dimensional Causal U-Net for Efficient Sequence Modelling
Queen Mary University of London（伦敦玛丽女王大学）；Spotify London（Spotify伦敦公司）
具有扩张滤波器的卷积神经网络（CNN），例如Wavenet或时间卷积网络（TCN），在各种序列建模任务中显示出良好的结果。然而，在这些序列中有效地建模长期依赖性仍然具有挑战性。虽然这些模型的感受野随层数呈指数增长，但计算每层中非常长的特征序列的卷积是时间和内存密集型的，禁止在实践中使用较长的感受野。为了提高效率，我们使用“慢特征”假设，即许多感兴趣的特征随着时间的推移而缓慢变化。为此，我们使用了一个U-Net架构，它在多个时间尺度上计算特征，并通过使卷积成为因果关系来适应我们的自回归场景。我们将我们的模型（“Seq-U-Net”）应用于各种任务，包括语言和音频生成。与TCN和Wavenet相比，我们的网络始终节省内存和计算时间，特别是在音频生成实验中，训练和推理的速度提高了4倍以上，同时在所有任务中实现了相当的性能。
2019-11-14 cs.LG cs.SD eess.AS
Forward Attention in Sequence-to-sequence Acoustic Modelling for Speech Synthesis
University of Science and Technology of China（中国科学技术大学）
本文提出了一种用于语音合成的序列到序列声学建模的前向注意方法.该方法的动机是从音素序列到声学序列的单调对齐的性质。在每个解码器时间步长处仅考虑满足单调条件的对准路径。使用前向算法递归地计算每个时间步的修改的注意概率。进一步提出了一种用于前向注意的转移代理，该转移代理帮助注意力机制做出是向前移动还是停留在每个解码器时步的决策。实验结果表明，与基线注意力方法相比，前向注意力方法具有更快的收敛速度和更高的稳定性。此外，引入过渡代理的前向注意方法还有助于提高合成语音的自然度，有效地控制合成语音的速度。
2018-07-18 cs.CL cs.LG cs.SD
Modelling Temporal Document Sequences for Clinical ICD Coding
Imperial College London（伦敦帝国理工学院）；Transformative AI（变革性人工智能公司）
过去关于ICD编码问题的研究主要集中在基于出院小结预测临床编码。这只涵盖了每次住院期间生成的一小部分笔记，并通过分析所有可用的临床笔记来提高性能。我们提出了一个分层的Transformer架构，使用文本在整个序列的临床笔记在每个住院ICD编码，并结合嵌入文本元数据，如他们的位置，时间和类型的说明。虽然使用所有临床笔记会大大增加数据量，但超收敛可以用于降低训练成本。我们在MIMIC-III数据集上对模型进行了评估。当仅使用出院总结作为输入时，我们的模型超过了现有的最先进技术，并且当使用所有临床记录作为输入时，实现了进一步的性能改进。
2023-02-24 cs.AI cs.CL cs.LG
Intra-Day Price Simulation with Generative Adversarial Modelling of the Order Flow
University College London（伦敦大学学院）；Department of Computer Science University College London（伦敦大学学院计算机科学系）；Department of Computer Science（计算机科学系）
金融市场中的日内价格变动是由交易者以高频率提交的订单序列（称为订单流）驱动的。本文介绍了一种新的应用程序的序列生成对抗网络框架建模的订单流，这样的随机序列的订单流，然后可以生成模拟当天的价格变化。作为基准，从量化金融文献中选择一个著名的参数模型。对模型进行拟合，然后从每个模型中采样订单流序列的多个随机路径。模型的性能，然后通过使用生成的序列来模拟价格变化进行评估，我们比较了由生成的和真实的序列产生的价格变化之间的经验误差。考虑的实证检验包括价格对数收益率的分布，价格波动性和对数收益率分布的重尾。结果表明，从生成模型的订单序列能够更好地再现实际价格变化的统计行为比从基准序列。
2021-09-28 cs.LG q-fin.ST q-fin.TR
