Compositional generalization through meta sequence-to-sequence learning
New York University（纽约大学）
人们可以学习一个新的概念，并在组合中使用它，在学习如何“blicket”之后，理解如何“blicket twice”。相比之下，强大的序列到序列（seq2seq）神经网络无法通过这种组合性测试，特别是在将新概念与现有概念组合在一起时。在本文中，我展示了如何通过Meta seq2seq学习来训练记忆增强的神经网络进行组合概括。在这种方法中，模型对一系列seq2seq问题进行训练，以获得解决新seq2seq问题所需的组合技能。Meta se2seq学习解决了组合学习的几个SCAN测试，并且可以学习将隐式规则应用于变量。
2019-10-08 cs.AI cs.CL cs.LG
Foundations of Sequence-to-Sequence Modeling for Time Series
Google Research（谷歌研究院）；Massachusetts Institute of Technology（麻省理工学院）
大量时间序列数据的可用性，以及深度学习算法在广泛问题上的性能，最近引起了人们对使用序列到序列模型进行时间序列预测的极大兴趣。我们提供了这个时间序列预测框架的第一个理论分析。我们包括序列到序列建模与经典时间序列模型的比较，因此我们的理论可以作为从业者在不同建模方法之间选择的定量指南。
2019-02-26 cs.AI cs.LG stat.ML
No Length Left Behind: Enhancing Knowledge Tracing for Modeling Sequences of Excessive or Insufficient Lengths
Beijing University of Posts and Telecommunications（北京邮电大学）
针对知识追踪中过长序列计算成本高和过短序列易过拟合的问题，提出序列灵活知识追踪模型SFKT，以灵活建模不同长度序列。
2023-08-07 cs.AI
Meta-DiffuB: A Contextualized Sequence-to-Sequence Text Diffusion Model with Meta-Exploration
University of Washington（华盛顿大学）；Microsoft（微软公司）；Maxora AI；National Taiwan University（台湾大学）
本文提出Meta-DiffuB框架，通过元探索训练调度器为每个句子生成上下文化噪声，以改进序列到序列文本扩散模型，在多个基准上取得最优性能并支持即插即用增强DiffuSeq。
2024-10-17 cs.AI cs.CL cs.LG
From Word Sequences to Behavioral Sequences: Adapting Modeling and Evaluation Paradigms for Longitudinal NLP
本文提出纵向建模和评估范式，针对纵向研究中文档嵌套于作者且按时间顺序排列的行为序列，改进NLP流程的四个部分，展示传统方法的不足及改进效果。
2026-06-29 cs.AI cs.CL cs.LG
A Meta-Learning Perspective on Transformers for Causal Language Modeling
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文从元学习视角解析了Transformer在因果语言建模中的训练过程，通过阐明其内部优化机制，发现并理论分析了学习到的token表示范数的特殊特征，且得到了多设置实验的支持。
2024-03-25 cs.AI cs.CL cs.LG
Behavioral Sequence Modeling with Ensemble Learning
J.P. Morgan AI Research（摩根大通人工智能研究院）；Emory University（埃默里大学）
本文提出基于隐马尔可夫模型集成的序列建模框架，利用序列上下文优于聚合特征，实现轻量、可解释且高效的行为建模，并在纵向数据上验证了有效性。
2024-11-04 cs.AI cs.LG
Recasting Continual Learning as Sequence Modeling
Seoul National University（首尔大学）
本文将持续学习表述为序列建模问题，利用元持续学习（MCL）框架在元层级训练序列模型，并验证了Transformers及其高效变体在七个基准上作为通用MCL方法的有效性。
2024-01-14 cs.AI cs.LG
Model-Attentive Ensemble Learning for Sequence Modeling
University of Cambridge（剑桥大学）；University of Oxford（牛津大学）；The Alan Turing Institute（艾伦·图灵研究所）；UCLA（加州大学洛杉矶分校）
医学时间序列数据集具有独特的特征，这使得预测任务具有挑战性。最值得注意的是，患者轨迹通常包含其输入-输出关系中的纵向变化，通常称为时间条件性移位。设计能够适应这种时变分布的序列模型仍然是一个普遍存在的问题。为了解决这个问题，我们提出了用于序列建模的模型注意包围学习（MAES）。MAES是时间序列专家的混合体，它利用基于注意力的门控机制来专门化不同序列动态的专家，并自适应地加权他们的预测。我们证明，MAES显着优于流行的序列模型的数据集受时间转移。
2021-02-23 cs.AI cs.LG
Motif-Mamba: network motif improved mamba for long-range sequence modeling
Center for Excellence in Brain Science and Intelligence Technology, Chinese Academy of Sciences（中国科学院脑科学与智能技术卓越创新中心）
该研究提出融合网络基序的结构化状态空间模型Motif-Mamba，改进Mamba的对角状态转移限制，在长序列建模任务上性能优于原Mamba，为长程序列建模提供有效结构先验。
2026-08-04 cs.AI
Trellis Networks for Sequence Modeling
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for AI（博世人工智能中心）；Intel Labs（英特尔实验室）
我们提出了网格网络，一种新的结构序列建模。一方面，网格网络是一种具有特殊结构的时间卷积网络，其特征在于跨深度的权重绑定和将输入直接注入深层。另一方面，我们证明了截断递归网络等价于权矩阵具有特殊稀疏结构的网格网络。因此，具有一般权矩阵的网格网络推广了截断递归网络。我们利用这些连接来设计高性能的网格网络，从递归和卷积模型中吸收结构和算法元素。实验表明，网格网络在各种具有挑战性的基准测试中表现优于当前最先进的方法，包括单词级语言建模和字符级语言建模任务，以及旨在评估长期记忆保持的压力测试。该代码可在https://github.com/locuslab/trellisnet上获得。
2019-03-11 cs.AI cs.CL cs.LG
DeepExpress: Heterogeneous and Coupled Sequence Modeling for Express Delivery Prediction
Northwestern Polytechnical University（西北工业大学）；University of Technology Sydney（悉尼科技大学）
快递配送序列的预测，即，建模和估计每日进出包裹的递送量对于在线业务、物流和积极的客户体验，特别是对于资源分配优化和促销活动安排至关重要。对消费者交付请求的精确估计必须涉及诸如购物行为、天气条件、事件、商业活动及其耦合等顺序因素。此外，传统的层序预测假设层序演化是稳定的，无法解决上述多源数据中复杂的非线性层序和各种特征效应。尽管深度网络和注意力机制展示了复杂序列建模的潜力，但现有网络忽略了特征和序列之间的异构和耦合情况，导致预测准确性较弱。为了解决这些问题，我们提出了DeepExpress -一种基于深度学习的快递序列预测模型，它扩展了经典的seq 2seq框架，以学习序列和特征之间的复杂耦合。DeepExpress利用快递seq 2seq学习，精心设计的异构特征表示，以及新颖的联合训练注意力机制来自适应地映射异构数据，并捕获序列-特征耦合以进行精确估计。实验结果表明，该方法优于浅基线和深基线模型。
2021-08-18 cs.AI cs.LG
Offline Reinforcement Learning as One Big Sequence Modeling Problem
University of California at Berkeley（加州大学伯克利分校）
强化学习（RL）通常涉及估计静态策略或单步模型，利用马尔可夫特性及时分解问题。然而，我们也可以将RL视为一个通用的序列建模问题，其目标是产生一系列动作，从而产生一系列高回报。从这个角度来看，人们不禁要考虑，在其他领域（如自然语言处理）中运行良好的高容量序列预测模型是否也能为RL问题提供有效的解决方案。为此，我们探讨如何RL可以处理的工具，序列建模，使用Transformer架构的轨迹和重新利用束搜索作为规划算法的分布模型。将RL框架为序列建模问题简化了一系列设计决策，使我们能够省去离线RL算法中常见的许多组件。我们展示了这种方法在长期动态预测、模仿学习、目标条件强化学习和离线强化学习中的灵活性。此外，我们表明，这种方法可以与现有的无模型算法相结合，以产生一个国家的最先进的计划，在稀疏回报，长期任务。
2021-11-29 cs.AI cs.LG
Emergence of Abstract State Representations in Embodied Sequence Modeling
Brown University（布朗大学）；Google Research（谷歌研究院）
该研究针对具身序列建模是否涌现抽象状态表征的问题，在BabyAI环境中通过蒙眼导航任务开展探测实验，证实模型内部激活可重建中间环境布局，为序列建模在复杂具身决策中的应用提供了支撑。
2023-11-07 cs.AI cs.LG
Spectral Regularization: an Inductive Bias for Sequence Modeling
Tsinghua University（清华大学）；Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；CIFAR AI Chair（CIFAR人工智能讲席）
学习任务中各种形式的正则化都追求不同的简单性概念。本文提出了一种谱正则化技术，它附加了一个独特的归纳偏见的序列建模的基础上定义的乔姆斯基层次结构中的直观概念的简单性。从Hankel矩阵和正则文法之间的基本联系出发，我们提出使用Hankel矩阵的迹范数，其秩的最紧凸松弛，作为谱正则化子。针对Hankel矩阵是双无穷大矩阵的情况，提出了其迹范数的无偏随机估计。最后，我们展示了实验结果富田文法，表现出潜在的好处谱正则化和验证所提出的随机估计。
2022-11-04 cs.AI cs.CL cs.LG
Causality-Enhanced Behavior Sequence Modeling in LLMs for Personalized Recommendation
National University of Singapore（新加坡国立大学）；University of Science and Technology of China（中国科学技术大学）
针对大语言模型在个性化推荐中难以充分利用用户行为序列的问题，提出反事实微调方法，通过因果推理显式强化行为序列作用并结合令牌级加权机制，有效提升了推荐中的行为序列建模效果。
2024-10-30 cs.AI cs.IR
Decision Transformer: Reinforcement Learning via Sequence Modeling
UC Berkeley（加州大学伯克利分校）；Facebook AI Research（脸书人工智能研究院）；Google Brain（谷歌大脑）
我们介绍了一个框架，抽象的强化学习（RL）作为一个序列建模问题。这使我们能够利用Transformer架构的简单性和可伸缩性，以及语言建模（如GPT-x和BERT）的相关进步。特别是，我们提出了决策Transformer，一个架构，铸造的RL作为条件序列建模的问题。与先前的RL方法不同，该方法拟合价值函数或计算策略梯度，决策Transformer通过利用因果屏蔽的Transformer来简单地输出最佳动作。通过将期望回报（奖励）、过去状态和动作作为自回归模型的条件，我们的决策Transformer模型可以生成实现期望回报的未来动作。尽管简单，Decision Transformer在Atari、OpenAI Gym和Key-to-Door任务上的性能仍与最先进的无模型离线RL基线相匹配或超过。
2021-06-24 cs.AI cs.LG
Modeling Sequences as Distributions with Uncertainty for Sequential Recommendation
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Pinterest Inc.（拼趣公司）
用户交互中的顺序模式对于表示用户的偏好和捕获项目之间的潜在关系至关重要。最近Transformers在序列建模方面的进步促使社区为序列推荐设计更有效的编码器。大多数现有的顺序方法假设用户是确定性的。然而，项目-项目转换可能会在几个项目方面波动很大，并表现出用户兴趣的随机性。该\textit{stochastic characteristics}提出了在表示序列和项时包含不确定性的可靠需求。此外，对具有不确定性的序列和项目进行建模扩展了用户和项目的交互空间，从而进一步缓解了冷启动问题。在这项工作中，我们提出了一个基于分布的Transformer顺序推荐（DT 4SR），它注入不确定性的顺序建模。我们使用椭圆高斯分布来描述具有不确定性的项目和序列。我们将项目和序列中的不确定性描述为椭圆高斯分布。并采用Wasserstein距离来度量分布之间的相似性。我们设计了两个新的变压器建模的均值和协方差，这保证了正定性的分布。所提出的方法显着优于国家的最先进的方法。在三个基准数据集上的实验也证明了它在缓解冷启动问题方面的有效性。该代码可在https：//www.example.com上获得。github.com/DyGRec/DT4SR
2021-06-11 cs.AI cs.IR cs.LG
Designing Biological Sequences via Meta-Reinforcement Learning and Bayesian Optimization
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）
加速生物序列设计的能力可以对医学领域的进步产生重大影响。该问题可以被构造为全局优化问题，其中目标是昂贵的黑盒函数，使得我们可以查询受限于低轮数限制的大批量。贝叶斯优化是解决这个问题的一种原则性方法。然而，生物序列的天文数字般大的状态空间使得暴力迭代所有可能的序列是不可行的。在本文中，我们提出MetaRLBO，其中我们通过Meta-强化学习训练自回归生成模型，以通过贝叶斯优化提出有希望的序列进行选择。我们提出这个问题，找到一个最佳的政策，在分布的MDP引起的采样子集的数据采集在前几轮。我们的计算机模拟实验表明，这种集成的元学习提供了对奖励错误指定的鲁棒性，并实现了与现有强基线相比具有竞争力的结果。
2022-09-13 cs.AI cs.LG
Modeling Multi-interest News Sequence for News Recommendation
Qilu University of Technology (Shandong Academy of Sciences)（齐鲁工业大学（山东省科学院））
一种基于会话的新闻推荐系统，通过对用户在会话中阅读/点击的新闻序列中嵌入的潜在兴趣进行建模，向用户推荐下一个新闻。通常，用户的兴趣是多样的，即存在对应于不同类型的新闻的多个兴趣，例如，不同主题的新闻，在一个会话中。%对这种多重兴趣进行建模对于精确的新闻推荐至关重要。然而，大多数现有的方法通常忽略了这样的重要特性，从而无法区分和建模的用户的潜在的多种兴趣，阻碍了准确的推荐下一条新闻。因此，本文提出了多兴趣新闻序列（MINS）模型的新闻推荐。在MINS中，设计了一个基于自关注的新闻编码器，学习每一条新闻的信息嵌入，然后设计一个新的并行兴趣网络，提取新闻序列中潜在的多个兴趣，为后续的下一条新闻推荐做准备。在真实数据集上的实验结果表明，我们的模型可以实现比最先进的比较模型更好的性能。
2022-07-19 cs.AI cs.IR
Handling and Interpreting Missing Modalities in Patient Clinical Trajectories via Autoregressive Sequence Modeling
Brown University（布朗大学）
本文通过自回归序列建模方法处理医疗数据中缺失模态的问题，提出对比预训练目标并验证了其在MIMIC-IV和eICU数据集上的有效性，提升了模型可解释性。
2026-05-06 cs.AI cs.LG
Dendritic Resonate-and-Fire Neuron for Effective and Efficient Long Sequence Modeling
University of Electronic Science and Technology of China（电子科学与技术大学）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
针对长序列建模中RF神经元记忆容量有限及能效与训练速度权衡的问题，提出树突谐振-放电模型，利用多树突编码频带和自适应阈值机制，在保持精度的同时实现稀疏脉冲，适用于边缘平台。
2025-09-26 cs.AI cs.LG
Intensive Care as One Big Sequence Modeling Problem
Eindhoven University of Technology（埃因霍温理工大学）；Bundeswehr University Munich（慕尼黑联邦国防军大学）
本文提出“医疗保健作为序列建模”范式，将患者与医疗提供者的交互视为事件流，并构建MIMIC-SEQ基准以训练基线模型，验证通用模型在医疗任务中的潜力。
2024-05-24 cs.AI cs.LG
SOV-CAD: Stepwise Orthographic Views Guided CAD Modeling Sequence Reconstruction
School of Software Technology, Zhejiang University（浙江大学软件学院）；Zhejiang Key Laboratory of Digital-Intelligence Service Technology, Zhejiang University（浙江大学数字智能服务技术重点实验室）；ZWSOFT Co., Ltd.（ZWSOFT公司）
研究从图像重建CAD建模序列，引入逐步视觉监督，提出SOV-CAD框架将其作为序列决策任务，用离线强化学习及决策变压器架构，利用几何对齐奖励的视觉反馈，提升重建准确性与数据效率。
2026-09-25 cs.AI cs.CV
GRAB: An LLM-Inspired Sequence-First Click-Through Rate Prediction Modeling Paradigm
Baidu Inc.（百度公司）
GRAB通过引入因果动作感知多通道注意力机制，实现了在点击通过率预测上的性能提升，并在实际部署中实现了更高的收入和CTR。
2026-02-03 cs.AI cs.IR
UxSID: Semantic-Aware User Interests Modeling for Ultra-Long Sequence
Kuaishou Technology（快手科技）
本文提出UxSID框架，通过语义组共享兴趣记忆和双层注意力策略，实现高效且语义感知的超长用户序列建模，取得最佳性能并提升广告收益。
2026-10-12 cs.AI cs.IR cs.LG
Synthesizing Audio from Silent Video using Sequence to Sequence Modeling
Milwaukee School of Engineering（密尔沃基工程学院）
本文提出基于序列到序列模型和3D VQ-VAE从无声视频合成音频的方法，以提升声音多样性并应用于CCTV分析、无声电影修复等场景。
2024-04-25 cs.AI cs.CV cs.LG
