Language Models as Semantic Augmenters for Sequential Recommenders
针对序列推荐中语义上下文不足影响性能的问题，提出由大语言模型驱动的LaMAR框架，通过少样本生成辅助语义信号增强序列，在基准任务中持续提升性能，为训练数据半自动创建提供新范式。
2025-10-20 cs.AI cs.CL
RetICL: Sequential Retrieval of In-Context Examples with Reinforcement Learning
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
针对上下文示例选择忽视依赖与顺序的问题，本文提出 RetICL，将顺序检索建模为马尔可夫决策过程并用强化学习训练检索器，在数学和科学任务上取得优于或持平基线的效果。
2024-04-16 cs.AI cs.CL cs.LG
Sequential Latent Knowledge Selection for Knowledge-Grounded Dialogue
Seoul National University（首尔国立大学）
基于知识的对话是一种基于话语语境和外部知识的信息反应的任务。由于我们专注于更好地建模的知识选择在多轮知识为基础的对话，我们提出了一个顺序的潜变量模型作为第一种方法来解决这个问题。序列知识Transformer（SKT）模型能够跟踪知识的先验分布和后验分布，不仅能够减少会话中知识选择的多样性所带来的歧义，而且能够更好地利用应答信息进行正确的知识选择。实验结果表明，该模型提高了知识选择的准确性，从而提高了话语生成的性能。我们在维基百科的向导上实现了新的最先进的性能（Dinan等人，2019年）作为最具规模和挑战性的基准之一。我们进一步验证了我们的模型在另一个基于知识的对话Holl-E数据集（Moghe等人，2018年）。
2020-06-16 cs.CL
Sequential Neural Networks for Noetic End-to-End Response Selection
DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团）
作为第七届对话系统技术挑战赛（DSTC 7）中的一个轨道，思维端到端响应选择挑战赛旨在推动现实世界目标导向对话系统的话语分类技术的发展，参与者需要从多轮上下文的一组候选者中选择正确的下一个话语。本文介绍了我们的系统，在这一挑战下，在两个数据集上都排名第一，一个是集中的小（Advising），另一个是更多样化的大（Ubuntu）。先前的最先进的模型使用基于层次（话语级和令牌级）的神经网络来显式地对不同话轮的话语之间的交互进行建模，以用于上下文建模。在本文中，我们研究了一个顺序匹配模型的基础上，只有链序列的多轮响应选择。我们的研究结果表明，顺序匹配方法的潜力还没有得到充分利用，在过去的多轮响应选择。除了在挑战中排名前1外，该模型在两个大规模公共多轮响应选择基准数据集上的表现优于所有以前的模型，包括最先进的基于层次的模型。
2020-03-03 cs.CL
Sequential Attention-based Network for Noetic End-to-End Response Selection
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
作为对话系统技术挑战7（DSTC 7）中的一个轨道的思维端到端响应选择挑战旨在推动现实世界目标导向对话系统的话语分类的最新技术水平，对于该对话系统，参与者需要从多轮上下文的一组候选者中选择正确的下一个话语。本文描述了我们的系统，在这一挑战下，我们的系统在两个数据集上都排名第一，一个是集中的小数据集（Advising），另一个是更多样化的大数据集（Ubuntu）。先前的最先进的模型使用基于层次（话语级和令牌级）的神经网络来显式地对不同话轮的话语之间的交互进行建模，以用于上下文建模。在本文中，我们研究了一个顺序匹配模型的基础上，只有链序列的多轮响应选择。我们的研究结果表明，顺序匹配方法的潜力还没有得到充分利用，在过去的多轮响应选择。除了在挑战中排名第一之外，所提出的模型优于所有以前的模型，包括最先进的基于层次的模型，并在两个大规模公共多回合响应选择基准数据集上实现了新的最先进的性能。
2019-11-19 cs.CL
Sequential Matching Network: A New Architecture for Multi-turn Response Selection in Retrieval-based Chatbots
State Key Lab of Software Development Environment, Beihang University（北京航空航天大学软件开发环境国家重点实验室）；Microsoft Research（微软研究院）；College of Computer and Control Engineering, Nankai University（南开大学计算机与控制工程学院）
我们研究了基于检索的聊天机器人中多轮对话的响应选择。现有的工作要么在上下文中连接话语，要么最终将响应与高度抽象的上下文向量匹配，这可能会丢失话语之间的关系或重要的上下文信息。我们提出了一个顺序匹配网络（SMN）来解决这两个问题。SMN首先在多个粒度级别上将响应与上下文中的每个话语进行匹配，并从每个对中提取重要的匹配信息作为具有卷积和池化操作的向量。然后，通过对话语之间的关系进行建模的循环神经网络（RNN）按时间顺序累积这些向量。最终的匹配分数是用RNN的隐藏状态计算的。在两个公开数据集上的实证研究表明，在多话轮会话中，SMN的响应选择性能明显优于现有的响应选择方法。
2017-05-15 cs.CL
Sequential Model Selection for Word Sense Disambiguation
词义消歧的统计模型通常基于少量的上下文特征或基于被假定为表征一组特征之间的相互作用的模型。模型选择作为这些方法的替代方案，在可能的模型进行顺序搜索，以找到最好的特征之间的相互作用的模型。本文扩展了现有的模型选择方法，并提出了第一次比较研究模型选择搜索策略和评价标准时，应用于建立概率分类词义消歧的问题。
1997-02-12 cmp-lg cs.CL
Sequential Topic Selection Model with Latent Variable for Topic-Grounded Dialogue
Huazhong University of Science and Technology（华中科技大学）；Pingan Property & Casualty Research（平安财产保险研究院）；Beijing Institute of Technology（北京理工大学）
近年来，基于话题的对话系统因其能够根据历史语境和给定的话题序列预测下一个话题从而获得更好的响应而受到广泛关注。然而，几乎所有现有的主题预测解决方案都只关注当前会话和相应的主题序列来预测下一个会话主题，而不利用可能包含与当前会话相关的主题转换的其他主题引导会话。为了解决这个问题，在本文中，我们提出了一种新的方法，命名为顺序全局主题注意力（SGTA），利用主题转换在所有的对话中，以一种微妙的方式，更好地建模后响应主题转换，并指导响应生成当前的对话。具体来说，我们引入了一个潜在空间建模为一个多元偏态分布与混合核函数，灵活地整合全球层面的信息与序列层面的信息，并预测的基础上的分布抽样结果的主题。我们还利用主题感知的先验-后验方法对预测主题进行二次选择，以优化响应生成任务。大量的实验表明，我们的模型在预测和生成任务上优于竞争基线。
2022-10-17 cs.CL
Building Sequential Inference Models for End-to-End Response Selection
National Engineering Laboratory for Speech and Language Information ProcessingUniversity of Science and Technology of China（中国科学技术大学语音及语言信息处理国家工程实验室）；iFLYTEK Research（科大讯飞研究）
本文提出了一个端到端的响应选择模型的第七届对话系统技术挑战赛（DSTC 7）的轨道1。这个任务的重点是从一组给定部分对话的候选者中选择正确的下一个话语。我们提出了一个端到端的神经网络的基础上，增强顺序推理模型（ESIM）的这项任务。我们提出的模型不同于原来的ESIM模型在以下四个方面。首先，采用一种新的词表示方法，该方法将一般的预训练词嵌入与在特定任务训练集上估计的词嵌入相结合，以解决词汇表外（OOV）词的挑战。其次，设计了一个注意分层递归编码器（AHRE），它能够分层编码句子，并通过聚合产生更多的描述性表示。第三，采用多维池化和最终状态池化相结合的新池化方法代替了原ESIM中最大池化和平均池化的简单组合。最后，在softmax层之前添加修改层，以强调上下文中最后一个话语的重要性，以进行响应选择。在DSTC 7发布的评估结果中，我们提出的方法在Ubuntu数据集上排名第二，在Track 1的子任务1中的Advising数据集中排名第三。
2018-12-03 cs.CL
A Sequential Matching Framework for Multi-turn Response Selection in Retrieval-based Chatbots
Beihang University（北京航空航天大学）；Microsoft Research（微软研究院）；NanKai University（南开大学）
我们研究了基于检索的聊天机器人中多轮对话的响应选择问题。该任务需要将响应候选与会话上下文进行匹配，其挑战包括如何识别上下文的重要部分，以及如何对上下文中的话语之间的关系进行建模。现有的匹配方法可能会丢失上下文中的重要信息，因为我们可以用统一的框架来解释它们，在该框架中，上下文被转换为固定长度的向量，而无需在匹配之前与响应进行任何交互。这一分析促使我们提出一种新的匹配框架，该框架能够充分携带上下文中的重要信息，同时对话语之间的关系进行匹配和建模。新的框架，我们称之为顺序匹配框架（SMF），让每个话语在上下文中的响应候选人在第一步进行交互，并将对匹配向量。然后，使用递归神经网络（RNN）按照上下文中的话语顺序累积匹配向量，该递归神经网络对话语之间的关系进行建模。最后用RNN的隐藏状态计算上下文响应匹配。在SMF下，我们提出了顺序卷积网络和顺序注意网络，并在两个公共数据集上进行了实验，以测试它们的性能。实验结果表明，这两种模型可以显着优于国家的最先进的匹配方法。我们还表明，这些模型是可解释的可视化，为我们提供了关于它们如何捕获和利用上下文中的重要信息进行匹配的见解。
2017-10-31 cs.CL
Skipping Word: A Character-Sequential Representation based Framework for Question Answering
Sogou Inc（搜狗公司）；Key Lab of Intelligent Information Processing of CAS（中国科学院智能信息处理重点实验室）；ICT（中国科学院计算技术研究所）
最近的作品使用基于词的分布式表示的人工神经网络极大地提高了各种自然语言学习任务的性能，特别是问答。虽然，他们也进行了一些随之而来的问题，如语料库的选择嵌入学习，字典变换不同的学习任务，在本文中，我们提出了直接建模的句子通过字符序列，然后利用卷积神经网络集成字符嵌入学习与逐点答案选择训练。与使用词嵌入（WE）策略预训练的深度模型相比，我们基于字符顺序表示（CSR）的方法在不同的基准测试中显示出更简单的过程和更稳定的性能。在两个基准答案选择数据集上的实验表明，与现有方法相比，该方法具有很好的性能。
2016-09-02 cs.CL
Towards Effective Multi-Task Interaction for Entity-Relation Extraction: A Unified Framework with Selection Recurrent Network
Tokyo Institute of Technology（东京工业大学）
实体-关系抽取旨在联合解决命名实体识别（NER）和关系抽取（RE）问题.最近的方法使用单向顺序信息传播的管道方式或双向隐式交互与共享编码器。然而，他们仍然遭受不良的信息交互，由于不同的任务形式之间的差距，净入学率和RE，提出了一个有争议的问题，是否RE是真的有利于净入学率。基于此，我们提出了一个新的和统一的级联框架，结合了顺序信息传播和隐式交互的优点。同时，通过将实体-关系抽取重新定义为统一的跨度抽取任务，消除了两个任务之间的鸿沟。具体而言，我们提出了一个选择递归网络作为共享编码器，以编码特定于任务的独立和共享的表示和设计两个顺序的信息传播策略，以实现顺序的信息流之间的NER和RE。大量的实验表明，我们的方法可以实现国家的最先进的结果，在两个共同的基准，ACE 05和SciERC，并有效地模拟多任务的相互作用，实现显着的互惠互利的NER和RE。
2022-02-15 cs.CL
Training for Fast Sequential Prediction Using Dynamic Feature Selection
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
我们提出了配对学习和推理算法，用于显着减少计算和提高分类器中向量点积的速度，这些分类器是许多NLP组件的核心。这是通过将特征划分为一系列模板来实现的，这些模板是有序的，使得通常仅使用所有特征的一小部分就可以达到高置信度。安排参数估计以最大化该序列中的准确度和早期置信度。我们在WSJ上进行了从左到右的词性标注实验，结果表明，我们可以保持97%以上的准确率，运行时间减少了五倍以上。
2014-12-19 cs.AI cs.CL
Sequential Sentence Matching Network for Multi-turn Response Selection in Retrieval-based Chatbots
Didi Chuxing（滴滴出行）
近年来，开放领域的多轮聊天机器人吸引了学术界和工业界许多研究人员的兴趣。主要的基于检索的方法使用上下文响应匹配机制进行多轮响应选择。具体地，现有技术的方法通过词或片段相似性来执行上下文响应匹配。然而，这些模型缺乏对中间层语义信息的充分利用，并且会犯一些人类很容易避免的简单错误。在这项工作中，我们提出了一个匹配网络，称为顺序句子匹配网络（S2M），使用的句子层次的语义信息来解决这个问题。首先，也是最重要的一点，我们发现，通过使用中间层语义信息，网络成功地解决了这个问题，并在匹配方面得到了显着的改进，从而获得了最先进的性能。此外，我们结合我们在这里介绍的句子匹配和目前文献中报道的常用词相似度匹配，在不同的语义层次上进行匹配。在三个公开数据集上的实验表明，这种集成进一步提高了模型的性能。
2020-05-16 cs.CL cs.LG
Diverse and Faithful Knowledge-Grounded Dialogue Generation via Sequential Posterior Inference
The Hong Kong University of Science and Technology（香港科技大学）；Salesforce Research（Salesforce研究院）
本文提出序列后验推理（SPI）框架，通过直接从后验分布近似采样联合优化知识选择与回复生成，无需推理网络或简单后验假设，并在两个对话数据集上取得优于强基线的自动与人工评估结果。
2023-08-05 cs.CL
A Sequential Model for Classifying Temporal Relations between Intra-Sentence Events
Texas A&M University（德克萨斯A&M大学）
我们提出了一个时序模型的句子内事件之间的时间关系分类。关键的观察是，事件之间的多词上下文的整体句法结构和成分意义对于区分细粒度的时间关系是重要的。具体来说，我们的方法首先提取一个序列的上下文单词，表明两个事件之间的时间关系，以及与两个事件提到之间的依赖路径对齐。然后，将上下文单词序列与对应于单词序列生成的词性标签序列和依赖关系序列一起作为输入提供给双向递归神经网络（LSTM）模型。神经网络学习围绕这两个事件的上下文的组合句法和语义表示，并预测它们之间的时间关系。在TimeBank语料库上对所提出的方法进行了评估，结果表明，序列建模能够准确地识别事件之间的时间关系，其性能优于使用各种离散特征作为输入的神经网络模型，该模型模仿了以前的基于特征的模型。
2017-07-23 cs.CL
Word2vec Skip-gram Dimensionality Selection via Sequential Normalized Maximum Likelihood
The University of Tokyo（东京大学）
在本文中，我们提出了一种新的信息准则为基础的方法来选择的维度的字2vec跳图（SG）。从概率论的角度出发，在假设词之间存在真实的上下文分布的前提下，SG被认为是一种隐含的概率分布估计。因此，我们应用信息准则，目的是选择最佳的维数，使相应的模型可以尽可能接近真实的分布。我们研究了以下信息标准的维度选择问题：赤池信息标准，贝叶斯信息标准，序列归一化最大似然（SNML）标准。SNML是在最小描述长度的基础上对数据序列进行顺序编码所需的总代码长度。将该方法应用于原始SG模型和SG负采样模型，以阐明使用信息准则的思想。此外，由于原始SNML存在计算上的缺点，我们引入了新的算法来提高计算效率。此外，我们的经验表明，SNML优于BIC和AIC。与其他词嵌入评价方法相比，SNML选择的维度更接近于词类比或词相似性任务的最优维度。
2020-08-25 cs.CL cs.LG stat.ML
Learning Dynamic Feature Selection for Fast Sequential Prediction
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
我们提出了成对的学习和推理算法，用于显着减少分类器中向量点积的计算并提高其速度，这些分类器是许多NLP组件的核心。这是通过将特征划分为一系列模板来实现的，这些模板是有序的，使得通常仅使用所有特征的一小部分就可以达到高置信度。安排参数估计以最大化该序列中的准确度和早期置信度。我们的方法比其他相关的级联方法更简单，更适合于NLP。我们目前的实验在左到右词性标注，命名实体识别，和过渡为基础的依存句法分析。在典型的基准测试数据集上，我们可以保持POS标记准确率高于97%，解析LAS高于88.5%，运行时间减少了五倍以上，NER F1高于88，速度提高了2倍以上。
2015-05-22 cs.CL cs.LG
Generating Descriptions for Sequential Images with Local-Object Attention and Global Semantic Context Modelling
Guangdong Ocean University（广东海洋大学）；University of Aberdeen（阿伯丁大学）；Tianjin University of Technology（天津理工大学）；Guangdong University of Technology（广东工业大学）
在本文中，我们提出了一个端到端的CNN-LSTM模型，用于生成具有本地对象注意力机制的序列图像的描述。为了生成连贯的描述，我们使用多层感知器捕获全局语义上下文，该感知器学习序列图像之间的依赖关系。一个可扩展的LSTM网络被用来解码序列描述。实验结果表明，我们的模型在微软发布的数据集上的三个不同的评估指标上优于基线。
2020-12-02 cs.CL cs.CV
Déjà vu: A Contextualized Temporal Attention Mechanism for Sequential Recommendation
University of Virginia（弗吉尼亚大学）
根据用户的历史行为序列预测用户的偏好是现代推荐系统的关键和挑战。现有的顺序推荐算法在建模历史事件对当前预测的影响时，大多关注顺序行为之间的过渡结构，而忽略了时间和上下文信息。在本文中，我们认为，过去的事件对用户的当前行动的影响应该随着时间的推移和不同的上下文。因此，我们提出了一个语境化的时间注意力机制，它学会权衡历史行动的影响，不仅是什么行动，而且行动何时以及如何发生。更具体地说，为了动态地校准来自自注意力机制的相对输入依赖性，我们部署了多个参数化核函数来学习各种时间动态，然后使用上下文信息来确定每个输入遵循这些重新加权核中的哪一个。在对两个大型公共推荐数据集的实证评估中，我们的模型始终优于一组广泛的最先进的顺序推荐方法。
2020-01-29 cs.CL cs.IR cs.LG
Sequential Attention: A Context-Aware Alignment Function for Machine Reading
Center for Data Science（数据科学中心）；New York University（纽约大学）
在本文中，我们提出了一个神经网络模型，它具有一个新的顺序注意层，通过为输入序列中的单词分配权重来扩展软注意力，这种方式不仅考虑了单词与查询的匹配程度，还考虑了周围单词的匹配程度。我们在阅读理解任务上（在谁做了什么和CNN数据集上）评估了这种方法，并表明它极大地提高了一个强大的基线-斯坦福阅读器-并且与最先进的水平竞争。
2017-06-26 cs.CL cs.LG
Sequential Dialogue Context Modeling for Spoken Language Understanding
Google Research（谷歌研究院）
口语语言理解是面向目标的对话系统的一个关键组成部分，它将用户的话语解析成语义框架表示。传统上，SLU不利用超出前一个系统回合的对话历史，上下文歧义由下游组件解决。在本文中，我们探讨了新的方法，在一个基于递归神经网络（RNN）的语言理解系统的对话上下文建模。我们提出了顺序对话编码器网络，它允许编码的时间顺序从对话历史的上下文。我们比较了我们提出的架构与两个上下文模型的性能，一个只使用前一个回合的上下文，另一个在记忆网络中编码对话上下文，但失去了对话历史中的话语顺序。多域对话数据集的实验表明，所提出的架构的结果在降低语义帧出错率。
2017-07-07 cs.AI cs.CL cs.LG
SPARC-RAG: Adaptive Sequential-Parallel Scaling with Context Management for Retrieval-Augmented Generation
University of Southern California（南加州大学）；Capital One
SPARC-RAG通过多代理框架实现顺序与并行扩展的协调，提升检索增强生成在多跳问答中的性能和效率。
2026-01-22 cs.AI cs.CL cs.IR
