Improving Contextual ASR via Multi-grained Fusion with Large Language Models
School of Computer Science and Technology, Soochow University（计算机科学与技术学院，苏州大学）
针对端到端ASR模型难以识别上下文关键词的问题，提出一种结合大型语言模型的多粒度融合方法，联合词元级与短语级融合并采用后期融合策略，在中英文数据集上实现了关键词识别的最先进性能并保持了非关键词文本的高准确率。
2025-07-16 cs.AI cs.CL
Contextualized Sparse Representations for Real-Time Open-Domain Question Answering
Korea University（高丽大学）；University of Washington（华盛顿大学）；Clova AI NAVER（Naver Clova AI）；Allen Institute for AI（艾伦人工智能研究所）
开放域问答可以被描述为一个短语检索问题，在这个问题中，我们可以期待巨大的可扩展性和速度的好处，但由于现有短语表示模型的限制，往往遭受低准确性。在本文中，我们的目标是提高每个短语嵌入的质量，通过增强它与上下文稀疏表示（Sparc）。与先前的基于词频的稀疏向量（例如，tf-idf）或直接学习（只有几千维），我们利用校正的自我注意力来间接学习n元词汇空间中的稀疏向量。通过增强先前的短语检索模型（Seo等人，2019）与Sparc相比，我们在CuratedTREC和SQuAD-Open方面显示出4%以上的改进。我们的CuratedTREC分数甚至比最知名的检索和读取模型更好，推理速度至少快45倍。
2020-05-01 cs.CL cs.IR
Hyperbolic Relevance Matching for Neural Keyphrase Extraction
Beijing Jiaotong University（北京交通大学）
本文提出双曲匹配模型HyperMatch，将短语和文档嵌入同一双曲空间，用庞加莱距离估计相关性以解决关键词抽取中的信息表示与重要性判别问题，在六个基准上超越现有最优方法。
2023-12-21 cs.CL cs.IR
Phrase Retrieval for Open-Domain Conversational Question Answering with Conversational Dependency Modeling via Contrastive Learning
Korea Advanced Institute of Science Technology（韩国科学技术院）
本文提出基于短语检索的 ODConvQA 单阶段答案预测方法，并通过对比学习建模多轮会话依赖，在两个数据集上显著优于检索器-阅读器基线。
2023-06-07 cs.CL cs.IR cs.LG
A survey on phrase structure learning methods for text classification
文本分类是将文本自动分类到预定义的类别之一的任务。文本分类问题在自然语言处理、数据采掘和信息检索等领域得到了广泛的研究。文本分类是许多信息管理任务的重要组成部分，如主题识别，垃圾邮件过滤，电子邮件路由，语言识别，体裁分类，可读性评估等。当使用短语模式时，文本分类的性能显着提高。短语模式的使用有助于捕获非本地行为，从而有助于改进文本分类任务。短语结构提取是短语模式识别的第一步。本文对短语结构学习方法进行了详细的研究。这将使未来的工作在几个NLP任务，它使用语法检查，问答，信息抽取，机器翻译，文本分类等短语结构的语法信息。本文还对短语结构学习方法进行了不同层次的分类和详细的比较。
2014-06-21 cs.CL
Syntax Tree Constrained Graph Network for Visual Question Answering
Beijing Institute of Technology（北京理工大学）；Tongji University（同济大学）；DeepBlue Academy of Sciences（深兰科学院）
本文提出句法树约束图网络STCGN，通过从问题中提取句法树并结合实体消息传递机制，增强视觉问答中的语言理解与视觉特征细化，在VQA2.0上验证了其有效性。
2023-09-17 cs.AI cs.CV
Extracting Emotion Phrases from Tweets using BART
本文提出一种基于问答框架和BART模型的情感短语提取方法，通过分类器预测答案边界，实现了87%的最终损失和0.61的Jaccard分数，克服了传统方法忽略具体情感短语的缺陷。
2024-07-27 cs.CL cs.LG stat.AP
Phrase Retrieval Learns Passage Retrieval, Too
Princeton University（普林斯顿大学）；Korea University（高丽大学）
密集检索方法在一系列自然语言处理问题中显示出比稀疏检索方法更好的前景。其中，密集短语检索是最细粒度的检索单元，因为短语可以直接用作问答和槽填充任务的输出。在这项工作中，我们遵循的直觉，检索短语自然需要检索较大的文本块，并研究短语检索是否可以作为粗层次检索，包括段落和文件的基础。我们首先观察到，与段落检索器相比，密集短语检索系统在没有任何再训练的情况下已经实现了更好的段落检索准确度（前5名准确度为+3-5%），这也有助于以更少的段落实现卓越的端到端QA性能。然后，我们提供了一个解释，为什么短语级监督有助于学习更好的细粒度蕴涵相比，短语级监督，也表明，短语检索可以得到改善，以实现有竞争力的性能，在文档检索任务，如实体链接和知识为基础的对话。最后，我们展示了短语过滤和矢量量化如何将索引的大小减少4 - 10倍，使密集短语检索成为多粒度检索中实用且通用的解决方案。
2021-09-16 cs.CL cs.IR
E-BERT: A Phrase and Product Knowledge Enhanced Language Model for E-commerce
Rutgers University（罗格斯大学）；NEC Laboratories America, Inc.（NEC美国实验室公司）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
预先训练的语言模型，如BERT，在广泛的自然语言处理任务中取得了巨大的成功。然而，BERT由于缺乏两个层次的领域知识而不能很好地支持电子商业相关任务，即，短语级和产品级。一方面，许多电子商业任务需要对领域短语的准确理解，而这种细粒度的短语级知识并没有被BERT的训练目标明确地建模。另一方面，产品级知识，如产品关联，可以增强电子商业的语言建模，但他们不是事实知识，因此不加区别地使用它们可能会引入噪音。为了解决这个问题，我们提出了一个统一的预训练框架，即E-BERT。具体来说，为了保留短语级知识，我们引入了自适应混合掩码，它允许模型根据两种模式的拟合进度自适应地从学习初步单词知识切换到学习复杂短语。为了利用产品级知识，我们引入了Neighbor Product Reconstruction，它训练E-BERT通过去噪交叉注意层来预测产品的相关邻居。我们的调查显示，在四个下游任务，即，基于评论的问答、方面提取、方面情感分类和产品分类。
2021-12-17 cs.AI cs.CL cs.LG
Towards Combinational Relation Linking over Knowledge Graphs
Fudan University（复旦大学）；Wuhan University of Science and Technology（武汉科技大学）
给定一个自然语言短语，关系链接旨在从底层知识图谱中找到一个关系（谓词或属性）以匹配该短语。它在自然语言问答、个性化推荐、文本摘要等方面有着广泛的应用前景。然而，以前的关系链接算法通常为输入短语产生单个关系，而很少关注更一般和更具有挑战性的问题，即，组合关系链接，其提取子图模式以匹配复合短语（例如，mother-in-law）。本文主要研究知识图谱上的组合关系连接问题。为了解决这个问题，我们设计了一个系统的方法，基于数据驱动的关系组装技术，这是在Meta模式的指导下进行的。我们还引入了外部知识，以提高系统的理解能力。最后，我们在真实的知识图谱上进行了大量的实验，以研究所提出的方法的性能。
2019-10-24 cs.AI cs.CL
Question Answering Infused Pre-training of General-Purpose Contextualized Representations
University of Southern California（南加州大学）；Facebook AI Research（脸书人工智能研究院）
我们提出了一个基于问答（QA）的预训练目标，用于学习通用的上下文表示，其动机是一个短语在段落中的表示应该编码该短语可以在上下文中回答的所有问题。为此，我们训练了一个独立编码段落和问题的双编码器QA模型，以匹配8000万个合成QA对上更准确的交叉编码器模型的预测。通过对QA相关信息进行编码，双向编码器的令牌级表示对于非QA下游任务是有用的，而无需广泛的（或在某些情况下，任何）微调。我们在四个数据集上的zero-shot和few-shot释义检测、两个数据集上的Few-Shot命名实体识别和三个数据集上的zero-shot情感分析上都显示出了比Roberta大型和以前最先进的结果有很大的改进。
2022-03-16 cs.CL
FRASE: Structured Representations for Generalizable SPARQL Query Generation
Polytechnique Montreal（蒙特利尔理工学院）；Mila（米拉研究所）
本文提出FRASE方法，利用框架语义角色标注增强SPARQL查询生成，并构建LC-QuAD 3.0数据集，实验证明该方法在泛化场景下显著提升大型语言模型的生成性能。
2025-03-28 cs.AI cs.CL
Modeling Hierarchical Reasoning Chains by Linking Discourse Units and Key Phrases for Reading Comprehension
Shanghai Jiao Tong University（上海交通大学）
本文提出整体图网络（HGN），在话语和词级别建模层次关系，通过节点级和类型级交互机制提升机器阅读理解的逻辑推理能力，并在ReClor、LogiQA等数据集上验证了有效性。
2023-06-21 cs.CL cs.LG
Effects of Language Modeling on Speech-driven Question Answering
我们将自动语音识别（ASR）和问答（QA）结合起来，实现了一个语音驱动的问答系统，并对其性能进行了评价。我们采用一个N元语言模型来处理自然语言问题，这样我们的系统的输入就可以被识别出很高的准确度。我们针对的是由主题部分和用来询问某事的固定短语组成的WH-问句。我们首先产生一个通用的N-gram模型，用于识别主题并强调与固定短语相对应的N-gram的计数。给定ASR引擎的转录，QA引擎从目标文档中提取答案候选者。我们提出了一个通道检索方法对识别错误的转录鲁棒性。我们使用的QA测试集在NTCIR，这是一个TREC风格的评估工作坊，并通过实验表明我们的方法的有效性。
2004-07-10 cs.CL
Enhancing Answer Boundary Detection for Multilingual Machine Reading Comprehension
University of Electronic Science and Technology of China（电子科技大学）；Microsoft（微软）；Microsoft Research Asia（微软亚洲研究院）
多语言预训练模型可以利用来自丰富源语言（如英语）的训练数据来提高低资源语言的性能。然而，多语言机器阅读理解（MRC）的迁移质量明显低于句子分类任务，这主要是由于MRC需要检测单词级别的答案边界。在本文中，我们提出了两个辅助任务，在微调阶段，以创建额外的短语边界监督：（1）混合MRC任务，将问题或段落翻译到其他语言，并建立跨语言的问题-段落对;（2）语言无关的知识掩蔽任务，利用知识挖掘的短语从Web。此外，在两个跨语言MRC数据集上的大量实验表明了该方法的有效性。
2020-05-08 cs.AI cs.CL
Bridging the Training-Inference Gap for Dense Phrase Retrieval
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Korea University（高丽大学）；Meta AI；Google Research（谷歌研究院）；Apple（苹果公司）
构建密集的检索器需要一系列标准程序，包括训练和验证神经模型，以及创建索引以实现高效搜索。然而，这些程序往往是不一致的，训练目标并不完全反映检索场景在推理时间。在本文中，我们探讨了如何减少稠密检索中训练和推理之间的差距，重点是密集短语检索（Lee等人，2021年），其中数十亿的表示在推理时被索引。由于验证每一个密集检索与大规模的索引实际上是不可行的，我们提出了一个有效的方法来验证密集检索使用整个语料库的一个小的子集。这使我们能够验证各种训练策略，包括统一对比损失术语和使用硬否定词进行短语检索，这在很大程度上减少了训练-推理的差异。实验结果表明，在开放领域问答中，我们将前1短语的检索准确率提高了2~3个点，前20段落的检索准确率提高了2~4个点。我们的工作敦促建模密集检索仔细考虑的训练和推理，通过有效的验证，同时推进短语检索作为稠密检索的一般解决方案。
2022-10-25 cs.CL cs.IR cs.LG
ComQA:Compositional Question Answering via Hierarchical Graph Neural Networks
Sogou Inc.（搜狗公司）；Tsinghua University（清华大学）
随着深度学习技术和大规模数据集的发展，问答系统得到了快速的改进，能够提供更准确、更令人满意的答案。然而，当前的QA系统要么关注于测试级答案，即，答案选择或短语级答案，即，机器阅读理解。如何产生组合的答案还没有得到全面的研究。在组合式问答中，系统需要从文档中收集多个支持证据来生成最终答案，这比句子级或短语级QA更困难。在本文中，我们提出了一个大规模的组合问答数据集包含超过120k人类标记的问题。此数据集中的答案由相应文档中的不连续句子组成。为了解决ComQA问题，我们提出了一个分层的图神经网络，它表示从低级别的词到高级别的句子的文档。我们还设计了一个问题选择和节点选择任务的预训练。我们提出的模型实现了显着的改进，以前的机器阅读理解方法和预训练方法。代码和数据集见\url{https://github.com/benywon/ComQA}。
2021-01-16 cs.CL
Conversational QA Dataset Generation with Answer Revision
Graduate School of Artificial Intelligence（人工智能研究生院）；POSTECH（浦项科技大学）；Computer Science and Engineering（计算机科学与工程系）
会话问答生成是一个基于输入段落自动生成大规模会话问答数据集的任务。在本文中，我们介绍了一种新的框架，提取值得提问的短语从一个通道，然后生成相应的问题，考虑以前的对话。特别是，我们的框架在生成问题后修改了提取的答案，以便答案与配对问题完全匹配。实验结果表明，我们的简单的答案修正方法导致显着提高合成数据的质量。此外，我们证明了我们的框架可以有效地利用会话问答的领域自适应。
2022-09-23 cs.AI cs.CL
Salient Phrase Aware Dense Retrieval: Can a Dense Retriever Imitate a Sparse One?
Meta AI
尽管其最近的流行和众所周知的优势，密集检索器仍然落后于稀疏的方法，如BM 25在其可靠地匹配查询中的突出短语和罕见的实体，并推广到域外数据的能力。有人认为，这是密集模型的固有局限性。我们反驳这种说法，通过引入显着短语感知检索器（SPAR），一个密集的检索与词汇匹配能力的稀疏模型。我们证明了一个稠密的词汇模型Λ可以被训练来模仿一个稀疏的词汇模型，SPAR是通过用Λ来增强一个标准的稠密检索器来构建的。从经验上看，SPAR在一系列任务上表现出卓越的性能，包括五个问答数据集，MS MARCO段落检索，以及用于域外评估的BattletyQuestions和BEIR基准，超过了最先进的密集和稀疏检索器的性能。SPAR的代码和型号可在以下网址获得：https://github.com/facebookresearch/dpr-scale/tree/main/spar
2022-11-11 cs.CL cs.IR cs.LG
Question-Aware Sentence Gating Networks for Question and Answering
Korea University（高丽大学）；NCSOFT
机器理解问答是对给定段落的问题找到答案，它涉及理解和跟踪文档中各种语义单元（如单词、短语和句子）的相关内容的高级推理过程。本文提出了一种新的问题感知句子门控网络，它直接将句子级信息纳入单词级编码过程。为此，我们的模型首先学习问题感知的句子表示，然后动态地将它们与单词级表示相结合，从而为QA任务提供语义上有意义的单词表示。实验结果表明，我们的方法一致地提高了现有的基线方法在各种QA数据集的准确性，并承担其他神经网络的QA模型的广泛适用性。
2018-07-20 cs.AI cs.CL
OKGIT: Open Knowledge Graph Link Prediction with Implicit Types
Indian Institute of Science（印度科学学院）
开放知识图谱（OpenKG）是指使用OpenIE工具从语料库中提取的一组（中心名词短语、关系短语、尾名词短语）三元组，例如（tesla，return to，new york）。虽然OpenKG很容易为某个领域引导，但它们非常稀疏，远不能直接用于最终任务。因此，预测新事实的任务，即，当在诸如文本理解、问答和web搜索查询推荐的下游任务中使用这些图时，链接预测成为重要的步骤。OpenKG的学习嵌入是链接预测的一种方法，最近受到了一些关注。然而，在仔细检查，我们发现，目前的OpenKG链接预测算法往往预测名词短语（NP）与不兼容的类型为给定的名词和关系短语。我们在这项工作中解决这个问题，并提出OKGIT，提高OpenKG链接预测使用新的类型兼容性得分和类型正则化。通过在多个数据集上的大量实验，我们证明了所提出的方法在链接预测任务中产生类型兼容的NP的同时实现了最先进的性能。
2021-06-24 cs.CL
Method of noun phrase detection in Ukrainian texts
导论.自然语言处理领域考虑使用传统算法操作无法解决的人工智能完成的任务。这样的任务通常通过使用机器学习方法和计算机语言学手段来实现。文本的预处理任务之一是名词短语的搜索。该任务的准确性对自然语言处理领域的许多其他任务的有效性具有影响。尽管在自然语言处理领域的研究积极发展，但在乌克兰文本中搜索名词短语的调查仍处于早期阶段。结果分析了名词短语检测的不同方法。将句子表示为树结构的方便性已经得到证明。许多名词短语检测方法的主要缺点是其检测效果严重依赖于特定语言的特征。考虑到句子处理的统一格式以及乌克兰语文本句子树构建的训练模型的可用性，选择了Universal Dependency模型。提出了利用普遍依赖方法和命名实体识别模型检测乌克兰语文本中名词短语的复杂方法。乌克兰新闻语料库上的建议方法的有效性进行了实验验证。计算了方法准确度的不同指标。结论.所得到的结果可以表明，建议的方法可以用来找到乌克兰语文本中的名词短语。通过根据主题区域使用适当的命名实体识别模型，可以提高该方法的准确性。
2020-10-22 cs.CL
Geographic Question Answering: Challenges, Uniqueness, Classification, and Future Directions
University of California Santa Barbara（加州大学圣巴巴拉分校）
问答（QA）是人工智能的重要组成部分，其目的是对用自然语言表达的问题生成答案。虽然在开放域问答方面已经取得了实质性的进展，但是QA系统仍然在努力回答涉及地理实体或概念并且需要空间操作的问题。本文讨论了地理问答问题。本文首先通过分析地理问题的挑战性来探讨地理问题难答的原因。我们讨论了地理问题的独特性相比，一般的QA。然后，我们回顾现有的工作GeoQA和分类的问题，他们可以解决的类型。在此基础上，我们提供了一个通用的地理问题的分类框架。最后，我们总结了我们的工作，指出独特的未来研究方向GeoQA。
2021-05-19 cs.AI cs.CL
Automatic Rule Extraction from Long Short Term Memory Networks
UC Berkeley（加州大学伯克利分校）；Facebook AI Research（Facebook人工智能研究院）
虽然深度学习模型已被证明在解决自然语言处理中的问题方面是有效的，但它们得出结论的机制往往不清楚。因此，这些模型通常被视为黑箱，无法洞察潜在的学习模式。在本文中，我们考虑了长短期记忆网络（LSTM），并展示了一种新的方法，用于跟踪给定输出的LSTM输入的重要性。通过识别一致的重要模式的话，我们能够提炼出最先进的LSTM的情感分析和问答到一组代表性的短语。然后，通过使用提取的短语来构建一个简单的、基于规则的分类器来定量验证这种表示，该分类器近似于LSTM的输出。
2017-02-24 cs.AI cs.CL cs.NE
CPR: Leveraging LLMs for Topic and Phrase Suggestion to Facilitate Comprehensive Product Reviews
Walmart Global Technology（沃尔玛全球技术）
本文提出CPR方法，利用大语言模型和主题建模引导用户撰写全面产品评论，通过三阶段流程提供术语评分和短语建议，在沃尔玛数据集上BLEU分数提升12.3%。
2025-04-18 cs.AI cs.IR cs.LG
A Real World Implementation of Answer Extraction
在本文中，我们描述ExtrAns，答案提取系统。答案提取（AE）的目的是检索文档中直接回答给定用户问题的确切段落。AE比信息检索和信息抽取更有野心，因为检索结果是短语，而不是整个文档，并且查询可以是任意特定的。它没有成熟的问答那么雄心勃勃，因为答案不是从知识库中生成的，而是在文档的文本中查找的。当前版本的ExtrAns能够解析未编辑的Unix“手册页”，并导出其句子的逻辑形式。用户查询也被转换成逻辑形式。然后，定理证明器检索相关的短语，这些短语通过在上下文中选择性地突出显示来呈现。
2000-01-14 cs.CL
Object Ordering with Bidirectional Matchings for Visual Reasoning
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
具有组合自然语言指令的视觉推理，例如，基于最新发布的Cornell自然语言视觉推理（NLVR）数据集的模型是一项具有挑战性的任务，其中模型需要具有在不同短语和以复杂排列放置在图像中的若干对象之间创建准确映射的能力。此外，这个映射需要被处理以回答语句中的问题，给定对象在三个相似图像上的顺序和关系。在本文中，我们提出了一种新的端到端的NLVR任务的神经模型，我们首先使用联合双向注意建立一个双向的条件反射之间的视觉信息和语言短语。接下来，我们使用基于RL的指针网络对三个图像中的每个图像中不同数量的无序对象进行排序和处理（以便匹配语句短语的顺序），然后将三个决策集中起来。我们的模型在数据集的结构化表示和原始图像版本上都比最先进的模型有了很大的改进（绝对值为4-6%）。
2018-09-06 cs.AI cs.CL cs.CV
Consistency of Compositional Generalization across Multiple Levels
Beijing Institute of Technology（北京理工大学）；Shenzhen MSU-BIT University（深圳北理莫斯科大学）；Zhejiang University（浙江大学）
针对跨多个新组合层级的组合泛化一致性问题，提出基于元学习的框架，通过多级优化由简到繁逐步学习组合，并构建GQA-CCG数据集验证了其有效性。
2024-12-18 cs.AI cs.CV
Answering Complicated Question Intents Expressed in Decomposed Question Sequences
University of Maryland, College Park（马里兰大学大学公园分校）；Microsoft Research（微软研究院）
最近的问答语义解析工作集中在长而复杂的问题上，其中许多问题如果在两个人之间的正常对话中被问到，似乎是不自然的。在努力探索会话QA设置，我们提出了一个更现实的任务：回答简单但相互关联的问题序列。我们从维基百科收集了6，066个询问半结构化表格的问题序列的数据集，总共有17，553个问答对。在我们的数据集上进行评估时，现有的QA系统面临两个主要问题：（1）处理包含对先前问题或答案的共引用的问题，以及（2）将问题中的单词或短语与关联表中的相应条目进行匹配。最后，我们提出了处理这两个问题的战略。
2016-11-04 cs.CL
Phraseformer: Multimodal Key-phrase Extraction using Transformer and Graph Embedding
University of Tabriz（大不里士大学）；Ayvansaray University（艾万萨雷大学）
背景：关键词抽取是自然语言处理领域的一个热门研究课题。关键字是描述文档中最相关信息的术语。如何高效、准确地从文档中提取核心关键词是研究者面临的主要问题。然而，以前的关键词提取方法都利用了文本和图形特征，缺乏能够正确学习和以最佳方式组合这些特征的模型。方法：在本文中，我们开发了一个多模态的关键短语提取方法，即Phraseformer，使用Transformer和图形嵌入技术。在Phraseformer中，每个关键词候选都由一个向量表示，该向量是文本和结构学习表示的串联。Phraseformer利用了最近的研究，如BERT和ExEm的优点，以保持这两种表示。此外，Phraseformer将关键短语提取任务视为使用分类任务解决的序列标记问题。结果：我们通过F1-score分析了Phraseformer在Inspec，SemEval 2010和SemEval 2017三个数据集上的性能。此外，我们还研究了不同分类器在Inspec数据集上对Phraseformer方法的性能。实验结果证明了Phraseformer方法在三个数据集上的有效性。此外，随机森林分类器在所有分类器中获得最高的F1分数。结论：BERT和ExEm的结合更有意义，更能表征词语的语义。因此，Phraseformer显著优于单模态方法。
2021-06-09 cs.AI cs.CL cs.LG
Ellipsis Resolution as Question Answering: An Evaluation
University of Copenhagen（哥本哈根大学）；Stanford University（斯坦福大学）；Copenhagen Business School（哥本哈根商学院）
大多数，如果不是所有形式的省略号（例如，玛丽也是一样）类似于阅读理解问题（玛丽做什么），为了解决它们，我们需要在前面的话语中确定一个适当的文本跨度。根据这一观察，我们提出了一种替代方法，英语省略号的解决方案依赖于问答（QA）开发的架构。我们提出了单任务模型，以及在辅助QA和共指消解数据集上训练的联合模型，明显优于当前最先进的水闸省略（从70.00到86.01 F1）和动词短语省略（从72.89到78.66 F1）。
2021-01-19 cs.CL
Exploring the Role of Logically Related Non-Question Phrases for Answering Why-Questions
IIIT-Hyderabad（海得拉巴国际信息技术学院）；IBM Research（IBM研究院）
在本文中，我们表明，某些短语，虽然不存在于一个给定的问题/查询，在回答问题中发挥了非常重要的作用。探索这些短语在回答问题中的作用不仅减少了对用于提取答案的匹配问题短语的依赖，而且提高了所提取答案的质量。这里匹配问题短语是指在给定问题和候选答案中共同出现的短语。为了实现上述讨论的目标，我们引入了一个基于bigram的词图模型填充在给定的文档中的术语的语义和主题相关性。接下来，我们应用一种改进的基于先验的方法进行排名，该方法将候选文档中的所有单词相对于一组根词（即问题和候选文档中存在的非停用词）进行排名。因此，与词根词逻辑相关的术语的得分高于与词根词不相关的术语。实验结果表明，我们设计的系统比国家的最先进的回答为什么问题的任务。
2013-03-29 cs.CL cs.IR
Visual Coreference Resolution in Visual Dialog using Neural Module Networks
Facebook AI Research（脸书人工智能研究院）；Carnegie Mellon University（卡内基梅隆大学）；Georgia Institute of Technology（佐治亚理工学院）
可视化对话需要回答一系列基于图像的问题，使用对话历史作为上下文。除了在可视问答（VQA）中发现的挑战（可以被视为一轮对话）之外，可视对话还包括更多的挑战。我们专注于一个这样的问题，称为视觉共指消解，涉及到确定哪些词，通常是名词短语和代词，共指同一个实体/对象实例中的图像。这是至关重要的，尤其是对于代词（例如，“it”），因为对话代理必须首先将其链接到先前的共指（例如，“boat”），只有这样才能依靠共指“boat”的视觉基础来推理代词“it”。先前的工作（在视觉对话）模型视觉共指消解要么（a）隐式地通过历史上的记忆网络，或（b）在一个粗略的水平为整个问题;而不是显式地在一个短语的粒度级别。在这项工作中，我们提出了一个神经模块网络架构的视觉对话，通过引入两个新的模块-参考和参考-执行明确的，接地，共指消解在一个更精细的字的水平。我们证明了我们的模型在MNIST Dialog上的有效性，MNIST Dialog是一个视觉上简单但相互引用的复杂数据集，通过实现近乎完美的准确性，VisDial是一个大型且具有挑战性的真实图像视觉对话数据集，我们的模型优于其他方法，并且更具可解释性，接地，定性一致。
2018-09-06 cs.AI cs.CL cs.CV
Clickbait Spoiling via Question Answering and Passage Retrieval
Martin-Luther-Universität Halle-Wittenberg（马丁·路德·哈勒-维腾贝格大学）；Leipzig University（莱比锡大学）
我们介绍和研究的点击诱饵破坏的任务：生成一个简短的文本，满足好奇心引起的点击诱饵后。点击诱饵链接到一个网页，并通过引起好奇心而不是提供信息摘要来解释其内容。我们的贡献是分类所需扰流板类型的方法（即，短语或段落），并生成适当的剧透。一个大规模的评估和错误分析的一个新的语料库的5,000手动破坏clickbait职位-Webis Clickbait破坏语料库2022 -表明，我们的剧透类型分类器实现了80%的准确率，而问答模型DeberTa-large优于所有其他人在生成两种类型的剧透。
2022-03-19 cs.CL
KeyXtract Twitter Model - An Essential Keywords Extraction Model for Twitter Designed using NLP Tools
University of Kelaniya（凯拉尼亚大学）
由于一条推文被限制在140个字符以内，传统的自然语言处理（NLP）工具很难分析。本研究提出了KeyXtract，它增强了基于机器学习的Stanford CoreNLP词性（POS）标记器与Twitter模型，从推文中提取关键词。该系统是使用基于规则的解析器和两个语料库。该研究的数据来自一家电信公司的Twitter简介。该系统的开发包括两个阶段。在初始阶段，在分析推文之后编译特定领域的语料库。POS标记器提取名词短语和动词短语，而解析器去除噪声并提取POS标记器遗漏的任何其他关键字。使用图灵测试对系统进行了评估。在与Stanford CoreNLP进行测试和比较后，开发了系统的第二阶段，解决了第一阶段的缺点。它使用命名实体识别和词形化进行了增强。第二阶段也使用图灵测试进行测试，其通过率从50.00%提高到83.33%。使用F1评分测量最终系统输出的性能。斯坦福大学CoreNLP与Twitter模型的平均F1为0.69，而改进后的系统的F1为0.77。通过使用完整的领域特定语料库，可以提高系统的准确性。由于该系统使用了句子的语言特征，因此可以应用于其他NLP工具。
2017-08-09 cs.CL cs.IR
Action based Network for Conversation Question Reformulation
Trip.com Group（携程集团）
会话问答需要正确解释问题的能力。然而，由于人们对日常会话中的共指和省略现象难以理解，现有的模型还不能令人满意。尽管生成语言学研究取得了显著的进展，但仍然存在语义不完备性的问题。本文提出了一种基于动作的方法来恢复问题的完整表达。具体来说，我们首先确定共指或省略在问句中的位置，同时为每个候选跨度分配相应的动作。然后，我们在对话上下文中寻找与候选线索相关的匹配短语。最后，根据预测的动作，我们决定是否用匹配的信息替换共指或补充省略。在Restoration-200 K数据集上，我们证明了我们的方法在英语和汉语话语重写任务上的有效性，将最先进的EM（精确匹配）分别提高了3.9%和ROUGE-L提高了1.0%。
2021-11-29 cs.CL
Entity-Conditioned Question Generation for Robust Attention Distribution in Neural Information Retrieval
UIUC（伊利诺伊大学厄巴纳-香槟分校）；IBM Research AI（IBM研究院人工智能部门）
我们发现，监督神经信息检索（IR）模型很容易学习稀疏的注意力模式通过令牌，这可能会导致关键短语，包括命名实体接收低注意力权重，最终导致模型性能不佳。使用一种新的有针对性的合成数据生成方法，识别不良出席的实体和条件的生成情节上，我们教神经IR出席更均匀，更强大的所有实体在一个给定的通道。在两个公共IR基准测试中，我们实证表明，所提出的方法有助于提高模型的注意力模式和检索性能，包括在zero-shot设置。
2022-04-24 cs.CL cs.IR
V-Doc : Visual questions answers with Documents
The University of Sydney（悉尼大学）；FortifyEdge
我们提出了V-Doc，一个使用文档图像和PDF的问答工具，主要针对研究人员和一般非深度学习专家，希望生成，处理和理解文档视觉问答任务。V-Doc支持使用文档图像生成和使用提取和抽象问答对。提取QA从文档内容中选择一个令牌或短语的子集来预测答案，而抽象QA识别内容中的语言并基于训练的模型生成答案。这两个方面对于理解文档至关重要，尤其是图像格式的文档。我们包括一个详细的情况下，抽象的QA任务的问题生成。V-Doc支持广泛的数据集和模型，并且通过声明式、框架无关的平台具有高度可扩展性。
2022-05-31 cs.AI cs.CV
Unsupervised Key-phrase Extraction and Clustering for Classification Scheme in Scientific Publications
Ericsson AB（爱立信公司）；Uppsala University（乌普萨拉大学）
已经探索了几种方法来自动化系统映射（SM）和系统评价（SR）方法的一部分。挑战通常围绕文本语义理解的差距以及缺乏弥合这一差距所需的领域和背景知识而演变。在本文中，我们研究可能的方法自动化部分SM/SR过程，即提取关键字和关键短语从科学文献中使用无监督的方法，然后使用语义关键短语聚类技术作为基础，构建相应的分类方案。具体而言，我们探讨了集成分数测量在关键短语提取中的作用，我们探讨了基于语义网络的词嵌入在短语语义的嵌入表示中的作用，最后我们还探讨了如何使用聚类来对相关的关键短语进行分组。评估是在与“可解释的人工智能”领域有关的出版物数据集上进行的，我们使用标准的公开数字图书馆和索引术语（关键词）集构建了该数据集。实验结果表明：集成排序得分确实提高了关键词提取的性能。基于ConceptNet语义网络的基于语义网络的词嵌入与上下文化的词嵌入具有相似的性能，但是前者的计算效率更高。最后，在术语级进行语义关键词聚类，可以将相似的术语聚集在一起，从而适合于分类方案。
2021-02-08 cs.CL
Attentive Recurrent Tensor Model for Community Question Answering
Indian Institute of Technology Roorkee（印度理工学院鲁尔基分校）
社区问答问题的一个主要挑战是句子表征之间的词汇和语义差距。最小化这一差距的一些解决方案包括向深度模型引入额外的参数或增强外部手工制作的功能。本文提出了一种新的注意递归张量网络，用于解决社区问答中的词汇和语义鸿沟问题。我们引入了标记级和短语级注意力策略，该策略使用可训练参数将输入序列映射到输出。此外，我们使用张量参数在向量空间中引入问题、答案和外部特征之间的3向交互。我们引入了简化的张量矩阵和L2正则化，从而在训练过程中实现平滑优化。该模型在回答句子选择任务（TrecQA和WikiQA数据集）上实现了最先进的性能，同时在最佳答案选择任务（Yahoo！L4）和回答触发任务（WikiQA）。
2018-01-21 cs.CL
Key Phrase Classification in Complex Assignments
复杂的作业通常包括开放式问题，在课堂和在线研究生课程的背景下，内容广泛而多样。随着这些项目的庞大规模，同行和专家反馈中出现了各种问题，包括流氓评论。因此，希望确定审查所需的重要内容，在这项工作中，我们提出了一个非常重要的关键短语分类与传统的和最新的语言建模方法进行了详细的实证研究的第一项工作。从这项研究中，我们发现，关键短语的分类任务是模糊的，在人类水平上生产科恩的Kappa值为0.77的一个新的数据集。预训练的语言模型和简单的TFIDF SVM分类器都产生类似的结果，前者产生的平均值比后者高0.6 F1。最后，我们从我们广泛的经验和模型的可解释性结果，为那些有兴趣在未来的教育报告中的关键短语分类实用的建议。
2020-03-16 cs.AI cs.CL cs.CY
'Tis but Thy Name: Semantic Question Answering Evaluation with 11M Names for 1M Entities
The Nueva School（努埃瓦学校）
经典的基于词汇匹配的QA指标正在慢慢地被淘汰，因为它们惩罚简洁或信息丰富的输出，只是因为这些答案没有作为基础事实提供。最近提出的神经指标可以评估语义相似性，但训练的小文本相似性数据集嫁接从外国领域。我们介绍维基实体相似性（WES）数据集，一个11M的例子，领域为目标，语义实体相似性数据集，是从维基百科中的链接文本生成的。WES是为QA评估量身定制的：示例是实体和短语，并被分组为语义集群以模拟多个地面实况标签。人类注释者一致同意WES标签，并且基本的交叉编码器度量在预测人类正确性判断方面优于四个经典度量。
2022-02-28 cs.CL
Key Phrase Extraction & Applause Prediction
Indraprastha Institute of Information Technology（印度普拉沙信息技术学院）
随着互联网上内容可用性的增加，很难引起注意。它已成为一个最高的博客作者的优先事项，以获得一些反馈，他们的创作是有信心的影响，他们的文章。我们正在训练一个机器学习模型来学习流行的文章风格，以使用各种词嵌入的向量空间表示的形式，以及基于clap和标签的流行度。
2021-01-01 cs.AI cs.CL
Few-shot Question Generation for Personalized Feedback in Intelligent Tutoring Systems
Mila（米拉研究所）；McGill University（麦吉尔大学）；Korbit Technologies Inc.（科比特科技公司）；University of Bath（巴斯大学）；Facebook（脸书）；CIFAR（加拿大高等研究院）
智能教学系统（ITS）中生成提示的现有工作主要集中在手动和非个性化的反馈。在这项工作中，我们探索自动生成的问题，个性化的反馈在ITS。我们的个性化反馈可以精确定位学生答案中正确和不正确或缺失的短语，并通过用自然语言提问来引导他们找到正确答案。我们的方法结合了因果分析，使用基于文本相似性的NLP Transformer模型来分解学生的答案，以识别正确和不正确或缺失的部分。我们训练一个Few-Shot神经问题生成和问题重新排序模型，以显示问题解决学生答案中缺失的组件，引导学生走向正确答案。我们的模型大大优于简单和强大的基线，在学生的学习收益分别为45%和23%时，在一个真正的基于对话的ITS测试。最后，我们表明，我们的个性化纠正反馈系统有可能提高生成式问答系统。
2022-06-08 cs.CL
CliniQG4QA: Generating Diverse Questions for Domain Adaptation of Clinical Question Answering
The Ohio State University（俄亥俄州立大学）；University of Michigan（密歇根大学）；George Mason University（乔治梅森大学）
临床问答（QA）的目的是基于临床文本自动回答来自医疗专业人员的问题。研究表明，在一个语料库上训练的神经QA模型可能无法很好地推广到来自不同机构或不同患者群体的新临床文本，其中大规模QA对不容易用于模型再训练。为了应对这一挑战，我们提出了一个简单而有效的框架CliniQG4QA，它利用问题生成（QG）来合成新的临床背景下的QA对，并在不需要手动注释的情况下增强QA模型。为了生成对于训练QA模型至关重要的各种类型的问题，我们进一步引入了一个基于seq2seq的问题短语预测（QPP）模块，该模块可以与大多数现有的QG模型一起使用，以使生成多样化。我们的综合实验结果表明，我们的框架生成的QA语料库可以提高QA模型在新的上下文（高达8%的绝对增益方面的精确匹配），和QPP模块在实现增益中起着至关重要的作用。
2021-12-11 cs.CL
Applying unsupervised keyphrase methods on concepts extracted from discharge sheets
Isfahan University of Technology（伊斯法罕理工大学）；Medical University of Vienna（维也纳医科大学）；University of Isfahan（伊斯法罕大学）
包含有价值的病人信息的临床笔记是由不同的医疗保健提供者以不同的科学水平和写作风格撰写的。这可能有助于临床医生和研究人员了解在处理大量电子病历时哪些信息是必不可少的。实体识别和映射到标准术语是至关重要的，在处理临床笔记减少歧义。虽然命名实体识别和实体链接是临床自然语言处理中的关键步骤，但它们也可能导致产生重复和低价值的概念。另一方面，临床文本的所有部分在预测患者的状况方面并不具有相同的重要性或内容。因此，有必要确定记录每个内容的部分，并确定关键概念以从临床文本中提取含义。在这项研究中，这些挑战已经解决了临床自然语言处理技术。此外，为了识别关键概念，一组流行的无监督关键短语提取方法已被验证和评估。考虑到大多数临床概念都是以多词表达的形式出现，并且准确识别需要用户指定n-gram范围，因此提出了一种基于TF-IDF的快速保持表达结构的方法。为了评估预处理方法并选择概念，我们使用基于transformer的模型的功能设计了两种类型的下游任务（多重分类和二元分类）。实验结果表明了该方法与SciBERT模型相结合的优越性，同时也为临床病历中常用的关键词提取方法的有效性提供了一种新的思路。
2023-03-15 cs.CL cs.LG
Analyzing and Improving Fine-grained Preference Optimization in Medical LVLMs
York University（约克大学）；University of British Columbia（不列颠哥伦比亚大学）；Vector Institute（向量研究所）；Queen’s University（女王大学）
针对医学大视觉语言模型在事实一致性、视觉定位和临床对齐方面的不足，提出一种结合双向令牌级KL正则化和视觉对比定位目标的细粒度在线偏好优化框架，通过最小编辑模型输出构建偏好对，仅修正临床错误片段，显著提升诊断准确性。
2026-10-09 cs.AI cs.CV
Look before you Hop: Conversational Question Answering over Knowledge Graphs Using Judicious Context Expansion
MPI for Informatics（马克斯·普朗克信息学研究所）；Amazon Alexa（亚马逊Alexa）
以事实为中心的信息需求很少是一次性的;用户通常会提出后续问题来探索一个主题。在这样的会话设置中，用户的输入通常是不完整的，其中实体或谓词被遗漏，以及不合语法的短语。这对问答（QA）系统提出了巨大的挑战，因为QA系统通常依赖于完整的疑问句中的线索。作为一种解决方案，我们开发了CONVEX：一种无监督的方法，可以通过使用迄今为止看到的实体和谓词来维护会话上下文，并自动推断后续问题的缺失或模糊部分，从而在知识图谱（KG）上回答不完整的问题。我们的方法的核心是一个图探索算法，明智地扩大了边界，找到候选答案的当前问题。为了评估CONVEX，我们发布了ConvQuestions，这是一个众包基准，包含来自五个不同领域的11，200个不同对话。我们证明了CONVEX：（i）为任何独立的QA系统添加会话支持，（ii）优于最先进的基线和问题完成策略。
2019-11-05 cs.CL cs.IR
Using Semantic Role Knowledge for Relevance Ranking of Key Phrases in Documents: An Unsupervised Approach
IBM Research（IBM研究院）
本文研究了PageRank系统中句子位置和词的语义角色的结合，建立了一种关键短语排序方法。我们提出了我们的方法对三篇科学文章的评价结果。我们表明，语义角色信息，当与PageRank系统集成，可以成为一个新的词汇功能。我们的方法在所有数据集上都比最先进的基线方法有了全面的改进。
2019-08-09 cs.CL cs.IR
Improving Question Generation with Multi-level Content Planning
Nanjing University（南京大学）；Alibaba Group（阿里巴巴集团）
本文提出基于多级内容规划的 QG 框架 MultiFactor，通过 FA-model 生成完整答案连接关键短语，并由 Q-model 生成问题，在两个数据集上优于基线。
2023-10-23 cs.CL
Key-phrase boosted unsupervised summary generation for FinTech organization
BITS Pilani（比尔拉科学技术学院皮拉尼分校）；American Express（美国运通）
针对金融科技领域缺乏标注数据的问题，提出利用'行动-对象'对的无监督短语摘要生成方法，通过上下文指标评估，显著优于基线，并已在Amex部署。
2023-10-16 cs.AI cs.CL
Key Phrase Extraction of Lightly Filtered Broadcast News
LTI/CMU（语言技术研究所/卡内基梅隆大学）；L2F - INESC ID Lisboa（口语实验室 - 里斯本高等工程系统与计算机研究所）；Instituto Universitário de Lisboa (ISCTE-IUL)（里斯本大学学院（ISCTE-IUL））；Instituto Superior Técnico - Universidade Técnica de Lisboa（里斯本技术大学高等理工学院）
本文探讨了光过滤对应用于广播新闻（BN）的自动关键短语提取（AKE）的影响。关键短语是最能表征文档内容的单词和表达。关键短语通常用于索引文档或作为进一步处理中的特征。这使得AKE准确性的提高尤为重要。我们假设从文档中过滤掉边缘相关的句子会提高AKE的准确性。我们的实验证实了这一假设。删除10%的文档句子，AKE的准确率和召回率提高了2%。AKE是建立在遵循监督学习方法的MAUI工具包之上的。我们在由8个BN程序组成的黄金标准上训练和测试了我们的AKE方法，其中包含110个手动注释的新闻故事。这些实验是在电视和广播新闻/节目的多媒体监控解决方案（MMS）系统中进行的，该系统每天运行，并监控12个电视频道和4个广播频道。
2013-06-20 cs.CL cs.IR
Combining keyphrase extraction and lexical diversity to characterize ideas in publication titles
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
除了文献计量学，人们还对科学论文中思想数量的演变特征感兴趣。调查这一问题的一种常见方法是分析出版物的标题，以检测词汇随时间的变化。在短语或更具体地关键短语表示概念的概念下，词汇多样性度量被应用于标题的短语版本。因此，词汇多样性的变化被视为研究的转移和可能的扩展的指标。因此，优化关键词的检测是这个过程的一个重要方面。而不是只有一个，我们建议使用多个短语检测模型的目标是从源语料库中产生一个更全面的关键短语集。这种方法的另一个潜在优点是，这些集合的并集和差可以提供用于识别和省略非特定短语的自动化技术。我们比较了几个短语检测模型的性能，分析每个输出的关键短语集，并计算词汇多样性的语料库变体，将关键短语从每个模型，使用四个常见的词汇多样性指标。
2022-08-30 cs.CL cs.DL
Unsupervised Keyphrase Extraction via Interpretable Neural Networks
Carnegie Mellon University（卡内基梅隆大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）；University of Washington（华盛顿大学）
关键词提取的目的是自动提取一个列表的“重要”的短语表示的关键概念，在一个文件。用于无监督关键短语提取的先前方法通过嵌入聚类或图中心性诉诸于短语重要性的启发式概念，需要广泛的领域专业知识。我们的工作提出了一个简单的替代方法，它定义为文档短语的关键词是突出的预测文档的主题。为此，我们提出了检查-一种方法，使用自我解释模型，通过测量输入短语对文档主题分类的下游任务的预测影响来识别文档中有影响力的关键短语。我们证明了这种新方法不仅满足了对ad-hoc关键词提取的需求，而且在两个领域的四个数据集中实现了无监督关键词提取的最新结果：科学出版物和新闻文章。
2023-02-17 cs.CL
