Matching-based Term Semantics Pre-training for Spoken Patient Query Understanding
Chinese Academy of Sciences(中国科学院)
医疗时隙填充(MSF)任务旨在将医疗查询转换为结构化信息,在诊断对话系统中起着重要作用。然而,缺乏足够的术语语义学习使得现有的方法很难捕捉语义相同,但口语化的术语在医学对话中的表达。在这项工作中,我们将MSF形式化为匹配问题,并提出了一个术语语义预训练匹配网络(TSPMN),该网络将术语和查询作为输入来模拟它们的语义交互。为了更好地学习术语语义,我们进一步设计了两个自监督目标,包括对比术语识别(CTD)和基于匹配的掩码术语建模(MMTM)。CTD确定它是否是每个给定术语的对话中的掩蔽术语,而MMTM直接预测掩蔽术语。在两个中国基准上的实验结果表明,TSPMN优于强基线,特别是在Few-Shot设置。
2023-03-02 cs.CL
RE-Matching: A Fine-Grained Semantic Matching Method for Zero-Shot Relation Extraction
Fudan University(复旦大学);Baidu Research(百度研究院)
针对零样本关系抽取中通用语义匹配未显式区分实体与上下文的问题,提出 RE-Matching,分解两类匹配分数并用特征蒸馏抑制无关特征,显著提升 F1 且推理提速 10 倍。
2023-06-08 cs.CL
Joint Event Extraction via Structural Semantic Matching
Peking University(北京大学)
本文提出JSSM模型,利用STE和DSE编码事件类型语义并进行结构匹配,通过双向注意力联合完成事件检测与论元抽取,在ACE2005上显著提升性能。
2023-06-06 cs.CL
Keyword-Attentive Deep Semantic Matching
Tencent Inc.(腾讯公司);WeChat AI(微信人工智能)
深度语义匹配是诸如问答(QA)的各种自然语言处理应用中的关键组件,其中输入查询与QA语料库中的每个候选问题在相关性方面进行比较。由于queryquestion对中的单词标记不同,在开放域场景中测量queryquestion对之间的相似性可能具有挑战性。我们提出了一种关注关键词的方法来提高深度语义匹配。我们首先利用从一个大型语料库的域标签生成一个域增强的关键字字典。在BERT的基础上,我们堆叠了一个关注关键字的Transformer层,以突出查询-问题对中关键字的重要性。在模型训练过程中,我们提出了一种新的负采样方法,基于输入对之间的关键字覆盖率。我们使用各种指标,包括检索候选项的精度和语义匹配的准确性,在中文问答语料库上评估我们的方法。实验表明,我们的方法优于现有的强基线。我们的方法是通用的,可以应用到其他文本匹配任务,几乎没有适应。
2020-03-11 cs.CL
StructCoh: Structured Contrastive Learning for Context-Aware Text Semantic Matching
Beihang University, Beijing, China(北京航空航天大学);University College London, London, UK(伦敦大学学院)
针对预训练语言模型在文本语义匹配中忽略层级结构、难区分细微语义的问题,提出融合双图编码器与层级对比目标的StructCoh框架,在法律匹配等任务上显著超越SOTA。
2025-09-02 cs.CL
Divide and Conquer: Text Semantic Matching with Disentangled Keywords and Intents
Fudan University(复旦大学);Shanghai Collaborative Innovation Center of Intelligent Visual Computing(上海智能视觉计算协同创新中心);Tencent(腾讯)
文本语义匹配是一项基础性的任务,在社区问答、信息检索、推荐等领域有着广泛的应用。最先进的匹配模型,例如,BERT,通过统一处理每个单词直接进行文本比较。然而,查询语句通常包括要求不同级别的匹配粒度的内容。具体来说,关键字表示应该严格匹配的动作、实体和事件等事实信息,而意图则传达可以解释为各种表达的抽象概念和想法。在这项工作中,我们提出了一个简单而有效的训练策略,通过从意图中分离关键字,以分治的方式进行文本语义匹配。我们的方法可以很容易地与预训练的语言模型(PLM)相结合,而不影响其推理效率,实现了稳定的性能改进,对广泛的PLM的三个基准。
2022-03-06 cs.CL
An Auto-Encoder Matching Model for Learning Utterance-Level Semantic Dependency in Dialogue Generation
Peking University(北京大学)
生成语义一致的响应仍然是对话生成中的一个主要挑战。与传统的文本生成任务不同,会话中的输入和响应之间的映射更为复杂,这就要求理解话语级的语义依赖,即输入和输出的整体意义之间的关系。为了解决这个问题,我们提出了一个自动编码器匹配(AEM)模型来学习这种依赖关系。该模型包含两个自动编码器和一个映射模块。自动编码器学习输入和响应的语义表示,并且映射模块学习连接话语级表示。自动和人工评估的实验结果表明,与基线模型相比,我们的模型能够生成高连贯性和流畅性的响应。代码可在https://github.com/lancopku/AMM上获得
2018-08-27 cs.CL
Semantic Matching of Documents from Heterogeneous Collections: A Simple and Transparent Method for Practical Applications
Heidelberg Institute for Theoretical Studies gGmbH(海德堡理论研究所)
我们提出了一个非常简单的,无监督的方法,成对匹配的文件从异构集合。我们展示了我们的方法与概念项目匹配任务,这是一个二进制分类任务,涉及对来自异构集合的文档。虽然我们的方法只使用标准资源,没有任何特定于领域或任务的修改,但它明显优于原作者的更复杂的系统。此外,我们的方法是透明的,因为它提供了有关如何计算相似性得分的明确信息,并且是高效的,因为它是基于(可预先计算的)单词级相似性的聚合。
2019-04-29 cs.CL
Towards No.1 in CLUE Semantic Matching Challenge: Pre-trained Language Model Erlangshen with Propensity-Corrected Loss
International Digital Economy Academy(国际数字经济研究院);Waseda University(早稻田大学)
这份报告描述了一个预训练的语言模型Erlangshen,具有倾向校正损失,在CLUE语义匹配挑战赛中排名第一。在预训练阶段,我们构建了一个动态的掩蔽策略,基于知识的掩蔽语言模型(MLM)与整个词掩蔽。此外,通过观察数据集的特定结构,预训练的Erlangshen在微调阶段应用倾向校正损失(PCL)。总体而言,我们在测试集上获得了72.54分的F1得分和78.90分的准确性。我们的代码可在https://github.com/IDEA-CCNL/Fengshenbang-LM/tree/hf-ds/fengshen/examples/clue_sim上公开获取。
2022-08-05 cs.CL
DABERT: Dual Attention Enhanced BERT for Semantic Matching
Tsinghua University(清华大学);Meituan Inc(美团公司)
本文提出DABERT模型,通过双注意力与自适应融合模块增强BERT对句子对细粒度差异的捕捉能力,提升语义匹配鲁棒性。
2023-04-14 cs.CL
Chinese Medical Question Answer Matching Based on Interactive Sentence Representation Learning
College of Computer and Engineering, Xi’an University of Posts and Telecommunications(西安邮电大学计算机与工程学院)
中文医学问答匹配比英文开放域问答匹配更具挑战性。即使深度学习方法在提高问答匹配性能方面表现良好,但这些方法只关注句子内部的语义信息,而忽略了问题和答案之间的语义关联,从而导致性能赤字。在本文中,我们设计了一系列的交互式句子表示学习模型来解决这个问题。为了更好地适应中医问答匹配,并充分利用不同神经网络结构的优势,本文提出了交叉BERT网络来提取句子内部的深层语义信息和问答之间的语义关联,然后与多个规模CNN网络或BiGRU网络,以利用不同结构的神经网络来学习更多的语义特征到句子中表示.在cMedQA V2.0和cMedQA V1.0数据集上的实验结果表明,该模型的性能明显优于现有的中文医学问答匹配模型。
2020-11-27 cs.CL
Bilateral Multi-Perspective Matching for Natural Language Sentences
IBM T.J. Watson Research Center(IBM T.J. 华生研究中心)
自然语言句子匹配是一项基础性的技术。以前的方法要么从单个方向匹配句子,要么只应用单个粒度(逐词或逐句)匹配。在这项工作中,我们提出了一个双边多视角匹配(BiMPM)模型下的“匹配聚合”的框架。给定两个句子$P$和$Q$,我们的模型首先使用BiLSTM编码器对它们进行编码。接下来,我们在两个方向$P \rightarrow Q$和$P \leftarrow Q$上匹配两个编码的句子。在每个匹配方向上,一个句子的每个时间步从多个角度与另一个句子的所有时间步进行匹配。然后,另一个BiLSTM层用于将匹配结果聚合成固定长度的匹配向量。最后,基于匹配向量,通过全连接层进行决策。我们评估我们的模型上的三个任务:释义识别,自然语言推理和答案句子选择。在标准基准数据集上的实验结果表明,我们的模型在所有任务上都达到了最先进的性能。
2017-07-14 cs.AI cs.CL
LadRa-Net: Locally-Aware Dynamic Re-read Attention Net for Sentence Semantic Matching
Hefei University of Technology(合肥工业大学);Lenovo Research(联想研究院);University of Science and Technology of China(中国科学技术大学)
句子语义匹配需要一个智能体来确定两个句子之间的语义关系,它广泛应用于各种自然语言任务,如自然语言推理(NLI)、释义识别(PI)等,近年来在这方面取得了很大的进展,特别是基于注意力的方法和基于预训练语言模型的方法。然而,这些方法大多以静态的方式关注句子中的所有重要部分,只强调单词对查询的重要性,抑制了注意力机制的能力。为了克服这一问题,提高注意力机制的性能,本文提出了一种新的动态重读注意力机制,该机制能够在每一步中关注句子的一个小区域,并重读重要部分,以获得更好的句子表征。基于这种注意力的变化,我们开发了一种新的动态重读网络(DRr-Net)的句子语义匹配。此外,在动态重读注意中选择一个小区域似乎不足以用于句子语义,并且采用预先训练的语言模型作为输入编码器将引入不完整和脆弱的表示问题。为此,我们将DRrNet扩展为局部感知的动态重读注意力网络(LadRa-Net),该网络利用句子的局部结构来弥补字节对编码(BPE)在预训练语言模型中的不足,提高动态重读注意力的性能。在两个流行的句子语义匹配任务上的大量实验表明,DRr-Net可以显着提高句子语义匹配的性能。同时,LadRa-Net能够通过考虑句子的局部结构来实现更好的性能。此外,非常有趣的是,我们实验中的一些发现与心理学研究的一些发现是一致的。
2021-08-06 cs.CL
A Survey on Semantic Parsing from the perspective of Compositionality
Indian Institute of Technology Delhi(印度理工学院德里分校)
与之前在语义解析(Kamath和Das,2018)和知识库问答(KBQA)(Chakraborty等人,2019; Zhu等人,2019; Hoffner等人,2017)我们试图从不同的角度来研究语义解析。具体来说,我们将集中在(a)从句法结构(Partee,1975年)的意义组合,(b)语义分析器处理给定的知识库(KB)上下文的词汇变化的能力。在接下来的部分中,在介绍了语义解析领域及其在KBQA中的应用之后,我们将描述使用语法形式主义CCG(Steedman,1996)的意义表示。我们将在第2节讨论使用形式语言的语义组合。在第3节中,我们将考虑使用形式语言的系统,例如$λ$ -演算(Steedman,1996),$λ$ -DCS(Liang,2013)。第4节和第5节考虑使用结构化语言的逻辑形式的语义分析器。第6节是关于不同的基准数据集ComplexQuestions(Bao et al.,2016)和GraphQuestions(Su et al.,2016),可用于评估语义解析器回答本质上高度组合的复杂问题的能力。
2020-09-29 cs.CL
Semantic Sentence Matching with Densely-connected Recurrent and Co-attentive Information
Naver Search(Naver搜索);Seoul National University(首尔国立大学)
句子匹配被广泛应用于各种自然语言任务,例如自然语言推理、释义识别和问答。对于这些任务,理解两个句子之间的逻辑和语义关系是必需的,但它仍然具有挑战性。虽然注意力机制有助于捕捉语义关系并正确对齐两个句子的元素,但以前的注意力机制方法简单地使用求和运算,不能充分保留原始特征。受密集连接卷积网络DenseNet的启发,我们提出了一个密集连接的共同关注递归神经网络,其中每一层都使用关注特征的级联信息以及所有前一递归层的隐藏特征。它能够从最底层的词嵌入层到最上层的递归层保留原始和共同关注的特征信息。为了缓解由于密集级联操作而导致的特征向量大小不断增加的问题,我们还建议在密集级联之后使用自动编码器。我们评估我们提出的架构高度竞争的基准数据集相关的句子匹配。实验结果表明,我们的架构,它保留了经常性和注意力的功能,实现了国家的最先进的性能为大多数的任务。
2018-11-02 cs.CL
Semantic are Beacons: A Semantic Perspective for Unveiling Parameter-Efficient Fine-Tuning in Knowledge Learning
MIIT Key Laboratory of Pattern Analysis and Machine Intelligence(工信部模式分析与机器智能重点实验室)
本文从语义视角揭示参数高效微调在知识学习中失效的原因,提出数据过滤与重加权学习策略,在开源大模型上验证了有效性。
2024-05-28 cs.CL
Coarse-Grained Sense Inventories Based on Semantic Matching between English Dictionaries
Nagoya Institute of Technology(名古屋工业大学);Muroran Institute of Technology(室兰工业大学);Chitose Institute of Science and Technology(千岁科学技术大学);Hokkaido University(北海道大学)
本文通过语义匹配Cambridge词典与WordNet的词义定义,构建低资源依赖、可标注CEFR等级且易于扩展的新型粗粒度词义清单,并验证其语义连贯性。
2024-09-10 cs.CL
Duality-Induced Regularizer for Semantic Matching Knowledge Graph Embeddings
University of Science and Technology of China(中国科学技术大学);Hefei Comprehensive National Science Center(合肥综合性国家科学中心);Texas A&M University(德克萨斯农工大学)
语义匹配模型--假设具有相似语义的实体具有相似的嵌入--在知识图谱嵌入(KGE)中显示出强大的功能。现有的语义匹配模型多采用嵌入空间的内积来度量静态和时态知识图谱中三元组和四元组的可扩展性。然而,与另一个向量具有相同内积的向量仍然可以彼此正交,这意味着具有相似语义的实体可能具有不同的嵌入。内积的这种性质极大地限制了语义匹配模型的性能。为了解决这一挑战,我们提出了一种新的正则化器-即Duality-induced Regularizer(DURA)-它有效地鼓励具有相似语义的实体具有相似的嵌入。DURA的主要新颖性是基于这样的观察,即对于现有的语义匹配KGE模型(原始),通常存在另一个与之密切相关的基于距离的KGE模型(对偶),这可以用作实体嵌入的有效约束。实验表明,DURA一致和显着提高了最先进的静态和时间知识图谱基准的语义匹配模型的性能。
2022-04-06 cs.AI cs.CL
Improvement in Semantic Address Matching using Natural Language Processing
Dr. Akhilesh Das Gupta Institute of Technology & Management(阿基莱什·达斯·古普塔博士技术与管理学院)
本文提出基于OCR、BM-25和BERT的语义地址匹配方法,解决冗余和不完整地址问题,显著提升准确率与召回率。
2024-04-17 cs.CL
Multi-stage Distillation Framework for Cross-Lingual Semantic Similarity Matching
Peking University(北京大学);Tencent Research(腾讯研究院)
已有研究表明,跨语言知识蒸馏可以显著提高预训练模型在跨语言相似性匹配任务中的性能。但是,在此操作中,学生模型需要很大。否则,它的性能将急剧下降,从而使其无法部署到内存有限的设备。为了解决这个问题,我们深入研究跨语言知识蒸馏,并提出了一个多阶段蒸馏框架,用于构建一个小规模,但高性能的跨语言模型。在我们的框架中,对比学习,瓶颈和参数递归策略相结合,以防止性能在压缩过程中受到损害。实验结果表明,该方法可以将XLM-R和MiniLM压缩50%以上,而性能仅降低约1%。
2022-09-13 cs.CL
Using External knowledge to Enhanced PLM for Semantic Matching
Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院)
针对预训练语言模型难以仅从标注数据获得全部语义知识的问题,本文提出引入外部知识增强预训练语义相关性判别模型,并在10个公开数据集上验证了相对基线的一致性能提升。
2025-05-10 cs.CL
Universal Information Extraction as Unified Semantic Matching
Baidu Inc.(百度公司);Chinese Information Processing Laboratory(中文信息处理实验室);State Key Laboratory of Computer Science(计算机科学国家重点实验室);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
信息抽取面临的挑战在于标签模式的多样性和结构的异构性。传统的方法需要特定于任务的模型设计,并且严重依赖昂贵的监督,这使得它们难以推广到新的模式。在本文中,我们解耦IE到两个基本的能力,结构化和概念化,这是由不同的任务和模式共享。基于这种范式,我们提出了统一的语义匹配(USM)框架,它引入了三个统一的令牌链接操作来建模的结构化和概念化的能力,通用的建模各种IE任务。通过这种方式,USM可以联合编码模式和输入文本,并行地统一提取子结构,并根据需要可控地解码目标结构。对4个IE任务的实验结果表明,该方法在有监督的实验中取得了最佳的性能,并在零/Few-Shot传输环境下表现出较强的泛化能力。
2023-01-09 cs.CL
Getting Started with Neural Models for Semantic Matching in Web Search
Middle East Technical University(中东技术大学);University of Amsterdam(阿姆斯特丹大学)
词汇不匹配问题是信息检索中一个长期存在的问题。语义匹配有望解决这个问题。语言技术的最新进展已经产生了无监督神经模型,用于学习单词的表示以及更大的文本单元。这样的表示使强大的语义匹配方法。本调查旨在介绍使用神经模型进行语义匹配。为了保持专注,我们将自己限制在网络搜索上。我们详细介绍了所需的背景和术语,一个分类分组的快速增长的身体在该地区的工作,然后调查工作的神经模型的语义匹配的背景下,三个任务:查询建议,广告检索和文档检索。我们包括一个关于资源和最佳实践的部分,我们相信这将有助于新读者。最后,我们的国家的最先进的评估和建议,为今后的工作。
2016-11-08 cs.CL cs.IR
Dynamic Semantic Matching and Aggregation Network for Few-shot Intent Detection
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Amazon(亚马逊)
Few-Shot意图检测由于可用的注释话语的稀缺性而具有挑战性。虽然最近的工作表明,多级匹配在将学到的知识从训练类转移到新的测试类中起着重要的作用,但它们依赖于静态相似性度量和过于细粒度的匹配组件。这些限制抑制了对广义少样本学习设置的泛化能力,在该设置中,可见类和新类共存。在本文中,我们提出了一种新的语义匹配和聚合网络,语义成分提取话语通过多头自注意力与额外的动态正则化约束。这些语义组件捕获高级信息,从而在实例之间实现更有效的匹配。我们的多视角匹配方法提供了一个全面的匹配措施,以提高标记和未标记的实例表示。我们还提出了一个更具挑战性的评估设置,考虑联合所有类标签空间上的分类。大量的实验结果证明了我们的方法的有效性。我们的代码和数据是公开的。
2020-10-11 cs.CL cs.LG
Categorical Semantics of Reversible Pattern-Matching
LMF, Univ. Paris Saclay(巴黎萨克雷大学数学与计算机科学实验室);IRIF, Univ. Paris(巴黎大学计算机科学基础研究所);LMF, CentraleSupélec, Univ. Paris Saclay(巴黎萨克雷大学中央理工-高等电力学院数学与计算机科学实验室)
本文研究可逆计算的范畴结构。特别是,我们专注于一个类型,功能可逆的语言的基础上忒修斯。我们讨论了如何加入逆钻机类别一般不捕获模式匹配,核心结构忒修斯用来执行可逆性。然后,我们推导出一个分类结构,添加到加入逆钻机类别,以捕捉模式匹配。我们展示了这样的结构如何使可逆模式匹配的一个足够的模型。
2021-12-28 cs.CL cs.LO
Combining Fact Extraction and Verification with Neural Semantic Matching Networks
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
对错误信息的日益关注刺激了对自动事实核查的研究。最近发布的FEVER数据集引入了一个基准事实验证任务,要求系统使用维基百科文档中的证据句子来验证声明。在本文中,我们提出了一个连接的系统,由三个同质的神经语义匹配模型,进行文件检索,句子选择,并声称验证联合事实提取和验证。对于证据检索(文档检索和句子选择),与传统的向量空间IR模型不同,在传统的向量空间IR模型中,查询和源在一些预先设计的术语向量空间中进行匹配,我们开发了神经模型来从原始文本输入中进行深度语义匹配,假设没有中间术语表示,也无法访问结构化的外部知识库。我们还表明,浏览频率也可以帮助提高证据检索结果的性能,以后可以使用我们的神经语义匹配网络进行匹配。对于索赔验证,不像以前的方法,简单地饲料上游检索到的证据和索赔的自然语言推理(NLI)模型,我们进一步增强了NLI模型提供内部语义相关性分数(因此将其与证据检索模块)和本体论WordNet功能。在FEVER数据集上的实验表明,(1)我们的神经语义匹配方法优于流行的TF-IDF和编码器模型,在所有证据检索指标上都有显著的优势,(2)额外的相关性得分和WordNet特征通过更好的语义感知改进了NLI模型,(3)通过将所有三个子任务形式化为类似的语义匹配问题并在所有三个阶段进行改进,完整的模型能够在FEVER测试集上获得最先进的结果。
2018-11-16 cs.AI cs.CL
Improving Semantic Matching through Dependency-Enhanced Pre-trained Model with Adaptive Fusion
Tianjin University(天津大学);Meituan Inc.(美团公司);Fudan University(复旦大学)
针对预训练模型难以高效整合依存先验结构以优化语义匹配的问题,提出依存增强自适应融合注意力DAFA,通过结构敏感范式构建依存矩阵校准注意力、自适应融合依存与语义信息并重构注意力流程,在10个公开数据集上取得SOTA或有竞争力的性能。
2023-08-24 cs.AI cs.CL
DGA-Net Dynamic Gaussian Attention Network for Sentence Semantic Matching
Hefei University of Technology(合肥工业大学);University of Science and Technology of China(中国科学技术大学)
句子语义匹配需要一个智能体来确定两个句子之间的语义关系,表示学习技术的发展和人类行为的启发使其取得了很大的进展。在这些方法中,注意力机制通过有效地选择重要部分起着至关重要的作用。然而,现有的注意方法要么静态地关注所有重要部分,要么在一个注意步骤中动态地只选择一个重要部分,这给进一步改进留下了很大的空间。为此,在本文中,我们设计了一个新的动态高斯注意力网络(DGA-Net),结合当前的静态和动态注意力方法的优点。更具体地说,我们首先利用预训练的语言模型对输入句子进行编码,并从全局角度构建语义表示。然后,我们开发了一个动态高斯注意力(DGA)动态捕捉的重要部分和相应的局部上下文从一个详细的角度。最后,将全局信息与局部细节信息相结合,全面、准确地确定句子的语义关系。在两个常用的句子语义匹配任务上的大量实验表明,我们提出的DGA-Net在提高注意力机制的能力方面是有效的。
2021-06-09 cs.AI cs.CL
R$^2$-Net: Relation of Relation Learning Network for Sentence Semantic Matching
School of Computer Science and Information Engineering, Hefei University of Technology(合肥工业大学计算机与信息工程学院);Institute of Artificial Intelligence, Hefei Comprehensive National Science Center(合肥综合性国家科学中心人工智能研究院);University of Science and Technology of China(中国科学技术大学)
句子语义匹配是自然语言处理的基本任务之一,它要求智能体确定输入句子之间的语义关系。最近,深度神经网络在这一领域取得了令人瞩目的表现,尤其是BERT。尽管这些模型的有效性,他们中的大多数人把输出标签作为无意义的独热向量,低估了这些标签揭示的语义信息和关系的指导,特别是对于具有少量标签的任务。为了解决这个问题,我们提出了一个关系学习网络(R2-Net)的句子语义匹配。具体来说,我们首先采用BERT从全局的角度对输入的句子进行编码。然后设计了一个基于CNN的编码器,从局部角度捕获关键字和短语信息。为了充分利用标签来更好地进行关系信息抽取,我们引入了一个自监督的关系分类任务来引导R2-Net更多地考虑标签。同时,采用三重态损失来区分更细粒度的类内和类间关系。在两个句子语义匹配任务上的实验表明了该模型的优越性。作为一个副产品,我们已经发布了代码,以方便其他研究。
2020-12-16 cs.AI cs.CL
A General and Flexible Multi-concept Parsing Framework for Multilingual Semantic Matching
本文提出基于预训练语言模型的多概念解析语义匹配框架MCP-SM,通过提取并注入多种概念,摆脱对外部NER工具的依赖,在多语言数据集上表现优异。
2024-04-04 cs.AI cs.CL
Patents Phrase to Phrase Semantic Matching Dataset
Google Inc.(谷歌公司)
语义文本相似性有许多通用的基准数据集,但没有一个集中在专利和科学出版物中的技术概念上。这项工作的目的是填补这一空白,提出了一个新的人类评级的上下文短语短语匹配数据集。整个数据集包含接近$50,000$评级的短语对,每个短语对都有一个CPC(合作专利分类)类作为上下文。本文介绍了数据集和一些基线模型。
2022-08-01 cs.AI cs.CL cs.LG
Sequential Sentence Matching Network for Multi-turn Response Selection in Retrieval-based Chatbots
Didi Chuxing(滴滴出行)
近年来,开放领域的多轮聊天机器人吸引了学术界和工业界许多研究人员的兴趣。主要的基于检索的方法使用上下文响应匹配机制进行多轮响应选择。具体地,现有技术的方法通过词或片段相似性来执行上下文响应匹配。然而,这些模型缺乏对中间层语义信息的充分利用,并且会犯一些人类很容易避免的简单错误。在这项工作中,我们提出了一个匹配网络,称为顺序句子匹配网络(S2M),使用的句子层次的语义信息来解决这个问题。首先,也是最重要的一点,我们发现,通过使用中间层语义信息,网络成功地解决了这个问题,并在匹配方面得到了显着的改进,从而获得了最先进的性能。此外,我们结合我们在这里介绍的句子匹配和目前文献中报道的常用词相似度匹配,在不同的语义层次上进行匹配。在三个公开数据集上的实验表明,这种集成进一步提高了模型的性能。
2020-05-16 cs.CL cs.LG
Rematch: Robust and Efficient Matching of Local Knowledge Graphs to Improve Structural and Semantic Similarity
Observatory on Social Media(社会媒体观测站);Indiana University(印第安纳大学)
本文提出AMR相似度指标rematch和结构相似度评估基准RARE,解决了现有方法效率低且难以捕捉语义相似度的问题,在语义相似度上取得领先并显著提升计算效率。
2024-04-02 cs.CL cs.IR
Using Prior Knowledge to Guide BERT's Attention in Semantic Textual Matching Tasks
Jilin University(吉林大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
我们研究了将先验知识纳入基于transformer的深度模型的问题,即,双向编码器表示从Transformers(BERT),以提高其性能的语义文本匹配任务。通过探索和分析BERT在解决这个任务时已经知道的知识,我们可以更好地理解BERT最需要什么特定的知识,以及在哪里最需要。分析进一步激励我们采取不同于大多数现有作品的方法。我们没有使用先验知识来创建新的训练任务来微调BERT,而是直接将知识注入BERT的多头注意力机制。这使我们找到了一种简单而有效的方法,该方法具有快速的训练阶段,因为它使模型免于在主任务以外的其他数据或任务上进行训练。大量的实验表明,所提出的知识增强的BERT是能够不断提高语义文本匹配性能比原来的BERT模型,性能优势是最显着的训练数据是稀缺的。
2021-02-22 cs.AI cs.CL
Lens: Bringing the Right Semantic Perspective into Focus for Training-Free Multimodal Representation Learning
Lens提出无训练框架,通过语义视角锚定和上下文短语读出解决语义视角错位,使表示读出任务导向,在MMEB数据集上显著提升性能。
2026-09-18 cs.AI cs.CL
Progressive Class Semantic Matching for Semi-supervised Text Classification
Australian Institute for Machine Learning(澳大利亚机器学习研究所);The University of Adelaide(阿德莱德大学)
半监督学习是降低文本分类标注代价的有效方法。与预先训练的语言模型(PLM)相结合,例如,BERT,最近的半监督学习方法取得了令人印象深刻的性能。在这项工作中,我们进一步研究了半监督学习和预训练的语言模型之间的婚姻。与现有的方法,利用PLM只为模型参数初始化,我们探讨了内在的主题匹配能力PLM内建立一个更强大的半监督学习方法。具体来说,我们提出了一个联合半监督学习过程,可以逐步建立一个标准的$K$方式分类器和匹配网络的输入文本和类语义表示(CSR)。CSR将从给定的标记句子初始化,并通过训练过程逐步更新。通过大量的实验,我们证明了该方法不仅能显著改善基线,而且整体上更加稳定,在半监督文本分类中达到了最先进的性能。
2022-05-20 cs.AI cs.CL
Towards Explainable Job Title Matching: Leveraging Semantic Textual Relatedness and Knowledge Graphs
ADAPT Centre, Munster Technological University, Cork, Ireland(ADAPT中心,穆斯林科技学院,科克,爱尔兰)
本研究提出结合密集嵌入与知识图谱的自监督混合架构,通过分层评估语义文本相关性,在职位匹配中实现可解释性并降低高相关区域RMSE达25%。
2025-09-11 cs.AI cs.CL
Speech Codec Probing from Semantic and Phonetic Perspectives
University of Southern California(南加州大学);Dolby Laboratories(杜比实验室)
本文通过三项任务系统分析多种语音分词器编码的信息,发现当前分词器主要捕获语音结构而非词汇语义,为下一代语音分词方法设计提供指导。
2026-06-25 cs.CL eess.AS
Improving Question Generation with Sentence-level Semantic Matching and Answer Position Inferring
NSF Center for Big Learning, University of Florida(佛罗里达大学NSF大数据学习中心);AI Institute, Tongdun Technology(同盾科技人工智能研究院)
以答案及其上下文作为输入,序列到序列模型在问题生成方面取得了相当大的进展。然而,我们观察到,这些方法经常生成错误的问题词或关键字,并从输入中复制与答案无关的词。我们认为缺乏全局问题语义和没有很好地利用答案位置意识是关键的根本原因。本文提出了一个神经问题生成模型,该模型包括两个具体模块:句子级语义匹配和答案位置推断。此外,我们通过利用答案感知门控融合机制来增强解码器的初始状态。实验结果表明,我们的模型优于最先进的(SOTA)模型SQuAD和MARCO数据集。由于其通用性,我们的工作也显着改善现有的模型。
2020-02-03 cs.AI cs.CL cs.LG
HAL: Improved Text-Image Matching by Mitigating Visual Semantic Hubs
University of Cambridge(剑桥大学);Aalto University(阿尔托大学);Malong Technologies(码隆科技);SenseTime Research(商汤科技研究院)
中心问题广泛存在于高维嵌入空间中,是跨模态匹配任务的一个基本误差源。在这项工作中,我们研究了视觉语义嵌入(VSE)中的枢纽的出现,并将其应用于文本图像匹配。我们分析了两种广泛采用的优化目标训练VSE的优点和缺点,并提出了一种新的枢纽感知损失函数(HAL),解决以前的方法的缺陷。与(Faghri et al.2018)简单地在小批量中获取最难的样本不同,HAL考虑了所有样本,使用本地和全局统计数据来扩大“枢纽”的权重。我们用各种配置的模型架构和数据集来实验我们的方法。该方法表现出非常好的鲁棒性,并带来了一致的改善在所有设置的文本图像匹配的任务。具体来说,在与(Faghri et al. 2018)和(Lee at al. 2018)相同的模型架构下,通过仅切换学习目标,我们报告了MS-COCO上的最大R@1改进为7.4%,Flickr 30 k上为8.3%。
2019-11-22 cs.CL cs.CV cs.LG
A Deep Architecture for Semantic Matching with Multiple Positional Sentence Representations
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
自然语言句子的匹配是诸如信息检索和问答等许多应用的核心。现有的深度模型依赖于单个句子表示或多个粒度表示进行匹配。然而,这样的方法不能很好地捕捉匹配过程中的上下文本地信息。为了解决这个问题,我们提出了一个新的深层架构,以匹配两个句子与多个位置的句子表示。具体地,每个位置句子表示是由双向长短期记忆(Bi-LSTM)生成的该位置处的句子表示。最后通过$k$ -Max池和多层感知器聚合这些不同位置句子表示之间的交互来产生匹配分数。我们的模型有几个优点:(1)通过使用Bi-LSTM,利用整个句子的丰富上下文来捕获每个位置句子表示中的上下文化局部信息;(2)通过与多个位置句子表示进行匹配,可以灵活地聚合句子中不同的重要上下文化局部信息以支持匹配;(3)在问答和句子完成等不同任务上的实验证明了该模型的优越性。
2015-11-26 cs.AI cs.CL cs.NE
A Multi-Perspective Architecture for Semantic Code Search
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心)
针对软件仓库自然语言搜索的代码-文本匹配需求,提出一种融合全局与局部相似性的多视角跨语言神经框架,在CoNaLa数据集上的跨语言文本到代码匹配任务性能优于传统联合嵌入空间方法。
2020-05-06 cs.CL cs.LG cs.PL
Matching Meaning at Scale: Evaluating Semantic Search for 18th-Century Intellectual History through the Case of Locke
University of Helsinki(赫尔辛基大学);TurkuNLP, University of Turku(图尔库大学TurkuNLP);ELLIS Institute Finland(芬兰ELLIS研究所)
本文通过洛克作品的接受情况,评估语义搜索在18世纪思想史中的应用,发现其能更有效地检索隐含意义,但受限于词汇重叠。
2026-05-12 cs.AI cs.CL cs.CY