Word to Sentence Visual Semantic Similarity for Caption Generation: Lessons Learned
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
本文提出一种基于词级和句级视觉语义相似度的后处理方法,通过从视觉上下文视角修正束搜索,选择与图像最相关的字幕输出,从而改进图像字幕生成系统。
2023-07-06 cs.CL cs.CV
Isotropy Matters: Soft-ZCA Whitening of Embeddings for Semantic Code Search
Ulm University(乌尔姆大学);University of Southern Denmark(南丹麦大学)
针对嵌入空间低各向同性损害语义代码搜索性能的问题,提出软ZCA白化技术控制嵌入各向同性水平,提升预训练代码语言模型性能并补充对比微调,为语义代码搜索提供有效后处理方法。
2024-11-27 cs.CL
Query-Response Interactions by Multi-tasks in Semantic Search for Chatbot Candidate Retrieval
候选检索的语义搜索是基于检索的聊天机器人中一个重要但被忽视的问题,其目的是从一个大的池中有效地选择一堆候选响应。现有的瓶颈是确保模型架构具有两点:1)查询和响应之间的丰富交互以产生查询相关的响应; 2)将查询和响应分别投影到潜在空间中的能力,以在在线推理期间有效地应用于语义搜索。为了解决这个问题,我们提出了一种新的方法,称为基于多任务的语义搜索神经网络(MSSNN)的候选检索,它通过多个任务来完成查询-响应交互。该方法首先通过Seq 2Seq建模任务学习一个好的查询编码器,然后通过词预测任务构建响应嵌入,最后通过简单的匹配模型形成点积评分器。实验研究已经证明了所提出的方法的潜力。
2022-08-23 cs.CL
Discovering Latent Concepts Learned in BERT
Qatar Computing Research Institute, HBKU(哈马德·本·哈利法大学卡塔尔计算研究所)
大量分析深层神经网络模型及其编码各种语言和非语言概念的能力的研究提供了对这些模型内部机制的解释。分析的范围仅限于预先定义的概念,加强了传统的语言知识,并没有反映新的概念是如何学习的模型。我们通过发现和分析神经网络模型中学习到的潜在概念来解决这个限制,并从模型的角度提供解释。在这项工作中,我们研究:i)什么潜在概念存在于预训练的BERT模型中,ii)所发现的潜在概念如何与经典语言层级对齐或偏离,以及iii)潜在概念如何跨层演变。我们的研究结果显示:i)模型学习新概念(例如动物类别和人口统计学群体),不严格遵守任何预定义的分类ii)若干潜在概念基于多个属性,所述多个属性可以包括语义、句法和形态,iii)模型中的较低层在学习浅词汇概念方面占主导地位,而较高层学习语义关系,以及iv)所发现的潜在概念突出了在模型中学习到的潜在偏差。我们还发布了一个新的BERT ConceptNet数据集(BCN),由174个概念标签和1M注释实例组成。
2022-05-15 cs.CL
Multilingual Sentence-Level Semantic Search using Meta-Distillation Learning
University of Southern California(南加州大学);Information Sciences Institute(信息科学研究所);Adobe Research(Adobe研究院)
本文提出针对低资源场景的MAML-Align方法,利用基于MAML的元蒸馏学习将知识从单语到双语的Teacher模型迁移至双语到多语言的Student模型,显著提升了多语言语义搜索性能及对未见语言的泛化能力。
2023-09-15 cs.CL
Classifying Norm Conflicts using Learned Semantic Representations
Pontifical Catholic University of Rio Grande do Sul(南里奥格兰德天主教大学)
虽然大多数社会规范都是非正式的,但它们往往由公司在合同中正式化,以规范商品和服务贸易。如果写得不好,合同可能包含规范冲突,这是由于相反的道义含义或与规范相矛盾。由于合同往往很长并且包含许多规范,手动识别此类冲突需要人工努力,这是耗时且容易出错的。自动化此类任务有利于合同制定者提高生产力,并使冲突识别更加可靠。为了解决这个问题,我们引入了一种方法来检测和分类规范冲突的合同,将它们转换为潜在的表示,保留语法和语义信息,并训练模型分类规范冲突的四种冲突类型。与以前的方法相比,我们的结果达到了新的艺术水平。
2019-05-13 cs.AI cs.CL
Khmer Semantic Search Engine (KSE): Digital Information Access and Document Retrieval
Institute of Technology of Cambodia (ITC)(柬埔寨理工学院)
提出首个高棉语语义搜索引擎 KSE,结合关键词词典、本体和排序三种语义匹配框架及数据准备工具,提升高棉语文档与在线资源检索准确率。
2024-06-16 cs.CL cs.IR
Learning Semantically Coherent and Reusable Kernels in Convolution Neural Nets for Sentence Classification
Microsoft Research(微软研究院);Indian Institute of Science(印度科学院);Microsoft(微软)
最先进的CNN模型在句子分类任务上表现良好。这项工作的目的是实证研究所需的属性,如语义连贯性,注意力机制和可重用性的CNN在这些任务。语义一致的内核是优选的,因为它们对于解释学习的CNN模型的决定更可解释。我们观察到,学习的内核不具有语义连贯性。出于这种观察,我们建议使用聚类方案结合Word2Vec表示和领域知识(如SentiWordNet)来学习具有语义一致性的内核。我们提出了一种技术来可视化的注意力机制的CNN决策解释的目的。可重用属性使在一个问题上学习的内核能够用于另一个问题。这有助于有效的学习,因为可能只需要学习一些额外的特定于域的过滤器。我们证明了我们的核心思想的学习语义一致的内核和利用可重用的内核在几个基准数据集上进行有效学习的有效性。实验结果表明,我们的方法的实用性,通过实现性能接近国家的最先进的方法,但具有语义和可重用的属性。
2016-10-10 cs.CL cs.LG cs.NE
Program Synthesis and Semantic Parsing with Learned Code Idioms
UC Berkeley(加州大学伯克利分校);Microsoft Research(微软研究院)
由于需要同时推理目标程序中的高级模式和低级实现细节,因此从自然语言规范对通用源代码进行程序合成具有挑战性。在这项工作中,我们提出了PATOIS,一个系统,允许神经程序合成器明确交错高层次和低层次的推理在每一代的步骤。它通过从给定的语料库中自动挖掘常见的代码习惯用法,将它们合并到神经合成的底层语言中,并训练基于树的神经合成器在代码生成期间使用这些习惯用法来实现这一点。我们评估两个复杂的语义解析数据集上的PATOIS,并表明使用学习的代码习惯用法提高了合成器的准确性。
2019-11-05 cs.AI cs.CL cs.LG
Event Search and Analytics: Detecting Events in Semantically Annotated Corpora for Search and Analytics
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Saarbrücken Graduate School of Computer Science(萨尔布吕肯计算机科学研究生院)
在这篇文章中,我提出了我在博士研究中试图回答的问题。我试图分析自然语言文本的语义注释的帮助下,挖掘重要事件导航大型文本语料库。命名实体、地理位置和时间表达式等语义标注可以帮助我们从给定的语料库中挖掘事件。因此,这些事件为我们提供了有用的手段来发现其中的锁定知识。我提出了三个问题,可以帮助解锁语义注释文本语料库中的知识库:i。确定重要事件; ii.语义搜索;以及iii.事件分析
2016-03-01 cs.CL cs.IR
Rapidly Deploying a Neural Search Engine for the COVID-19 Open Research Dataset: Preliminary Thoughts and Lessons Learned
University of Waterloo(滑铁卢大学);New York University(纽约大学);Facebook AI Research(Facebook人工智能研究院)
我们介绍了Neural Covidex,这是一个搜索引擎,它利用最新的神经排名架构,为艾伦人工智能研究所策划的COVID-19开放研究数据集提供信息访问。这个网络应用程序是我们在过去几周开发的一套工具的一部分,以帮助领域专家应对正在进行的全球流行病。我们希望,科学文献信息获取能力的提高可以为基于证据的决策和洞察力的产生提供信息。本文描述了我们最初的努力,并提供了一些关于我们在此过程中学到的经验教训的想法。
2020-04-10 cs.CL cs.DL cs.IR
With raised eyebrows or the eyebrows raised ? A Neural Network Approach to Grammar Checking for Definiteness
本文利用复数限定词语义的特征模型,提出了一种确定性语法检查方法。利用神经网络技术,学习语义-形态范畴映射。然后,我们将文本编码技术应用于10000字的叙事文本中的相关类别的125个职业,并学习了表面语义映射。通过将学习的生成函数应用于新生成的表示,我们在许多情况下实现了正确的类别分配(87%)。这些结果明显优于直接表面分类方法(54%),基线(总是猜测主导类别)为60%。讨论了如何将这些结果用于多语言NLP应用程序。
1996-06-14 cmp-lg cs.CL
Unlocking Insights: Semantic Search in Jupyter Notebooks
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft(微软公司)
本文提出面向Jupyter Notebook的语义搜索框架,利用大语言模型理解整个Notebook内容,并通过从单元格级到函数级的细粒度输入方法解决token限制,以高效检索输出、函数和方法等信息。
2024-02-20 cs.CL cs.IR
TinySearch -- Semantics based Search Engine using Bert Embeddings
Texas A&M University(得克萨斯农工大学);Facebook AI Research(Facebook人工智能研究院)
现有的搜索引擎使用关键字匹配或基于tf-idf的匹配来将查询映射到web文档并对它们进行排名。他们还考虑其他因素,如页面排名,枢纽和权威分数,知识图谱,使结果更有意义。然而,现有的搜索引擎无法捕捉查询的含义时,它变得庞大和复杂。BERT是Google在2018年推出的,它为单词和句子提供嵌入。在本文中,我已经开发了一个面向语义的搜索引擎,使用神经网络和BERT嵌入,可以搜索查询和排名的顺序,最有意义的最不有意义的文件。结果表明,改进了现有的搜索引擎的复杂查询给定的一组文件。
2019-08-07 cs.CL cs.IR
Semantic Source Code Search: A Study of the Past and a Glimpse at the Future
随着最近源代码库和软件项目的规模和复杂性的爆炸式增长,对高效源代码搜索引擎的需求急剧增加。遗憾的是,现有的基于信息检索的方法无法捕获查询语义,并且仅在查询包含基于语法的关键字时才表现良好。因此,当给出高级自然语言查询时,这样的方法将表现不佳。在本文中,我们回顾了现有的方法来构建代码搜索引擎。我们还概述了开放的研究方向和各种障碍,站在一个通用的源代码搜索引擎的方式。
2021-09-23 cs.CL cs.SE
Semantic clustering of Russian web search results: possibilities and problems
Mail.ru Group(Mail.ru集团);National Research University Higher School of Economics(国立研究型高等经济学院)
本文研究了从词汇共现图中进行词义归纳的问题。我们构建这样的图大型俄罗斯语料库,然后将这些数据聚类Mail.ru搜索结果根据查询的含义。我们比较不同的方法进行这种聚类和不同的源语料库。描述了将分布式语义应用于大语言数据的模型。
2014-10-26 cs.CL cs.IR
Semantic Similarity is a Spurious Measure of Comic Understanding: Lessons Learned from Hallucinations in a Benchmarking Experiment
本文提出了一项初步基准测试,评估生成视觉-语言模型在漫画解释任务中的表现,并分析了幻觉现象,强调未来研究中需加强幻觉缓解和数据整理。
2026-03-02 cs.CL cs.CV cs.LG
IRLab@iKAT24: Learned Sparse Retrieval with Multi-aspect LLM Query Generation for Conversational Search
University of Amsterdam(阿姆斯特丹大学)
本文研究对话式搜索中的查询重写,提出基于MQ4CS框架的多维度LLM查询生成方法,并结合SPLADE学习型稀疏检索与交叉编码器重排序,在iKAT 2024任务中验证了该方法能有效提升检索性能并超越人工重写效果。
2024-11-22 cs.CL cs.IR
Semantic Product Search
Amazon(亚马逊公司);Carnegie Mellon University(卡内基梅隆大学)
我们研究产品搜索中的语义匹配问题,即给定一个客户查询,从目录中检索所有语义相关的产品。通过倒排索引进行的纯词汇匹配在这方面是不够的,这是由于以下几个因素:a)缺乏对上位词、同义词和反义词的理解,b)对形态变体的脆弱性(例如“woman”与“women”),以及c)对拼写错误的敏感性。为了解决这些问题,我们训练了一个使用客户行为数据进行语义匹配的深度学习模型。最近,大部分关于使用深度学习的大规模语义搜索的工作都集中在网络搜索的排名上。相比之下,产品搜索的语义匹配提出了一些新的挑战,我们在本文中阐述。我们通过a)开发一个新的损失函数来解决这些挑战,该函数具有一个内置的阈值来区分随机的负面示例、印象深刻但未购买的示例和正面示例(购买的物品),b)使用平均池结合n元语法来捕获短程语言模式,c)使用散列来处理词汇表标记,以及d)使用模型并行训练架构来跨8个GPU扩展。我们提出了令人信服的离线结果,证明与使用相同标记化方法的基线最先进的语义搜索方法相比,Recall@100至少提高了4.7%,平均平均精度(MAP)提高了14.5%。此外,我们提出的结果,并讨论学习从在线A/B测试,证明了我们的方法的有效性。
2019-07-01 cs.CL cs.IR
Learning Deep Semantic Model for Code Search using CodeSearchNet Corpus
Tencent Cloud(腾讯云);Alibaba Group(阿里巴巴集团)
语义代码搜索是在给定自然语言查询的情况下检索相关代码片段的任务。与典型的信息检索任务不同,代码搜索需要弥合程序设计语言和自然语言之间的语义鸿沟,以便更好地描述内在概念和语义。近年来,用于代码搜索的深度神经网络成为研究热点。神经代码搜索的典型方法首先将代码片段和查询文本表示为单独的嵌入,然后使用向量距离(例如点积或余弦)来计算它们之间的语义相似度。有许多不同的方法可以将可变长度的代码或查询标记聚合到可学习的嵌入中,包括双向编码器,交叉编码器和多编码器。查询编码器和代码编码器的目标是为一对相关的查询和对应的所需代码片段产生彼此接近的嵌入,其中编码器的选择和设计非常重要。在本文中,我们提出了一种新的深层语义模型,它不仅利用多模态源的效用,而且还利用特征提取器,如自注意力,聚合向量,中间表示的组合。我们应用所提出的模型来解决CodeSearchNet关于语义代码搜索的挑战。我们将多模态学习的跨语言嵌入与大批量和硬示例挖掘相结合,并结合不同的学习表示以更好地增强表示学习。我们的模型在CodeSearchNet语料库上进行了训练,并在支持数据上进行了评估,最终模型达到了0.384 NDCG,在该基准测试中获得了第一名。模型和代码可在https://github.com/overwindows/SemanticCodeSearch.git上获得。
2022-01-27 cs.CL cs.IR
Cascaded Fast and Slow Models for Efficient Semantic Code Search
Salesforce Research Asia(Salesforce 亚洲研究院)
自然语言语义代码搜索的目标是使用自然语言查询从固定的候选集合中检索语义相关的代码片段。现有的方法对于一个实用的语义代码搜索系统来说既不有效也不高效。在本文中,我们提出了一个高效和准确的语义代码搜索框架级联的快速和缓慢的模型,其中快速Transformer编码器模型学习,以优化可扩展的索引快速检索其次是学习一个缓慢的分类为基础的重新排名模型,以提高性能的前K个结果的快速检索。为了进一步降低在实践中部署两个单独的模型的高存储器成本,我们提出了基于具有共享参数的单个Transformer编码器来联合训练快模型和慢模型。所提出的级联方法不仅是有效的和可扩展的,而且还实现了最先进的结果,平均倒数排名(MRR)得分为0.7795(跨6种程序设计语言),而不是以前的最先进的结果0.713 MRR的CodeSearchNet基准。
2021-10-15 cs.CL cs.PL
Semantic Search Evaluation
LinkedIn(领英);Walmart(沃尔玛)
本研究提出一种语义搜索性能评估方法,引入on-topic rate指标,通过含黄金查询集、Top-K结果检索与GPT 3.5调用的评估流水线,识别失败模式以提升搜索相关性。
2024-10-28 cs.CL cs.IR
Incorporating Hierarchical Semantics in Sparse Autoencoder Architectures
University of Chicago(芝加哥大学)
本文提出一种显式建模概念语义层级的改进稀疏自编码器架构,用于大型语言模型内部表示,证明可学习语义层级并同时提升重构质量、可解释性与计算效率。
2025-06-01 cs.AI cs.CL cs.LG
SQLite is Enough. Lexical, Semantic, and Hybrid Search with scrydb
TH Köln – University of Applied Sciences(科隆应用技术大学)
本研究推出 Python 库 scrydb,基于 SQLite 的 FTS5 和 sqlite-vec 扩展实现词汇、语义及混合搜索,经 IR 基准数据集验证,可为信息检索或智能体搜索下游任务提供轻量高效的解决方案。
2026-08-26 cs.CL cs.DB cs.IR
Towards Understanding What Code Language Models Learned
UC Davis(加州大学戴维斯分校);Inria Paris-Rocquencourt(法国国家信息与自动化研究所巴黎-罗康库尔中心);Rajiv Gandhi University(拉吉夫甘地大学);Tsinghua University(清华大学);Palmer Research Laboratories(帕尔默研究实验室)
本文通过操纵代码片段并进行客观评估,考察代码预训练语言模型是否捕捉形式化定义的代码语义,证明其可学到超越表面形式的稳健计算语义表示。
2024-02-27 cs.CL cs.LG cs.SE
Towards Generalizable Semantic Product Search by Text Similarity Pre-training on Search Click Logs
Wayfair LLC(Wayfair有限责任公司)
最近,语义搜索已经成功地应用于电子商务产品搜索,并且用于查询和产品编码的学习的语义空间被期望推广到看不见的查询或产品。然而,推广是否可以方便地出现,迄今为止,在该领域还没有深入研究。在本文中,我们检查了几个通用领域和特定领域的预训练Roberta变体,并发现通用领域微调无助于泛化,这与现有技术的发现一致。基于对公开可用的手动注释查询-产品对数据的分桶分析,使用点击流数据进行适当的特定领域微调可以带来更好的模型泛化
2022-04-28 cs.AI cs.CL cs.IR
Query Attribute Modeling: Improving search relevance with Semantic Search and Meta Data Filtering
提出查询属性建模(QAM)混合框架,通过将文本查询分解为元数据标签和语义元素提升搜索精度,在亚马逊玩具数据集上mAP@5达52.99%,优于传统搜索方法。
2025-08-06 cs.AI cs.CL cs.IR
A Semantic Search Pipeline for Causality-driven Adhoc Information Retrieval
National University of Ireland Galway(爱尔兰国立高威大学);University College Cork(科克大学学院)
本文提出一种无监督语义搜索流水线,通过在语义和词汇索引上聚合多查询策略结果,有效区分主题文档与因果文档,在CAIR-2021任务中表现领先。
2025-03-02 cs.AI cs.CL cs.IR
Semantic Search for Large Scale Clinical Ontologies
The Australian E-Health Research Centre, CSIRO(澳大利亚电子健康研究中心,联邦科学与工业研究组织)
当查询使用不同的词汇表时,在大型临床本体中查找概念可能具有挑战性。克服这个问题的搜索算法在诸如概念规范化和本体匹配的应用中是有用的,其中概念可以使用不同的同义词以不同的方式被引用。在本文中,我们提出了一种基于深度学习的方法来构建大型临床本体的语义搜索系统。我们提出了一个Triplet-BERT模型和一种直接从本体生成训练数据的方法。该模型使用五个真实的基准数据集进行评估,结果表明,我们的方法在自由文本到概念和概念到概念搜索任务上都取得了很高的结果,并且优于所有基线方法。
2022-01-01 cs.CL cs.IR cs.LG
Evaluation of Siamese Networks for Semantic Code Search
IBM Research(IBM研究院);Flipkart(弗利普卡特)
随着开放存储库和论坛数量的增加,使用自然语言进行语义代码搜索变得越来越普遍。然而,由于1)代码和用户查询之间的有限共享词汇以及2)对用户查询及其与代码语法的关系的语义理解不足,由这样的系统返回的结果的准确性可能较低。暹罗网络非常适合学习数据之间的这种联合关系,但尚未在代码搜索的背景下进行探索。在这项工作中,我们通过探索多个提取网络架构来评估Siamese网络。这些网络独立处理代码和文本描述,然后将它们传递给暹罗网络,以学习公共空间中的嵌入。我们在两个不同的数据集上进行了实验,发现Siamese网络可以作为网络上的强正则化器,从代码和文本中提取丰富的信息,这反过来又有助于在代码搜索上实现令人印象深刻的性能,击败$2$程序设计语言的先前基线。我们还分析了这些网络的嵌入空间,并为充分利用Siamese网络进行语义代码搜索提供了方向。
2020-10-12 cs.AI cs.CL cs.SE
Query Obfuscation Semantic Decomposition
University of Liverpool(利物浦大学)
我们提出了一种方法来保护搜索引擎用户的隐私分解查询使用语义\emph{related}和无关的\emph{distractor}条款。代替单个查询,搜索引擎接收多个分解的查询项。接下来,我们通过聚合针对分解的查询词检索到的搜索结果来重构与原始查询词相关的搜索结果。我们表明,使用分布式表示学习方法学习的词嵌入可以用来找到语义相关和干扰查询项。我们得到的\emph{obfuscity}之间的关系,通过建议的查询匿名化方法和\emph{reconstructability}的原始搜索结果使用分解的查询。我们分析研究了所提出的查询混淆方法下发现搜索引擎用户信息意图的风险,并实证评估其对基于聚类的攻击的鲁棒性。实验结果表明,该方法可以准确地重建用户查询的搜索结果,而不会损害搜索引擎用户的隐私。
2022-04-13 cs.CL cs.CR cs.IR
Matching Meaning at Scale: Evaluating Semantic Search for 18th-Century Intellectual History through the Case of Locke
University of Helsinki(赫尔辛基大学);TurkuNLP, University of Turku(图尔库大学TurkuNLP);ELLIS Institute Finland(芬兰ELLIS研究所)
本文通过洛克作品的接受情况,评估语义搜索在18世纪思想史中的应用,发现其能更有效地检索隐含意义,但受限于词汇重叠。
2026-05-12 cs.AI cs.CL cs.CY