Leveraging Semantic and Lexical Matching to Improve the Recall of Document Retrieval Systems: A Hybrid Approach
搜索引擎通常遵循两阶段范例,其中在第一阶段(检索阶段)中检索初始文档集,并且在第二阶段(重新排序阶段)中对文档进行重新排序以获得最终结果列表。虽然深度神经网络在以前的工作中被证明可以提高重新排序阶段的性能,但是很少有文献关于使用深度神经网络来提高检索阶段。在本文中,我们研究了深度神经网络模型和词汇模型相结合的检索阶段的优点。提出了一种利用语义(基于深度神经网络)和词汇(基于关键字匹配)检索模型的混合方法。我们进行了实证研究,使用公开的TREC集合,这表明了我们的方法的有效性,并揭示了语义方法,词汇方法,以及它们的组合的不同特点。
2020-10-02 cs.IR
Semantic Modeling of Analytic-based Relationships with Direct Qualification
成功地对文档的状态和基于分析的语义关系进行建模,可以增强文档的表示、重要性、相关性、出处和优先级。这些属性是形成文档的基于机器的知识表示的核心元素。然而,对可能随时间变化的文档关系进行建模对于语义技术来说可能是不优雅的、有限的、复杂的或过于繁重的。在本文中,我们提出了直接资格(DQ),建模任何语义引用的文档,概念,或命名的图形与相关的应用分析的结果的方法。所提出的方法补充了传统的主客体关系,提供了第三条腿的关系,资格如何和为什么关系存在。为了说明这一点,我们展示了一个基于事件的系统原型,该系统具有一个现实的用例,用于将DQ应用于PageRank和超链接诱导主题搜索(HITS)的相关性分析。
2015-02-15 cs.IR
Utilizing Embeddings for Ad-hoc Retrieval by Document-to-document Similarity
词或段落的潜在语义表示,即嵌入,在信息检索中有着广泛的应用。利用嵌入进行检索的常用方法之一是估计嵌入中的文档到查询(D2 Q)相似度。由于具有相似句法用法的词通常在嵌入空间中彼此非常接近,尽管它们在语义上不相似,D2 Q相似性方法可能遭受“多个相似度”的问题。为此,本文提出了一种新的方法,估计一个语义相关性得分(SEM)的基础上文档到文档(D2 D)的相似性嵌入。由于Word或Para 2 Vec通过单词/段落的上下文生成嵌入,因此D2 D相似性方法将文档排序的任务转变为对不同文档内的内容之间的相似性的估计。在标准TREC测试集上的实验结果表明,我们提出的方法优于强基线。
2017-08-10 cs.IR
A Concept-Centered Hypertext Approach to Case-Based Retrieval
基于病例的检索的目标是通过在大型档案中查找相关医学文献来帮助医生进行临床决策。我们提出了一项研究,旨在通过使用自动创建的文档级语义网络,提高基于案例的检索系统的有效性。建议的研究处理信息系统的不同方面,并利用信息抽取和关系学习的最新进展,重新审视和推进以概念为中心的超文本模型的核心思想。我们提出了一个两步的方法,在第一步中解决了自动创建的文档级语义网络,然后在第二步中,它设计的方法,利用这种文档表示从医学文献中检索相关的情况下。为了自动建立文档的语义网络,我们设计了一种结合信息抽取技术和关系学习模型的方法。信息抽取技术是从文本中挖掘概念和关系的技术,是文档级语义网络构建过程的核心。另一方面,关系学习模型的任务是用信息抽取算法没有检测到的额外连接来丰富图,并加强所提取关系的置信度。为了检索相关的医学文献,我们调查的方法,能够比较文件的语义网络的结构和语义。从文档中自动提取语义关系,以及它们在创建文档语义网络中的中心地位,代表了我们比以前基于图的方法更进一步的尝试。
2018-11-27 cs.IR
C2T-ID: Converting Semantic Codebooks to Textual Document Identifiers for Generative Search
State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所人工智能安全重点实验室);University of Chinese Academy of Sciences(中国科学院大学)
针对生成式检索中文档标识符语义性与搜索空间可控性难以兼顾的问题,提出C2T-ID方法,通过层级聚类、关键词替换与可选语义平滑生成文本标识符,在多个基准上优于现有基线。
2025-10-22 cs.IR
Semantic classifier approach to document classification
Polish Academy of Sciences(波兰科学院)
在本文中,我们提出了一种新的文档分类方法,弥合训练集和应用集的文本数据之间的差异(所谓的语义差距)。我们证明了它的优越性,经典的文本分类方法,包括传统的分类器集成。该方法包括将文档分类技术与单个分类器或分类器集成(SEMCOM算法-具有语义分类器的委员会)相结合。
2017-01-16 cs.CL cs.IR
Semantic-Enhanced Differentiable Search Index Inspired by Learning Strategies
受认知心理学学习策略启发,提出SE-DSI模型,通过为文档分配基于查询生成的精细描述标识符并选取细粒度语义特征作为记忆内容,有效提升了文档检索性能。
2023-05-24 cs.IR
Semantic Technology-Assisted Review (STAR) Document analysis and monitoring using random vectors
计算机软件的新发展极大地促进了对大量文件的审查和分析以及对新增文件的定期监测。本文演示了如何使用随机向量来构建一个低维欧氏空间嵌入单词和文档,使它们之间的语义相似度的快速和准确的计算。通过这种语义技术辅助审查(STAR)技术,可以非常快速地选择、比较、分类、总结和评估文档,只需最少的专家参与和高质量的结果。
2017-11-29 cs.CL cs.IR
Semantic Driven Fielded Entity Retrieval
基于知识的实体搜索的常见方法是将实体视为具有多个字段的文档。关注于在不同领域中匹配查询词的模型是用于搜索这样的实体表示的流行选择。这种模型的一个实例是FSDM(现场顺序依赖模型)。我们建议将字段级语义特征集成到FSDM中。我们使用FSDM来检索文档池,然后使用语义字段级特征来重新排列这些文档。我们建议将查询表示为术语袋和实体袋,并最终使用它们的密集向量表示来基于查询文档相似性计算语义特征。我们提出的重新排序方法实现了显着的改进,在DBpedia-Entity(v2)数据集上的实体检索现有的FSDM模型。具体来说,对于所有查询,我们在NDCG@10和NDCG@100中分别实现了2.5%和1.2%的显着改进。
2019-07-02 cs.IR
Efficient Document Retrieval by End-to-End Refining and Quantizing BERT Embedding with Contrastive Product Quantization
高效的文档检索在很大程度上依赖于语义哈希技术,该技术为每个文档学习一个二进制代码,并使用汉明距离来评估文档距离。然而,现有的语义散列方法大多是建立在过时的TFIDF特征上,这些特征显然不包含大量关于文档的重要语义信息。此外,汉明距离只能等于几个整数值之一,大大限制了它对文档距离的表示能力。为了解决这些问题,在本文中,我们建议利用BERT嵌入进行有效的检索的基础上的产品量化技术,这将分配给每个文档的代码簿的实值码字,而不是一个二进制代码的语义哈希。具体来说,我们首先通过可学习的映射变换原始BERT嵌入,并将变换后的嵌入馈送到概率乘积量化模块中以输出分配的码字。可以通过最小化概率对比损失来以端到端的方式优化细化和量化模块。进一步提出了一种基于互信息最大化的方法来提高码字的代表性,从而使文档的量化更加精确。在三个基准上进行的大量实验表明,我们提出的方法显着优于当前最先进的基线。
2022-10-31 cs.IR
TimelyRAG: Semantic-Temporal Hybrid Retrieval for Time-Critical Question Answering in Overlapping-Evolving Documents
KAIST(韩国科学技术院);Korea University(韩国大学);University of Vermont(佛蒙特大学)
针对法律等重叠演化文档中的时间关键问答,提出融合时间距离的检索框架TimelyRAG及基准TimelyQABench,实验显示nDCG@10提升达28.6%。
2026-09-11 cs.IR
Ranking Archived Documents for Structured Queries on Semantic Layers
归档的文档集合(如报纸和网络档案)在各种学科中充当重要的信息源,包括数字人文学,历史科学和新闻学。然而,缺乏有效和有意义的探索方法仍然是将其转化为可用信息来源的主要障碍。语义层是一个RDF图,它描述了关于归档文档集合的元数据和语义信息,这些文档又可以通过语义查询语言(SPARQL)进行查询。这允许通过组合文档的元数据(如发布日期)和基于内容的语义信息(如文档中提到的实体)来运行高级查询。然而,由这样的结构化查询返回的结果可以是众多的,而且它们都等同地匹配查询。在本文中,我们处理这个问题,并正式的任务“排名归档文件的语义层结构化查询”。然后,我们提出了两个排序模型的问题,共同考虑:i)的相对性的文件实体,ii)的及时性的文件,和iii)的时间关系的实体。在一个新的评估数据集上的实验结果表明了所提出的模型的有效性,并允许我们了解它们的局限性
2018-10-23 cs.DL cs.IR
Semantic URL Analytics to Support Efficient Annotation of Large Scale Web Archives
长期Web档案包括在较长时间段内收集的Web文档,大小可以轻松达到数百TB。语义注释(如命名实体)可以促进对Web存档数据的智能访问。然而,以这种规模对整个档案内容进行注释往往是不可行的。访问Web存档中文档的最有效方法是通过它们的URL,URL通常存储在专用的索引文件中,存档的Web文档的URL可以包含语义信息,并且可以提供一种有效的方法来获得存档文档的初始语义注释。在本文中,我们分析了语义分析技术,如命名实体提取的URL在Web存档的适用性。我们评估了从Popular German Web数据集中的URL中提取命名实体的精度,并分析了这些技术适用于2000年至2012年期间1,444个流行域的存档URL的比例。我们的研究结果表明,命名实体识别可以成功地应用于大量的URL在我们的Web存档,并提供了一个很好的起点,有效地注释大规模的Web文档集合。
2017-02-02 cs.IR
Information Retrieval in long documents: Word clustering approach for improving Semantics
本文提出基于词嵌入聚类和词簇加权的长文档语义信息检索方法,通过融合词汇与语义表示,在 SQuAD 和 TREC-CAR 上显著优于纯关键词方法。
2025-07-26 cs.IR
Semantic Document Distance Measures and Unsupervised Document Revision Detection
Northwestern University(西北大学);Intel Corporation(英特尔公司)
在本文中,我们将文档修订检测问题建模为依赖于计算文档距离的最小成本分支问题。此外,我们提出了两个新的文档距离的措施,基于词向量的动态时间弯曲(wDTW)和基于词向量的树编辑距离(wTED)。我们的修订检测系统是为大规模语料库设计的,并在Apache Spark中实现。我们证明,我们的系统可以更精确地检测修订比国家的最先进的方法,利用维基百科的修订转储https://snap.stanford.edu/data/wiki-meta.html和模拟数据集。
2017-11-22 cs.CL cs.IR
Improving Persian Document Classification Using Semantic Relations between Words
University of Isfahan(伊斯法罕大学)
随着信息量的增加,文档分类作为文本挖掘的方法之一,在许多信息的管理和组织中起着重要的作用。文档分类是将文档分配给一个或多个预定义类别标签的过程。文本分类包括文本处理、术语选择、术语加权和最终分类。文档分类的准确性非常重要。因此,在每个部分的分类改进,应导致更好的结果和更高的精度。术语权重对分类的准确性有很大的影响。现有的加权方法大多利用文档中术语的统计信息,而没有考虑词与词之间的语义关系。在本文中,自动文档分类系统,使用一种新的术语加权方法的基础上,术语之间的语义关系。为了评估所提出的方法,三个标准的波斯语语料库。实验结果表明,与以前设计的最好的系统相比,波斯文文档的分类精度提高了2%至4%。
2014-12-28 cs.IR cs.LG
Privacy-Preserving Multi-Document Summarization
Carnegie Mellon University(卡内基梅隆大学);Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等技术学院);INESC-ID(葡萄牙系统与计算机工程研究所)
最先进的提取多文档摘要系统通常在设计时不考虑隐私问题,这意味着所有文档都对第三方开放。在本文中,我们提出了一个隐私保护的方法来多文档摘要。我们的方法使其他各方能够获得摘要,而无需了解有关原始文档内容的任何其他信息。我们使用一个散列方案称为安全二进制嵌入转换文档表示包含关键短语和袋的话成位串,允许计算的近似距离,而不是确切的。我们的实验表明,我们的系统在标准的多文档评估数据集上产生类似的结果。
2015-08-06 cs.CL cs.CR cs.IR
Beyond Semantic IDs: Encoding Business-Value Ranking into Document Identifiers for Generative Retrieval
Taobao & Tmall Group of Alibaba(阿里巴巴淘宝天猫集团)
研究针对生成式检索中DocID设计问题,提出CRID方法,将DocID解耦并支持增量更新,引入分析框架揭示语义聚类大小作用,实验表明该方法在淘宝语料库上超基线,全流量部署提升了商品交易总额。
2026-08-31 cs.IR
Khmer Semantic Search Engine (KSE): Digital Information Access and Document Retrieval
Institute of Technology of Cambodia (ITC)(柬埔寨理工学院)
提出首个高棉语语义搜索引擎 KSE,结合关键词词典、本体和排序三种语义匹配框架及数据准备工具,提升高棉语文档与在线资源检索准确率。
2024-06-16 cs.CL cs.IR
DMAP: Human-Aligned Structural Document Map for Multimodal Document Understanding
Nanjing University of Science and Technology(南京理工大学);University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Nanjing Forestry University(南京林业大学)
DMAP通过构建人类对齐的多模态文档结构地图,提升文档理解的结构化表示和多模态推理能力。
2026-01-27 cs.IR
The Role-Relevance Model for Enhanced Semantic Targeting in Unstructured Text
个性化搜索提供了一个潜在的强大的工具,但是,它是有限的,由于大量的角色,一个人有:父母,员工,消费者等,我们提出的角色相关性算法:搜索技术,有利于搜索结果相关的用户的当前角色。角色相关性算法使用三个因素对文档进行评分:(1)每个文档包含的关键字数量;(2)每个文档与用户角色的地理相关性(如果适用);以及(3)每个文档与用户角色的主题相关性(如果适用)。主题相关性评估使用一种新的扩展潜在狄利克雷分配(LDA),允许标准的LDA评分文件的相关性,用户定义的主题。预标记语料库的总体结果显示,与单独的关键字搜索相比,搜索精度平均提高了约20%。
2018-04-29 cs.IR
Element Retrieval using Namespace Based on keyword search over XML Documents
使用关键字搜索来查询XML元素正逐渐流行起来。传统的相似性度量被广泛应用于各种XML文档的检索。许多作者已经提出了利用XML文档的结构和内容的不同的相似性度量方法。然而,它们没有考虑元素文本的潜在语义信息和查询中的关键字之间的相似性。XML元素搜索算法很多,但由于搜索的元素数量庞大,有的算法存在很高的计算复杂性。在本文中,我们提出了一个新的算法,利用元素之间的语义相似性,而不是整个XML文档之间,考虑不仅是XML文档的结构和内容,但元素中的名称空间的语义信息。通过在真实数据集上的测试,我们将我们的算法与其他三种算法进行了比较。实验结果表明,该方法能够提高查询的准确率,并减少运行时间。
2010-12-17 cs.IR
Beyond Lexical: A Semantic Retrieval Framework for Textual SearchEngine
搜索引擎已经成为各种Web和移动应用程序中的基本组件。对于搜索引擎系统来说,从海量数据集中检索相关文档是一个挑战,尤其是在面对冗长或尾查询时。在本文中,我们探讨了一个向量空间搜索框架的文件检索。具体来说,我们训练了一个深度语义匹配模型,这样每个查询和文档都可以被编码为低维嵌入。我们的模型是基于BERT架构训练的。我们部署了一个快速的k-最近邻索引服务的在线服务。离线和在线指标表明,我们的方法大大提高了检索性能和搜索质量,特别是对尾部
2020-08-10 cs.IR
Practical Semantic Analysis of Web Sites and Documents
由于网站现在是普通产品,因此有必要明确网站质量的概念。网站的质量可能与访问的容易程度有关,也可能与其他标准有关,如网站是否及时更新和连贯一致。这最后的质量是很难保证的,因为网站可能会非常频繁地更新,可能有许多作者,可能是部分生成的,在这种情况下,校对是非常困难的。同一条信息可能出现在不同的情况下,也可能出现在数据或元数据中,这就需要进行一致性检查。在本文中,我们做了一个平行的程序和网站。我们提出了一些语义约束的例子,一个想指定的(限制的意义之间的类别和子类别的主题目录,组织结构图和其他网站在学术网站之间的一致性)。我们提出了快速的自然语义,一种方式来指定的程序设计语言,启发我们的作品的语义。然后,我们提出了一个规约语言的语义约束在Web站点,结合众所周知的“使”程序,允许生成一些网站验证工具,通过编译规范成Prolog代码。我们将我们的方法应用到一个大型的XML文档,这是我们的研究所活动报告的科学部分,跟踪错误或不一致,也构造了一些指标,可用于管理的研究所。
2005-10-11 cs.IR
PDFMathTranslate: Scientific Document Translation Preserving Layouts
National University of Singapore(新加坡国立大学);Tsinghua University(清华大学);University of Chinese Academy of Sciences(中国科学院大学);Funstory.ai Limited(Funstory.ai有限公司)
PDFMathTranslate 是首个在翻译科学文档时保留排版的开源软件,结合大语言模型与精确排版检测,在精度、灵活性和效率上实现关键改进,下载量已超 222k 次。
2025-09-22 cs.CL cs.IR cs.LG
Using Semantic Role Knowledge for Relevance Ranking of Key Phrases in Documents: An Unsupervised Approach
IBM Research(IBM研究院)
本文研究了PageRank系统中句子位置和词的语义角色的结合,建立了一种关键短语排序方法。我们提出了我们的方法对三篇科学文章的评价结果。我们表明,语义角色信息,当与PageRank系统集成,可以成为一个新的词汇功能。我们的方法在所有数据集上都比最先进的基线方法有了全面的改进。
2019-08-09 cs.CL cs.IR
AI Prior Art Search: Semantic Clusters and Evaluation Infrastructure
Federal Institute of Industrial Property(联邦工业产权研究所)
本文提出了一种基于语义聚类的AI优先艺术搜索方法,通过生成大规模数据集和评估工具,提升专利文献检索的自动化水平。
2026-01-05 cs.AI cs.IR
A Topological Method for Comparing Document Semantics
University of Delaware(特拉华大学);Spotify
文档语义比较是自然语言处理和信息检索中最困难的任务之一。到目前为止,一方面,这项任务的工具仍然很少。另一方面,大多数相关的方法是从统计或向量空间模型的角度设计的,但几乎没有从拓扑的角度。在本文中,我们希望发出不同的声音。提出了一种基于拓扑持久性的文档语义相似度比较算法。我们的实验是在一个文档数据集上进行的,其中包含了人类判断的结果。一个国家的最先进的方法的集合被选择用于比较。实验结果表明,我们的算法可以产生高度的人类一致的结果,也击败了大多数国家的最先进的方法,虽然与NLTK的关系。
2020-12-08 cs.CL cs.IR
Arabic text summarization based on latent semantic analysis to enhance arabic documents clustering
University Sidi Mohamed Ben Abdellah (USMBA)(西迪·穆罕默德·本·阿卜杜拉大学);Faculty of Science Dhar EL Mahraz (FSDM)(达尔·马赫拉兹科学学院)
阿拉伯文文档聚类是一项重要的任务,以获得良好的效果与传统的信息检索(IR)系统,特别是与阿拉伯语在线文档的数量迅速增长。文档聚类的目标是使用不同的相似性/距离度量将相似的文档自动分组到一个聚类中。该任务往往受到文档长度的影响,文档上的有用信息往往伴随着大量的噪声,因此有必要在保留有用信息的同时消除这些噪声,以提高文档聚类的性能。在本文中,我们建议使用潜在语义分析模型对阿拉伯文文档聚类的文本摘要的影响进行评估,以解决上述问题,使用五个相似性/距离的措施:欧几里德距离,余弦相似性,Jaccard系数,皮尔逊相关系数和平均Kullback-Leibler发散,两次:没有和词干。实验结果表明,该方法有效地解决了噪声信息和文档长度的问题,从而显着提高聚类性能。
2013-02-06 cs.CL cs.IR
Towards a Ranking Model for Semantic Layers over Digital Archives
存档的文件集(如报纸档案)是历史学家、记者、社会学家和其他有关方面的重要信息源。这种数字档案上的语义层允许以标准格式(RDF)描述和发布关于存档文档的元数据和语义信息,其又可以通过结构化查询语言(例如,SPARQL)。这使得可以通过组合文档的元数据(如发布日期)和基于内容的语义信息(如文档中提到的实体)来运行高级查询。然而,结构化查询返回的结果可能很多,而且它们都与查询匹配。因此,有必要对这些成果进行排序,以促进最重要的成果。在本文中,我们专注于这个问题,并提出了一个排名模型,考虑和结合:i)的文档实体的相关性,ii)的及时性,和iii)的实体之间的关系。
2018-10-23 cs.DL cs.IR
Understanding and representing the semantics of large structured documents
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
理解大型结构化文档(例如学术文章、提案请求或业务报告)是一项复杂且困难的任务。它涉及发现文档的总体目的和主题,理解其部分和子部分的功能和意义,并提取有关它们的低级别实体和事实。在这项研究中,我们提出了一个基于深度学习的文档本体,从大量的学术文章和商业文档中捕获通用语义结构和特定领域的语义概念。本体能够描述文档的不同功能部分,可以用于增强语义索引,以便人类和机器更好地理解。我们通过对arXiv和征求建议书文件中的学术文章数据集进行广泛的实验来评估我们的模型。
2018-07-24 cs.CL cs.IR cs.LG
Improving Document Retrieval Coherence for Semantically Equivalent Queries
Amazon AGI(亚马逊人工智能研究院);University of Trento(特伦托大学)
提出Multi-Negative Ranking loss变体,通过惩罚语义等价查询检索结果差异,提升Dense Retrieval模型一致性与准确率。
2025-08-11 cs.CL cs.IR
Learning Document-Level Semantic Properties from Free-Text Annotations
Massachusetts Institute of Technology(麻省理工学院)
本文提出了一种利用自由文本关键词注释来推断文档语义属性的新方法。由于最近半结构化的用户生成的在线内容的急剧增长,这样的注释变得越来越丰富。一个特别相关的领域是产品评论,这些评论通常由其作者用优点/缺点关键词进行注释,例如真正的讨价还价或良好的价值。这些注释代表了底层的语义属性;然而,与专家注释不同,它们是嘈杂的:外行作者可能使用不同的标签来表示相同的属性,并且某些标签可能会丢失。为了使用这种嘈杂的注释进行学习,我们发现了一个隐藏的释义结构,它将关键短语聚集在一起。释义结构与评论文本的潜在主题模型相联系,使系统能够预测未注释文档的属性,并有效地聚合多个评论的语义属性。我们的方法被实现为一个分层贝叶斯模型与联合推理。我们发现,联合推理增加了关键词聚类的鲁棒性,并鼓励潜在的主题与语义有意义的属性。多个评估表明,我们的模型大大优于其他方法总结成一组语义突出的关键词的单个和多个文件。
2014-01-15 cs.CL cs.IR
Document Clustering based on Topic Maps
National University of Computer & Emerging Sciences(国家计算机与新兴科学大学)
文档聚类对于更好地管理、智能导航、高效过滤以及对像万维网(WWW)这样的大量文档进行简明摘要的重要性现在被研究人员广泛认可。下一个挑战在于基于文档的语义内容在语义上执行聚类。文档聚类的问题有两个主要组成部分:(1)以这样一种形式表示文档,该形式固有地捕获文本的语义。这也可以有助于降低文档的维度,以及(2)基于语义表示来定义相似性度量,使得其向具有较高语义关系的文档对分配较高的数值。文档的特征空间对于文档聚类来说是非常具有挑战性的。一个文档可能包含多个主题,它可能包含一个大的类独立的通用词集,和少数类特定的核心词。考虑到这些特点,传统的凝聚聚类算法,这是基于文档向量模型(DVM)或后缀树模型(STC),是效率较低的高聚类质量的结果。本文介绍了一种新的基于主题图表示的文档聚类方法。该文件正在被转换成一个紧凑的形式。提出了一种基于主题图数据和结构的相似性度量方法。建议的方法是使用凝聚层次聚类和测试标准的信息检索(IR)数据集。对比实验表明,该方法能有效地提高聚类质量.
2011-12-29 cs.AI cs.IR
DSRIM: A Deep Neural Information Retrieval Model Enhanced by a Knowledge Resource Driven Representation of Documents
IRIT, Université de Toulouse, CNRS(图卢兹大学 IRIT 研究所、法国国家科学研究中心)
针对信息检索中词汇不匹配的最新解决方案主要旨在利用外部资源提供的关系语义或最近由深度神经方法研究的分布式语义。基于关系语义可以提高深度神经方法的有效性这一直觉,我们提出了深度语义资源推理模型(DSRIM),该模型依赖于:1)通过联合考虑在知识资源中表达的对象和关系来对文本的关系语义进行建模的原始数据的表示,以及2)通过利用文档和查询的分布式和关系语义来学习查询-文档相关性的端到端神经体系结构。在分别依赖WordNet和MeSH资源的TREC TB和TREC CDS轨道的两个TREC数据集上进行的实验评估表明,我们的模型优于最先进的语义和深度神经IR模型。
2017-07-27 cs.CL cs.IR
Pairwise Multi-Class Document Classification for Semantic Relations between Wikipedia Articles
DFKI GmbH(德国人工智能研究中心有限公司);University of Konstanz(康斯坦茨大学);University of Wuppertal(伍珀塔尔大学)
许多数字图书馆在向用户推荐文献时会考虑到查询文档与其存储库之间的相似性。然而,他们经常无法区分是什么关系使两个文档相似。在本文中,我们模型的问题,找到两个文件之间的关系作为一个成对的文件分类任务。为了发现文档之间的语义关系,我们应用了一系列技术,例如GloVe,Paragraph-Vectors,BERT和XLNet,在不同的配置下(例如,序列长度、向量级联方案),包括用于基于变换器的系统的连体架构。我们在一个新提出的数据集上进行实验,该数据集包含32,168个维基百科文章对和定义语义文档关系的Wikidata属性。我们的研究结果表明,香草BERT作为最好的表现系统的F1得分为0.93,我们手动检查,以更好地了解其适用于其他领域。我们的研究结果表明,分类文档之间的语义关系是一个可解决的任务,并激励推荐系统的发展的基础上评估的技术。本文中的讨论作为第一步,在探索文件通过SPARQL类查询,这样就可以找到文件,在一个方面是相似的,但在另一个不同的。
2020-03-22 cs.CL cs.DL cs.IR
Unsupervised Semantic Hashing with Pairwise Reconstruction
University of Copenhagen(哥本哈根大学)
语义哈希是一种流行的方法,用于在大规模数据集中进行高效的相似性搜索。在语义散列中,文档被编码为短二进制向量(即,散列码),使得可以使用汉明距离来有效地计算语义相似性。最近的最先进的方法已经利用弱监督来训练性能更好的散列模型。受此启发,我们提出了语义哈希与成对重建(PairRec),这是一个离散的变分自编码器为基础的哈希模型。PairRec首先将弱监督训练对(查询文档和语义相似的文档)编码成两个散列码,然后学习从这两个散列码重构相同的查询文档(即,成对重建)。这种成对重建使我们的模型能够直接通过解码器对哈希码中的局部邻域结构进行编码。我们实验比较PairRec的传统和国家的最先进的方法,并获得显着的性能改进的任务,文档相似性搜索。
2020-07-01 cs.CL cs.IR
Automatic Text Document Summarization using Semantic-based Analysis
Jawaharlal Nehru University(贾瓦哈拉尔·尼赫鲁大学)
自从网络出现以来,关于文的数据量已经增加了数百万倍。近年来产生的Web数据超过了存储多年的数据。一种重要的数据格式是文本。为了回答用户在互联网上的查询,并克服信息过载的问题,一个可能的解决方案是文本文档摘要。这不仅减少了查询访问时间,而且还根据特定用户的要求优化了文档结果。文本摘要可分为摘要式和抽取式两类。大部分工作都是在提取摘要的方向上完成的。摘要提取结果是原始文档的子集,其目标是更多的内容覆盖和减少冗余。我们的工作基于提取方法。在第一种方法中,我们使用一些统计特征和基于语义的特征。将情感作为一个特征是从情感扮演重要角色的观点中缓存的想法。它有效地传递了一个信息。因此,它可以发挥重要作用,在文本文档摘要。
2018-11-15 cs.CL cs.IR
Understanding the Logical and Semantic Structure of Large Documents
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
当前的语言理解方法集中于小文档,例如新闻专线文章、博客文章、产品评论和论坛条目。从大型文件(如法律摘要、提案、技术手册和研究文章)中理解和提取信息仍然是一项具有挑战性的任务。我们描述了一个框架,可以分析一个大的文件,并帮助人们知道在该文件中的特定信息。我们的目标是自动识别和分类文档的语义部分,并为文档中的相似部分分配一致且人类可理解的标签。我们的研究的一个关键贡献是建模的逻辑和语义结构的电子文档。我们在原型系统中应用了机器学习技术,包括深度学习。我们还提供了一个关于arXiv eprints集合中学术文章集合的信息数据集,其中包括每篇文章的各种元数据,包括目录,章节标签,章节摘要等。我们希望这个数据集将成为机器学习和NLP社区在信息检索,基于内容的问答和语言建模方面的有用资源。
2017-09-03 cs.CL cs.IR cs.LG
Towards Semantic Markup of Mathematical Documents via User Interaction
Heriot-Watt University(赫瑞-瓦特大学)
本文提出从现有 sTeX 宏定义半自动生成文法并解析数学公式的方法,配合 GUI 消歧工具,帮助作者将普通 LaTeX 文档转换为语义标记。
2024-08-05 cs.CL cs.IR
S2 Chunking: A Hybrid Framework for Document Segmentation Through Integrated Spatial and Semantic Analysis
Indian Institute of Technology, Patna(印度理工学院巴特那分校)
本文提出 S2 Chunking 混合框架,融合 bbox 空间布局、文本语义与元素关系构建加权图并进行谱聚类,在多样版式文档上提升分块准确性并满足 token 长度限制。
2025-01-08 cs.CL cs.IR cs.LG
Semantic Sensitive TF-IDF to Determine Word Relevance in Documents
Itaú Unibanco(伊塔乌联合银行);Federal University of Minas Gerais(米纳斯吉拉斯联邦大学)
关键词提取作为一个重要的研究课题,在文档上下文分类、文本索引和文档分类等领域有着广泛的应用前景。在本文中,我们提出了STF-IDF,一种新的语义方法TF-IDF的基础上,评分的非正式文件中的语料库中的词的重要性。收集了来自医疗社交媒体的近400万份文档,并进行了训练,以绘制语义模型并找到词嵌入。然后,利用语义空间的特征,通过迭代求解对原始TF-IDF评分进行重新排序,以提高该算法对非正式文本的适度性能。在测试了所提出的方法与200个随机选择的文件,我们的方法设法减少TF-IDF的平均出错率的一个因素的50%,达到13.7%的平均错误,而不是原来的TF-IDF的27.2%。
2021-01-25 cs.CL cs.IR cs.LG
Bridging the Gap: Incorporating a Semantic Similarity Measure for Effectively Mapping PubMed Queries to Documents
National Center for Biotechnology Information(国家生物技术信息中心);National Library of Medicine, National Institutes of Health(美国国家医学图书馆,美国国立卫生研究院)
传统的信息检索(IR)的主要方法是检查查询中有多少单词出现在文档中。然而,这种方法的一个缺点是,它可能无法检测到相关的文档中没有或只有少数单词从一个查询中被发现,语义分析方法,如LSA(潜在语义分析)和LDA(潜在Dirichlet分配)已被提出来解决这个问题,但他们的性能并不优于普通的IR方法相比。在这里,我们提出了一个查询文档的相似性措施的动机字移动器的距离。与其他相似性度量不同,所提出的方法依赖于神经词嵌入来计算词之间的距离。当在查询和文档之间没有找到直接匹配时,此过程有助于识别相关单词。我们的方法是有效的和简单的实现。在TREC Genomics数据上的实验结果表明,该方法的平均精度比BM 25排序函数平均高12%。此外,对于从PubMed搜索日志收集的真实数据集,我们使用学习排序方法将语义度量与BM 25相结合,从而将排名分数提高了25%。该实验表明,所提出的方法和BM 25很好地相互补充,并共同产生卓越的性能。
2017-10-17 cs.CL cs.IR
Semantic Preserving Bijective Mappings of Mathematical Formulae between Document Preparation Systems and Computer Algebra Systems
像LaTeX这样的文档准备系统提供了渲染数学表达式的能力,就像人们在纸上写这些一样。使用LaTeX、LaTeXML和为在国家标准研究所(NIST)数学函数数字图书馆中使用而生成的工具,通过使用语义宏集来实现语义增强的数学LaTeX标记(语义LaTeX)。计算机代数系统(CAS),如Maple和Mathematica使用替代标记来表示数学表达式。通过利用Youssef的部分数学标记和CAS内部表示,我们开发的算法来翻译数学表达式表示在语义LaTeX相应的CAS表示,反之亦然。我们还开发了用于翻译整个Wolfram编码连分数知识和安特卫普大学特殊函数连分数数据集的工具,用于NIST数学公式数字库。这些努力的总体目标是为数字数学图书馆中的公式向公众提供语义丰富的符合标准的MathML表示。这些表示包括表示MathML,内容MathML,通用LaTeX,语义LaTeX,现在还有CAS表示。
2021-09-17 cs.DL cs.IR
Integrating Semantics and Neighborhood Information with Graph-Driven Generative Models for Document Retrieval
Sun Yat-sen University(中山大学);Université de Montréal(蒙特利尔大学);Tencent Jarvis Lab(腾讯天衍实验室);SUNY at Buffalo(纽约州立大学布法罗分校)
随着对检索速度和存储空间要求的不断提高,文档哈希算法在大规模信息检索中发挥着重要的作用。为了生成高质量的哈希代码,语义和邻域信息都是至关重要的。然而,大多数现有的方法只利用其中之一或简单地通过一些直观的标准将它们组合起来,缺乏理论原则来指导集成过程。在本文中,我们编码的邻域信息与图诱导的高斯分布,并提出了集成的两种类型的信息与图驱动的生成模型。为了处理文档之间复杂的相关性,我们进一步提出了一种树结构的近似学习方法。在近似下,我们证明了训练目标可以分解为只涉及单例或成对文档的项,使模型能够像不相关的模型一样有效地训练。在三个基准数据集上的大量实验结果表明,我们的方法比最先进的方法具有更好的性能,证明了所提出的模型同时保留语义和邻域信息的有效性。
2021-05-27 cs.AI cs.IR
An Unsupervised Semantic Sentence Ranking Scheme for Text Documents
University of Massachusetts, Lowell(马萨诸塞大学洛厄尔分校)
本文提出了语义句子排名(SSR),一个无监督的计划自动排名句子在一个单一的文件,根据其相对重要性。特别地,SSR从文本文档中提取关键词和短语,并使用语义度量来分别构建短语和词的语义短语图和句子的语义句子图。它应用了两种偏向文章结构的PageRank变体,对第一个图上的短语和单词以及第二个图上的句子进行评分。然后,它将这些分数结合起来,生成每个句子的最终分数。最后,SSR解决了一个多目标优化问题,排名句子的基础上,他们的最终得分和主题的多样性,通过语义子主题聚类。在二次时间内运行的SSR的实现,它优于,在SummBank基准,每个单独的法官的排名,并与所有法官的综合排名相比。
2020-04-28 cs.CL cs.IR cs.LG
Toward Exploratory Search in Biomedicine: Evaluating Document Clusters by MeSH as a Semantic Anchor
目前的生物医学文献检索模式在有效查找与专家相关的信息方面受到严重限制。解决这个问题的一个潜在方法是探索性搜索,它允许用户交互式地浏览大量的文档集合。作为探索性搜索生物医学专家的第一步,本文提出了一种评价文档聚类质量的方法。为此,我们将人类的专业知识纳入数据集的创建和评估框架,利用MeSH术语作为语义锚。此外,我们还研究了全文数据对提高聚类质量的好处。
2018-12-05 cs.DL cs.HC cs.IR
Enhancing Semantic Document Retrieval- Employing Group Steiner Tree Algorithm with Domain Knowledge Enrichment
针对语义文档检索缺乏领域知识的问题,提出融合领域信息的 Group Steiner Tree 概念检索算法并构建 SemDR,在170个真实查询上显著优于基线。
2025-08-28 cs.CY cs.IR
RemoteRAG: A Privacy-Preserving LLM Cloud RAG Service
本文提出RemoteRAG,一种隐私保护的云RAG服务,通过$(n,ε)$-DistanceDP扰动嵌入并限制搜索范围,在保护用户查询隐私的同时实现高效、准确的检索,并抵抗嵌入反转攻击。
2024-12-17 cs.CR cs.IR
A Semantic approach for effective document clustering using WordNet
Amravati University(阿姆拉瓦蒂大学)
如今,文本文档在互联网、电子邮件和网页上自发地增加,并以电子数据库的形式存储。安排和浏览文档变得困难。为了克服这一问题,文档预处理、术语选择、属性约简以及利用背景知识WordNet维护重要术语之间的关系成为数据采掘的重要参数。本文分三个阶段进行,首先通过去除停用词对文档进行预处理,使用porter词干提取算法进行词干提取,使用词网词库维护重要词之间的关系,生成全局唯一词和频繁词集,然后形成数据矩阵,最后使用tf-idf术语选择方法从文档中提取术语,TF-DF和TF 2基于它们的最小阈值。此外,每个文档术语都被预处理,其中每个术语在文档中的频率被计算用于表示。这种方法的目的是减少属性,并找到有效的术语选择方法,使用WordNet更好的聚类精度。实验在路透社转录子集,小麦,贸易,货币谷物和船舶,路透社21578,经典30,20新闻组(无神论),20新闻组(硬件),20新闻组(计算机图形学)等上进行评估。
2013-03-03 cs.CL cs.IR
Comparing Lexical and Semantic Vector Search Methods When Classifying Medical Documents
The University of Kent(肯特大学);TMLEP Research(TMLEP研究)
本文比较了词汇与语义向量搜索在医学文档分类中的表现,发现定制词汇模型在准确性和效率上均优于现成语义方法,证明传统方法仍具竞争力。
2025-06-03 cs.AI cs.IR
Information Terra: A Narrative-Anchored Semantic-First Projection of Document Embeddings
Virginia Tech(弗吉尼亚理工大学)
提出一种将文档嵌入投影到类地球球体的方法,以用户选择的端点文档为两极,经线为嵌入超球面上的大圆测地线,通过核密度估计恢复主题特征并构建叙事轨迹,在540篇古巴抗议文章语料上验证了从奥巴马访问到国际援助的叙事线。
2026-07-01 cs.CL cs.HC cs.IR
Calculating Semantic Similarity between Academic Articles using Topic Event and Ontology
State Key Laboratory of Software Development Environment, Beihang University(北京航空航天大学软件开发环境国家重点实验室)
确定学术文档之间的语义相似度对于剽窃检测、自动技术调查和语义搜索等任务至关重要。目前的研究主要集中在概念、句子和短文本片段之间的语义相似度。然而,文档级语义匹配仍然基于表层的统计信息,忽略了文章结构和全局语义,这可能会导致文档理解的偏差。针对学术文献的文档级语义相似性问题,提出了一种新的方法。该方法以主题事件表示学术文章,利用研究目的、研究方法和研究领域等多个信息描述学术文章的研究工作,并基于领域本体计算主题事件之间的相似度,得到文章之间的语义相似度。实验表明,我们的方法实现了显着的性能相比,国家的最先进的方法。
2017-11-30 cs.AI cs.CL cs.IR
Is Semantic Chunking Worth the Computational Cost?
Vectara, Inc.(Vectara公司);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
本研究评估了RAG系统中语义分块在三个检索任务上的有效性,发现其计算成本未带来一致的性能提升,表明需要更高效的分块策略。
2024-10-16 cs.CL cs.IR