Content-Based Quality Estimation for Automatic Subject Indexing of Short Texts under Precision and Recall Constraints
语义标注必须满足质量约束才能对数字图书馆有用,这在大型和多样化的数据集上尤其具有挑战性。多标签分类方法的置信度得分通常仅指特定主题的相关性,而忽略了文档级内容表示不足的指标。因此,我们提出了一种新的方法,检测文件,而不是概念的质量标准得到满足。我们的方法使用了一个深层的,多层的回归架构,其中包括各种基于内容的指标。我们使用法律和经济学的文本集评估了多个配置,其中可用的内容仅限于非常短的文本。值得注意的是,我们证明了所提出的质量估计技术可以确定以前看不见的数据的子集,其中可以实现文档级召回的可观收益,同时保持精度。因此,该方法有效地执行过滤,确保操作信息检索系统中的高数据质量标准。
2018-06-07 cs.DL cs.IR
Context and Keyword Extraction in Plain Text Using a Graph Representation
文献标引是档案工作者或自动标引工具完成的一项基本任务。要检索相关的文档查询,描述这个文件的关键字必须仔细选择。档案管理员必须在开始提取关键字之前找到文档的正确主题。对于一个索引专门文件的档案工作者来说,经验起着重要的作用。但是索引不同主题的文档要困难得多。本文提出了一种创新的标引支持系统的方法。该系统将本体和纯文本文档作为输入,并提供文档的上下文关键字作为输出。该方法已被评估利用维基百科的类别链接作为一个术语本体资源。
2009-12-08 cs.IR
Automatic Thematic Indexing of Large Literary Corpora: A Machine Learning Approach to Voltaire's Complete Works
University of Oxford(牛津大学)
本文以伏尔泰全集子语料库为测试案例,将自动主题索引任务设为多标签分类问题,比较多种机器学习方法,最佳模型F1分数达0.67,还评估跨语料库泛化及分析模型行为,为大规模文学和历史语料库的结构化主题访问提供了启示。
2026-10-14 cs.AI cs.CL cs.DL
Fuzzy Logic Based Integration of Web Contextual Linguistic Structures for Enriching Conceptual Visual Representations
由于难以用语义描述符自动映射视觉特征,最先进的框架在索引视觉内容的覆盖率和有效性方面表现不佳。这促使我们调查使用Web作为一个大的信息源,从哪里提取相关的上下文语言信息和双峰视觉文本索引作为一种技术,以丰富索引概念的词汇。我们的建议是基于信号/语义的多媒体索引的方法,产生多方面的概念表示的视觉内容。我们建议丰富这些图像表示与概念自动提取的视觉上下文信息。我们专门针对语义概念的集成,这些概念比初始索引概念更具体,因为它们以更高的准确性和精度表示视觉内容。此外,我们的目标是纠正错误的索引所造成的自动语义标注。实验上,给出了原型的细节和所提出的技术进行了测试,在Web规模的评估30查询代表精心制作的图像场景。
2020-04-25 cs.IR cs.MM
A Self-supervised Approach for Semantic Indexing in the Context of COVID-19 Pandemic
University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
疫情加快了COVID-19科学论文的发表速度。此外,专家手动为这些论文分配语义索引的过程在当前的健康危机中更加耗时和不堪重负。因此,迫切需要自动语义索引模型,可以有效地扩展到新引入的概念和快速发展的超聚焦相关文献的分布。在这项研究中,我们提出了一种新的语义索引方法的基础上,国家的最先进的自我监督表示学习和Transformer编码专门适用于流行病危机。我们提出了一个基于PubMed中发表和手动索引的COVID-19论文的新数据集的案例研究。我们的研究表明,我们的自监督模型优于BioASQ任务8a的最佳性能模型,平均微F1得分为0.1,LCA-F得分为0.08。我们的模型在检测补充概念方面也表现出优越的性能,当文献的重点急剧转向与大流行相关的特定概念时,这一点非常重要。我们的研究揭示了语义索引模型在大流行期间面临的主要挑战,即新的领域及其分布的急剧变化,并作为这种情况下的一种更好的选择,提出了一种基于在各种NLP任务中提高泛化和数据效率方面表现出良好性能的方法的模型。我们还表明,主要医学主题词(MeSH)和补充概念的联合索引提高了整体性能。
2020-10-07 cs.CL cs.IR cs.LG
Overview of BioASQ 2022: The tenth BioASQ challenge on Large-Scale Biomedical Semantic Indexing and Question Answering
National Center for Scientific Research “Demokritos”(希腊德谟克利特国家科学研究中心);Aristotle University of Thessaloniki(亚里士多德大学塞萨洛尼基分校);Barcelona Supercomputing Center(巴塞罗那超级计算中心)
本文综述2022年第十届BioASQ生物医学语义索引与问答挑战赛,介绍其含新增DisTEMIST任务在内的四项任务,以及38支团队提交的170余个系统多数优于强基线的参赛结果,体现领域技术持续进步。
2022-10-13 cs.AI cs.CL cs.IR
Information filtering based on wiki index database
St. Petersburg Institute for Informatics and Automation of the Russian Academy of Sciences (SPIIRAS)(俄罗斯科学院圣彼得堡信息学与自动化研究所)
在本文中,我们提出了一个基于配置文件的信息过滤方法,通过分析文本文档的内容。维基百科索引数据库被创建并用于从用户文档集合自动生成用户简档。为用户感兴趣的每个主题创建面向问题的维基百科子语料库(使用从用户简档中提取的知识)。这些子语料库的索引数据库被应用于过滤信息流(例如,邮件、新闻)。因此,所分析的文本被分类为在用户简档中明确呈现的若干主题。本文重点介绍了该方法的索引部分。描述了实现维基百科索引的应用程序的体系结构。索引方法使用俄语和简单的英语维基百科进行评估。
2008-05-08 cs.CL cs.IR
Fast k-Nearest Neighbour Search via Dynamic Continuous Indexing
University of California, Berkeley(加州大学伯克利分校)
现有的方法检索k-最近邻遭受灾难的维度。我们认为,这部分是由于空间划分的固有缺陷,这是大多数现有方法所使用的基本策略。我们设计了一种新的策略,避免了分割的向量空间,并提出了一种新的随机算法,运行在时间上的线性的空间维度和次线性的内在维度和大小的数据集,并采取空间常数的空间维度和线性的大小的数据集。该算法允许细粒度控制的准确性和速度在每个查询的基础上,自动适应数据密度的变化,支持动态更新的数据集,易于实现。我们展示了吸引人的理论属性,并实证表明,该算法优于局部敏感性哈希(LSH)的近似质量,速度和空间效率。
2017-04-06 cs.AI cs.DS cs.IR
Automatic annotation of multilingual text collections with a conceptual thesaurus
从概念叙词表中自动标注具有受控词汇术语(描述符)的文档不仅对文档索引和检索有用。此外,将文本映射到相同的术语词库还可以在类似的文件之间建立联系。这也是语义Web的一个重要要求。本文提出了一个几乎独立于语言的系统,映射到同一个多语言概念词库,EUROVOC的文件写在不同的语言。概念叙词表与自然语言叙词表的不同之处在于,它们由相对较小的受控单词或短语列表组成,这些单词或短语具有相当抽象的含义。为了自动识别哪些词库描述符最好地描述了文档的内容,我们开发了一个统计的关联系统,该系统在以前手动索引的文本上进行训练。除了描述大量的经验优化的参数的全功能应用程序,我们提出的软件的性能,根据专业索引的人的评价。
2006-09-12 cs.CL cs.IR
Extraction de termes, reconnaissance et labellisation de relations dans un thésaurus
在文献系统领域内,用于索引和检索信息步骤的叙词表的集成是常见的。在图书馆中,文献拥有丰富的描述性信息,这些信息是图书馆员在基于拉莫叙词表的描述性标注下进行的。我们利用两种信息,以创建第一个语义结构。概念化的一个步骤允许我们定义用于自动构建独立工作的语义结构的各种模块。我们目前的工作重点是一种方法,旨在定义一个基于词库的本体。我们希望借助地理信息系统,整合体现我们结构领域特点的新知识(增加“地名”和概念之间的联系)。
2010-02-01 cs.IR
Parsisanj: a semi-automatic component-based approach towards search engine evaluation
在过去的二十年里,由于大量的可用数据和每天产生的高速率的新数据,通过搜索引擎在互联网上广泛地搜索所需的数据。因此,鼓励搜索引擎使网上最有价值的现有数据可供搜索。知道如何处理大量的数据,在每一个步骤的搜索引擎的过程中,从爬行到索引和排名只是一个专业的搜索引擎应该解决的挑战之一。此外,它还应该拥有处理用户流量的最佳实践,最先进的自然语言处理工具,还应该解决科学和技术边缘的许多其他挑战。因此,由于这些系统的内部复杂性,评估这些系统太具有挑战性,对于找到现有系统的改进路径至关重要。因此,评估过程是搜索引擎的正常子系统,其作用是构建其路线图。最近,一些国家已经开发了国家搜索引擎计划,以建立一个基础设施,根据他们的需要,在网上提供他们的语言的数据的基础上提供特殊服务。本研究旨在通过与国际上两大搜索引擎Google和Bing的比较,揭示伊朗两大搜索引擎Yooz和Parsijoo的发展路径。与相关工作不同的是,它是一种半自动的方法来评估搜索引擎在第一步。最后,我们得到了一些有趣的结果,在此基础上,我们可以具体说明基于组件的改进路线图的国家搜索引擎。
2020-09-25 cs.IR
GLEAKE: Global and Local Embedding Automatic Keyphrase Extraction
Georgia State University(佐治亚州立大学)
在过去的几年里,随着科学、新闻、医学和Web文档的增长,大型文本文档语料库的粒度分类的自动化方法变得越来越重要。自动关键词提取(AKE)的目的是从单个文本文档中自动检测一小部分单个或多个单词,这些单词捕获了文档的主要主题。AKE在各种自然语言处理和信息检索任务中起着重要的作用,如文档摘要和分类、全文索引和文章推荐。由于不同文本内容中缺乏足够的人工标记数据,监督学习方法对于从文本主体内容中自动检测关键短语并不理想。随着文本嵌入技术的最新进展,NLP研究人员专注于开发无监督方法,以从原始数据集中获得有意义的见解。在这项工作中,我们介绍了全球和本地嵌入自动关键词提取器(GLEAKE)的任务AKE。GLEAKE使用单个和多个词嵌入技术来探索候选短语的句法和语义方面,然后将它们组合成一系列基于嵌入的图。此外,GLEAKE在每个基于嵌入的图上应用网络分析技术,以将最重要的短语细化为最终的关键短语集。我们通过对来自不同领域和写作风格的五个标准AKE数据集进行评估,并显示其相对于其他最先进方法的优越性,展示了GLEAKE的高性能。
2020-05-19 cs.CL cs.IR
A Review of Keyphrase Extraction
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
关键词提取是一项文本信息处理任务,涉及从文档中自动提取表达其内容的所有关键方面的代表性和特征性短语。关键词是对文档的一种简洁的概念性概括,在数字信息管理系统中,关键词对于语义索引、分面搜索、文档聚类和分类等都非常有用。本文介绍了关键词提取,对现有工作进行了结构良好的回顾,对不同的评估方法提供了有趣的见解,突出了开放的问题,并在五个数据集上对流行的无监督技术进行了比较实验研究。
2019-07-30 cs.CL cs.IR
User Manual of Automatic Data Curation Tool(ADCT): A bulk data curator software in Library and Information Science
在图书情报学中,文献存储和用户专用文献检索是数字图书馆服务的主要方面。为了保护文化遗产、文件和文学,我们需要一个通用平台,在这个平台上,所有类型的文件都可以以特定的格式提供。我们提出的软件工具,ADCT可以处理大量的数据,并将不同类型的原始数据转换成指定的元数据信息。它概括了应用于源数据的多种形式的策展逻辑。作为最先进的技术,许多研究活动是在各个大学进行管理他们的研究数据在数字图书馆服务。作者提供了描述性统计的图书情报服务(LIS)活动的信息存储和检索。本文展示了作为LIS社区活动的图书馆数据的方法论、信息收集和科学交流方面的研究。对图书情报数据的分析以及对信息存储和检索的兴趣从分类、标引到检索的转变是非常重要的。对于构建这些类型的数字化教育服务,自动数据整理是重要的垫脚石。本文表明,自动化可以补充专业知识和知识。作者建立了一个自动化的数据转换和策展工具,帮助用户分析元数据信息和努力符合通用标准时,图书管理员希望看到相邻的相关元数据的国会信件的档案收集的目录。
2022-10-31 cs.DL cs.IR
G-Bean: an ontology-graph based web tool for biomedical literature retrieval
目前,大多数人使用PubMed搜索MEDLINE数据库,这是生命科学和生物医学信息的重要书目信息源。然而,PubMed有一些缺点,使得很难找到与用户个人意图有关的相关出版物,特别是对于非专家用户。为了改善PubMed的不足,我们开发了一个基于图的生物医学搜索引擎G-Bean,它通过三个方面的创新来解决PubMed的不足:并行文档索引创建、基于本体图的查询扩展和基于用户搜索意图的文档检索和重新排序。使用106个OHSUMED基准查询的性能评估显示,当使用这些查询搜索MEDLINE数据库时,G-Bean返回的相关结果比PubMed更多。PubMed甚至无法返回某些OHSUMED查询的任何检索结果,因为它无法从自然语言查询字符串自动形成适当的布尔查询语句。G-Bean可在http://bioinformatics.clemson.edu/G-Bean/index.php.G-Bean上获得,它通过基于本体图的查询扩展、自动文档索引和用户搜索意图发现来解决PubMed的局限性。它在从MEDLINE数据库中查找相关文章以满足用户的信息需求方面显示出显着的优势。
2015-08-31 cs.IR
Cost-Effective, Low Latency Vector Search with Azure Cosmos DB
本研究将DiskANN深度集成到Azure Cosmos DB NoSQL中,在云原生运营数据库内构建高性价比低延迟向量搜索系统,性能与成本优势显著,为数据库向量索引融合提供参考。
2025-07-31 cs.DB cs.IR
Supervised Topical Key Phrase Extraction of News Stories using Crowdsourcing, Light Filtering and Co-reference Normalization
CMU(卡内基梅隆大学);INESC-IST
快速有效的自动索引对于搜索和个性化服务至关重要。由一个或多个单词组成并代表文档主要概念的关键短语通常用于索引目的。在本文中,我们研究使用额外的语义特征和预处理步骤,以提高自动关键短语提取。这些功能包括使用信号词和自由基类别。这些功能中的一些导致结果的准确性显着提高。我们还尝试了两种形式的文档预处理,我们称之为光过滤和共指规范化。轻度过滤从文档中删除句子,这些句子被认为是其主要内容的外围。共指规范化将同一命名实体的几种书面形式统一为一种唯一的形式。我们还需要一个“黄金标准”--一组用于训练和评估的标记文档。虽然关键短语选择的主观性排除了真正的“黄金标准”,但我们使用亚马逊的Mechanical Turk服务来获得有用的近似值。我们的数据表明,性能的最大改进是由于浅语义特征,新闻类别和修辞信号(nDCG 78.47%对68.93%)。包含更深层次的语义特征(如Freebase子类别)本身并没有好处,但与预处理相结合,确实使nDCG评分略有改善。
2013-06-20 cs.CL cs.IR
Iterative Residual Rescaling: An Analysis and Generalization of LSI
我们考虑的问题,创建文档表示,其中文档间的相似性度量对应于语义相似性。我们首先提出了一个新的子空间为基础的框架,正式这项任务。使用这个框架,我们得到一个新的分析潜在语义索引(LSI),显示其性能和主题的基本分布的文档的均匀性之间的精确关系。这一分析有助于解释Ando(2000)的迭代残差重标度(IRR)算法所获得的改进:IRR可以补偿分布的非均匀性。我们的框架的另一个好处是,它提供了一个动机良好,有效的方法来自动确定重新缩放因子IRR依赖,导致进一步的改进。一系列的实验在不同的设置和几个评估指标验证了我们的主张。
2001-06-17 cs.CL cs.IR
Improving Performance of Automatic Keyword Extraction (AKE) Methods Using PoS-Tagging and Enhanced Semantic-Awareness
Institute of Cyber Security for Society (iCSS) & School of Computing(社会网络安全研究所(iCSS)及计算机学院);University of Kent(肯特大学);Shanghai Jiao Tong University(上海交通大学)
本文提出一种基于后处理的通用方法,通过结合词性标注、专业术语库和Wikipedia命名实体增强语义感知,显著提升了五种最先进AKE方法在17个数据集上的F1分数(平均提升25.8%)。
2025-01-23 cs.CL cs.IR
Performance Effectiveness of Multimedia Information Search Using the Epsilon-Greedy Algorithm
University of California San Diego(加州大学圣地亚哥分校)
在多媒体对象的搜索和检索中,由于大多数多媒体内容不是机器可提取的,因此手动或自动提取用于索引的内容是不切实际的,而手动提取往往是非常费力和耗时的。然而,通过系统地捕获和分析人类用户的反馈模式,可以收获关于多媒体内容的重要信息,用于有效的索引和随后的搜索。通过学习人类的判断和用户的心理评估,有效的搜索索引可以逐步开发和建立,并随后被利用来找到最相关的多媒体对象。为了避免在局部最大值附近徘徊,我们应用ε贪婪方法来系统地探索搜索空间。通过这种方法的探索,我们表明,所提出的方法是能够保证最相关的对象总是可以被发现,即使最初它可能被忽略或不被视为相关。定量分析了本方法的搜索行为,并获得了两种变体的贪心算法,即EGSE-A和EGSE-B的性能的封闭形式的表达式。在实际数据集上进行了仿真和实验,结果与理论结果吻合较好。本方法能够以有效的方式利用探索,以显著提高多媒体信息搜索的性能,并且使得能够确定发现可能以其他方式不可检索的相关对象。
2019-11-22 cs.IR cs.LG cs.MM
Coherent Keyphrase Extraction via Web Mining
关键字有多种用途,包括汇总、索引、标记、分类、聚类、突出显示、浏览和搜索。自动关键词提取的任务是从给定文档的文本中选择关键词。自动关键词提取使得为大量没有手动分配关键词的文档生成关键词成为可能。以前的关键短语提取算法的局限性是所选择的关键短语偶尔是不连贯的。也就是说,大多数输出关键短语可以很好地配合在一起,但是可能存在少数看起来是离群值,与大多数或彼此没有明确的语义关系。本文提出了增强的Kea关键词提取算法,旨在提高提取的关键词的一致性。该方法是使用候选关键词之间的统计关联程度作为它们可能在语义上相关的证据。使用Web挖掘来测量统计关联。实验表明,增强提高了提取的关键词的质量。此外,增强不是特定于域的:当在一个域(计算机科学文档)上训练并在另一个域(物理文档)上测试时,该算法推广得很好。
2003-08-20 cs.CL cs.IR cs.LG