A Domain Specific Ontology Based Semantic Web Search Engine
自20世纪90年代出现以来,万维网(WWW)迅速发展成为一个巨大的全球信息矿,并且每天都在增长。Web上存在大量的资源,因此提出了一个严重的问题,准确的搜索。这主要是因为今天的Web是一个人类可读的Web,其中的信息不能被机器轻松处理。高度复杂的,高效的基于关键字的搜索引擎已经发展到今天还没有能够弥合这一差距。因此,提出了语义网的概念,这是由蒂姆·伯纳斯-李设想的机器可解释信息的网络,使机器可处理的形式来表达信息。基于语义Web技术,本文介绍了一个语义Web搜索引擎的设计方法和开发过程,该搜索引擎为特定领域的搜索提供准确的搜索结果。这个搜索引擎是为一个农业网站开发的,该网站提供有关西孟加拉邦的农业信息。
2011-02-03 cs.IR
A semantic association page rank algorithm for web search engines
大多数语义Web搜索引擎通过集中使用限于用户提供的查询的概念和关系来检索信息。通过尝试猜测这些概念和关系之间的隐含意义,计算概率,为页面排名打分。在这项研究中,我提出了一个基于关系的网页排名算法被用作语义网搜索引擎。相关性的测量,发现由用户在查询时,以及包含在语义Web环境的基础知识的信息的连接的概率。通过使用从知识库获得的页面中概念之间的“虚拟链接”,我们可以连接页面的概念和组件,并增加概率得分以获得更好的排名。通过创建这些连接,本研究还希望消除结果等于零的可能性,并在两个或更多页面获得相同分数时提供平局决胜解决方案。
2012-11-26 cs.IR
An ontology-based approach for semantics ranking of the web search engines results
这项工作属于信息检索和语义网领域,旨在提高网络搜索工具的评价。事实上,网络上的大量信息以及新的无经验用户的增长为信息检索带来了新的挑战;当然,当前的搜索引擎(如Google、Bing和Yahoo)提供了浏览网络内容的有效方式。然而,这种类型的工具没有考虑到由查询词和文档词驱动的语义。本文提出了一种新的基于语义的方法来评估信息检索系统,其目标是增加搜索工具的选择性,并改善这些工具的评估。对所提出的评价搜索引擎的方法进行了测试,证明了它对实际搜索工具的适用性。结果表明,语义评估是一种很有前途的方法,以提高性能和行为的搜索引擎以及相关的结果,他们返回。
2012-12-11 cs.IR
Semantic Preserving Bijective Mappings of Mathematical Formulae between Document Preparation Systems and Computer Algebra Systems
像LaTeX这样的文档准备系统提供了渲染数学表达式的能力,就像人们在纸上写这些一样。使用LaTeX、LaTeXML和为在国家标准研究所(NIST)数学函数数字图书馆中使用而生成的工具,通过使用语义宏集来实现语义增强的数学LaTeX标记(语义LaTeX)。计算机代数系统(CAS),如Maple和Mathematica使用替代标记来表示数学表达式。通过利用Youssef的部分数学标记和CAS内部表示,我们开发的算法来翻译数学表达式表示在语义LaTeX相应的CAS表示,反之亦然。我们还开发了用于翻译整个Wolfram编码连分数知识和安特卫普大学特殊函数连分数数据集的工具,用于NIST数学公式数字库。这些努力的总体目标是为数字数学图书馆中的公式向公众提供语义丰富的符合标准的MathML表示。这些表示包括表示MathML,内容MathML,通用LaTeX,语义LaTeX,现在还有CAS表示。
2021-09-17 cs.DL cs.IR
Semantic snippet construction for search engine results based on segment evaluation
来自搜索引擎的结果列表包括来自每个结果项的网页的链接和摘录。结果列表中的片段在帮助用户点击它方面起着至关重要的作用。本文提出了一种新的方法来构造基于页面中的片段的语义评估的片段。通过应用模型来评估页面中存在的分段并选择具有最高分数的分段来识别目标分段。该模型使得用户判断点击结果项更容易,因为片段是在基于多个因素的关键评估后语义构建的。所提出的模型的原型实现证实了经验验证。
2012-02-13 cs.IR
Semantic Vector Encoding and Similarity Search Using Fulltext Search Engines
向量表示和向量空间建模(VSM)在现代机器学习中起着核心作用。我们提出了一种新的方法来“向量相似性搜索”的密集语义表示的单词和文档,可以部署在传统的基于反向索引的全文引擎,利用其鲁棒性,稳定性,可扩展性和无处不在。我们表明,这种方法允许索引和查询密集向量的文本域。这为实现重大效率提升以及更简单的部署、扩展和监控开辟了令人兴奋的途径。最终的结果是一个快速和可扩展的向量数据库,在向量搜索性能和质量之间进行了可调的权衡,并得到了Elasticsearch等标准全文引擎的支持。我们经验证明其查询性能和质量,通过应用此解决方案的语义搜索任务在整个英文维基百科的密集矢量表示。
2017-06-03 cs.IR
COPER: a Query-adaptable Semantics-based Search Engine for Persian COVID-19 Articles
随着预训练的语言模型的激增,一条新的途径已经打开,以纳入波斯语文本上下文信息。与此同时,由于包括伊朗在内的许多其他国家正在抗击COVID-19,伊朗医疗保健杂志上发表了大量与COVID-19相关的文章,以更好地告知公众有关情况。然而,在如此庞大的信息量中找到答案是一项极其困难的任务。在本文中,我们收集了这些文章的大型数据集,利用不同的BERT变体以及其他关键字模型,如BM 25和TF-IDF,并创建了一个搜索引擎来筛选这些文档并根据用户的查询对它们进行排名。我们最终的搜索引擎由一个排名器和一个重新排名器组成,它可以根据查询进行调整。我们使用语义文本相似度来微调我们的模型,并使用标准的任务指标来评估它们。我们的最后一种方法比其他方法好得多。
2021-07-14 cs.IR
Mathematical Knowledge Representation: Semantic Models and Formalisms
Kazan Federal University(喀山联邦大学);Research Institute of Applied Semiotics of the Tatarstan Academy of Sciences(鞑靼斯坦科学院应用符号学研究所)
本文综述了解决数学知识管理基本任务的语义方法。本体模型和形式主义进行了讨论。我们提出了一个数学知识本体,涵盖了广泛的数学领域。我们展示了这种表示在数学公式搜索和学习中的应用。
2014-08-29 cs.AI cs.DL cs.IR
HSEarch: semantic search system for workplace accident reports
语义搜索引擎集成了文本挖掘(TM)方法的输出,可以显著提高查找相关文档和定位其中重要信息的轻松性和效率。我们提出了一种新的搜索引擎的建筑业,HSEarch(http://www.nactem.ac.uk/hse/),它使用TM方法提供语义增强,分面搜索的工作场所事故报告的存储库。与以往建造业以TM为主导的搜索引擎相比,HSEarch为使用者提供了一个更具互动性的方法,让他们探索储存库的内容,更有系统地审阅文件,并在其中找到相关的知识。
2021-03-23 cs.IR
Methods and Tools to Advance the Retrieval of Mathematical Knowledge from Digital Libraries for Search-, Recommendation-, and Assistance-Systems
本项目通过句法分析、语义增强和评估三大挑战,开发工具提升数字图书馆中数学知识检索的可访问性,服务于搜索、推荐和辅助系统。
2023-05-12 cs.IR
Towards Semantic Markup of Mathematical Documents via User Interaction
Heriot-Watt University(赫瑞-瓦特大学)
本文提出从现有 sTeX 宏定义半自动生成文法并解析数学公式的方法,配合 GUI 消歧工具,帮助作者将普通 LaTeX 文档转换为语义标记。
2024-08-05 cs.CL cs.IR
A Theoretical and Empirical Evaluation of Software Component Search Engines, Semantic Search Engines and Google Search Engine in the Context of COTS-Based Development
基于COTS的开发是一种构件重用方法,有望降低成本和风险,并确保更高的质量。COTS组件在Web上的日益增长的可用性使实现这些目标的可能性具体化。在这众多的,一个经常性的问题是识别的COTS组件,最好地满足用户的需求。找到一个合适的COTS组件意味着在一个广泛的搜索空间内对组件的不同描述进行搜索。因此,需要使用搜索引擎来更有效地识别COTS组件。在本文中,我们调查,理论和经验,COTS组件搜索性能的八个软件组件搜索引擎,九个语义搜索引擎和传统的搜索引擎(谷歌)。我们的实证评估进行精度和归一化召回。我们为评估的搜索引擎定义了十个查询。这些查询被仔细选择,以评估每个搜索引擎处理COTS组件识别的能力。
2012-04-10 cs.IR cs.SE
TinySearch -- Semantics based Search Engine using Bert Embeddings
Texas A&M University(得克萨斯农工大学);Facebook AI Research(Facebook人工智能研究院)
现有的搜索引擎使用关键字匹配或基于tf-idf的匹配来将查询映射到web文档并对它们进行排名。他们还考虑其他因素,如页面排名,枢纽和权威分数,知识图谱,使结果更有意义。然而,现有的搜索引擎无法捕捉查询的含义时,它变得庞大和复杂。BERT是Google在2018年推出的,它为单词和句子提供嵌入。在本文中,我已经开发了一个面向语义的搜索引擎,使用神经网络和BERT嵌入,可以搜索查询和排名的顺序,最有意义的最不有意义的文件。结果表明,改进了现有的搜索引擎的复杂查询给定的一组文件。
2019-08-07 cs.CL cs.IR
Khmer Semantic Search Engine (KSE): Digital Information Access and Document Retrieval
Institute of Technology of Cambodia (ITC)(柬埔寨理工学院)
提出首个高棉语语义搜索引擎 KSE,结合关键词词典、本体和排序三种语义匹配框架及数据准备工具,提升高棉语文档与在线资源检索准确率。
2024-06-16 cs.CL cs.IR
The Tangent Search Engine: Improved Similarity Metrics and Scalability for Math Formula Search
随着世界范围内数据数量和种类的不断增加,Web已经成为数学公式的丰富存储库。这就需要创建一个健壮的、可扩展的数学信息检索系统,用户可以使用单独的公式(按表达式查询)或关键字和公式的组合来搜索数学信息。通常,最能满足用户信息需求的页面包含的表达式只能近似匹配查询公式。对于试图定位或重新找到特定表达式、浏览相似公式或非数学专家的用户,公式的相似性更多地取决于符号的相对位置,而不是深层数学语义。我们提出了最大子树相似性(MSS)度量查询的表达式,产生直观的排名公式的基础上,他们的外观,所表示的类型和符号的相对位置。由于对大型集合中的所有公式应用度量的成本太高,因此我们首先使用元组上的倒排索引检索表达式,该元组对符号对之间的关系进行编码,使用Dice系数对命中进行排名。然后使用MSS对前k个公式进行重新排名。我们的方法在NTCIR-11维基百科公式检索基准上获得了最先进的性能,并且在索引空间和整体检索时间方面都是有效的。其他图形形式的检索系统,包括化学图表,流程图,图形和表格,也可以受益于采用我们的方法。
2015-07-22 cs.IR
Semantic Information Retrieval Using Ontology In University Domain
当今的传统搜索引擎几乎不提供与用户的搜索查询相关的基本内容。这是因为用户发出的请求的上下文和语义没有得到充分的分析。因此,这里需要一个语义Web搜索出现。SWS即将进入结合了自然语言处理和人工智能的网络搜索领域。本文所做工作的目的是设计、开发和实现一个面向大学领域的语义搜索引擎-- SIEU(Semantic信息抽取in University Domain)。SIEU使用本体作为信息检索过程的知识库。这不仅仅是一个关键字搜索。它是一个层次以上的谷歌或任何其他搜索引擎检索分析只是关键字。在这里,从语法和语义两方面分析查询。所开发的系统检索的Web结果更相关的用户查询,通过关键字扩展。这里获得的结果将足够准确,以满足用户的要求。由于对查询进行了语义分析,因此准确率将得到提高。该系统对从事网络开发的人员和研究人员具有一定的参考价值。Google搜索结果将重新排名并优化,以提供相关链接。为了排名,已经应用了一种算法,该算法为用户查询获取更合适的结果。
2012-07-24 cs.IR
Automatic Mathematical Information Retrieval to Perform Translations up to Computer Algebra Systems
在数学中,LaTeX是准备文档的事实标准,例如,科学出版物。虽然一些公式仍然使用笔和纸来开发,但越来越多地使用计算机代数系统来开发更复杂的数学表达式。数学表达式经常被手工转录到计算机代数系统中。我的博士论文的目标是提高这个工作流程的效率。我设想的方法将自动语义丰富数学表达式,以便它们可以导入到计算机代数系统和其他可以利用语义的系统,如搜索引擎或自动剽窃检测系统。这些输入应该保留表达式的基本语义特征。
2020-11-30 cs.IR cs.MS
Improving the Representation and Conversion of Mathematical Formulae by Considering their Textual Context
数学公式以简洁的形式表示复杂的语义信息。特别是在科学、技术、工程和数学领域,数学公式对于交流信息至关重要,例如,在科学论文中,并使用计算机代数系统进行计算。使计算机能够访问以数学公式编码的信息需要机器可读的格式,该格式可以表示和内容,即,公式的语义。在系统之间交换这样的信息还需要数学表示格式的转换方法。我们分析了公式的语义丰富如何提高格式转换过程,并表明考虑公式的文本上下文降低了这种转换的出错率。我们的主要贡献是:(1)为数学格式转换任务提供公开可用的基准数据集,包括新创建的测试集合、广泛的手动策划的黄金标准和特定于任务的评估指标;(2)对用于数学格式转换的最先进工具进行定量评估;(3)提出了一种考虑公式文本上下文的新方法,以降低数学格式转换的出错率。我们的基准数据集有利于未来的研究,数学格式转换,以及在数学信息检索的许多问题的研究。因为我们注释并链接了公式的所有组件,例如,标识符、运算符和其他实体,到维基数据条目,黄金标准可以,例如,用于训练公式概念发现和识别的方法。这样的方法然后可以应用于改进数学信息检索系统,例如,用于语义公式搜索、数学内容推荐或数学剽窃检测。
2018-04-13 cs.DL cs.IR
Beyond Lexical: A Semantic Retrieval Framework for Textual SearchEngine
搜索引擎已经成为各种Web和移动应用程序中的基本组件。对于搜索引擎系统来说,从海量数据集中检索相关文档是一个挑战,尤其是在面对冗长或尾查询时。在本文中,我们探讨了一个向量空间搜索框架的文件检索。具体来说,我们训练了一个深度语义匹配模型,这样每个查询和文档都可以被编码为低维嵌入。我们的模型是基于BERT架构训练的。我们部署了一个快速的k-最近邻索引服务的在线服务。离线和在线指标表明,我们的方法大大提高了检索性能和搜索质量,特别是对尾部
2020-08-10 cs.IR
A semantic-based deep learning approach for mathematical expression retrieval
Indian Institute of Information Technology, Sri City, India(印度信息科技学院,斯里城,印度)
本文提出一种基于深度循环神经网络(DRNN)的数学表达式语义检索方法,通过提取语义特征并基于欧几里得距离匹配,在829个MEs数据库上验证了有效性。
2025-11-03 cs.IR cs.LG
Semantics and pragmatics in actual software applications and in web search engines: exploring innovations
Università Guglielmo Marconi(古列尔莫·马可尼大学)
虽然每周都有新的使用语义网的方法被开发出来,这使得用户可以更准确地在网上找到信息-例如在搜索引擎中-一些复杂的实用工具变得越来越重要-例如在被称为社交智能的网络界面中,或者在苹果公司最著名的Siri中。这项工作的目的是分析是否以及在哪里,我们可以确定在所分析的系统所使用的软件中的语义和语用之间的边界。研究语言学科在其发展过程中的重要性。有没有可能假设社会智能的工具对用户的问题有一种实用的方法,或者它只是使用了非常丰富的词汇,使用了语义工具?
2013-06-29 cs.CL cs.HC cs.IR
Growing the Digital Repository of Mathematical Formulae with Generic LaTeX Sources
DRMF的一个初始目标是用基本的正交多项式公式来播种我们的数字纲要。我们使用NIST数学函数数字图书馆(DLMF)的数据作为DRMF项目的初始种子。DLMF输入LaTeX源已经包含了一些使用高度定制的语义LaTeX宏集编码的语义信息。这些宏可以使用LaTeXML转换为内容MathML。在该转换期间,语义被转换为隐式DLMF内容字典。今年,我们开发了一个语义丰富的过程,其目标是从通用的LaTeX源推断语义信息。生成的上下文无关语义信息用于为每个公式构建DRMF公式主页。我们使用Koekoek,Lesky and Swarttouw(KLS)的“Hypergeometric Orthogonal Polynomials and their $q$ -Analogues”(2010)一书中的选定章节以及Koornwinder(KLSadd)积极维护的本书附录来演示此过程。通用输入KLS和KLSadd LaTeX源描述公式的打印表示,但不包含显式语义信息。请访问http://drmf.wmflabs.org。
2015-05-11 cs.DL cs.IR
Realization of Ontology Web Search Engine
本文描述了本体Web搜索引擎的实现。本体Web搜索引擎既可以作为独立的项目实现,也可以作为其他项目的一部分实现。本文的主要目的是介绍作为语义网专家系统一部分的本体网搜索引擎的实现细节,并给出本体网搜索引擎的运行结果。语义网专家系统将能够处理来自Web的本体,从这些本体生成规则并开发其知识库。
2017-02-22 cs.AI cs.IR
A Semantic Search Engine for Mathlib4
School of Mathematical Sciences, Peking University(北京大学数学科学学院);Beijing International Center for Mathematical Research, Peking University(北京国际数学研究中心(北京大学));Center for Machine Learning Research, Peking University(北京大学机器学习研究中心)
本文提出面向 mathlib4 的语义搜索引擎 leansearch.net,支持非形式化查询检索相关定理,并建立了评估 mathlib4 搜索引擎性能的基准。
2025-02-04 cs.IR cs.LG cs.LO
Math-Aware Search Engines: Physics Applications and Overview
现在已经有了针对方程的搜索引擎,它们返回与查询的数学含义或结构表示相匹配的结果。通过科学论文,在线百科全书和数学论坛,他们的内容包括物理,数学和其他科学。它们使物理学家能够避免行话,更容易在学科内和跨学科地瞄准数学内容。作为基于关键字的搜索的自然扩展,它们为发现精确和近似的数学解、物理系统的类似物和替代模型以及物理模式开辟了一个新的世界。本文介绍了现有的数学感知搜索引擎,讨论了如何最大限度地提高搜索成功率,并概述了它们的数学匹配能力。建议的应用物理也给出了,有助于开发人员和物理学家的探索新的可用的搜索视野。
2016-09-08 cs.DL cs.IR cs.MS
Matlas: A Semantic Search Engine for Mathematics
School of Mathematical Sciences, Peking University(北京大学数学科学学院);Beijing International Center for Mathematical Research, Peking University(北京大学北京国际数学研究中心);IQuest Research(IQuest研究);Beijing International Center for Mathematical Research and the New Cornerstone Science Laboratory, Peking University(北京大学北京国际数学研究中心和新基石科学实验室);Center for Machine Learning Research, Peking University(北京大学机器学习研究中心);Center for Intelligent Computing, Great Bay Institute for Advanced Study, Great Bay University(大亚湾先进研究所智能计算中心);Zhongguancun Academy(中关村学院)
Matlas通过构建大规模数学语义库,实现数学陈述的高效检索,提升数学家定理检索效率并为AI系统提供数学知识基础。
2026-04-19 cs.IR cs.LG
Semantically-Enriched Search Engine for Geoportals: A Case Study with ArcGIS Online
STKO Lab, UC Santa Barbara(加州大学圣巴巴拉分校STKO实验室);ESRI Inc(环境系统研究所公司);SayMosaic Inc.(SayMosaic公司);UC Santa Barbara(加州大学圣巴巴拉分校);STKO Lab(STKO实验室)
许多地理门户网站,如ArcGIS Online的建立,以提高地理空间数据的可重用性和实现智能知识发现的目标。然而,根据以往的研究,大多数现有的地理门户网站采用基于Lucene的技术来实现其核心搜索功能,这具有有限的能力,捕捉用户的搜索意图。为了更好地理解用户的搜索意图,可以使用查询扩展来通过添加语义相似的术语来丰富用户的查询。在地理门户和地理信息检索的背景下,我们主张从地理空间和主题的角度来丰富用户的查询语义的想法。在地理空间方面,我们提出了丰富的查询,同时使用的地方partonomy和距离衰减。在主题方面,概念扩展和基于嵌入的文档相似度被用来推断隐藏在用户查询中的隐含信息。这个语义查询扩展1 2 G. Mai等人的框架被实现为一个语义丰富的搜索引擎,使用ArcGIS Online作为案例研究。构建了一个基准数据集来评估所提出的框架。我们的评估结果表明,所提出的语义查询扩展框架是非常有效的捕捉用户的搜索意图,并显着优于一个良好的建立基线Lucene的实际评分功能,在DCG@K(K= 3,5,10)的增量超过3.0。
2020-03-14 cs.CL cs.IR
Semantic Search over 9 Million Mathematical Theorems
Math AI Lab, University of Washington, Seattle, United States(数学AI实验室,华盛顿大学,西雅图,美国);Department of Mathematics, University of Washington, Seattle, United States(数学系,华盛顿大学,西雅图,美国);Paul G. Allen School of Computer Science and Engineering, University of Washington, Seattle, United States(保罗·G·艾伦计算机科学与工程学院,华盛顿大学,西雅图,美国);Lake Washington High School, Kirkland, United States(拉克华盛顿高中, Kirkland,美国);Department of Applied and Computational Mathematical Sciences, University of Washington, Seattle, United States(应用与计算数学科学系,华盛顿大学,西雅图,美国)
本文提出了一种大规模语义检索方法,针对920万条数学定理进行高效检索,显著提升了定理和论文的检索效果。
2026-03-07 cs.AI cs.IR math.HO
Discovering Mathematical Objects of Interest -- A Study of Mathematical Notations
数学符号,即,书写系统用于交流数学概念,为各种信息搜索和检索系统编码有价值的信息。然而,数学符号仍然大多未被今天的系统使用。在本文中,我们提出了第一次深入研究的分布在两个大型科学语料库:开放获取arXiv(2.5 B数学对象)和数学评论服务的纯数学和应用数学zbMATH(61 M数学对象)的数学符号。本文的研究为今后大型科学语料库数学信息检索的研究奠定了基础。此外,我们证明了我们的结果的相关性,以各种用例。例如,帮助语义提取系统,改进科学搜索引擎,以及促进专门的数学推荐系统。我们所提出的研究的贡献如下:(1)我们提出了arXiv和zbMATH上数学公式的第一分布分析;(2)我们为给定的文本搜索查询检索相关的数学对象(例如,链接$P_{n}^{(α, β)}\!\left(x\right)$与“雅可比多项式”);(3)我们通过提供相关的数学公式来扩展zbMATH的搜索引擎;以及(4)我们通过将数学输入的自动完成作为对数学推荐系统的第一贡献来验证结果的适用性。为了加快未来的研究项目,我们提供了我们的源代码和数据。
2021-06-22 cs.DL cs.IR
Query Obfuscation Semantic Decomposition
University of Liverpool(利物浦大学)
我们提出了一种方法来保护搜索引擎用户的隐私分解查询使用语义\emph{related}和无关的\emph{distractor}条款。代替单个查询,搜索引擎接收多个分解的查询项。接下来,我们通过聚合针对分解的查询词检索到的搜索结果来重构与原始查询词相关的搜索结果。我们表明,使用分布式表示学习方法学习的词嵌入可以用来找到语义相关和干扰查询项。我们得到的\emph{obfuscity}之间的关系,通过建议的查询匿名化方法和\emph{reconstructability}的原始搜索结果使用分解的查询。我们分析研究了所提出的查询混淆方法下发现搜索引擎用户信息意图的风险,并实证评估其对基于聚类的攻击的鲁棒性。实验结果表明,该方法可以准确地重建用户查询的搜索结果,而不会损害搜索引擎用户的隐私。
2022-04-13 cs.CL cs.CR cs.IR
Latent Semantic Search and Information Extraction Architecture
Novosibirsk State University(新西伯利亚国立大学)
搜索引擎的潜在语义搜索的动机、概念、设计和实现具有有限的语义搜索、实体提取和属性属性特征,潜在搜索的准确性和响应时间不足,可能会带来隐私问题,并且搜索结果在离线模式下对于机器人搜索操作不可用。另一种建议涉及自主搜索引擎,具有自适应存储消耗,可配置的搜索范围和潜在的搜索响应时间,内置实体提取和属性属性选项,可作为移动,桌面和服务器解决方案的开源平台。所建议的架构试图实现人工通用智能(AGI)的原则,只要自治行为受到有限的资源的约束,它适用于特定的任务,使Web搜索人工智能代理实现AGI。
2019-11-30 cs.AI cs.IR
Unsupervised Learning of Semantic Orientation from a Hundred-Billion-Word Corpus
一个词的评价性特征被称为它的语义指向。一个积极的语义取向意味着可取性(例如,“honest”,“intrepid”),而否定的语义取向意味着不受欢迎(例如,“令人不安的”,“多余的”)。本文介绍了一个简单的算法,无监督学习的语义倾向,从极大的语料库。该方法包括向Web搜索引擎发出查询,并使用逐点互信息来分析结果。该算法是使用大约1000亿个单词的训练语料库进行经验评估的--该语料库是由所选搜索引擎索引的Web子集。测试了3,596个单词(1,614个阳性和1,982个阴性),该算法达到了80%的准确率。3,596个测试单词包括形容词、副词、名词和动词。准确性与Hatzivassiloglou和McKeown(1997)的结果相当,使用复杂的四阶段监督学习算法,仅限于确定形容词的语义方向。
2002-12-08 cs.IR cs.LG
An interactive engine for multilingual video browsing using semantic content
University of Sfax(斯法克斯大学);National School of Engineers(国家工程师学院)
随着高速互联网的出现,视听信息的数量急剧增加。此外,近年来在信息技术领域中的技术进步已经简化了公众在各个领域中对视频数据的使用。这使得将大量视频文件存储到计算机系统中成为可能。为了能够有效地利用这些收藏,有必要开发工具,以方便查阅和处理这些文件。在本文中,我们提出了一种方法索引和检索的视频序列在大尺寸的视频数据库中,基于加权技术来计算的隶属度的一个概念在一个视频也是一个结构化的视听(上下文/概念/视频)和相关反馈机制。
2013-08-14 cs.CV cs.IR cs.MM
Towards Math-Aware Automated Classification and Similarity Search of Scientific Publications: Methods of Mathematical Content Representations
Faculty of Informatics, Masaryk University(马萨里克大学信息学院)
在本文中,我们调查的数学内容表示适用于自动分类和STEM文档中的相似性搜索使用标准的机器学习算法:潜在狄利克雷分配(LDA)和潜在语义索引(LSI)。这些方法在arXiv.org论文的一个子集上进行评估,数学主题分类(MSC)作为参考分类,并使用标准的精确度/召回率/F1度量指标。这些结果让我们深入了解不同的数学表示如何影响STEM存储库中分类和相似性搜索任务的性能。毫不奇怪,机器学习方法能够从文本标记中获取分布式语义。适当选择表示数学的加权标记可以稍微提高结果的质量。一个结构化的数学表示,模仿成功的文本处理技术与数学,产生更好的结果比平面TeX令牌。
2021-10-08 cs.AI cs.CL cs.IR
Pairwise Judgment Formulation for Semantic Embedding Model in Web Search
Department of Computing Hong Kong Polytechnic University(计算系香港理工大学);Department of Mechanical Engineering Hong Kong Polytechnic University(机械工程系香港理工大学)
本文提出了一种改进的语义嵌入模型训练方法,通过分析大规模查询日志,发现传统排序方法未必最优,并展示了混合启发式方法的优势。
2026-01-05 cs.AI cs.DB cs.IR
Just an Update on PMING Distance for Web-based Semantic Similarity in Artificial Intelligence and Data Mining
La Sapienza University of Rome(罗马大学)
在经典的语义学方法中出现的主要问题之一是本体和语义标注的获取和维护的困难。另一方面,互联网的爆炸和移动智能设备的大规模扩散导致了一个全球系统的创建,该系统每天都会检查信息,并通过数百万以协作方式进行交互的用户的贡献来推动。搜索引擎,不断探索网络,是一个自然的信息来源,基于现代方法的语义注释。一个很有前途的想法是,它是可能的语义相似性,语义相似的条款行为相似的假设下,并定义协作的接近度测量的基础上返回的索引信息的搜索引擎。PMING距离是在数据采掘和信息检索中使用的邻近度量,其中协作信息仅使用作为搜索引擎上的查询的结果返回的文档的数量来表达两个术语之间的关系程度。在这项工作中,PMINIG距离更新,提供了一个新的正式的代数定义,纠正以前的作品。新的观点强调PMING的特点是一个局部归一化的线性组合的逐点互信息和归一化谷歌距离。所分析的度量动态地反映了对网络资源的协同变化。
2017-01-09 cs.AI cs.CL cs.IR