Fairness-Aware Ranking in Search & Recommendation Systems with Application to LinkedIn Talent Search
LinkedIn Corporation(领英公司)
我们提出了一个框架,用于量化和减轻算法偏见的机制,设计用于排名的个人,通常用作网络规模的搜索和推荐系统的一部分。我们首先提出了补充措施,以量化偏见方面的保护属性,如性别和年龄。然后,我们提出了算法计算公平意识的重新排名的结果。对于一个给定的搜索或推荐任务,我们的算法寻求实现一个期望的分布排名靠前的结果相对于一个或多个受保护的属性。我们表明,这样的框架可以量身定制,以实现公平的标准,如机会均等和人口均等取决于所需的分配的选择。我们评估所提出的算法,通过广泛的模拟在不同的参数选择,并研究了公平意识排名的偏见和效用的措施。最后,我们提出了在线A/B测试结果,从应用我们的框架对LinkedIn人才搜索的代表性排名,并讨论在实践中吸取的教训。我们的方法在不影响业务指标的情况下,极大地改善了公平性指标(具有代表性结果的搜索查询数量增加了近三倍),这为全球100%的LinkedIn Recruiter用户部署铺平了道路。我们是第一个大规模部署的框架,用于确保招聘领域的公平性,对超过6.3亿LinkedIn会员产生了潜在的积极影响。
2019-07-24 cs.IR cs.LG
Hierarchical Long-Term Semantic Memory for LinkedIn's Hiring Agent
LinkedIn Corporation(LinkedIn公司)
提出分层长期语义记忆(HLTM)框架,通过构建模式对齐的记忆树,实现可扩展的语义知识摄入、隐私感知存储、低延迟检索和透明溯源,在LinkedIn招聘助手应用中使答案正确率提升超5%、检索F1提升超10%。
2026-05-30 cs.IR cs.LG
Search by Ideal Candidates: Next Generation of Talent Search at LinkedIn
LinkedIn Corporation(领英公司)
人才搜索的一个关键挑战是如何将招聘职位的复杂标准转换为搜索查询。这通常需要深入了解该职位通常需要哪些技能,他们的替代品是什么,哪些公司可能有这样的候选人,等等。因此,为了帮助搜索者克服这一挑战,我们在LinkedIn设计了下一代人才搜索模式:按理想候选人搜索。这个新系统只需要求职者输入一个或几个合适的候选人的例子。系统将基于输入的候选生成查询,然后基于查询以及输入的候选检索和排名结果。当搜索引擎修改初始查询并使其偏离理想候选时,搜索排名功能动态地调整和刷新排名结果,在查询和理想候选之间保持平衡。截至撰写本文时,新系统正在向我们的客户推出。
2016-02-26 cs.IR cs.LG
Learning to Rank Personalized Search Results in Professional Networks
LinkedIn(领英)
LinkedIn搜索是高度个性化的-对于相同的查询,不同的搜索者期望完全不同的结果。本文介绍了我们的方法,通过挖掘LinkedIn中的各种数据源来推断搜索者的意图(如招聘,求职等),以及扩展同质性的概念,以捕捉搜索结果在许多方面的相似性。然后,学习排名(LTR)应用这些信号与标准的搜索功能相结合。
2016-05-16 cs.IR cs.LG
Deep Natural Language Processing for LinkedIn Search
LinkedIn(领英)
许多搜索系统与大量自然语言数据一起工作,搜索查询、用户简档和文档。构建一个成功的搜索系统需要对文本数据语义有透彻的理解,而基于深度学习的自然语言处理技术(deep NLP)可以提供很大的帮助。在本文中,我们介绍了一个全面的研究应用深度NLP技术在搜索系统中的五个代表性的任务:查询意图预测(分类),查询标记(顺序标记),文档排序(排名),查询自动完成(语言建模),和查询建议(序列到序列)。我们还介绍了BERT预训练作为第六个任务,可以应用于许多其他任务。通过六个任务的模型设计和实验,读者可以找到四个重要问题的答案:(1)。深度NLP在搜索系统中什么时候有用/没用?(二)、如何应对延迟挑战?(三)、如何保证模型的鲁棒性?这项工作建立在LinkedIn搜索的现有努力之上,并在LinkedIn的商业搜索引擎上进行了大规模测试。我们相信我们的经验可以为行业和研究界提供有用的见解。
2021-08-16 cs.CL cs.IR
MHSNet:An MoE-based Hierarchical Semantic Representation Network for Accurate Duplicate Resume Detection with Large Language Model
Hangzhou Dianzi University(杭州电子科技大学);Alibaba Group(阿里巴巴集团);Zhejiang University of Science(浙江理工大学);Taotian, Alibaba Group(阿里天天,阿里巴巴集团);Department of Computing, Hong Kong Polytechnic University(计算系,香港理工大学)
针对第三方简历重复检测面临的语义复杂、结构异质、信息不全难题,提出基于MoE的分层语义表示网络MHSNet,通过对比学习微调BGE-M3并结合状态感知MoE生成多级表示计算相似度,有效提升检测效果。
2025-09-05 cs.AI
Hybrid Semantic Search: Unveiling User Intent Beyond Keywords
Innoplexus Consulting Services Pvt Ltd(Innoplexus咨询服务私人有限公司)
本文提出融合关键词匹配、语义向量嵌入与LLM结构化查询的混合语义搜索框架,以捕捉显隐式用户意图并优化查询执行,提升搜索结果的相关性、全面性与准确性。
2024-09-06 cs.AI cs.IR
TAROT: A Hierarchical Framework with Multitask Co-Pretraining on Semi-Structured Data towards Effective Person-Job Fit
LinkedIn(领英)
针对通用大模型难以捕捉招聘档案与职位描述结构信息的问题,本文提出层次化多任务联合预训练框架 TAROT,利用半结构化文本学习多粒度语义嵌入,并在 LinkedIn 数据集上验证了人岗匹配性能提升。
2024-01-17 cs.AI cs.CL
Robustness Tests of NLP Machine Learning Models: Search and Semantically Replace
Wells Fargo(富国银行)
本文提出了一种策略来评估涉及自然语言处理(NLP)的不同机器学习模型的鲁棒性。整个方法依赖于搜索和语义替换策略,该策略包括两个步骤:(1)搜索,识别文本中的重要部分;(2)语义替换,找到重要部分的替换,并使用语义相似的单词约束替换的标记。我们介绍了专门为特定类型的机器学习模型设计的不同类型的搜索和语义替换方法。我们还研究了这种策略的有效性,并提供了一个通用的框架来评估各种机器学习模型。最后,提供了一个实证比较的鲁棒性性能之间的三种不同的模型类型,每一个不同的文本表示。
2021-04-20 cs.AI cs.CL cs.LG
Semantic search for 100M+ galaxy images using AI-generated captions
New York University(纽约大学);University of Toronto(多伦多大学);Dunlap Institute for Astronomy & Astrophysics(达伦普天文与天体物理研究所);University of California, Berkeley(加州大学伯克利分校);Center for Data Science(数据科学中心);Lawrence Berkeley National Lab(伯克利国家实验室);Flatiron Institute(Flatiron研究所);Université Paris-Saclay(巴黎-萨克莱大学);CEA(法国原子能委员会);CNRS(法国国家科学研究中心);AIM(应用数学研究所);Princeton University(普林斯顿大学)
提出利用视觉语言模型生成星系图像描述,并对比对齐预训练天文学基础模型,构建可搜索嵌入,实现大规模星系图像的语义搜索,在稀有现象发现上取得最先进性能。
2026-06-11 astro-ph.IM cs.AI cs.CV
Relational Semantic Reasoning on 3D Scene Graphs for Open World Interactive Object Search
University of Freiburg(弗赖堡大学);Toyota Motor Europe(丰田欧洲公司)
提出SCOUT方法,通过从LLM蒸馏的关系探索启发式直接搜索3D场景图,实现高效开放世界交互式物体搜索,性能匹配LLM且计算高效。
2026-05-27 cs.AI cs.RO
On Extending Semantic Abstraction for Efficient Search of Hidden Objects
Department of Computer Science(计算机科学系);Columbia University(哥伦比亚大学)
本文通过扩展语义抽象,提出了一种高效搜索隐藏物体的方法,利用历史数据提升3D定位精度,帮助家庭机器人更快找到丢失物品。
2025-12-22 cs.AI cs.CV cs.RO
Faceted Semantic Search for Personalized Social Search
实际的社交网络(如Facebook、Twitter、Linkedin等)在本体论的不确定性上需要处理不确定性。本文分析了在社区环境中使用“联合意义”的面向个性化社会搜索的分面语义搜索的原型。在一个由大众分类法定义的“协作”环境中的用户研究可以由分面语义搜索上的最常见特征来支持。上下文感知的个性化搜索的解决方案是基于“联合意义”,其被理解为内容的创建者和内容的用户使用面向语义网的分类法的联合联系。一个概念验证原型显示了所提出的方法也可以应用到现有的演示组件,建立不同的语言和/或组件技术。
2012-02-29 cs.IR
Policy-Grounded Dynamic Facet Suggestions for Job Search
LinkedIn Corporation(LinkedIn公司)
本文提出动态面建议(DFS)以提高求职搜索中的意图识别和相关职位检索,通过实时个性化语义属性推荐,结合离线分类整理、嵌入检索和小语言模型评分,提升建议精度和用户参与度。
2026-05-15 cs.AI cs.IR
Scaling Up Efficient Small Language Models Serving and Deployment for Semantic Job Search
Anonymous Authors(匿名作者)
本文分享了在LinkedIn为语义职位搜索开发小型语言模型时,通过剪枝和上下文压缩技术分别将模型大小减少40%和输入长度减少10倍,并在GPU上优化服务,最终实现吞吐量提升10倍的经验。
2025-10-25 cs.IR cs.LG
From Semantic Retrieval to Pairwise Ranking: Applying Deep Learning in E-commerce Search
我们将深度学习模型引入到全球最大的电子商业平台之一JD.com的产品搜索中最重要的两个阶段。具体来说,我们概述了一个深度学习系统的设计,该系统可以在几毫秒内检索与查询语义相关的项目,以及一个成对的深度重新排名系统,该系统可以学习微妙的用户偏好。与传统的搜索系统相比,本文提出的方法在语义检索和个性化排序方面有了明显的改进。
2021-03-24 cs.AI cs.IR cs.LG
Developing an Intelligent Job Recommendation System Using Semantic Retrieval and Explainable AI Techniques
Master of Web Science, Syrian Virtual University, Damascus, Syria(Web科学硕士,叙利亚虚拟大学,大马士革,叙利亚)
提出一种结合TF-IDF、Sentence-BERT语义检索、交叉编码器重排序和可解释性生成的元数据驱动职位推荐系统,在LinkedIn数据集上达到高精度和可解释性。
2026-05-26 cs.AI cs.IR
A Unified Structured Query Understanding Framework for Industrial Semantic Search
LinkedIn Corporation(领英公司)
提出一个统一的结构化查询理解系统,将多个异构功能整合到单个小语言模型(SLM)中,并引入Query Illuminator框架用于自动标注和评估,在LinkedIn的职位搜索和人员搜索中验证了效果。
2026-06-07 cs.IR cs.LG
Semantic Web Search based on Ontology Modeling using Protege Reasoner
VIT University(VIT大学)
语义网工作在现有的Web上,它将信息的含义表示为人们理解的定义良好的词汇表。同时,语义搜索通过理解搜索的意图并提供上下文相关的结果来提高搜索的准确性。本文介绍了一种语义的方法,通过PHP应用程序的Web搜索。其目标是解析用户的浏览历史,并为所提供的搜索查询返回语义相关的网页。
2013-05-24 cs.AI cs.IR
Towards Generalizable Semantic Product Search by Text Similarity Pre-training on Search Click Logs
Wayfair LLC(Wayfair有限责任公司)
最近,语义搜索已经成功地应用于电子商务产品搜索,并且用于查询和产品编码的学习的语义空间被期望推广到看不见的查询或产品。然而,推广是否可以方便地出现,迄今为止,在该领域还没有深入研究。在本文中,我们检查了几个通用领域和特定领域的预训练Roberta变体,并发现通用领域微调无助于泛化,这与现有技术的发现一致。基于对公开可用的手动注释查询-产品对数据的分桶分析,使用点击流数据进行适当的特定领域微调可以带来更好的模型泛化
2022-04-28 cs.AI cs.CL cs.IR
Query Attribute Modeling: Improving search relevance with Semantic Search and Meta Data Filtering
提出查询属性建模(QAM)混合框架,通过将文本查询分解为元数据标签和语义元素提升搜索精度,在亚马逊玩具数据集上mAP@5达52.99%,优于传统搜索方法。
2025-08-06 cs.AI cs.CL cs.IR
Latent Semantic Search and Information Extraction Architecture
Novosibirsk State University(新西伯利亚国立大学)
搜索引擎的潜在语义搜索的动机、概念、设计和实现具有有限的语义搜索、实体提取和属性属性特征,潜在搜索的准确性和响应时间不足,可能会带来隐私问题,并且搜索结果在离线模式下对于机器人搜索操作不可用。另一种建议涉及自主搜索引擎,具有自适应存储消耗,可配置的搜索范围和潜在的搜索响应时间,内置实体提取和属性属性选项,可作为移动,桌面和服务器解决方案的开源平台。所建议的架构试图实现人工通用智能(AGI)的原则,只要自治行为受到有限的资源的约束,它适用于特定的任务,使Web搜索人工智能代理实现AGI。
2019-11-30 cs.AI cs.IR
Semantic Search and Recommendation Algorithm
Netaji Subhas University of Technology(贾瓦哈拉尔·尼赫鲁技术大学)
本研究针对传统搜索方法的局限,提出结合Word2Vec与Annoy Index的新型语义搜索算法,可提升信息检索效率,经100GB数据集验证,兼具高速、高精度与高可扩展性。
2024-12-09 cs.AI cs.DB cs.IR
Domain Adaptation of Multilingual Semantic Search -- Literature Review
Georg-August University Göttingen(哥廷根大学)
本文综述了低资源环境下多语言语义搜索的领域自适应方法,提出新分类法,并探讨了结合两者以提升稠密检索器性能的可能性。
2024-02-05 cs.IR cs.LG
Semantic Recall for Vector Search
CWI(荷兰阿姆斯特丹CWI);EPFL(瑞士洛桑联邦理工学院);Google(谷歌)
本文提出语义召回指标,用于评估近邻搜索算法的质量,考虑仅在理论上可通过精确最近邻搜索检索到的语义相关对象。通过实验证明,该指标在查询结果中相关对象较少时特别有效,并引入了容忍召回作为近似指标。
2026-04-22 cs.AI cs.IR
Multimodal semantic retrieval for product search
Amazon Luxembourg(亚马逊卢森堡);Amazon Spain(亚马逊西班牙)
本文面向电商商品搜索构建融合文本与商品图像的多模态表示,并在电商数据集上验证其可提升语义检索的购买召回或相关性准确率。
2025-02-17 cs.IR cs.LG
Using RDF Summary Graph For Keyword-based Semantic Searches
Bahcesehir University(巴赫切希尔大学);Kent State University(肯特州立大学)
语义网是近年来随着其标准和技术的迅速发展而出现的。语义Web技术的不断发展促进了在Web上以RDF数据模型发布具有明确语义的数据。本研究提出一个语义搜索框架,以支持高效的基于关键字的语义搜索RDF数据利用近邻探索。该框架通过利用实体类型语义,利用邻近的资源来增强搜索结果。与搜索结果一起,系统生成相关性置信度分数,其基于相似度来测量返回实体的推断的语义相关性。此外,评估框架的有效性和结果的准确性的评价。
2017-07-12 cs.AI cs.DB cs.IR
Personalize Web Searching Strategies Classification and Comparison
Technical University of Sofia(索非亚技术大学)
个性化是语义Web搜索的一个重要发展方向,用户需要找到合适的信息。本文提出了Web个性化的分类,并对语义Web搜索工具进行了研究。建立用户兴趣档案是个性化的关键。目前,语义Web工具使用本体的个性化,因为他们的优势。值得一提的是,大多数语义Web搜索工具都使用代理技术来实现。
2022-03-25 cs.AI cs.IR
AI Prior Art Search: Semantic Clusters and Evaluation Infrastructure
Federal Institute of Industrial Property(联邦工业产权研究所)
本文提出了一种基于语义聚类的AI优先艺术搜索方法,通过生成大规模数据集和评估工具,提升专利文献检索的自动化水平。
2026-01-05 cs.AI cs.IR
Ontology-Based Query Expansion with Latently Related Named Entities for Semantic Text Search
Ho Chi Minh City University of Technology(胡志明市理工大学)
传统的信息检索系统通过关键字集合来表示文档和查询。然而,文档或查询的内容主要由其中出现的关键字和命名实体定义。命名实体具有本体特征,即它们的别名、类和标识符,这些特征从它们的文本外观中隐藏。此外,查询的含义可能隐含与查询中的显式实体相关的潜在命名实体。提出了一种基于本体的广义向量空间模型来进行语义文本搜索。它利用命名实体及其潜在相关实体的本体特征来揭示文档和查询的语义。我们还提出了一个框架,结合不同的本体,以发挥其互补优势的语义标注和搜索。在基准数据集上的实验表明,我们的模型比其他模型具有更好的搜索质量。
2018-07-15 cs.AI cs.IR
Semantic In-Domain Product Identification for Search Queries
Adobe Inc.(奥多比公司)
针对搜索查询中的产品识别问题,提出利用用户行为数据训练产品分类器的新颖语义方法,使CTR相对提升超25%,null rate降超50%,app cards展示量翻倍,有效提升了产品可见度。
2024-05-29 cs.AI cs.CL cs.IR
VectorSearch: Enhancing Document Retrieval with Semantic Embeddings and Optimized Search
University of Washington(华盛顿大学)
针对传统文档检索难以捕捉语义细微差别及高维度语义鸿沟问题,提出VectorSearch,利用先进算法、嵌入、多向量搜索和语言模型编码,显著提升检索准确性,在大规模任务中优于基线。
2024-09-25 cs.AI cs.DB cs.IR
Impact of Semantic Granularity on Geographic Information Search Support
University of Torino(都灵大学);University of Genova(热那亚大学);University College Dublin(都柏林大学学院)
信息检索的研究主要是利用语义来提供准确的检索结果,而对概念抽象的分析主要集中在信息集成上。我们考虑了地理信息检索中基于会话的查询扩展,并研究了语义粒度(即,概念表示的特异性)关于要搜索的相关类型的信息的建议。我们研究了不同层次的详细知识表示的影响,指导用户在一个复杂的信息空间的探索能力。一个查询扩展模型的性能的比较分析,使用三个空间本体定义在不同的语义粒度级别,揭示了一个细粒度的表示提高召回。然而,精确度取决于本体与人们概念化和口头描述地理空间的方式的匹配程度。
2020-04-01 cs.IR cs.LG
Comparing Lexical and Semantic Vector Search Methods When Classifying Medical Documents
The University of Kent(肯特大学);TMLEP Research(TMLEP研究)
本文比较了词汇与语义向量搜索在医学文档分类中的表现,发现定制词汇模型在准确性和效率上均优于现成语义方法,证明传统方法仍具竞争力。
2025-06-03 cs.AI cs.IR
Taxonomy-guided Semantic Indexing for Academic Paper Search
University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校);Yonsei University(延世大学);Pohang University of Science and Technology(浦项科技大学)
针对稠密检索难以匹配查询与论文间学术概念的问题,提出 TaxoIndex 语义索引框架,利用学术分类体系组织概念并桥接查询与文档,可即插即用地增强检索器,在少量训练数据下显著提升效果与可解释性。
2024-10-25 cs.AI cs.IR
Extreme Multi-label Learning for Semantic Matching in Product Search
Amazon(亚马逊)
我们考虑产品搜索中的语义匹配问题:给定一个客户查询,从一个大小为1亿或更多的巨大目录中检索所有语义相关的产品。由于大的目录空间和实时延迟的限制,语义匹配算法不仅需要高召回率,而且还需要具有低延迟。传统的词汇匹配方法(例如,Okapi-BM 25)利用倒排索引来实现快速推理时间,但未能捕获查询和产品之间的行为信号。相比之下,基于嵌入的模型从客户行为数据中学习语义表示,但由于延迟限制,性能通常受到浅层神经编码器的限制。语义产品搜索可以被看作是一个极限多标签分类(XMC)问题,其中客户查询是输入实例,产品是输出标签。在本文中,我们的目标是提高语义产品搜索使用基于树的XMC模型,推理时间复杂度是对数的产品数量。我们考虑层次线性模型与n-gram功能的快速实时推理。定量地,我们的方法保持了每个查询1.25毫秒的低延迟,并实现了Recall@100的65%的改进(60.9% vs. 36.8%),而不是基于嵌入的竞争DSSM模型。我们的模型是强大的权重修剪不同的阈值,它可以灵活地满足不同的系统要求的在线部署。质量,我们的方法可以检索产品,补充现有的产品搜索系统,并增加多样性的匹配集。
2021-06-23 cs.IR cs.LG
Using multi-categorization semantic analysis and personalization for semantic search
语义搜索技术近年来受到越来越多的关注。与基于关键字的搜索相比,语义搜索可以挖掘潜在的语义信息,帮助用户找到真正想要的信息。本文提出了一种结合多分类语义分析和个性化技术的语义搜索方法。MCSA方法可以将文档分类为多个类别,这与将文档分类为单个类别的现有方法不同。然后,在利用术语向量数据库对原始检索结果进行分析和匹配时,重点考虑了用户的检索历史和个人信息。提出了一系列的个性化算法来匹配个人信息和搜索历史。最后通过实验验证了该方法的有效性和高效性。实验结果表明,基于MCSA和个性化的方法比现有的方法具有更高的搜索精度和更低的额外时间开销。
2014-06-27 cs.IR
Experience of Developing a Meta-Semantic Search Engine
考虑到今天的Web搜索场景主要是基于关键字的,导致需要语义Web提供有效和有意义的搜索。现有的搜索引擎由于依赖于网页中可用的简单数据而容易对用户查询提供相关答案。另一方面,语义搜索引擎提供高效和相关的结果,因为语义网使用本体管理具有明确定义的含义的信息。一个Meta-搜索引擎是一个搜索工具,它将用户的查询转发到几个现有的搜索引擎,并通过使用自己的页面排名算法提供组合的结果。SemanTelli是一个Meta语义搜索引擎,通过智能代理从不同的语义搜索引擎(如Hakia,DuckDuckGo,SenseBot)获取结果。本文提出了增强SemanTelli与改进的片段分析为基础的页面排名算法和支持图像和新闻搜索。
2013-11-25 cs.IR
A Semantic Search Pipeline for Causality-driven Adhoc Information Retrieval
National University of Ireland Galway(爱尔兰国立高威大学);University College Cork(科克大学学院)
本文提出一种无监督语义搜索流水线,通过在语义和词汇索引上聚合多查询策略结果,有效区分主题文档与因果文档,在CAIR-2021任务中表现领先。
2025-03-02 cs.AI cs.CL cs.IR
Semantic Search for Large Scale Clinical Ontologies
The Australian E-Health Research Centre, CSIRO(澳大利亚电子健康研究中心,联邦科学与工业研究组织)
当查询使用不同的词汇表时,在大型临床本体中查找概念可能具有挑战性。克服这个问题的搜索算法在诸如概念规范化和本体匹配的应用中是有用的,其中概念可以使用不同的同义词以不同的方式被引用。在本文中,我们提出了一种基于深度学习的方法来构建大型临床本体的语义搜索系统。我们提出了一个Triplet-BERT模型和一种直接从本体生成训练数据的方法。该模型使用五个真实的基准数据集进行评估,结果表明,我们的方法在自由文本到概念和概念到概念搜索任务上都取得了很高的结果,并且优于所有基线方法。
2022-01-01 cs.CL cs.IR cs.LG
Khmer Semantic Search Engine (KSE): Digital Information Access and Document Retrieval
Institute of Technology of Cambodia (ITC)(柬埔寨理工学院)
提出首个高棉语语义搜索引擎 KSE,结合关键词词典、本体和排序三种语义匹配框架及数据准备工具,提升高棉语文档与在线资源检索准确率。
2024-06-16 cs.CL cs.IR
Intelligent Agent Based Semantic Web in Cloud Computing Environment
考虑到今天的Web场景,有一个有效的和有意义的搜索在Web上,这是由语义Web提供的需求。现有的搜索引擎是基于关键字的。它们在回答来自用户的智能查询时是脆弱的,因为它们的结果依赖于网页中的信息。而语义搜索引擎提供了高效和相关的结果,因为语义网是当前网络的扩展,其中信息被赋予了定义明确的含义。MetaCrawler是一个搜索工具,它使用几个现有的搜索引擎,并通过使用自己的页面排名算法提供组合结果。本文提出了一种名为SemanTeli的元语义搜索引擎,它可以在云中工作。SemanTelli在智能代理的帮助下从不同的语义搜索引擎(如Hakia、DuckDuckGo、SenseBot)获取结果,这些智能代理消除了现有搜索引擎的局限性。
2013-05-04 cs.IR
A Semantic Search Engine for Mathlib4
School of Mathematical Sciences, Peking University(北京大学数学科学学院);Beijing International Center for Mathematical Research, Peking University(北京国际数学研究中心(北京大学));Center for Machine Learning Research, Peking University(北京大学机器学习研究中心)
本文提出面向 mathlib4 的语义搜索引擎 leansearch.net,支持非形式化查询检索相关定理,并建立了评估 mathlib4 搜索引擎性能的基准。
2025-02-04 cs.IR cs.LG cs.LO
HSEarch: semantic search system for workplace accident reports
语义搜索引擎集成了文本挖掘(TM)方法的输出,可以显著提高查找相关文档和定位其中重要信息的轻松性和效率。我们提出了一种新的搜索引擎的建筑业,HSEarch(http://www.nactem.ac.uk/hse/),它使用TM方法提供语义增强,分面搜索的工作场所事故报告的存储库。与以往建造业以TM为主导的搜索引擎相比,HSEarch为使用者提供了一个更具互动性的方法,让他们探索储存库的内容,更有系统地审阅文件,并在其中找到相关的知识。
2021-03-23 cs.IR
Towards a Semantic Search Engine for Scientific Articles
由于科学出版物中的数据泛滥,研究人员和读者越来越难找到相关信息。通过考虑语义关系来构建增强的科学搜索引擎是一个巨大的挑战。作为一个出发点,从科学文章中提取的关键词之间的语义关系,以分类的文章。这可能有助于以后以有意义的科学方式浏览和搜索内容的过程。事实上,通过连接关键词,可以提取文章的上下文。本文旨在提供思路,建立这样一个智能搜索引擎,并描述了实现这样一个雄心勃勃的目标的初步贡献。
2017-09-28 cs.IR
SGPT: GPT Sentence Embeddings for Semantic Search
Peking University(北京大学)
解码器Transformers的规模不断增加,达到数千亿个参数。由于它们的规模,相同的解码器通过提示或微调在各种语言任务上设置最先进的结果。然而,这些大的基础模型仍然无法用于语义搜索和句子嵌入的相关领域。这可能会阻止新的最先进的结果,并迫使组织训练和维护单独的模型。为此,我们建议SGPT使用解码器的句子嵌入和语义搜索通过提示或微调。在58亿个参数上,SGPT比以前最好的句子嵌入提高了7%,并且在BEIR搜索基准上测量时优于具有1750亿个参数的并发方法。代码、模型和结果文件可在https://github.com/Muennighoff/sgpt上免费获得。
2022-08-05 cs.AI cs.CL cs.IR
Pairwise Judgment Formulation for Semantic Embedding Model in Web Search
Department of Computing Hong Kong Polytechnic University(计算系香港理工大学);Department of Mechanical Engineering Hong Kong Polytechnic University(机械工程系香港理工大学)
本文提出了一种改进的语义嵌入模型训练方法,通过分析大规模查询日志,发现传统排序方法未必最优,并展示了混合启发式方法的优势。
2026-01-05 cs.AI cs.DB cs.IR
Mathematical Model of Semantic Look - An Efficient Context Driven Search Engine
万维网(WWW)是一个巨大的网页温室。搜索引擎是为用户查询获取网页的关键应用。在当前一代Web架构中,搜索引擎将用户提供的关键字视为孤立的关键字,而不考虑用户查询的上下文。这会导致向用户显示许多不相关的页面或链接。语义Web是在现有Web的基础上,通过修改框架,以更精确的结果集作为对用户查询的响应。当前的网页需要通过寻找相关的Meta数据添加到它们中的每一个被注释,使它们成为有用的语义Web搜索引擎。Semantic Look通过处理记录在网页中的语义信息来探索用户查询的上下文。它与现有的算法称为OntoLook相比,它表明,语义查找是一个更好的优化搜索引擎的速度是OntoLook的两倍以上。
2014-02-28 cs.IR
Event Search and Analytics: Detecting Events in Semantically Annotated Corpora for Search and Analytics
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Saarbrücken Graduate School of Computer Science(萨尔布吕肯计算机科学研究生院)
在这篇文章中,我提出了我在博士研究中试图回答的问题。我试图分析自然语言文本的语义注释的帮助下,挖掘重要事件导航大型文本语料库。命名实体、地理位置和时间表达式等语义标注可以帮助我们从给定的语料库中挖掘事件。因此,这些事件为我们提供了有用的手段来发现其中的锁定知识。我提出了三个问题,可以帮助解锁语义注释文本语料库中的知识库:i。确定重要事件; ii.语义搜索;以及iii.事件分析
2016-03-01 cs.CL cs.IR
Beyond Lexical: A Semantic Retrieval Framework for Textual SearchEngine
搜索引擎已经成为各种Web和移动应用程序中的基本组件。对于搜索引擎系统来说,从海量数据集中检索相关文档是一个挑战,尤其是在面对冗长或尾查询时。在本文中,我们探讨了一个向量空间搜索框架的文件检索。具体来说,我们训练了一个深度语义匹配模型,这样每个查询和文档都可以被编码为低维嵌入。我们的模型是基于BERT架构训练的。我们部署了一个快速的k-最近邻索引服务的在线服务。离线和在线指标表明,我们的方法大大提高了检索性能和搜索质量,特别是对尾部
2020-08-10 cs.IR
A Domain Specific Ontology Based Semantic Web Search Engine
自20世纪90年代出现以来,万维网(WWW)迅速发展成为一个巨大的全球信息矿,并且每天都在增长。Web上存在大量的资源,因此提出了一个严重的问题,准确的搜索。这主要是因为今天的Web是一个人类可读的Web,其中的信息不能被机器轻松处理。高度复杂的,高效的基于关键字的搜索引擎已经发展到今天还没有能够弥合这一差距。因此,提出了语义网的概念,这是由蒂姆·伯纳斯-李设想的机器可解释信息的网络,使机器可处理的形式来表达信息。基于语义Web技术,本文介绍了一个语义Web搜索引擎的设计方法和开发过程,该搜索引擎为特定领域的搜索提供准确的搜索结果。这个搜索引擎是为一个农业网站开发的,该网站提供有关西孟加拉邦的农业信息。
2011-02-03 cs.IR
Semantic Vector Encoding and Similarity Search Using Fulltext Search Engines
向量表示和向量空间建模(VSM)在现代机器学习中起着核心作用。我们提出了一种新的方法来“向量相似性搜索”的密集语义表示的单词和文档,可以部署在传统的基于反向索引的全文引擎,利用其鲁棒性,稳定性,可扩展性和无处不在。我们表明,这种方法允许索引和查询密集向量的文本域。这为实现重大效率提升以及更简单的部署、扩展和监控开辟了令人兴奋的途径。最终的结果是一个快速和可扩展的向量数据库,在向量搜索性能和质量之间进行了可调的权衡,并得到了Elasticsearch等标准全文引擎的支持。我们经验证明其查询性能和质量,通过应用此解决方案的语义搜索任务在整个英文维基百科的密集矢量表示。
2017-06-03 cs.IR
An ontology-based approach for semantics ranking of the web search engines results
这项工作属于信息检索和语义网领域,旨在提高网络搜索工具的评价。事实上,网络上的大量信息以及新的无经验用户的增长为信息检索带来了新的挑战;当然,当前的搜索引擎(如Google、Bing和Yahoo)提供了浏览网络内容的有效方式。然而,这种类型的工具没有考虑到由查询词和文档词驱动的语义。本文提出了一种新的基于语义的方法来评估信息检索系统,其目标是增加搜索工具的选择性,并改善这些工具的评估。对所提出的评价搜索引擎的方法进行了测试,证明了它对实际搜索工具的适用性。结果表明,语义评估是一种很有前途的方法,以提高性能和行为的搜索引擎以及相关的结果,他们返回。
2012-12-11 cs.IR
C2T-ID: Converting Semantic Codebooks to Textual Document Identifiers for Generative Search
State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所人工智能安全重点实验室);University of Chinese Academy of Sciences(中国科学院大学)
针对生成式检索中文档标识符语义性与搜索空间可控性难以兼顾的问题,提出C2T-ID方法,通过层级聚类、关键词替换与可选语义平滑生成文本标识符,在多个基准上优于现有基线。
2025-10-22 cs.IR