Ranking sentences from product description & bullets for better search
Walmart Labs(沃尔玛实验室)
电子商务目录中的产品包含信息丰富的字段,如描述和项目符号,这些字段对于使用基于NER的系统提取实体(属性)非常有用。然而,这些字段通常是冗长的,并且包含许多从搜索角度来看不相关的信息。平等对待这些领域中的每个句子可能会导致全文匹配不佳,并在提取属性以开发本体、语义搜索等方面引入问题。为了解决这个问题,我们描述了两种基于提取摘要的方法,通过利用产品标题和搜索点击日志中的信息,利用强化学习对句子进行排序。我们比较了这两个模型的准确性。
2019-07-15 cs.CL cs.IR cs.LG
Personalized Query Auto-Completion Through a Lightweight Representation of the User Context
eBay Inc.(eBay公司)
查询自动完成(QAC)是在许多领域(包括Web和电子商务搜索)中广泛使用的功能,基于用户键入的前缀建议完整查询。近年来,QAC在文献中得到了广泛的研究,并且一直表明,添加个性化特征可以显着提高QAC的性能。在这项工作中,我们提出了一种新的个性化QAC的方法,使用轻量级的嵌入通过fastText学习。我们构造一个嵌入的用户上下文查询,这是最后几个查询由用户发出。我们还使用相同的模型来获得要排名的候选查询的嵌入。我们引入排名功能,计算候选查询和上下文查询之间的距离在嵌入空间。然后将这些特征与其他常用的QAC排名特征相结合,以学习排名模型。我们将我们的方法应用于大型电子商务搜索引擎(eBay),并表明具有我们提出的功能的排名器在所有测量的离线指标上都显着优于基线,这些指标包括平均倒数排名(MRR),成功率(SR),平均平均精度(MAP)和归一化折扣累积增益(NDCG)。我们的基线包括最受欢迎的完成(MPC)模型以及没有我们提出的功能的排名模型。具有所提出的特征的排名模型在所有度量上都比MPC模型有$20-30\%$改进。对于所有会话,我们获得了比基线排名模型高的$5\%$改进,当我们限制包含用户上下文的会话时,其提高到大约$10\%$。此外,我们提出的功能也显着优于基于文本的个性化功能在文献中研究之前,并添加基于文本的功能,我们提出的基于嵌入的功能的结果只有轻微的改进。
2019-05-03 cs.AI cs.CL cs.IR
Embedding Meta-Textual Information for Improved Learning to Rank
学习术语嵌入的神经方法已经导致了信息检索(IR)中相似性和排名的改进计算。到目前为止,神经表示学习还没有扩展到元文本信息,这是很容易获得的许多IR任务,例如,在现有技术检索的专利类别,在维基百科文章的主题信息,或在电子商务数据的产品类别。我们提出了一个框架,学习嵌入的元文本类别,并优化了成对的排名目标,以改善匹配的基础上结合嵌入的文本和元文本信息。我们表现出相当大的收益,在维基百科领域的跨语言检索的实验评估的三种语言对,并在专利领域的一种语言对。我们的研究结果强调,不同类型的信息相结合的模式是模型改进的关键。
2020-10-30 cs.IR
Learning Image Information for eCommerce Queries
eBay Inc(eBay公司)
在任何信息检索系统中,计算查询和文档之间的相似度是基本的。在搜索引擎中,计算查询-文档相似度是检索和排序阶段的重要步骤。在eBay搜索中,文档是一个项目,查询-项目相似度可以通过比较查询-项目对的不同方面来计算。查询文本可以与项目标题的文本进行比较。同样,可以将应用于查询的类别约束与项目的列表类别进行比较。然而,图像是一种通常存在于项目中但不存在于查询中的信号。图像是用户用来确定给定查询的项目的相关性的最直观的信号之一。在估计查询-项目对之间的相似性时包括该信号可能提高搜索引擎的相关性。我们提出了一种新的方式来获取图像信息的查询。我们试图从项目图像中学习查询的图像信息,而不是生成显式的图像特征或查询的图像。我们使用典型相关分析(CCA)来学习一个新的子空间,在这个子空间中投影原始数据将为我们提供一个新的查询和项目表示。我们假设这个新的查询表示也将有关于查询的图像信息。我们估计使用向量空间模型的查询项相似性,并报告所提出的方法对eBay的搜索数据的性能。我们使用受试者工作特征曲线(AUROC)下的面积作为评估指标,显示出11.89%的相关性改善。我们还显示了3.1\%的相关性改善的基线与精确召回曲线下的面积(AUPRC)。
2019-04-29 cs.CV cs.IR cs.LG
Learning to Rank Rationales for Explainable Recommendation
现有的推荐系统(RS)主要依赖于复杂的深度神经网络(DNN)模型结构,这使得很难在RS决策的同时提供解释。先前的研究人员已经证明,提供解释和推荐项目可以帮助用户做出明智的决定,并提高他们对不可解释的黑盒系统的信任。在与模型无关的可解释推荐中,系统设计者部署一个单独的解释模型来从决策模型中获取输入,并生成解释以满足说服力的目标。在这项工作中,我们探索的任务,排名文本的理由(支持证据)模型无关的可解释的建议。现有的理据排序算法大多只利用理据ID和交互矩阵来构建潜在的因素表示,而文本理据中的语义信息没有得到有效的学习。我们认为,这样的设计是次优的重要的语义信息的文字原理内,可以用来更好地配置文件的用户偏好和项目功能。针对这一问题,本文提出了一种语义增强贝叶斯个性化解释排序模型(SE-BPER),有效地将交互信息和语义信息结合起来。SE-BPER首先用Transformer模型生成的上下文化嵌入对潜在因子表示进行优化,然后用交互数据对它们进行优化。大量的实验表明,这种方法提高了rationales排名性能,同时简化了模型训练过程(更少的超参数和更快的收敛速度)。我们的结论是,结合语义和交互信息的最佳方式仍然是一个悬而未决的问题,在任务的理由排名。
2022-06-10 cs.IR
Deep Learning-based Online Alternative Product Recommendations at Scale
The Home Depot(家得宝)
替代推荐系统对电子商务公司至关重要。他们引导客户探索大量的产品目录,并帮助客户在大量的选择中找到合适的产品。然而,推荐适合客户需求的替代产品并非易事。在本文中,我们使用文本产品信息(例如产品标题和描述)和客户行为数据来推荐替代产品。我们的研究结果表明,替代产品的覆盖率显着提高离线评估以及召回率和精度。最后的A/B测试表明,我们的算法以统计上显著的方式将转化率提高了12%。为了更好地捕捉产品信息的语义含义,我们使用双向LSTM构建了一个连体网络来学习产品嵌入。为了学习一个更好地匹配真实客户偏好的相似性空间,我们使用历史客户行为的共同比较数据作为标签来训练网络。此外,我们使用NMSLIB来加速计算昂贵的kNN计算数百万种产品,使替代推荐能够扩展到一个主要的电子商务网站的整个目录。
2021-04-15 cs.AI cs.IR
Textually Guided Ranking Network for Attentional Image Retweet Modeling
Zhejiang University(浙江大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Hangzhou Dianzi University(杭州电子科技大学)
转发预测在社交媒体网站(Social media sites, SMS)中是一个很有挑战性的问题. 本文研究了SMS中的图像转发预测问题, 预测用户再次转发图像推特的图像共享行为.与以往的研究不同,我们从用户过去转发的图片推文中学习用户偏好排序模型。本文首先提出了异构图片推文建模网络(IRM),该网络利用用户过去转发的图片推文及其相关上下文、用户在短信中的关注关系和关注者的偏好。 在此基础上, 提出文本引导的多模态神经网络, 构建新型多方面注意力排序网络学习框架, 从而学习预测任务中的联合图像推特表征和用户偏好表征.在Twitter网站上的大规模数据集上的实验表明,该方法比现有的方法具有更好的性能。
2018-10-24 cs.IR cs.LG cs.MM
Answer Ranking for Product-Related Questions via Multiple Semantic Relations Modeling
许多电子商务网站现在提供特定产品的问答平台,供用户在网上购物时通过发布和回答问题来相互交流。然而,普通用户提供的多个答案通常在质量上变化很大,因此需要为每个问题适当地排名以提高用户满意度。可以观察到,产品评论通常为给定的问题提供有用的信息,因此可以帮助排名过程。在本文中,我们研究了产品相关问题的答案排名问题,与相关的评论作为辅助信息,可用于促进排名。我们提出了一个名为MUSE的答案排名模型,它仔细地模拟了问题,答案和相关评论之间的多种语义关系。具体来说,MUSE以问题、每个答案和每个评论片段为节点构建了一个多语义关系图。然后设计了一个定制的图卷积神经网络,用于显式建模问题和答案之间的语义相关性,答案之间的内容一致性,以及答案和评论之间的文本蕴涵。在三个产品类别的真实电子商务数据集上进行的大量实验表明,我们提出的模型在相关答案排名任务上取得了优异的性能。
2020-06-28 cs.IR
Scaling Search Relevance: Augmenting App Store Ranking with LLM-Generated Judgments
Apple(苹果公司)
针对应用商店排名中专家文本相关性标签稀缺的问题,通过微调LLM生成数百万标签,结合行为相关性优化排序器,显著提升Pareto前沿和转化率。
2026-06-07 cs.AI cs.IR cs.LG
Interpreting search result rankings through intent modeling
鉴于最近的兴趣,可以说是准确的,但不可解释的神经模型,即使与文本特征,文档排序,我们试图回答有关如何解释排名的问题。在本文中,我们采取的第一个步骤对检索模型的可解释性框架的目的是回答3个主要问题“什么是查询的意图,根据排名?“,“为什么一个文档在查询中的排名高于另一个?“和“为什么一个文件与查询相关?“我们的框架是基于这样一个假设,即基于文本的检索模型行为可以使用查询扩展结合一个更简单的检索模型来估计,而不管底层的排名。我们使用Cocktail Web测试集合进行了实验。我们展示了我们的方法如何使用封闭形式符号(允许我们测量解释的准确性)和神经排名模型来实现更简单的模型。我们的研究结果表明,我们确实可以解释更复杂的模型,在某些简化的假设下具有合理的准确性。在一个案例研究中,我们还表明,我们的框架可以用来解释DRMM神经检索模型在各种情况下的结果。
2018-09-13 cs.IR
Learning to Ask Critical Questions for Assisting Product Search
针对电商商品搜索中现有方法难精准捕捉用户实时兴趣的问题,提出融合隐式会话反馈与主动关键提问的双学习模型,通过效用评分、选择与排序网络关联点击流与文本问题,在公开数据集上性能超越现有最优方法。
2024-03-05 cs.IR
Explain then Rank: Scale Calibration of Neural Rankers Using Natural Language Explanations from LLMs
本文提出利用LLM生成自然语言解释的蒙特卡洛采样提供相关性与不确定性信号,将神经排序任务转化为对解释进行排序,从而为现代神经文本排序器生成尺度校准分数,并在多个任务上优于现有方法。
2024-08-26 cs.IR
Ranking Entities in the Age of Two Webs, an Application to Semantic Snippets
链接开放数据倡议的进展正在产生一个结构更合理的数据网。事实上,一些数据集充当枢纽(例如,DBpedia)连接许多其他数据集。他们还使新的Web服务成为可能,用于纯文本中的实体检测(例如,DBpedia Spotlight),从而允许新的应用程序可以从文档Web和数据Web的组合中受益。为了缓解这些新的应用程序的出现,我们提出了一个查询偏置算法(LDRANK)的排名与相关的文本数据的数据资源的Web。我们的算法结合了链接分析和降维。我们使用众包建立一个公开可用的和可重用的数据集,用于评估网页中检测到的数据资源的Web查询偏向排名。我们表明,在这个数据集上,LDRANK优于最先进的。最后,我们使用这种算法的语义片段的建设,我们评估的有用性与基于众包的方法。
2015-09-15 cs.IR
Pretrained Language Model based Web Search Ranking: From Relevance to Satisfaction
本文提出基于PLM的SAT-Ranker框架,通过多字段输入统一建模文档质量、时效性和权威性等满意度维度,离线与在线实验均显示显著收益并已全量部署。
2023-06-02 cs.IR
RD-Suite: A Benchmark for Ranking Distillation
针对排序蒸馏领域缺乏统一评估基准的问题,研究提出包含4个真实数据集、覆盖两类模态与两类场景的RD-Suite基准框架,发布配套资源并对领域现有认知提出挑战,推动排序蒸馏研究发展。
2023-06-12 cs.IR
Which Country Is This? Automatic Country Ranking of Street View Photos
Coburg University of Applied Sciences and Arts(科堡应用科学与艺术大学);University of Sheffield(谢菲尔德大学)
本文提出Country Guesser系统,通过结合计算机视觉、机器学习和文本检索方法,对街景照片中的地点进行国家排名预测。
2024-06-11 cs.CV cs.IR
T2Ranking: A large-scale Chinese Benchmark for Passage Ranking
本文提出T2Ranking,一个大规模中文段落排序基准,包含30万查询和200万段落,采用4级细粒度相关性标注并缓解假阴性问题,实验验证其挑战性。
2023-04-07 cs.IR
StruBERT: Structure-aware BERT for Table Search and Matching
大量信息存储在数据表中。用户可以使用基于关键字的查询来搜索数据表。表主要由按行和列组织的数据值组成,提供隐式结构信息。表格通常附带次要信息,如标题、页面标题等,形成文本信息。理解文本信息和结构信息之间的联系是表格检索中一个重要但被忽视的方面,因为以前的方法独立地处理每个信息源。此外,用户还可以搜索与现有表相似的数据表,此设置可视为基于内容的表检索。在本文中,我们提出了Stru BERT,一个结构感知的BERT模型,融合了数据表的文本和结构信息,为数据表的文本和表格内容生成上下文感知的表示。StruBERT功能集成在一个新的端到端神经排名模型中,以解决三个与表相关的下游任务:基于关键字和内容的表检索以及表相似性。我们使用三个数据集来评估我们的方法,并且我们证明了在检索和分类指标方面比最先进的方法有了实质性的改进。
2022-03-27 cs.IR
A Social Search Model for Large Scale Social Networks
Facebook(脸书);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
随着社交网络的兴起,互联网上的信息不再仅仅由网页组织。相反,内容是在用户之间生成和共享的,并围绕他们在社交网络上的社交关系进行组织。这对信息检索系统提出了新的挑战。在社交网络搜索系统中,结果集的生成不仅需要像传统的web搜索引擎那样考虑关键字匹配,而且还需要考虑用户的社交联系和内容的可见性设置。此外,搜索排名应该能够处理文本相关性和来自社交网络的丰富的社交互动信号。在本文中,我们首先引入社会检索机制,然后研究新的深度神经网络的排名问题,提出我们的解决方案,这两个挑战。该检索系统将社会联系作为索引词,并通过以约束优化方式偏向密切的社会联系来生成有意义的结果集。然后,通过深度神经网络对结果集进行排名,该深度神经网络以双塔方法处理文本和社交相关性,其中个性化和文本相关性被联合处理。该检索机制部署在Facebook上,正在帮助数十亿用户有效地从他们的连接中查找帖子。基于检索到的帖子,我们评估了我们的双塔神经网络,并研究了个性化和文本信号在排名问题中的重要性。
2020-05-09 cs.IR cs.LG cs.SI
Dynamic Visual Semantic Sub-Embeddings and Fast Re-Ranking
Wuhan University(武汉大学);Nanjing University of Science and Technology(南京理工大学)
提出动态视觉语义子嵌入框架(DVSE)和快速重排序策略(FR),通过正交约束和方差感知加权损失降低信息熵,提升跨模态匹配精度,并在三个基准数据集上验证了有效性。
2023-12-21 cs.CV cs.IR
Verso folio: Diversified Ranking for Large Graphs with Context-Aware Considerations
这项工作是关于网络资源的多样化排名和相互关联的文件,依赖于一个类似网络的结构,如网页。这方面的一个实际例子是查询k个最相关的网页,这些网页在同一时间也尽可能彼此不相似。使用网络距离和上下文相似性的聚合来量化相关性和相异性。例如,对于问题的特定配置,我们可能对在文本描述方面与查询相似但在网络图方面彼此远离的网页感兴趣,例如许多点击。回顾过去,在文献中可以找到一个缺乏的工作,解决这个问题,考虑到由文件链接形成的网络结构。在这项工作中,我们提出了一个爬山的方法,是种子的文件集,这是使用贪婪的启发式多样化最初产生的。更重要的是,我们在网页的上下文中处理这个问题,其中有一个底层的网络结构连接可用的文档和资源。这与大多数作品有很大的不同,这些作品要么在内容定义方面解决问题,要么在数据的图形结构方面解决问题,但从来没有同时解决这两个方面。据我们所知,这是第一次以优雅的方式将这一重要问题的两个方面结合起来,还允许在如何配置(i)文档相关性与结果项的权衡方面有很大的灵活性。项目的差异,以及(ii)网络距离与内容相关性或差异。最后但并非最不重要的是,我们提出了一个广泛的评估我们的方法,证明其有效性和效率。
2016-07-25 cs.IR
Advancing Re-Ranking with Multimodal Fusion and Target-Oriented Auxiliary Tasks in E-Commerce Search
JD.com, Inc.(京东集团)
针对电商搜索重排序中多模态信息整合不足的问题,提出融合注意力多模态技术与排序对齐辅助任务的ARMMT方法,京东实验显示其CVR提升0.22%,达SOTA水平,助力GMV增长。
2024-08-11 cs.CV cs.IR
Shopping Queries Image Dataset (SQID): An Image-Enriched ESCI Dataset for Exploring Multimodal Learning in Product Search
本文提出购物查询图像数据集(SQID),扩展亚马逊数据集并加入19万产品图像,支持多模态学习以改进产品搜索与排序,实验验证了多模态数据的价值。
2024-05-24 cs.IR
SDR: Efficient Neural Re-ranking using Succinct Document Representation
Institute for Clarity in Documentation(文档清晰度研究所);Inria Paris-Rocquencourt(法国国家信息与自动化研究所巴黎-罗克库尔中心);Rajiv Gandhi University(拉吉夫·甘地大学);Tsinghua University(清华大学);Palmer Research Laboratories(帕尔默研究实验室)
基于BERT的排序模型在各种信息检索任务上取得了优异的性能。然而,大量的参数和复杂的自注意操作带来了显著的延迟开销。为了解决这个问题,最近的作品提出了后期交互架构,它允许预先计算中间文档表示,从而减少了运行时延迟。尽管如此,在解决了即时延迟问题之后,这些方法现在引入了存储成本和网络获取延迟,这限制了它们在现实生产系统中的采用。在这项工作中,我们提出了简洁的文档表示(SDR)计划,计算高度压缩的中间文档表示,减轻存储/网络问题。我们的方法首先通过使用一种新颖的自动编码器架构对令牌表示进行编码来降低令牌表示的维度,该架构在编码和解码阶段都使用文档的文本内容。在这个令牌编码步骤之后,我们使用现代量化技术进一步减小整个文档表示的大小。对MSMARCO数据集上的段落重新排序的广泛评估表明,与使用压缩文档表示的现有方法相比,我们的方法非常高效,在相同的排名质量下,压缩率提高了4倍至11.6倍。
2021-10-03 cs.IR cs.LG
One-Step Retrieval Framework for Real-Time Sponsored Search Ads Using Hierarchical Text Representations
Tencent Inc.(腾讯公司)
针对多级级联检索目标不一致及LLM生成方法泛化差、解码低效的问题,提出ANGLE框架,利用层次化文本表示在单一LLM中集成检索、相关性与排序,实现实时广告检索,离线与线上实验均显著提升效果。
2026-11-02 cs.IR
Learning Groupwise Multivariate Scoring Functions Using Deep Neural Networks
在分类或回归设置中,为每个单独的文档分配标签或值,而在排名设置中,我们确定整个输入文档列表的相关性排序。这种差异导致了排名中文档之间的相对相关性的概念。大多数现有的学习排名算法使用成对或列表损失函数在损失水平上对这种相关性进行建模。然而,它们仅限于单变量评分函数,即,文档的相关性分数是基于文档本身而计算的,而不管列表中的其他文档。为了克服这一限制,我们提出了一个新的框架,多元评分功能,其中的相关性得分的文件是由多个文件的列表中共同确定。我们把这个框架称为GSF--分组评分函数。我们学习GSF与深神经网络架构,并证明了几个代表性的学习排名算法可以建模为特殊情况下,在我们的框架。我们使用来自最大的商业电子邮件搜索引擎之一的点击日志以及公共基准数据集进行评估。在这两种情况下,GSF导致显着的性能改进,特别是在稀疏文本特征的存在下。
2019-08-04 cs.IR
LIST: Learning to Index Spatio-Textual Data for Embedding based Spatial Keyword Queries
提出LIST,一种基于机器学习的近似最近邻搜索索引,通过学习聚类和伪标签生成技术高效索引空间-文本数据,并集成空间与文本相关性模型实现轻量有效的对象重排序。
2024-11-14 cs.DB cs.IR
Expert Finding in Heterogeneous Bibliographic Networks with Locally-trained Embeddings
Facebook(脸书);UIUC(伊利诺伊大学厄巴纳-香槟分校);Amazon AI(亚马逊人工智能)
专家发现是工业界和学术界的一项重要任务。对于各种查询,对具有适当专业知识的候选人进行排名具有挑战性。此外,不同类型的对象相互作用,自然形成异构信息网络。本文从文本内容分析和权威性排序两个方面研究了异构书目网络中的专家发现问题。在文本内容分析方面,提出了一种基于概念层次结构的局部嵌入学习的查询扩展方法,该方法特别适合于语义较窄的查询.与全局嵌入学习相比,局部训练的嵌入学习将词项映射到一个受相关主题约束的潜在语义空间中,从而为特定查询保留了更精确和微妙的信息。考虑到候选人的排名,异构的信息网络结构,而在很大程度上被忽略了在以前的研究中的专家发现,提供了额外的信息。具体来说,对象之间不同类型的交互作用起着不同的作用。我们提出了一种排名算法来估计网络中对象的权威性,单独对待每个强类型的边缘类型。为了证明所提出的框架的有效性,我们将所提出的方法应用到一个大规模的书目数据集,超过200万个条目和100万名研究人员候选人。实验结果表明,该框架优于现有的方法,一般和特定的查询。
2018-03-09 cs.AI cs.CL cs.IR
TurkEmbed4Retrieval: Turkish Embedding Model for Retrieval Task
本文提出面向土耳其语检索任务的嵌入模型 TurkEmbed4Retrieval,通过在 MS MARCO TR 上微调并结合 Matryoshka 表示学习与多重负样本排序损失,在 Scifact TR 上超越 Turkish colBERT 19.26%,建立新基准。
2025-11-10 cs.IR
Multi-granular Adversarial Attacks against Black-box Neural Ranking Models
ICT, CAS(中国科学院信息技术研究所);University of Chinese Academy of Sciences(中国科学院大学);University of Amsterdam(阿姆斯特丹大学)
针对传统单粒度对抗排序攻击灵活性不足的问题,提出将多粒度攻击转化为序列决策过程,用双智能体强化学习实现黑盒神经排序模型的多粒度对抗攻击,在有效性和隐蔽性上均优于主流基线。
2024-04-11 cs.CR cs.IR cs.LG
Multimodal and Multiscale Spatial-Temporal Semantic Search and Recommendation with AI Foundation Models
School of Geographical Sciences and Urban Planning, Arizona State University(地理科学与城市规划学院,亚利桑那州立大学);Alaska Native Tribal Health Consortium(阿拉斯加原住民部落健康联盟);Woodwell Climate Research Center(伍德沃德气候研究中心);School of Computing and Augmented Intelligence, Arizona State University(计算与增强智能学院,亚利桑那州立大学)
提出融合大语言模型和视觉-语言模型的框架,通过CAMERA算法融合文本与视觉信息生成更丰富嵌入,以及ASTRA算法结合尺度依赖的时空相关性与语义相似性进行重排序,在环境事件文档检索中优于单模态方法。
2026-07-02 cs.AI cs.IR
Evaluating Keyframe Layouts for Visual Known-Item Search in Homogeneous Collections
本研究针对视觉已知项搜索任务,评估七种关键帧布局的效果,发现视频分组布局效率最高、四列保序网格准确率最高,为混合布局设计及网格搜索应用提供指导。
2025-10-05 cs.IR cs.MM
IDGenRec: LLM-RecSys Alignment with Textual ID Learning
Rutgers University(罗格斯大学)
针对生成式推荐中物品ID编码难题,提出IDGen方法生成语义文本ID,实现LLM与推荐系统对齐,在序列推荐任务上性能超越现有模型,且跨平台零样本基础模型性能可媲美监督训练的传统推荐模型。
2024-05-17 cs.AI cs.CL cs.IR
Relevance distributions across Bradford Zones: Can Bradfordizing improve search?
本文的目的是描述的文献计量技术Bradfordizing在信息检索(IR)的情况下的有效性的评估。Bradfordizing是用来重新排名的主题文件集从传统的摘要和索引(A&I)数据库到核心和更外围的文件区。布拉德福德化的期刊文章和专著列表将在一个受控的场景中进行测试,该场景包括来自社会和政治科学,经济学,心理学和医学科学的不同A&I数据库,164个标准化的IR主题和所列文件的智力评估。与第二和最后三分之一(分别为区域2和区域3)相比,Bradfordizing是否提高了前三分之一(核心)中相关文档的比例?IR测试表明,重新排序后的相关性分布提高了一个显着的水平,如果在核心的文件相比,在随后的区域中的文件。在对文档池进行Bradfordizing之后,核心具有比区域2、区域3和基线显著更好的平均精度。本文应被视为一个参数,有利于替代非文本(文献计量学)重新排名的方法,可以简单地应用于基于文本的检索系统,特别是在A&I数据库。
2013-05-02 cs.DL cs.IR
The Anatomy of a Search and Mining System for Digital Archives
Birkbeck, University of London(伦敦大学伯贝克学院);University of Southampton(南安普顿大学)
Samtla(带有语言分析的搜索和挖掘工具)是一个数字人文系统,与历史学家和语言学家合作设计,以帮助他们通过近似短语搜索和文档比较来量化任何文本语料库的内容。该检索引擎使用基于字符的n-gram语言模型而不是传统的基于单词的语言模型,从而在语言无关的查询处理中实现了极大的灵活性。该索引是作为一个空间优化的字符为基础的后缀树,伴随着文档内容和元数据的数据库。许多文本挖掘工具集成到系统中,使研究人员能够发现文本模式,进行比较分析,并找出目前在研究界流行的。在这里,我们描述的系统架构,用户界面,模型和算法,以及数据存储的Samtla系统。我们还提出了几个案例研究,其在实践中的使用,以及通过众包系统的排名性能的评估。
2016-03-23 cs.CL cs.DL cs.IR
An Empirical Evaluation of Text Representation Schemes on Multilingual Social Web to Filter the Textual Aggression
DA-IICT(古吉拉特邦达拉尔巴伊信息技术与通信技术研究所)
本文试图研究两个任务,即:用户攻击和事实检测的社会媒体内容的文本表示方案的有效性。在用户攻击检测,目的是从社交媒体中生成的内容和写在英语,梵文印地语和罗马化印地语识别侵略的水平.攻击性水平分为三个预定义的类,即:“非攻击性”,“公开攻击性”和“隐蔽攻击性”。在与灾难有关的事件,社会媒体一样,推特是充斥着数以百万计的职位。在这种紧急情况下,查明实际员额对参与救济行动的组织很重要。我们预计这个问题是分类和排名问题的组合。本文对基于BoW技术、分布式词/句表示、分类器上的迁移学习的各种文本表示方案进行了比较。加权$F_1$评分用作主要评价指标。实验结果表明,在机器学习分类器上,使用BoW的文本表示比词嵌入的效果更好。而预训练的词嵌入技术在基于深度神经网络的分类器上表现更好。最近的迁移学习模型,如ELMO,ULMFiT,针对攻击分类任务进行了微调。然而,结果与预训练的词嵌入模型不一致。总的来说,使用fastText的词嵌入比Word 2 Vec和Glove产生最好的加权$F_1$分数。使用预训练的向量模型进一步改进结果。采用统计显著性检验来确保分类结果的显著性。在词汇上不同的测试数据集的情况下,除了训练数据集之外,深度神经模型更健壮,并且比机器学习分类器表现得更好。
2019-04-16 cs.CL cs.IR cs.SI
EDIS: Entity-Driven Image Search over Multimodal Web Content
Cornell University(康奈尔大学);UC Santa Barbara(加州大学圣巴巴拉分校);University of Waterloo(滑铁卢大学);Vector Institute(向量研究所)
本文提出了用于新闻领域跨模态图像搜索的数据集EDIS,包含100万图文对,要求模型同时解决跨模态融合与匹配,实验证明融合文本与视觉特征对检索至关重要。
2023-10-23 cs.CL cs.CV cs.IR
Candidate Set Re-ranking for Composed Image Retrieval with Dual Multi-modal Encoder
Australian National University(澳大利亚国立大学);Idiap Research Institute(伊迪亚普研究所);Australian Institute for Machine Learning (AIML)(澳大利亚机器学习研究所)
针对组合图像检索中现有方法效率与判别力难以兼顾的问题,提出两阶段模型,结合快速向量剪枝与双编码器重排序,利用视觉-语言预训练网络,在标准基准上性能优于现有最优方法。
2024-01-29 cs.CV cs.IR cs.LG
Separate and Attend in Personal Email Search
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google LLC(谷歌有限责任公司)
在个人电子邮件搜索中,用户查询往往对检索到的电子邮件的不同方面提出不同的要求。例如,查询“我最近飞往美国的航班”要求基于电子邮件文档的文本内容和新近度两者来对电子邮件进行排名,而诸如“病史”的其他查询不对电子邮件的新近度施加任何约束。最近用于个人电子邮件搜索的深度学习排名模型通常直接连接密集的数字特征(例如,文档年龄)与嵌入的稀疏特征(例如,n-gram嵌入)。在本文中,我们首先通过一组在合成数据集上的实验表明,密集和稀疏特征的直接串联不会导致深度神经排名模型的最佳搜索性能。为了有效地将稀疏和密集的电子邮件特征结合到个人电子邮件搜索排名中,我们提出了一种新的神经模型SepAttn。SepAttn首先构建两个独立的神经模型,分别从稀疏和密集特征中学习,然后在预测层面应用一个注意力机制,从这两个模型中推导出最终的预测。我们对大规模电子邮件搜索数据集进行了一系列全面的实验,并证明我们的SepAttn模型比基线模型持续提高了搜索质量。
2019-11-21 cs.CL cs.IR cs.LG