Few-shot Prompting for Pairwise Ranking: An Effective Non-Parametric Retrieval Model
University of Glasgow(格拉斯哥大学);IIT Kharagpur(印度理工学院卡拉格普尔分校)
本研究针对零样本排序模型性能弱于有监督模型的问题,提出成对少样本排序方法,通过补充相似查询偏好示例提升效果,在多基准上优于零样本基线,性能接近有监督模型且无需复杂训练流程。
2024-10-04 cs.CL cs.IR cs.LG
From Classification to Ranking: Enhancing LLM Reasoning Capabilities for MBTI Personality Detection
本文提出将性格检测视为排序任务,通过改进的强化学习方法提升LLM在MBTI性格检测中的推理能力。
2026-01-26 cs.CL
AILS-NTUA at SemEval-2025 Task 3: Leveraging Large Language Models and Translation Strategies for Multilingual Hallucination Detection
School of Electrical and Computer Engineering(电气与计算机工程学院);AILS Laboratory(AILS实验室);National Technical University of Athens(雅典国家技术大学)
针对多语言幻觉检测探索不足的问题,提出无需训练的LLM提示策略,通过将多语言文本译为英文提升检测效果,在多语言上取得竞争力排名,低资源语言获两项第一,验证了该翻译策略的通用性。
2025-03-04 cs.CL
SCURank: Ranking Multiple Candidate Summaries with Summary Content Units for Enhanced Summarization
Department of Computer Science and Information Engineering, National Cheng Kung University(国立成功大学计算机科学与资讯工程系);Artificial Intelligence Research Center, Chang Gung University(长庚大学人工智能研究中心);Department of Artificial Intelligence, Chang Gung University(长庚大学人工智能系);Department of Computer Science, National Tsing Hua University(国立清华大学计算机科学系)
SCURank通过摘要内容单元提升摘要生成,优于传统指标和LLM排序方法,验证了信息导向排序在多LLM蒸馏中的优势。
2026-04-21 cs.AI cs.CL
LlamaRec: Two-Stage Recommendation using Large Language Models for Ranking
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);NVIDIA(英伟达)
针对现有大语言模型推荐方法依赖预训练知识、推理速度慢难以适配实时场景的问题,提出两阶段推荐框架LlamaRec,结合小规模序列检索与verbalizer式LLM排序,在基准数据集上实现推荐效果与效率的双重提升。
2023-10-25 cs.AI cs.CL cs.IR
LLMPR: A Novel LLM-Driven Transfer Learning based Petition Ranking Model
India Institute of Information Technology Ghuwahati(印度信息技术学院Ghuwahati);Techno India University(Techno India大学);University College Cork
本文提出LLMPR框架,结合迁移学习与机器学习对法律诉状进行优先级排序,实验发现Random Forest和Decision Tree模型准确率超99%,且仅用数值特征即可达近乎最优效果。
2025-05-27 cs.AI cs.CL cs.LG
Leveraging Large Language Models for Web Scraping
PerpetualBlock Technologies Pvt. Ltd(PerpetualBlock 技术私人有限公司);Innoplexus Consulting Services Pvt. Ltd.(Innoplexus 咨询服务私人有限公司)
本研究提出利用预训练大型语言模型结合RAG架构及分块、搜索和排序算法,构建通用精确的网页数据抓取方案,并通过HTML语义分类、文本分块和模型对比实验验证其从非结构化文本中提取复杂数据的有效性。
2024-06-12 cs.AI cs.CL cs.LG
Leveraging Contextual Information for Effective Entity Salience Detection
Bloomberg(彭博公司)
本文研究实体显著性检测,提出以 cross-encoder 架构微调中型预训练语言模型并融合上下文信息,在四个公开数据集上验证其显著优于特征工程方法,同时揭示 zero-shot prompting 的局限。
2024-04-02 cs.CL
LLM-Blender: Ensembling Large Language Models with Pairwise Ranking and Generative Fusion
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of Southern California(南加利福尼亚大学);Zhejiang University(浙江大学)
本文提出LLM-Blender集成框架,通过PairRanker成对排序和GenFuser生成式融合模块,利用多个开源LLMs的多样化优势,在MixInstruct基准上显著优于单个LLMs和基线方法。
2023-06-30 cs.AI cs.CL cs.LG
Leveraging Large Language Models for Spontaneous Speech-Based Suicide Risk Detection
College of Computer Science(计算机科学学院);National Key Laboratory of Fundamental Science on Synthetic Vision(合成视觉基础科学国家重点实验室)
本文针对青少年自杀风险检测问题,提出以大语言模型为核心并结合声学与语义特征的方法,在SW1挑战赛测试集上取得74%准确率并排名第一。
2025-07-01 cs.CL cs.SD eess.AS
Sampler Design for Bayesian Personalized Ranking by Leveraging View Data
贝叶斯个性化排名(Bayesian Personalized Ranking,BPR)是一种典型的用于优化推荐模型的成对学习方法。众所周知,BPR的性能在很大程度上取决于负采样器的质量。在本文中,我们做了两个贡献方面的业务流程再造。首先,我们发现从整个空间中采样负项是不必要的,甚至可能会降低性能。其次,针对电子商务的购买反馈,我们提出了一个有效的抽样BPR利用额外的视图数据。在我们建议的采样器中,用户的互动被认为是购买和未观察到的互动之间的中间反馈。该算法联合学习用户偏好在这三类交互中的成对排序,并在学习过程中考虑了面向用户的加权策略,使得算法更加有效和灵活。与对所有候选人应用统一采样器的香草BPR相比,我们的视图增强采样器增强了BPR,在两个真实世界数据集上的相对改善超过37.03%和16.40%。我们的研究表明,在对用户对不同项目的偏好进行建模时,考虑用户的额外反馈是非常重要的,这可以避免不加选择和低效地抽取负面项目。
2018-09-21 cs.IR
From Authors to Reviewers: Leveraging Rankings to Improve Peer Review
Faculty of Business and Economics, University of Hong Kong(香港大学商学院);Department of Statistics, London School of Economics and Political Science(伦敦政治经济学院统计系)
本文针对机器学习会议评审质量问题,提出利用审稿人排名信息改进论文质量评估,模拟ICML 2023数据验证,结果显示结合作者与审稿人排名效果最佳。
2025-09-26 cs.IR cs.LG
Discovering and Leveraging the Most Valuable Links for Ranking
在Web上,页面的访问通常由一个或多个有价值的链接源引入。事实上,好的反向链接是网页和网站的宝贵资源。我们建议发现和利用最好的反向链接的网页排名。类似于PageRank,MaxRank分数被{递归地}更新。具体地,在概率$λ$的情况下,文档的MaxRank从具有最大得分的反向链接源更新;在概率$1-λ$的情况下,文档的MaxRank从随机反向链接源更新。MaxRank与PageRank有一个有趣的关系。当使用$λ=0$时,MaxRank降低到PageRank;当使用$λ=1$时,MaxRank只查看它认为最好的反向链接。维基百科上的实证结果表明,全球权威机构是非常有影响力的;总体而言,大的$λ$(但小于1)表现最好:收敛速度显着快于PageRank,但性能仍然相当。我们研究了这些来源的影响,并提出了一些措施,如最好的反向链接为他人的时间,以及所提出的算法的相关属性。最佳反向链接源的引入为链接分析提供了新的见解。除了排名,我们的方法可以用来发现最有价值的链接来源的网页或网站,这是有用的搜索引擎和网站所有者。
2012-10-05 cs.IR
A Novel Architecture for Symbolic Reasoning with Decision Trees and LLM Agents
Andrew Kiruluta(独立研究者)
提出一种融合决策树符号推理与LLM生成能力的多智能体混合架构,通过中央协调器统一管理,在多个推理基准上显著提升性能,提供可解释且可扩展的神经符号推理方案。
2025-08-07 cs.AI cs.CL
Leveraging semantically similar queries for ranking via combining representations
Microsoft Research(微软研究院);Johns Hopkins University(约翰斯·霍普金斯大学);University of Maryland, College Park(马里兰大学帕克分校)
在现代排名问题中,不同的和完全不同的表示的项目进行排名往往是可用的。因此,尝试结合这些表示来提高排名是明智的。实际上,通过组合表示来学习排序对于学习特定查询的排序函数来说是原则性的和实用的。然而,在数据极其稀缺的环境中,可用于特定查询的标记数据量可能导致高度可变和无效的排名功能。减轻少量数据的影响的一种方法是利用语义相似的查询中的信息。事实上,正如我们在模拟设置和真实数据示例中所展示的那样,当语义相似的查询可用时,可以在对特定查询进行排名时有效地使用它们。我们描述和探索这种现象的偏差方差权衡的背景下,并将其应用到数据稀缺的设置必应导航图和果蝇幼虫连接体。
2021-06-23 cs.IR cs.LG stat.ME
Leveraging Query Resolution and Reading Comprehension for Conversational Passage Retrieval
University of Amsterdam(阿姆斯特丹大学);Apple Inc.(苹果公司)
本文介绍了UvA.ILPS集团参加TREC CAST 2020的情况。我们的段落检索管道包括(i)使用BM 25的初始检索模块,以及(ii)将BERT排名模型的得分与针对段落检索调整的机器理解模型的得分相结合的重新排名模块。会话段落检索中的一个重要挑战是查询通常是指定不足的。因此,我们执行查询解析,即使用QuReTeC(术语分类查询解析模型)将会话历史中缺失的上下文添加到当前回合查询中。我们表明,我们最好的自动和手动运行优于相应的中位数运行了很大的保证金。
2021-02-17 cs.CL cs.IR
DoSSIER@COLIEE 2021: Leveraging dense retrieval and summarization-based re-ranking for case law retrieval
在本文中,我们介绍了我们在2021年法律信息抽取/蕴涵竞赛(COLIEE)中的案例法检索和法律案例蕴涵任务的方法。作为第一阶段的检索方法结合神经重新排序的方法,使用语境化的语言模型,如BERT取得了很大的性能改善信息检索在网络和新闻领域,我们评估这些方法的法律领域。法律案例检索的一个显著特点是,语料库中的查询案例和案例描述往往是长文档,因此超过了BERT的输入长度。我们解决这一挑战相结合的词汇和稠密检索方法的段落级别的情况下,第一阶段检索。在这里,我们证明了段落级的检索优于文档级的检索。此外,实验表明,稠密检索方法优于词汇检索。对于重新排序,我们通过总结案例并使用摘要微调基于BERT的重新排序器来解决长文档的问题。总的来说,我们最好的结果是使用特定领域嵌入的BM 25和密集通道检索的组合。
2021-08-09 cs.IR
Leveraging Reference Documents for Zero-Shot Ranking via Large Language Models
Tsinghua University(清华大学);CSIRO(澳大利亚联邦科学与工业研究组织)
RefRank 通过利用固定参考文档实现零样本排序,以线性时间复杂度提升排序准确性并降低计算成本。
2025-12-02 cs.IR
Leveraging Order-Free Tag Relations for Context-Aware Recommendation
School of Computing, KAIST(韩国科学技术院计算机学院)
标签推荐依赖于顶级$k$标签的排名函数或自回归生成方法。然而,以前的方法忽略了标签集的两个看似矛盾但又令人满意的特性之一:无序性和相互依赖性。虽然排名方法未能解决标签之间的相互依赖性,当他们被排名,自回归方法未能考虑到无序,因为它被设计为利用令牌之间的顺序关系。我们提出了一种序列无关的标签推荐生成方法,其中下一个要生成的标签的顺序是独立的生成标签的顺序和地面真实标签发生在训练数据的顺序。在Instagram和Stack Overflow两个不同领域的实证结果表明,我们的方法明显优于以前的方法。
2021-10-15 cs.CL cs.IR
Leveraging User Behavior History for Personalized Email Search
一个有效的电子邮件搜索引擎可以方便用户的搜索任务,提高他们的沟通效率。用户可能对电子邮件的各种排名信号有不同的偏好,例如基于他们手头的任务甚至他们的工作的相关性和新近度。因此,统一的匹配模式对于所有用户来说不是最佳的。相反,一个有效的电子邮件排名应该进行个性化的排名,考虑到用户的特点。已有的研究从不同的角度探索用户特征,使电子邮件搜索结果个性化。然而,很少关注用户的搜索历史来描述用户的特征。虽然用户的历史行为已被证明是有益的,作为上下文在Web搜索中,他们的电子邮件搜索的效果还没有被研究,仍然是未知的。鉴于这些观察,我们建议利用用户搜索历史作为查询上下文来描述用户,并建立一个上下文感知的电子邮件搜索排名模型。与以前基于原始文本的上下文相关排名技术相比,我们在搜索历史中使用排名功能。这使我们免于潜在的隐私泄露,同时为看不见的用户提供更好的泛化能力。因此,我们提出了一个上下文相关的神经排名模型(CNRM),编码的排名功能,在用户的搜索历史查询上下文,并表明它可以显着优于基线神经模型,而不使用上下文。我们还调查了从CNRM获得的查询上下文向量对最先进的学习排名模型LambdaMart通过聚类向量和合并聚类信息的好处。实验结果表明,在LambdaMart上也能获得明显更好的结果,表明查询聚类能够表征不同用户,有效地实现了排序模型的个性化。
2021-03-17 cs.IR
Cluster Language Model for Improved E-Commerce Retrieval and Ranking: Leveraging Query Similarity and Fine-Tuning for Personalized Results
本文提出利用K-Means对查询聚类并在各簇上微调聚类语言模型,以较低训练成本改进电商检索准确性,实现优于双编码器模型的个性化检索结果。
2023-09-25 cs.IR
Leveraging LLMs for Unsupervised Dense Retriever Ranking
针对域偏移下无标注目标语料的稠密检索器选择难题,提出仅依赖目标语料的无监督方法LARMOR,通过LLM生成伪相关信号对检索器排序,效果优于现有基线。
2024-05-23 cs.IR
Leveraging Trust and Distrust in Recommender Systems via Deep Learning
Maastricht University(马斯特里赫特大学)
现实应用中经常出现用户偏好数据稀缺和冷启动问题,限制了协同过滤策略的推荐准确性。利用社会朋友和敌人的选择可以有效地面对这两个问题。在这项研究中,我们提出了一种执行社会深度成对学习的策略。首先,我们设计了一个排名损失函数,结合多个排名标准的基础上,在用户的选择,他们的朋友和敌人的选择,以提高在top-k推荐任务的准确性。我们通过深度学习策略捕捉用户偏好与信任和不信任关系的社会信息之间的非线性相关性。在每个反向传播步骤中,我们遵循社会负采样策略,以满足我们的排名损失函数的多个排名标准。我们在Epperly的基准数据集上进行了全面的实验,这是相关文献中报道的最大的公开数据集之一。实验结果表明,该模型击败了其他国家的最先进的方法,实现了11.49%的平均改善最有竞争力的模型。我们证明了我们的深度学习策略在捕获用户偏好与信任和不信任关系的社会信息之间的非线性相关性方面起着重要作用,并证明了我们的社会负采样策略在所提出的模型上的重要性。
2019-05-31 cs.IR cs.LG stat.ML
Siamese BERT-based Model for Web Search Relevance Ranking Evaluated on a New Czech Dataset
Web搜索引擎专注于在数百毫秒内提供高度相关的结果。因此,预先训练的语言Transformer模型(如BERT)由于其高计算需求而难以在这种情况下使用。我们提出了我们的实时方法,利用基于BERT的连体架构的文档排序问题。该模型已经部署在一个商业搜索引擎中,并将生产性能提高了3%以上。为了进一步的研究和评估,我们发布了DaReCzech,这是一个独特的数据集,包含160万个捷克用户查询-文档对,具有手动分配的相关性级别。我们还发布了Small-E-Czech,这是一个在大型捷克语语料库上预训练的Electra小型语言模型。我们相信这些数据将支持搜索相关性和以多语言为重点的研究社区的努力。
2021-12-03 cs.CL cs.IR
Leveraging Semantic and Lexical Matching to Improve the Recall of Document Retrieval Systems: A Hybrid Approach
搜索引擎通常遵循两阶段范例,其中在第一阶段(检索阶段)中检索初始文档集,并且在第二阶段(重新排序阶段)中对文档进行重新排序以获得最终结果列表。虽然深度神经网络在以前的工作中被证明可以提高重新排序阶段的性能,但是很少有文献关于使用深度神经网络来提高检索阶段。在本文中,我们研究了深度神经网络模型和词汇模型相结合的检索阶段的优点。提出了一种利用语义(基于深度神经网络)和词汇(基于关键字匹配)检索模型的混合方法。我们进行了实证研究,使用公开的TREC集合,这表明了我们的方法的有效性,并揭示了语义方法,词汇方法,以及它们的组合的不同特点。
2020-10-02 cs.IR
A Two-Stage Adaptation of Large Language Models for Text Ranking
本文提出一种两阶段渐进范式,通过在大型弱监督语料库上进行持续预训练(CPT)并执行基于RankLLaMA的改进监督微调(SFT)策略,使仅解码器大型语言模型更好地适配文本排序,在多个基准的域内外场景中均优于以往方法。
2024-06-01 cs.IR
LLM4PR: Improving Post-Ranking in Search Engine with Large Language Models
针对搜索引擎后排序阶段的LLM优化研究空白,提出LLM4PR范式,通过QIA模块、特征适配及多任务微调完成后排序,实验证明其性能达SOTA。
2024-11-02 cs.IR
A Practical Two-stage Ranking Framework for Cross-market Recommendation
跨市场推荐是指在资源稀缺的目标市场中,利用用户在资源丰富的目标市场中的行为向用户推荐产品,这对于电子商务企业来说是至关重要的,但目前研究较少。在本文中,我们提出了我们在跨市场推荐竞赛中采用的详细解决方案,即,第2022章.为了更好地利用目标市场和源市场之间的协作信号和相似性,我们仔细考虑了多个特征以及由深度图推荐模型(图神经网络,DeepWalk等)组成的堆叠学习模型。和传统推荐模型(ItemCF、UserCF、Swing等)。此外,我们采用基于树的集成方法,例如,LightGBM在预测任务中显示出优越的性能,以生成最终结果。我们在XMRec数据集上进行了全面的实验,验证了我们的模型的有效性。我们团队WSDM_Coggle_提出的解决方案被选为第二名。
2022-04-27 cs.IR
RD-Suite: A Benchmark for Ranking Distillation
针对排序蒸馏领域缺乏统一评估基准的问题,研究提出包含4个真实数据集、覆盖两类模态与两类场景的RD-Suite基准框架,发布配套资源并对领域现有认知提出挑战,推动排序蒸馏研究发展。
2023-06-12 cs.IR
RaCT: Ranking-aware Chain-of-Thought Optimization for LLMs
本文提出RaCT方法,通过思维链提示与SFT-RPO两阶段训练相结合,在提升LLM文本重排序性能的同时有效保留其通用推理能力。
2025-09-19 cs.IR
Think When Needed: Model-Aware Reasoning Routing for LLM-based Ranking
Zhejiang University(浙江大学);Nanyang Technological University(南洋理工大学);Singapore University of Technology and Design(新加坡科技设计大学)
研究基于大语言模型排序时推理时机与效果问题,提出推理路由框架,利用生成前信号决定推理与否,能自适应选策略,经实验验证该框架可提高排序效用并减少令牌消耗,解决准确性与效率权衡问题。
2026-07-17 cs.IR
Beyond Questions: Leveraging ColBERT for Keyphrase Search
针对稠密检索模型不适应关键短语查询的问题,本文利用 LLM 将问题查询转换为关键短语,并训练 ColBERTKP_QD 及低成本 ColBERTKP_Q,验证了 ColBERT 晚交互架构在关键短语搜索中的有效性。
2024-12-04 cs.IR
Sustainable transparency in Recommender Systems: Bayesian Ranking of Images for Explainability
提出BRIE模型,利用贝叶斯成对排序优化图像解释排序目标,在六个数据集上超越SOTA,模型尺寸缩减64倍,CO2排放减少75%。
2025-03-07 cs.CV cs.IR cs.LG
Controlling Gender Bias in Retrieval via a Backpack Architecture
Sharif University of Technology(谢里夫理工大学);University of Amsterdam(阿姆斯特丹大学)
针对LLMs嵌入排序系统导致的性别偏见问题,提出基于Backpack Language Models的去偏框架,通过非上下文词汇方面加权组合有效缓解文本检索与排序中的性别偏见且性能损失极小。
2025-11-02 cs.IR cs.LG
FIRST: Faster Improved Listwise Reranking with Single Token Decoding
针对传统列表式大语言模型重排序效率低、对高相关段落排序误差重视不足的问题,提出FIRST方法,通过单token解码直接获取排序结果并引入排序学习损失,推理提速50%且性能提升,还验证了其用于检索器相关性反馈的显著效果。
2024-06-21 cs.IR
AgentDR: Dynamic Recommendation with Implicit Item-Item Relations via LLM-based Agents
Amazon(亚马逊);University of Michigan(密歇根大学)
AgentDR通过基于LLM的代理利用隐式物品-物品关系,结合记忆机制和提示策略,提升动态推荐的全排名性能和相关性。
2026-02-24 cs.AI cs.IR