Contrastive Retrieval Heads for Improved Attention-Based Reranking
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research(IBM研究院)
通过对比评分度量筛选出的CoRe头提升了基于注意力的重排序性能,显著提高准确性并减少计算资源消耗
2026-10-30 cs.IR
RecRanker: Instruction Tuning Large Language Model as Ranker for Top-k Recommendation
本文提出RecRanker,通过自适应采样高质量训练数据、位置平移策略及融合传统推荐信号增强提示,并以逐点、逐对、逐列表三种排序任务的混合排序方法微调大语言模型,提升Top-k推荐性能。
2024-03-31 cs.IR
What's New in My Data? Novelty Exploration via Contrastive Generation
University of Edinburgh(爱丁堡大学);University of Tokyo(东京大学);University of Amsterdam(阿姆斯特丹大学)
本文提出对比生成式探索(CGE)方法,通过对比预训练模型与微调模型的预测来生成示例,从而在不直接访问数据的情况下发现微调数据集中的新颖属性,并引入迭代机制提升生成多样性。
2024-10-18 cs.AI cs.CL cs.LG
Parameter-Efficient Neural Reranking for Cross-Lingual and Multilingual Retrieval
University of Mannheim(曼海姆大学);University of Cambridge(剑桥大学);University of Würzburg(维尔茨堡大学)
最先进的神经(重新)排名器是出了名的数据饥渴-考虑到缺乏英语以外的语言的大规模训练数据-使得它们很少用于多语言和跨语言检索设置。因此,当前的方法通常通过多语言编码器将在英语数据上训练的排名器转移到其他语言和跨语言设置:它们微调预训练的大规模多语言Transformers(MMT,例如,多语言BERT)对英语相关性判断的影响,然后将它们部署在目标语言中。在这项工作中,我们表明,两个参数有效的跨语言迁移的方法,即稀疏微调掩码(SFTM)和适配器,允许更轻量级,更有效的zero-shot传输到多语言和跨语言检索任务。我们首先通过掩蔽语言建模训练语言适配器(或SFTM),然后训练检索(即,重新排序)适配器(SFTM)在顶部,同时保持所有其他参数固定。在推理时,这种模块化设计允许我们通过应用用源语言数据训练的(重新)排名适配器(或SFTM)以及目标语言的语言适配器(或SFTM)来组成排名器。我们对CLEF-2003和HC 4基准进行了大规模的评估,此外,作为另一个贡献,我们扩展了前者,使用三种新语言进行查询:吉尔吉斯语,维吾尔语和土耳其语。所提出的参数有效的方法优于标准的zero-shot传输与全MMT微调,同时更模块化,减少训练时间。这种收益对于低资源语言尤其明显,在这些语言中,我们的方法也大大优于基于机器翻译的竞争性排名。
2022-09-16 cs.CL cs.IR
Improving BERT-based Query-by-Document Retrieval with Multi-Task Optimization
按文档查询(QBD)检索是一种信息检索任务,其中种子文档充当查询,目标是检索相关文档--它在专业搜索任务中特别常见。在这项工作中,我们提高了检索效率的BERT重新排名,提出了一个扩展的微调步骤,以更好地利用查询的上下文。为此,我们在微调BERT重排序器时,除了排序目标之外,还使用了一个额外的文档级表示学习目标。在两个QBD检索基准上的实验表明,所提出的多任务优化方法在不改变BERT重排序器或使用额外训练样本的情况下,显著提高了排序效率.在未来的工作中,我们的方法的推广到其他检索任务应进一步调查。
2022-05-23 cs.IR
CREATER: CTR-driven Advertising Text Generation with Controlled Pre-Training and Contrastive Fine-Tuning
Alibaba Group(阿里巴巴集团)
本文主要研究广告文本的自动生成,目标是使生成的文本能够捕捉用户的兴趣,从而获得更高的点击率。我们提出了CREATER,一个点击率驱动的广告文本生成方法,基于高质量的用户评论生成广告文本。为了融入CTR目标,我们的模型使用对比学习从在线A/B测试数据中学习,这鼓励模型生成获得更高CTR的广告文本。为了缓解低资源问题,我们设计了一个自定义的自监督目标,减少了预训练和微调之间的差距。在工业数据集上的实验表明,CREATER显著优于当前的方法。它已被部署在一个领先的广告平台上,并带来了核心在线指标的提升。
2022-05-18 cs.CL cs.IR
A Production-Ready RL Framework for Personalized Utility Tuning with Pareto Sweeping in Pinterest Recommender Systems
Pinterest Inc.(Pinterest公司)
本文提出PRL-PUTS框架,通过将效用调节转化为价值基强化学习问题,实现个性化效用权重调节,利用帕累托前沿扫描可视化性能并支持实时政策更新,提升了推荐系统用户参与度。
2026-05-08 cs.IR cs.LG
Context Aware Query Rewriting for Text Rankers using LLM
L3S Research Institute(L3S研究所);Delft University of Technology(代尔夫特理工大学);University of Stavanger(斯塔万格大学)
本文提出上下文感知查询重写(CAR)方法,在训练阶段利用LLM重写模糊查询,微调排序器,在段落和文档排序任务上分别提升高达33%和28%。
2023-08-31 cs.AI cs.IR
C3: Continued Pretraining with Contrastive Weak Supervision for Cross Language Ad-Hoc Retrieval
Johns Hopkins University(约翰斯·霍普金斯大学);University of Maryland(马里兰大学);Emory University(埃默里大学);University of Pennsylvania(宾夕法尼亚大学)
预训练的语言模型提高了许多任务的效率,包括ad-hoc检索。最近的工作表明,在微调检索任务之前,继续用辅助目标预训练语言模型可以进一步提高检索效率。与单语检索不同,为跨语言映射设计适当的辅助任务是具有挑战性的。为了应对这一挑战,我们使用不同语言的维基百科文章来进一步预训练现成的多语言预训练模型,然后再对检索任务进行微调。我们表明,我们的方法产生的检索效果的改善。
2022-04-25 cs.CL cs.IR
CMT in TREC-COVID Round 2: Mitigating the Generalization Gaps from Web to Special Domain Search
Tsinghua University(清华大学);Microsoft Research(微软研究院);Carnegie Mellon University(卡内基梅隆大学)
基于深度预训练语言模型(LM)的神经排序器已被证明可以改进许多信息检索基准。然而,这些方法受到预训练域和目标域之间的相关性的影响,并且依赖于大量的微调相关性标签。直接将预训练方法应用于特定领域可能会导致次优搜索质量,因为特定领域可能存在领域适应问题,例如COVID领域。本文提出了一个搜索系统,以减轻特殊领域的适应问题。该系统利用领域自适应预训练和少样本学习技术来帮助神经排序器缓解领域差异和标签稀缺问题。此外,我们也整合了稠密检索,以减轻传统稀疏检的词汇不匹配障碍。我们的系统在TREC-COVID任务的第二轮非手动运行中表现最好,该任务旨在从与COVID-19相关的科学文献中检索有用的信息。我们的代码可在https://github.com/thunlp/OpenMatch上公开获取。
2020-11-03 cs.CL cs.IR
Contrastive Demonstration Tuning for Pre-trained Language Models
Zhejiang University(浙江大学);Hangzhou Innovation Center, Zhejiang University(浙江大学杭州创新中心);Alibaba Group(阿里巴巴集团)
本文提出对比演示调优方法,无需采样演示即可增强预训练语言模型的提示调优性能,可插拔扩展至多类别分类任务,并在16个数据集上验证优于LM-BFF和P-tuning。
2023-09-19 cs.AI cs.CL cs.IR
CODE: Contrastive Pre-training with Adversarial Fine-tuning for Zero-shot Expert Linking
专家发现是许多在线网站提供的一项受欢迎的服务,如Expertise Tours,LinkedIn和AMiner,有利于寻找候选人资格,顾问和合作者。然而,由于缺乏充足的专家信息来源,其质量受到影响。本文以AMiner为基础,旨在将任何外部专家与AMiner上的同行联系起来。由于从任意外部源获取足够的链接是不可行的,我们探讨了zero-shot专家链接问题。在本文中,我们提出了代码,它首先预训练一个专家链接模型的对比学习在AMiner,使它可以捕获的表示和匹配模式的专家没有监督的信号,然后它是微调AMiner和外部来源之间,以增强模型的可移植性,在对抗的方式。在评价方面,我们首先设计了两个内在任务,作者识别和论文聚类,以验证对比学习赋予的表示和匹配能力。最后外部专家在两类外部源上的链接性能也体现了对抗性微调方法的优越性。此外,我们展示了在线部署的代码,并不断提高其在线性能,通过主动学习。
2022-01-03 cs.IR
Efficient fine-tuning methodology of text embedding models for information retrieval: contrastive learning penalty (clp)
Kangwon National University(江原大学)
本研究提出一种涵盖数据选择、损失函数和模型架构的高效微调方法,并引入新颖的对比学习惩罚(CLP)函数克服现有对比学习局限,显著提升了文本嵌入模型在信息检索与文档检索任务中的性能。
2024-12-23 cs.AI cs.IR
Self-Supervised Contrastive BERT Fine-tuning for Fusion-based Reviewed-Item Retrieval
University of Toronto(多伦多大学);LG Electronics(LG电子)
针对评论项检索(RIR)任务缺乏标注数据的问题,提出利用自监督对比学习微调BERT嵌入,结合物品-评论两级结构和元数据进行正负样本选择,实验证明后期融合方法显著优于其他基线。
2023-08-01 cs.CL cs.IR cs.LG
Contrastive Graph Prompt-tuning for Cross-domain Recommendation
针对跨域推荐中的数据稀疏与预训练微调次优问题,提出 PGPRec 框架,通过个性化图提示和对比学习冻结主模型参数,在四个 Amazon Review 数据集上显著减少调优参数并提升冷启动性能。
2023-11-03 cs.IR
A Contrastive Pretrain Model with Prompt Tuning for Multi-center Medication Recommendation
针对多中心药物推荐中数据分布差异大和小医院记录少的问题,提出结合对比预训练与提示微调的TEMPT模型,通过自监督任务学习通用医学知识并捕获医院特异性信息,在eICU上验证了有效性。
2024-12-28 cs.IR
Supervised Fine-Tuning or Contrastive Learning? Towards Better Multimodal LLM Reranking
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));The Hong Kong Polytechnic University(香港理工大学)
本研究对比监督微调与对比学习在多模态大语言模型重排序中的效果,发现SFT因更强的加权方案而占优,并在MRB基准上取得新最优结果。
2025-10-16 cs.CL cs.CV cs.IR
NeuroCLIP: Brain-Inspired Prompt Tuning for EEG-to-Image Multimodal Contrastive Learning
针对现有方法将CLIP视为静态特征提取器、忽视其对神经表征适应性及EEG-图像对齐中生理-符号差距的问题,提出NeuroCLIP提示调优框架,通过三大创新提升EEG到图像对比学习性能,在THINGS-EEG2数据集上零样本检索Top-1准确率提升12.3%。
2026-09-28 cs.IR
Conventional Contrastive Learning Often Falls Short: Improving Dense Retrieval with Cross-Encoder Listwise Distillation and Synthetic Data
针对传统对比学习微调在稠密检索中效果不佳的问题,提出交叉编码器列表式蒸馏与多样化合成查询数据的方法,显著提升多数据集检索效果,并达到BERT嵌入模型最先进水平。
2025-05-25 cs.IR
Supervised Contrastive Learning Approach for Contextual Ranking
在文档排序任务中,上下文排序模型比经典模型提供了令人印象深刻的性能改进。然而,这些高度过度参数化的模型往往需要大量数据,甚至需要大量数据进行微调。针对文档排序问题,提出了一种简单有效的方法,利用有监督的对比学习提高小数据集的排序性能。我们通过使用查询-文档对中的相关文档的一部分创建训练数据来执行数据增强。然后,我们使用监督对比学习目标从增强的数据集学习一个有效的排名模型。我们在TREC-DL数据集子集上的实验表明,尽管数据增强导致训练数据大小的增加,但使用现有的逐点或成对训练目标并不一定会提高性能。然而,我们提出的监督对比损失目标导致性能改善,超过标准的非增强设置,展示了使用对比损失的数据增强的实用性。最后,我们通过在与新闻(Robust 04),金融(FiQA)和科学事实检查(SciFact)相关的较小排名数据集上显示出显着的改进,展示了使用监督对比学习目标的真正好处。
2022-07-07 cs.IR
GaiaFlow: Semantic-Guided Diffusion Tuning for Carbon-Frugal Search
University of Macau(澳门大学);Renmin University of China(中国人民大学);Fudan University(复旦大学);Tsinghua University(清华大学);Zhejiang University(浙江大学);University of Liverpool(利物浦大学);Peking University(北京大学);Northeast Normal University(东北师范大学);Minzu University of China(民族大学)
GaiaFlow通过结合语义引导的扩散调优与硬件无关的性能建模策略,在保证检索精度的同时降低环境影响,实现了高效且可持续的神经搜索系统。
2026-08-04 cs.IR cs.LG
Benchmarking Image Embeddings for E-Commerce: Evaluating Off-the Shelf Foundation Models, Fine-Tuning Strategies and Practical Trade-offs
Adevinta(阿德温塔公司)
本文系统评测了电子商务场景下多种基础模型图像嵌入在分类与检索任务中的表现,发现全量微调稳健但top-tuning能以更低计算成本达到相近性能,并为嵌入选择与微调策略提供了实用指南。
2025-04-10 cs.AI cs.CE cs.CV
Neural Machine Unranking
School of Information Management, Wuhan University(武汉大学信息管理学院);Department of Computer Science, Loughborough University(洛桑大学计算机科学系)
本文提出神经机器去排序任务NuMuR,并设计双目标CoCoL损失,在MS MARCO与TREC CAR上实现有效遗忘且最小化保留和泛化性能损失。
2025-07-24 cs.AI cs.IR