使用 Focal-InfoNCE 改进句子嵌入的对比学习
Improving Contrastive Learning of Sentence Embeddings with Focal-InfoNCE
AI总结：
针对 SimCSE 未充分利用难负样本的问题，提出结合难负样本挖掘的无监督对比学习框架，通过在对比目标中引入自定步长调制项的 focal-InfoNCE 函数，使模型聚焦于难负样本，在 STS 基准上有效提升了句子嵌入质量。
摘要：
SimCSE 的近期成功极大地推进了最先进的句子表示。然而，SimCSE 的原始公式没有充分利用对比学习中难负样本的潜力。本研究引入了一个无监督对比学习框架，将 SimCSE 与难负样本挖掘相结合，旨在提升句子嵌入的质量。提出的 focal-InfoNCE 函数在对比目标中引入了自定步长的调制项，降低了与易负样本相关的损失权重，并鼓励模型聚焦于难负样本。在各种 STS 基准上的实验表明，我们的方法在 Spearman 相关性以及表示的对齐性和均匀性方面改进了句子嵌入。
英文摘要：
The recent success of SimCSE has greatly advanced state-of-the-art sentence representations. However, the original formulation of SimCSE does not fully exploit the potential of hard negative samples in contrastive learning. This study introduces an unsupervised contrastive learning framework that combines SimCSE with hard negative mining, aiming to enhance the quality of sentence embeddings. The proposed focal-InfoNCE function introduces self-paced modulation terms in the contrastive objective, downweighting the loss associated with easy negatives and encouraging the model focusing on hard negatives. Experimentation on various STS benchmarks shows that our method improves sentence embeddings in terms of Spearman's correlation and representation alignment and uniformity.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
