SemCSE：利用大语言模型生成摘要的科学摘要语义对比句嵌入
SemCSE: Semantic Contrastive Sentence Embeddings Using LLM-Generated Summaries For Scientific Abstracts
AI总结：
SemCSE 利用大语言模型生成的摘要进行无监督对比学习，以增强科学文本语义嵌入，并在 SciRepEval 基准上取得同等规模模型中的最优性能。
摘要：
我们提出 SemCSE，一种用于学习科学文本语义嵌入的无监督方法。基于文本嵌入对比学习的最新进展，我们的方法利用大语言模型为科学摘要生成的摘要来训练模型，使语义相关的摘要在嵌入空间中彼此更接近。由此产生的目标确保模型捕获文本的真实语义内容，这与传统的基于引用的方法形成对比，后者不一定反映语义相似性。为了验证这一点，我们提出了一个新的基准，旨在评估模型理解和编码科学文本语义内容的能力，证明我们的方法在嵌入空间中实现了更强的语义分离。此外，我们在用于科学文本嵌入的综合基准 SciRepEval 上评估 SemCSE，在同等规模的模型中取得了最先进的性能，从而突显了以语义为重点的训练方法的优势。
英文摘要：
We introduce SemCSE, an unsupervised method for learning semantic embeddings of scientific texts. Building on recent advances in contrastive learning for text embeddings, our approach leverages LLM-generated summaries of scientific abstracts to train a model that positions semantically related summaries closer together in the embedding space. This resulting objective ensures that the model captures the true semantic content of a text, in contrast to traditional citation-based approaches that do not necessarily reflect semantic similarity. To validate this, we propose a novel benchmark designed to assess a model's ability to understand and encode the semantic content of scientific texts, demonstrating that our method enforces a stronger semantic separation within the embedding space. Additionally, we evaluate SemCSE on the comprehensive SciRepEval benchmark for scientific text embeddings, where it achieves state-of-the-art performance among models of its size, thus highlighting the benefits of a semantically focused training approach.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
