arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2502.08441cs.CLcs.AIcs.LG
收藏

基于Coupled Adam的更优嵌入表示

Better Embeddings with Coupled Adam

AI Sweden(AI瑞典);Forschungszentrum Jülich(耶鲁-维尔特夫特研究中心)

Felix Stollenwerk, Tobias Stollenwerk

AI总结:

针对大语言模型词嵌入存在的各向异性问题,本文提出改进优化器Coupled Adam,通过修正Adam的二阶矩缓解该问题,实验证明其能提升嵌入质量及大规模数据集上的上下游性能。

摘要:

尽管大语言模型(LLMs)能力卓越,但其学习到的词表示存在各向异性这一不良且成因未明的特性。本文指出Adam中的二阶矩是导致嵌入各向异性的原因之一,并提出一种名为Coupled Adam的改进优化器以缓解该问题。实验表明,Coupled Adam显著提升了嵌入质量,在足够大的数据集上还能带来更优的上游和下游性能。

英文摘要:

Despite their remarkable capabilities, LLMs learn word representations that exhibit the undesirable yet poorly understood feature of anisotropy. In this paper, we argue that the second moment in Adam is a cause of anisotropic embeddings, and suggest a modified optimizer called Coupled Adam to mitigate the problem. Our experiments demonstrate that Coupled Adam significantly improves the quality of embeddings, while also leading to better upstream and downstream performance on large enough datasets.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑