arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2501.00828cs.CLcs.AI
收藏

超越主题的嵌入风格:分析不同语言模型中的离散度效应

Embedding Style Beyond Topics: Analyzing Dispersion Effects Across Different Language Models

LIP6, Sorbonne University, CNRS(法国国家科学研究中心-索邦大学LIP6实验室);Infopro Digital(英富普罗数字公司)

Benjamin Icard, Evangelia Zve, Lila Sainero, Alice Breton, Jean-Gabriel Ganascia

AI总结:

本文研究写作风格对多个最先进语言模型嵌入向量离散度的影响,通过法英双语文学语料库比较模型敏感性,以提升语言模型对风格信息的处理与可解释性。

摘要:

本文分析了写作风格如何影响多个最先进语言模型中嵌入向量的离散度。虽然早期Transformer模型主要与主题建模对齐,但本研究考察了写作风格在塑造嵌入空间中的作用。我们使用一个在主题和风格之间交替的文学语料库,比较了语言模型在法语和英语上的敏感性。通过分析风格对嵌入离散度的具体影响,我们旨在更好地理解语言模型如何处理风格信息,从而提升其整体可解释性。

英文摘要:

This paper analyzes how writing style affects the dispersion of embedding vectors across multiple, state-of-the-art language models. While early transformer models primarily aligned with topic modeling, this study examines the role of writing style in shaping embedding spaces. Using a literary corpus that alternates between topics and styles, we compare the sensitivity of language models across French and English. By analyzing the particular impact of style on embedding dispersion, we aim to better understand how language models process stylistic information, contributing to their overall interpretability.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑