大语言模型在故事续写中保留语义同位素
Large Language Models Preserve Semantic Isotopies in Story Continuations
AI总结：
本研究针对大语言模型生成文本是否保留语义同位素的问题，通过10000条ROCStories提示的五模型续写实验，结合GPT-4o的同位素提取能力分析结构与语义属性，发现给定词元范围内的续写可多维度保留语义同位素，拓展了语义关联研究。
摘要：
本研究探讨文本语义与大语言模型（LLMs）的相关性，拓展了此前关于分布语义与结构语义关联的研究洞见。我们探究LLM生成的文本是否保留语义同位素。我们设计了一项故事续写实验，使用10000条ROCStories提示，由5个LLM完成续写。我们首先验证了GPT-4o从语言学基准中提取同位素的能力，随后将其应用于生成的故事。接着我们分析了同位素的结构（覆盖度、密度、分布广度）与语义属性，以评估续写对其的影响。结果表明，在给定词元范围内的LLM续写可在多个属性上保留语义同位素。
英文摘要：
In this work, we explore the relevance of textual semantics to Large Language Models (LLMs), extending previous insights into the connection between distributional semantics and structural semantics. We investigate whether LLM-generated texts preserve semantic isotopies. We design a story continuation experiment using 10,000 ROCStories prompts completed by five LLMs. We first validate GPT-4o's ability to extract isotopies from a linguistic benchmark, then apply it to the generated stories. We then analyze structural (coverage, density, spread) and semantic properties of isotopies to assess how they are affected by completion. Results show that LLM completion within a given token horizon preserves semantic isotopies across multiple properties.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
