语言嵌入中的仿生结构识别
Bio-inspired Structure Identification in Language Embeddings
摘要：
词嵌入是当代语言建模中提高下游性能的一种流行方法。然而，嵌入空间的底层几何结构并没有很好地理解。我们提出了一系列的探索，使用生物启发的方法来遍历和可视化的词嵌入，展示可辨别的结构的证据。此外，我们的模型还产生单词相似性排名，这是合理的，但与常见的相似性度量，主要是余弦相似性和欧几里得距离非常不同。我们表明，我们的生物启发模型可用于研究不同的词嵌入技术如何导致不同的语义输出，这可以强调或模糊文本数据中的特定解释。
英文摘要：
Word embeddings are a popular way to improve downstream performances in contemporary language modeling. However, the underlying geometric structure of the embedding space is not well understood. We present a series of explorations using bio-inspired methodology to traverse and visualize word embeddings, demonstrating evidence of discernible structure. Moreover, our model also produces word similarity rankings that are plausible yet very different from common similarity metrics, mainly cosine similarity and Euclidean distance. We show that our bio-inspired model can be used to investigate how different word embedding techniques result in different semantic outputs, which can emphasize or obscure particular interpretations in textual data.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
