arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2409.18868cs.CLcs.AIcs.LG
收藏

具有与不具有视觉基础(Visual Grounding)的神经模型中的个体化

Individuation in Neural Models with and without Visual Grounding

Utrecht University(乌得勒支大学);Technical University of Applied Sciences Würzburg-Schweinfurt(维尔茨堡-施韦因富特应用技术大学)

Alexey Tikhonov, Lisa Bylinina, Ivan P. Yamshchikov

AI总结:

本文对比了视觉基础模型 CLIP 与纯文本模型 FastText、SBERT 在编码个体化信息上的差异,发现 CLIP 嵌入能更好捕捉个体化定量差异,且其推导出的层级与语言学及认知科学一致。

摘要:

我们展示了语言与视觉模型 CLIP 与两个纯文本模型——FastText 和 SBERT——在编码个体化信息方面的差异。我们研究了 CLIP 为基底、颗粒聚合体及不同数量的物体提供的潜在表示。我们证明,CLIP 嵌入比在纯文本数据上训练的模型更好地捕捉了个体化的定量差异。此外,我们从 CLIP 嵌入推导出的个体化层级与语言学和认知科学提出的层级相一致。

英文摘要:

We show differences between a language-and-vision model CLIP and two text-only models - FastText and SBERT - when it comes to the encoding of individuation information. We study latent representations that CLIP provides for substrates, granular aggregates, and various numbers of objects. We demonstrate that CLIP embeddings capture quantitative differences in individuation better than models trained on text-only data. Moreover, the individuation hierarchy we deduce from the CLIP embeddings agrees with the hierarchies proposed in linguistics and cognitive science.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑