RETVec：鲁棒且高效的文本向量化器
RETVec: Resilient and Efficient Text Vectorizer
AI总结：
本文提出RETVec，一种高效、鲁棒且支持多语言的文本向量化器，结合新颖字符编码与小型嵌入模型将单词嵌入256维向量空间，并通过成对度量学习预训练以抵御拼写错误和字符级对抗攻击，实验证明其在多语言模型中具有竞争力且鲁棒性显著增强。
摘要：
本文介绍了RETVec，一种专为基于神经网络的文本处理设计的、高效、鲁棒且支持多语言的文本向量化器。RETVec结合了一种新颖的字符编码与可选的小型嵌入模型，将单词嵌入到256维向量空间中。RETVec嵌入模型使用成对度量学习进行预训练，以对拼写错误和字符级对抗攻击保持鲁棒性。在本文中，我们在流行的模型架构和数据集上对RETVec与最先进的向量化器和词嵌入进行了评估和比较。这些比较表明，RETVec能够生成具有竞争力的多语言模型，且对拼写错误和对抗性文本攻击具有显著更强的鲁棒性。RETVec在Apache 2许可下于https://github.com/google-research/retvec提供。
英文摘要：
This paper describes RETVec, an efficient, resilient, and multilingual text vectorizer designed for neural-based text processing. RETVec combines a novel character encoding with an optional small embedding model to embed words into a 256-dimensional vector space. The RETVec embedding model is pre-trained using pair-wise metric learning to be robust against typos and character-level adversarial attacks. In this paper, we evaluate and compare RETVec to state-of-the-art vectorizers and word embeddings on popular model architectures and datasets. These comparisons demonstrate that RETVec leads to competitive, multilingual models that are significantly more resilient to typos and adversarial text attacks. RETVec is available under the Apache 2 license at https://github.com/google-research/retvec.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
