SwissBERT：面向瑞士的多语言语言模型
SwissBERT: The Multilingual Language Model for Switzerland
AI总结：
SwissBERT是一个面向瑞士四种国家语言的掩码语言模型，通过语言适配器适配新闻文本，在瑞士相关自然语言理解任务上优于先前模型，并支持未来扩展至瑞士德语方言。
摘要：
我们提出SwissBERT，这是一个专门为处理瑞士相关文本而创建的掩码语言模型。SwissBERT是一个预训练模型，我们将其适配于用瑞士国家语言——德语、法语、意大利语和罗曼什语——撰写的新闻文章。我们在与瑞士相关的自然语言理解任务上评估SwissBERT，发现它在这些任务上往往优于先前的模型，尤其是在处理当代新闻和/或罗曼什语格劳宾登标准语时。由于SwissBERT使用语言适配器，未来工作可将其扩展到瑞士德语方言。该模型和我们的开源代码已在https://github.com/ZurichNLP/swissbert公开发布。
英文摘要：
We present SwissBERT, a masked language model created specifically for processing Switzerland-related text. SwissBERT is a pre-trained model that we adapted to news articles written in the national languages of Switzerland -- German, French, Italian, and Romansh. We evaluate SwissBERT on natural language understanding tasks related to Switzerland and find that it tends to outperform previous models on these tasks, especially when processing contemporary news and/or Romansh Grischun. Since SwissBERT uses language adapters, it may be extended to Swiss German dialects in future work. The model and our open-source code are publicly released at https://github.com/ZurichNLP/swissbert.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
