RoBERTurk：为土耳其语调整RoBERTa
RoBERTurk: Adjusting RoBERTa for Turkish
Bogazici University（博阿齐奇大学）
AI总结：
本文使用BPE分词器在土耳其语语料库上预训练了RoBERTa，该模型在较小预训练数据下，于BOUN数据集POS任务及XTREME数据集NER任务上表现优异，并已公开发布。
摘要：
我们使用BPE分词器在土耳其语语料库上预训练RoBERTa。我们的模型在BOUN数据集的POS任务上优于BERTurk系列模型，但在IMST数据集的相同任务上表现不佳，并在XTREME数据集土耳其语划分的NER任务上取得有竞争力的分数——所有这些均是在预训练数据量小于竞争对手的情况下实现的。我们发布了预训练的模型和分词器。
英文摘要：
We pretrain RoBERTa on a Turkish corpora using BPE tokenizer. Our model outperforms BERTurk family models on the BOUN dataset for the POS task while resulting in underperformance on the IMST dataset for the same task and achieving competitive scores on the Turkish split of the XTREME dataset for the NER task - all while being pretrained on smaller data than its competitors. We release our pretrained model and tokenizer.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
