arXivDaily arXiv每日学术速递 周一至周五更新
​通知:联邦节假日调休:哥伦布日 / 原住民日(Columbus Day / Indigenous Peoples' Day),今日(13日)无更新。
arXiv 2306.01093cs.CLcs.AI

UCAS-IIE-NLP 在 SemEval-2023 任务 12 中的表现:增强多语言 BERT 在低资源情感分析中的泛化能力

UCAS-IIE-NLP at SemEval-2023 Task 12: Enhancing Generalization of Multilingual BERT for Low-resource Sentiment Analysis

Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)

Dou Hu, Lingwei Wei, Yaxin Liu, Wei Zhou, Songlin Hu

AI总结:

针对非洲低资源语言情感分析中数据稀缺问题,提出 SACL-XLMR,结合基于词典的多语言 BERT 与有监督对抗对比学习,在 SemEval-2023 零样本子任务中排名第一。

摘要:

本文介绍了我们为 SemEval-2023 任务 12(非洲语言情感分析)设计的系统。该任务面临的挑战是低资源环境下标注数据和语言资源的稀缺。为缓解这些问题,我们提出了用于低资源语言情感分析的通用多语言系统 SACL-XLMR。具体而言,我们设计了一个基于词典的多语言 BERT,以促进语言适配和情感感知表示学习。此外,我们采用有监督对抗对比学习技术来学习情感扩散的结构化表示,并增强模型泛化能力。我们的系统取得了具有竞争力的结果,在多语言和零样本情感分类子任务上均大幅优于基线。值得注意的是,该系统在官方排名中获得零样本分类子任务第一名。大量实验证明了我们系统的有效性。

英文摘要:

This paper describes our system designed for SemEval-2023 Task 12: Sentiment analysis for African languages. The challenge faced by this task is the scarcity of labeled data and linguistic resources in low-resource settings. To alleviate these, we propose a generalized multilingual system SACL-XLMR for sentiment analysis on low-resource languages. Specifically, we design a lexicon-based multilingual BERT to facilitate language adaptation and sentiment-aware representation learning. Besides, we apply a supervised adversarial contrastive learning technique to learn sentiment-spread structured representations and enhance model generalization. Our system achieved competitive results, largely outperforming baselines on both multilingual and zero-shot sentiment classification subtasks. Notably, the system obtained the 1st rank on the zero-shot classification subtask in the official ranking. Extensive experiments demonstrate the effectiveness of our system.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑