arXivDaily arXiv每日学术速递 周一至周五更新
​通知:联邦节假日调休:哥伦布日 / 原住民日(Columbus Day / Indigenous Peoples' Day),今日(13日)无更新。
arXiv 2106.09462cs.CL

pysentimiento:一款用于观点挖掘与社交NLP任务的Python工具包

pysentimiento: A Python Toolkit for Opinion Mining and Social NLP tasks

Instituto de Ciencias de la Computación, CONICET, Universidad de Buenos Aires(布宜诺斯艾利斯大学 CONICET 计算机科学研究所);Facultad de Astronomía, Matemática y Física, Universidad Nacional de Córdoba(科尔多瓦国立大学天文、数学与物理学院);IIIA-CSIC(西班牙国家研究委员会人工智能研究所)

Juan Manuel Pérez, Mariela Rajngewerc, Juan Carlos Giudici, Damián A. Furman, Franco Luque, Laura Alonso Alemany, María Vanina Martínez

AI总结:

针对现有社交NLP前沿工具依赖商业API、多语言支持不足、使用门槛高的问题,研究人员推出开源多语言Python工具包pysentimiento,集成西、英、意、葡四种语言的前沿模型,还完成了多任务多数据集的性能及公平性评估。

摘要:

近年来,从用户生成文本中提取观点与信息受到了广泛关注,这在很大程度上源于社交媒体上海量的内容。然而,社会研究人员在采用前沿工具完成这类任务时面临一些问题:这些工具通常依赖商业API、仅支持英语不支持其他语言,或是对非专业人士来说使用非常复杂。为解决这些问题,我们推出了pysentimiento,这是一款专为观点挖掘及其他社交NLP任务设计的综合性多语言Python工具包。这个开源库将支持西班牙语、英语、意大利语和葡萄牙语的前沿模型封装在易用的Python库中,让研究人员能够运用这些技术。我们对多个预训练语言模型在各类任务、语言和数据集上的性能进行了全面评估,其中还包括对结果公平性的评估。

英文摘要:

In recent years, the extraction of opinions and information from user-generated text has attracted a lot of interest, largely due to the unprecedented volume of content in Social Media. However, social researchers face some issues in adopting cutting-edge tools for these tasks, as they are usually behind commercial APIs, unavailable for other languages than English, or very complex to use for non-experts. To address these issues, we present pysentimiento, a comprehensive multilingual Python toolkit designed for opinion mining and other Social NLP tasks. This open-source library brings state-of-the-art models for Spanish, English, Italian, and Portuguese in an easy-to-use Python library, allowing researchers to leverage these techniques. We present a comprehensive assessment of performance for several pre-trained language models across a variety of tasks, languages, and datasets, including an evaluation of fairness in the results.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑