TEET! Tunisian Dataset for Toxic Speech Detection
Mediterranean Institute of Technology(地中海理工学院);iCompass
社交媒体中完全的表达自由有其代价,特别是在传播有害和辱骂性内容时,可能会诱使人们采取相应行动。因此,自动检测这种含量的需要成为一项紧迫的任务,这将有助于并提高限制这种有毒物质扩散的效率。与大多基于MSA的其他阿拉伯语方言相比,突尼斯方言是许多其他语言的组合,如MSA,Tamazight,意大利语和法语。由于其丰富的语言,由于缺乏大型注释数据集,处理NLP问题可能具有挑战性。在本文中,我们将介绍一个由大约10 k条评论组成的新注释数据集。我们通过特征工程方法对其词汇进行了深入探索,并提供了NB和SVM等机器学习分类器以及ARBERT、MARBERT和XLM-R等深度学习模型的分类性能结果。
2021-10-11 cs.AI cs.CL
QFrBLiMP: a Quebec-French Benchmark of Linguistic Minimal Pairs
Université Laval(拉瓦尔大学)
QFrBLiMP基准测试评估了大语言模型在魁北克法语语法现象中的语言知识,发现模型在需要深度语义理解的任务上存在显著局限。
2026-01-05 cs.CL
Feriji: A French-Zarma Parallel Corpus, Glossary & Translator
Ashesi University(阿希西大学);Rochester Institute of Technology(罗切斯特理工学院)
针对非洲扎尔马语机器翻译资源匮乏的问题,研究构建了首个法语-扎尔马语平行语料库Feriji及配套词汇表,微调大语言模型取得30.06的BLEU得分,助力填补该语言的资源缺口。
2024-06-17 cs.CL
Exploring Diachronic and Diatopic Changes in Dialect Continua: Tasks, Datasets and Challenges
University of Heidelberg(海德堡大学);University of Aberdeen(阿伯丁大学)
本文从统一视角系统梳理方言自然语言处理中历时与地域变化研究,评估三个语系五种方言的九项任务与数据集,并提出五个开放性挑战,为包容性方言计算方法与数据集研究指明方向。
2024-07-04 cs.CL
Content-Localization based Neural Machine Translation for Informal Dialectal Arabic: Spanish/French to Levantine/Gulf Arabic
School of Electrical Engineering and Computer Science(电气工程与计算机科学学院);University of Ottawa(渥太华大学)
针对高资源语言资源未有效用于低资源语言的问题,提出利用AI将高资源语言内容本地化到阿拉伯方言的框架,构建首个西/法语与非正式阿方言的平行数据集,验证了资源利用能力及方言对社会行为分析的影响。
2023-12-12 cs.CL
Vashantor: A Large-scale Multilingual Benchmark Dataset for Automated Translation of Bangla Regional Dialects to Bangla Language
Department of Computer Science and Engineering, Ahsanullah University of Science and Technology(阿斯南大学科学与技术学院);Environmental Sciences, Khulna University(库尔纳大学环境科学系);Department of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院)
针对孟加拉语地区方言到标准孟加拉语翻译的研究空白,构建了涵盖5种方言的32500句大规模基准数据集Vashantor,提出DialectBanglaT5翻译模型与DialectBanglaBERT地区检测模型,取得了优异性能并为相关研究设立新基准。
2025-11-15 cs.CL
SwissDial: Parallel Multidialectal Corpus of Spoken Swiss German
ETH Z\" u rich, Department of Computer Science, Switzerland
瑞士德语是一个方言连续体,其母语习得的方言与语言的正式变体显著不同。这些方言主要用于口头交流,没有标准的正字法。这导致了注释数据集的缺乏,使得许多NLP方法的使用变得不可行。在本文中,我们介绍了第一个注释平行语料库的瑞士德语口语跨越8个主要方言,加上标准德语参考。我们的目标是创建并提供一个基本的数据集,用于在瑞士德语中使用数据驱动的NLP应用程序。我们详细介绍了我们的数据汇集过程,并通过与最近的语音合成神经模型进行实验来验证我们的语料库的质量。
2021-03-21 cs.CL
A French Version of the OLDI Seed Corpus
Inria(法国国家信息与自动化研究所)
本文介绍了OLDI种子语料库的首个法语分区,详述了其创建过程与翻译挑战,并定位为促进法国地区语言平行语料收集的关键资源。
2025-08-04 cs.CL
FRENCH-YMCA: A FRENCH Corpus meeting the language needs of Youth, froM Children to Adolescents
本文介绍FRENCH-YMCA语料库,旨在为儿童和青少年提供专门的语言资源,通过39,200个文本文件构建,涵盖22471898词,支持开放获取,用于训练理解青少年语言的模型,提升数字交互质量。
2026-04-07 cs.CL
Manuscripts in Time and Space: Experiments in Scriptometrics on an Old French Corpus
Centre Jean-Mabillon(让-马比永中心);École nationale des chartes | Paris Sciences & Lettres(法国国家文献学院 | 巴黎文理研究大学)
保存在手稿中的中世纪文学文本的见证是分层的对象,几乎完全是副本的副本。这就导致了语言层次的多样性和难以区分--作者的手稿与各种抄写员的手稿相互作用--在文学书面语言已经是方言混合体的背景下。此外,没有一个单一的语言现象可以区分不同的手稿,只有多种特征的组合才可能是重要的[9] -但哪些特征呢?最常见的方法是在一组先前选择的文本中搜索这些特征,这些文本应该是给定脚本的代表。这可能导致一种循环,即文本被用来选择特征,这些特征反过来又将它们视为属于一个语言领域。为了解决这个问题,本文提供了一种无监督且基于语料库的方法,其中将聚类方法应用于古法语语料库以识别主要的划分和群组。最终,脚本配置文件是为他们每个人建立的。
2018-01-30 cs.CL stat.AP
WEKA-Based: Key Features and Classifier for French of Five Countries
本文介绍了一个法语方言识别系统,将适当区分不同地区的法语方言。五个地区的语料库-摩纳哥,法语,比利时,法语瑞士,法语加拿大和法国,这是针对由素描引擎建设。语料的内容涉及到吃、喝、睡、住四大主题,与大众生活息息相关。实验结果是通过Python编码的预处理器和Waikato知识分析环境(WEKA)数据分析工具的处理获得的,该工具包含许多用于机器学习的过滤器和分类器。
2022-11-10 cs.CL
FFSTC: Fongbe to French Speech Translation Corpus
Institut de Mathématiques et de Sciences Physiques(数学与物理科学研究所);OPSCIDIA(OPSCIDIA公司)
本研究首次构建了包含约31小时内容的 Fongbe 到法语语音翻译语料库 FFSTC,通过 Fairseq 的两类模型开展基线实验并得到对应得分,为该方向研究提供了基准数据集与基线参考。
2024-03-08 cs.CL
DiaLex: A Benchmark for Evaluating Multidialectal Arabic Word Embeddings
The University of British Columbia(不列颠哥伦比亚大学);American University of Beirut(贝鲁特美国大学);Concordia University(康考迪亚大学);Arab Academy for Science and Technology(阿拉伯科学与技术学院)
词嵌入是现代自然语言处理系统的核心组件,因此彻底评估它们的能力是一项至关重要的任务。我们描述DiaLex,一个基准的内在评价方言阿拉伯语词嵌入。DiaLex涵盖了五种重要的阿拉伯语方言:阿尔及利亚语、埃及语、黎巴嫩语、叙利亚语和突尼斯语。在这些方言中,DiaLex提供了六种句法和语义关系的测试库,即男性到女性,单数到双重,单数到复数,反义词,比较级和属格到过去时态。因此,DiaLex由一组词对组成,这些词对代表五种方言中每一种方言的六种关系。为了证明DiaLex的实用性,我们用它来评估一组现有的和新的阿拉伯语词嵌入,我们开发的。我们的基准测试、评估代码和新的词嵌入模型将公开发布。
2021-03-13 cs.AI
Sexism detection: The first corpus in Algerian dialect with a code-switching in Arabic/ French and English
Aston University(阿斯顿大学);Folding Space(Folding Space公司);University of Wolverhampton(伍尔弗汉普顿大学)
在本文中,仇恨言论检测对妇女在阿拉伯社区的社交媒体(如Youtube)的方法。在文献中,类似的作品已经为其他语言,如英语。然而,据我们所知,用阿拉伯文进行的工作不多。使用三种不同的注释器开发了一个新的仇恨言论语料库(阿拉伯语fr en)。对于语料验证,使用了三种不同的机器学习算法,包括深度卷积神经网络(CNN)、长短期记忆(LSTM)网络和双向LSTM(Bi-LSTM)网络。仿真结果表明,CNN模型的最佳性能,与LSTM和Bi-LSTM相比,对于不平衡语料库,其F1得分高达86\%。
2021-04-03 cs.CL
ARCADE: A City-Scale Corpus for Fine-Grained Arabic Dialect Tagging
Tuwaiq Academy(图瓦伊克学院);Robotics and Internet-of-Things Laboratory(机器人与物联网实验室);Prince Sultan University(普森大学);Higher School of Communication of Tunis (SUP’COM)(突尼斯通信高级学校)
ARCADE是一个专为城市级阿拉伯语方言标注设计的语音语料库,通过细粒度标注支持多任务学习,为方言识别提供基准。
2026-01-05 cs.CL cs.CY cs.SD
FrenchNews-7: Benchmarking Cross-Publisher French News Editorial Desk Classification
Le French News Lab(法国新闻实验室)
本研究构建了跨出版商法语新闻编辑部分类基准FrenchNews-7,采用微调CamemBERT分类器,实验显示其在召回率上优于零样本LLM基线,为新闻分类研究提供了可靠基准。
2026-10-19 cs.CL
Tarab: A Multi-Dialect Corpus of Arabic Lyrics and Poetry
College of Engineering(工程学院);Computer Science, VinUniversity(计算机科学,文大学)
本文介绍了一个大规模的阿拉伯语创意文本语料库,包含256万行和1350万词,涵盖古典和现代阿拉伯语及六种主要方言,提供结构化元数据以支持跨时代的语言和风格分析。
2026-03-17 cs.CL
A Catalog of Basque Dialectal Resources: Online Collections and Standard-to-Dialectal Adaptations
本文提出巴斯克方言数据目录,系统汇总现有在线方言数据及标准到方言的适应数据,通过手动和自动方法生成高质量评估数据集。
2026-03-26 cs.CL
Align and Shine: Building High-Quality Sentence-Aligned Corpora for Multilingual Text Simplification
Centre for Translation, Localisation and Interpreting Studies(翻译、本地化与诠释研究中心);School of Languages, Cultures and Societies(语言、文化和社会学院);University of Leeds, UK(利兹大学)
本文通过收集和处理可比语料库中的众包简化数据,构建了多语言文本简化任务的高质量句子对语料库,解决了其他语言缺乏大规模高质量数据的问题。
2026-05-10 cs.AI cs.CL
An open access NLP dataset for Arabic dialects : Data collection, labeling, and model construction
Mohamed VI Polytechnic University (UM6P)(穆罕默德六世理工大学(UM6P))
自然语言处理(NLP)是当今非常活跃的研究和创新领域。然而,许多应用程序需要大的数据集用于监督学习,并为训练目的进行适当的标记。这包括阿拉伯语及其民族方言的应用。然而,这种阿拉伯语及其方言的开放获取标记数据集在数据科学生态系统中缺乏,这种缺乏可能成为该领域创新和研究的负担。在这项工作中,我们提出了一个开放的数据集的社会数据内容在几个阿拉伯语方言。这些数据是从Twitter社交网络收集的,包括五(5)种国家方言的+50K twitter。此外,这些数据被标记为几个应用,即方言检测,主题检测和情感分析。我们将这些数据作为开放获取数据发布,以鼓励创新,并鼓励阿拉伯语方言和社交媒体的NLP领域的其他工作。选择的模型建立使用该数据集,并在本文中介绍了他们的表现。
2021-02-07 cs.CL cs.LG
ART: The Alternating Reading Task Corpus for Speech Entrainment and Imitation
Italian Institute of Technology(意大利技术研究院);University of Ferrara(费拉拉大学);Constantine the Philosopher University in Nitra(尼特拉君士坦丁哲学家大学);Institute of Informatics, SAS(斯洛伐克科学院信息学研究所);Aix Marseille University(艾克斯-马赛大学)
本文发布ART双人朗读语料库,通过独自朗读、交替朗读和刻意模仿三种条件及多口音英语子库,支持语音协同与模仿行为的系统研究。
2024-04-03 cs.CL eess.AS
German Dialect Identification Using Classifier Ensembles
University of Bucharest(布加勒斯特大学);Harvard Medical School(哈佛医学院)
在本文中,我们将GDI_classification条目介绍给在2018年VarDial评估活动范围内组织的第二个德语方言识别(GDI)共享任务。我们提出了一个基于SVM分类器集成训练的字符和单词的系统。该系统的培训上收集的五个瑞士德语方言的组织者提供的语音转录。数据集中的记录包括来自巴塞尔、伯尔尼、卢塞恩和苏黎世的演讲者。我们的挑战赛进入达到62.03%的F1分数,并在八支球队中排名第三。
2018-07-22 cs.CL
Topic Modeling Genre: An Exploration of French Classical and Enlightenment Drama
University of Würzburg(维尔茨堡大学)
文学体裁的概念是一个非常复杂的概念:不同的体裁不仅经常被定义在几个但不一定是相同的描述层次上,而且将体裁视为具有丰富历史的认知、社会或学术结构,这进一步使问题复杂化。本文采用定量的方法,即主题建模,对语篇的主题进行了研究。主题建模已被证明是有用的,发现主题模式和趋势,在大量的文本集合,以期类或浏览他们的基础上,他们的主导主题。然而,它很少被应用于戏剧文本的收集。在这篇文章中,主题建模是用来分析收集的古典时代和启蒙运动的法国戏剧。这一贡献的总体目标是发现什么语义类型的主题是在这个集合中发现,是否不同的戏剧子类型有独特的主导主题和情节相关的主题模式,反之,在何种程度上聚类方法的基础上,每个播放的主题得分产生分组的文本同意更传统的体裁区别。这一贡献表明,有趣的主题模式,可以检测到提供了新的见解的主题,亚类相关的结构,法国戏剧,以及到法国戏剧的古典时代和启蒙运动的历史。
2021-03-24 cs.CL
chDzDT: Word-level morphology-aware language model for Algerian social media text
Laboratoire de la Communication dans les Systèmes Informatiques, Ecole Nationale Supérieure d’Informatique(信息通信系统通信实验室,国家高等信息学院)
针对阿尔及利亚方言资源稀缺、形态复杂导致传统NLP方法效果不佳的问题,研究提出字符级预训练语言模型chDzDT,基于孤立单词训练以稳健编码形态模式,还完成了方言形态分析、多语言词汇数据集构建及模型评估,为低资源形态丰富方言的NLP研究提供了新方向。
2025-09-01 cs.AI cs.CL
Project PIAF: Building a Native French Question-Answering Dataset
reciTAL;Etalab
由于缺乏非英语语言的数据,特别是下游任务,如问答的评估,我们提出了一个参与性的努力,收集一个本地法语问答数据集。此外,我们描述并公开发布了为我们的收集工作开发的注释工具,以及获得的数据和初步基线。
2020-07-02 cs.CL
LoRaLay: A Multilingual and Multimodal Dataset for Long Range and Layout-Aware Summarization
reciTAL(reciTAL公司);Sorbonne Université(索邦大学);Meta AI;University of Trento(特伦托大学)
文本摘要是自然语言处理界的一个热门任务和活跃的研究领域。根据定义,它需要考虑长输入文本,这一特性给神经模型带来了计算挑战。此外,真实世界的文档有各种复杂的、视觉上丰富的布局。这些信息具有很大的相关性,无论是突出显着的内容还是对文本段落之间的长距离交互进行编码。然而,所有公开可用的摘要数据集都只提供纯文本内容。为了便于研究如何利用视觉/布局信息,以更好地捕捉长期的依赖关系,在摘要模型,我们提出了LoRaLay,一组数据集的长期摘要伴随视觉/布局信息。我们扩展了现有的和流行的英语数据集(arXiv和PubMed)的布局信息,并提出了四个新的数据集-始终建立从学者资源-涵盖法语,西班牙语,葡萄牙语和韩语。此外,我们提出了新的基线合并布局感知和远程模型-两个正交的方法-并获得最先进的结果,显示了结合两条研究线的重要性。
2023-01-26 cs.CL
The Multilingual Amazon Reviews Corpus
Amazon(亚马逊);University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所)
我们提出了多语言亚马逊评论语料库(MARC),一个大规模的亚马逊评论多语言文本分类的集合。该语料库包含英语,日语,德语,法语,西班牙语和中文的评论,这些评论是在2015年至2019年期间收集的。数据集中的每个记录包含评论文本、评论标题、星级、匿名评论者ID、匿名产品ID和粗粒度产品类别(例如,“书籍”、“器具”等)语料库在5个可能的星级之间保持平衡,因此每个评级占每种语言评论的20%。对于每种语言,在训练集、开发集和测试集中分别有200,000、5,000和5,000条评论。我们通过对评论数据微调多语言BERT模型,报告了监督文本分类和zero-shot跨语言迁移学习的基线结果。我们建议使用平均绝对误差(MAE),而不是分类准确度为这项任务,因为MAE帐户的顺序性质的评级。
2020-10-06 cs.CL cs.IR cs.LG
A Multi-Agent Framework for Mitigating Dialect Biases in Privacy Policy Question-Answering Systems
University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校);Tecnológico de Monterrey(蒙特雷技术学院)
本文提出一种多智能体框架,通过方言智能体和隐私政策智能体协作,提升隐私政策问答系统对非标准方言的处理能力,有效缓解方言偏见问题。
2026-01-31 cs.CL
Multilingual VLM Training: Adapting an English-Trained VLM to French
Ecole Polytechnique(巴黎政治学院);Mila - Quebec AI Institute(魁北克人工智能研究所);McGill University(麦吉尔大学)
本文研究了将英语训练的视觉语言模型适应到法语等其他语言的挑战,通过比较不同方法的性能和计算成本,发现数据翻译是多语言VLM性能的主要瓶颈。
2025-12-11 cs.AI cs.CL
Rejected Dialects: Biases Against African American Language in Reward Models
Carnegie Mellon University(卡内基梅隆大学);Columbia University(哥伦比亚大学);Instituto Superior Técnico, University of Lisbon(里斯本大学高等技术学院);Instituto de Telecomunicações(电信研究所)
本文提出奖励模型方言偏见评估框架,并通过 WME 与机器翻译及人工 AAL 语料的对比实验,揭示奖励模型存在系统性反 AAL 偏好。
2025-02-18 cs.AI cs.CL cs.CY
On the Robustness of Arabic Speech Dialect Identification
The University of British Columbia(不列颠哥伦比亚大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文研究阿拉伯语方言识别在领域迁移下的鲁棒性,基于自监督模型比较迁移学习与直接分类,并结合人工分析发现领域偏移显著、自训练缓解有限。
2023-06-01 cs.CL cs.LG eess.AS
The Lucie-7B LLM and the Lucie Training Dataset: Open resources for multilingual language generation
LINAGORA(林阿戈拉公司);LORIA(洛里亚研究所);CEA List(法国原子能和替代能源委员会清单实验室)
本文发布以法语为中心、注重数据权利的多语言 Lucie Training Dataset,以及法英数据各约33%训练的 Lucie-7B 和两个指令微调模型,验证开放合规路线仍具竞争力。
2025-03-15 cs.AI cs.CL
Fine PT-PT Web: A High-Quality 41 Billion Tokens Data Collection of the European Portuguese Web
NOVA School of Science and Technology(NOVA科学与技术学院);NOVA LINCS;Fundação para a Ciência e Tecnologia(科学技术基金会);Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等技术学院);Instituto de Telecomunicações(电信研究院)
本文提出高效流水线,从411TB葡萄牙语网络数据中构建410亿词元的高质量欧洲葡萄牙语语料库,通过抓取后处理等创新使产量提升19.04%,优化LLM预训练。
2026-09-21 cs.AI cs.CL
Leveraging Data Collection and Unsupervised Learning for Code-switched Tunisian Arabic Automatic Speech Recognition
Tunis Business School(突尼斯商学院);University of Michigan-Dearborn(密歇根大学迪尔伯恩分校);Abshore;LTCI, Télécom Paris, Institut Polytechnique de Paris(巴黎理工学院巴黎电信学院LTCI)
本文针对突尼斯阿拉伯语方言ASR数据稀缺与语码转换难题,通过数据收集、自监督/半监督/少样本方法及人工评估构建并公开了多语混合语音识别模型与数据。
2023-09-25 cs.CL cs.LG cs.SD
Hearing voices at the National Library -- a speech corpus and acoustic model for the Swedish language
National Library of Sweden(瑞典国家图书馆)
本文介绍了我们在KBLab(瑞典国家图书馆(KB)数据驱动研究的基础设施)开发新的自动语音识别(ASR)声学模型的工作。我们评估不同的方法,一个可行的语音到文本的管道视听资源在瑞典,使用wav 2 vec 2.0架构结合从KB的集合创建的语音语料库。这些方法包括从头开始预训练瑞典语的声学模型,以及微调现有的单语和多语言模型。我们使用的基于集合的语料库是从数百万小时的演讲中取样的,有意识地尝试平衡地区方言,以产生更具代表性,因此更民主的模型。这使得声学模型,“VoxRex”,优于瑞典ASR的现有模型。我们还评估了将此模型与各种预训练的语言模型相结合,这进一步提高了性能。最后,我们强调了这种技术对文化遗产机构的潜力,这些机构拥有大量以前未标记的视听数据。我们的模型在这里发布以供进一步探索和研究:https://huggingface.co/KBLab。
2022-05-19 cs.CL
Speech Foundation Models and Crowdsourcing for Efficient, High-Quality Data Collection
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);NAVER LABS Europe(NAVER欧洲实验室)
本文提出利用语音基础模型自动化众包语音数据验证,在法语、德语和韩语实验中实现超40%成本节省且不损质量,推动高效可扩展数据采集。
2024-12-16 cs.CL cs.SD eess.AS
Specialized text classification: an approach to classifying Open Banking transactions
Oney Bank(奥尼银行);Data Science Team(数据科学团队)
针对开放银行框架下银行交易描述分类的需求,提出一种专注于法国市场和法语文本的专业分类系统,通过整合特定语言技术和领域知识,相比通用方法提升了性能和效率。
2025-04-10 cs.AI cs.CL cs.IR
Listen and Translate: A Proof of Concept for End-to-End Speech-to-Text Translation
LIG, Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学LIG实验室);Google DeepMind(谷歌DeepMind);Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);Inria(法国国家信息与自动化研究所);UMR 9189 CRIStAL(CRIStAL联合研究单位(UMR 9189));Systran(Systran公司)
本文首次尝试构建一个端到端的语音到文本翻译系统,该系统在学习或解码过程中不使用源语言转录。我们提出了一个模型,直接语音到文本的翻译,这给了一个小的法语-英语合成语料库有希望的结果。放松对源语言转录的需求将极大地改变语音翻译中的数据汇集方法,特别是在资源不足的情况下。例如,在以前的DARPA TRANSTAC项目(从阿拉伯方言口语翻译语音)中,大量的工作致力于收集语音记录(获得记录的先决条件通常是对几乎没有标准化拼写的语言的详细转录指南)。现在,如果语音到文本翻译的端到端方法是成功的,人们可以考虑通过要求双语说话者从目标语言文本话语直接说出源语言的语音来收集数据。这种方法的优点是适用于任何非书面(源)语言。
2016-12-06 cs.CL
TexPrax: A Messaging Application for Ethical, Real-time Data Collection and Annotation
Technical University of Darmstadt(达姆施塔特工业大学)
收集和注释面向任务的对话数据是困难的,特别是对于需要专业知识的高度特定的领域。与此同时,工作中越来越多地使用即时通讯等非正式沟通渠道。这导致大量与工作相关的信息通过这些渠道传播,需要员工手动进行后期处理。为了缓解这个问题,我们提出了TexPrax,一个消息传递系统,收集和注释的问题,原因和解决方案,发生在工作相关的聊天。TexPrax使用聊天机器人直接与员工互动,为他们的对话提供轻量级注释,并简化他们的文档工作。为了遵守数据隐私和安全法规,我们使用端到端消息加密,让用户完全控制他们的数据,这与传统的注释工具相比具有各种优势。我们在一项针对德国工厂员工的用户研究中对TexPrax进行了评估,这些员工会就日常工作中出现的问题向同事寻求解决方案。总的来说,我们收集了202个面向任务的德语对话,包含1,027个句子,并有专家级的注释。我们的数据分析还表明,现实世界的对话经常包含代码转换的实例,同一实体的不同缩写,以及NLP系统应该能够处理的方言。
2022-10-20 cs.CL
Documenting Geographically and Contextually Diverse Data Sources: The BigScience Catalogue of Language Data and Resources
Booz Allen Hamilton(博思艾伦咨询公司);British Library(大英图书馆);EleutherAI;Hugging Face;Inria(法国国家信息与自动化研究所);University of Washington(华盛顿大学);University of Western Australia(西澳大利亚大学);University of the Basque Country(巴斯克大学);KFUPM(法赫德国王石油矿产大学)
近年来,大规模的数据汇集工作已经优先考虑收集的数据量,以便提高大语言模型的建模能力。然而,这种优先顺序导致了对数据汇集中所代表的数据主体权利的关切,特别是考虑到由于文件和分析工具不足而难以询问这些收集。考虑到这些缺陷,我们提出了我们的方法,文件为先,以人为中心的数据汇集项目的一部分,大科学的倡议。我们确定了一组地理上不同的目标语言组(阿拉伯语、巴斯克语、汉语、加泰罗尼亚语、英语、法语、印度语、印度尼西亚语、刚果语、葡萄牙语、西班牙语和越南语,以及程序设计语言),以收集潜在数据源的元数据。为了组织这项工作,我们开发了在线目录,作为通过有组织的公共黑客松收集元数据的支持工具。我们提出了我们的开发过程;分析所产生的资源元数据,包括语言,地区和资源类型的分布;以及我们在这方面的经验教训。
2022-01-25 cs.CL cs.DB
FalAR: A Large-scale Speaker-Annotated European Portuguese Speech Corpus of Parliamentary Sessions
INESC-ID;Instituto Superior Técnico(理工学院)
为弥补欧洲葡萄牙语语音资源不足,构建了FalAR语料库,包含5800小时议会会议语音及说话人标注,实验表明作为预训练数据可使ASR词错误率相对降低14%。
2026-05-26 cs.CL cs.LG
Common Voice: A Massively-Multilingual Speech Corpus
Mozilla(慕智公司);Indiana University(印第安纳大学);Artie, Inc.(Artie公司)
通用语音语料库是用于语音技术研究和开发的多语种转录语音集合。通用语音是为自动语音识别目的而设计的,但在其他领域也很有用(例如语言识别)。为了实现规模和可持续性,“共同之声”项目采用众包方式进行数据汇集和数据验证。最新版本包括29种语言,截至2019年11月,共有38种语言收集数据。迄今已有5万多人参加,收集了2 500小时的音频。据我们所知,这是公共领域中最大的语音识别音频语料库,无论是在小时数还是语言数方面。作为Common Voice的一个示例用例,我们使用Mozilla的DeepSpeech Speech-to-Text工具包进行了语音识别实验。通过从源英语模型应用迁移学习,我们发现12种目标语言(德语、法语、意大利语、土耳其语、加泰罗尼亚语、斯洛文尼亚语、威尔士语、爱尔兰语、布列塔尼语、鞑靼语、楚瓦什语和卡拜尔语)的平均字符出错率改善为5.99 +/- 5.48。对于这些语言中的大多数,这些都是有史以来首次发布的端到端自动语音识别结果。
2020-03-05 cs.CL cs.LG
Low-resource Information Extraction with the European Clinical Case Corpus
Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会);University of Padua(帕多瓦大学);GOI institute(GOI研究所);Basque Summer University (UEU)(巴斯克夏季大学(UEU))
本文提出E3C-3.0多语言医学数据集,通过半自动标注投影和人工修订构建,实验证明微调可提升LLM性能,且跨语言迁移学习有效缓解低资源问题。
2025-03-26 cs.CL