MTEB-BR: A Text Embedding Benchmark for Brazilian Portuguese
Federal Institute of São Paulo (IFSP)(圣保罗联邦理工学院)
针对葡萄牙语无专用基准测试的问题,引入MTEB-PT基准测试,含22个巴西葡萄牙语本地任务。评估93个模型,报告统计层信息,得出模型分层、开源模型表现及全球多语言排行榜与葡萄牙语排行榜关系等结论。
2026-07-09 cs.CL cs.IR cs.LG
Building a Sentiment Corpus of Tweets in Brazilian Portuguese
Interinstitutional Center for Computational Linguistics (NILC)(跨机构计算语言学中心(NILC))
社交媒体、论坛和网站中的大量数据激发了自然语言处理多个领域的研究,例如情感分析。由于其主观和语义特征,该领域的流行激发了对新方法和分类方法的研究。因此,对不同领域和不同语言的数据集有很高的需求。本文介绍了TweetSentBR,一个情感语料库,巴西葡萄牙语手动注释与15.000句电视节目领域。这些句子被标记为三类(积极的,中性的和消极的)由七个注释,以下文献指南,以确保注释的可靠性。我们还使用三种机器学习方法进行了极性分类的基线实验,在二值分类中,F-Measure达到80.99%,准确率为82.06%,在三点分类中,F-Measure达到59.85%,准确率为64.62%。
2017-12-24 cs.CL
TuPy-E: detecting hate speech in Brazilian Portuguese social media with a novel dataset and comprehensive analysis of models
Alberto Luiz Coimbra Institute of Post-graduation and Engineering Research Federal University of Rio de Janeiro(里约热内卢联邦大学阿尔贝托·路易斯·科英布拉研究生院与工程研究院)
针对葡萄牙语社交媒体仇恨言论检测难题,构建最大注释语料库TuPy-E,采用开源方法,结合BERT模型进行综合分析,兼顾学术与应用。
2023-12-29 cs.CL
PLSUM: Generating PT-BR Wikipedia by Summarizing Multiple Websites
维基百科是一个重要的免费知识来源。尽管如此,巴西葡萄牙语维基百科仍然缺乏对许多主题的描述。为了扩大巴西维基百科,我们贡献了PLSum,一个从多个描述性网站生成类似维基的摘要的框架。该框架有一个提取阶段,随后是一个抽象阶段。特别是,对于抽象阶段,我们微调和比较了Transformer神经网络的两个最新版本PTT5和Longformer。为了微调和评估模型,我们创建了一个包含数千个示例的数据集,将参考网站链接到维基百科。我们的研究结果表明,它是可能的巴西葡萄牙语的网页内容生成有意义的摘要。
2021-12-02 cs.CL cs.LG
Essay-BR: a Brazilian Corpus of Essays
Federal University of Piauí(皮奥伊联邦大学);Federal Institute of Piauí(皮奥伊联邦学院)
自动作文评分(Automatic Essay Scoring,AES)是一种对作文进行评分的计算机技术,旨在提供计算模型,以自动或最少的人工参与对作文进行评分。虽然有几个AES的研究在各种语言,其中很少有集中在葡萄牙语。主要原因是缺乏一个语料库与人工评分的文章。为了弥合这一差距,我们创建了一个大型语料库,其中包含巴西高中生在在线平台上撰写的几篇文章。所有的文章都是辩论性的,并由专家在五个能力方面进行评分。此外,我们对创建的语料库进行了实验,并展示了葡萄牙语所带来的挑战。我们的语料库可在https://github.com/rafaelanchieta/essay上公开获取。
2021-05-19 cs.CL
MATH-PT: A Math Reasoning Benchmark for European and Brazilian Portuguese
Instituto Superior Técnico, Universidade de Lisboa(里斯本大学理工学院);Fundação Getulio Vargas(古特曼基金会);Instituto de Telecomunicações(电信研究所);Universidade de Coimbra, CISUC/LASI, DEI(科英布拉大学,CISUC/LASI,DEI);Basque Center for Applied Mathematics(巴斯克应用数学中心)
本文提出MATH-PT数据集,包含1729个欧洲和巴西葡萄牙语数学问题,评估了当前最先进的LLM在数学推理中的表现,发现前沿模型在选择题表现优异,但在涉及图表或开放性问题时性能下降。
2026-04-01 cs.CL cs.IR
Assessing Linguistic Generalisation in Language Models: A Dataset for Brazilian Portuguese
University of Milano-Bicocca(米兰比可卡大学);University of Surrey(萨里大学);University of Sheffield(谢菲尔德大学)
本文构建巴西葡萄牙语内在评估数据集,通过 MWE 与六类语法结构任务测试 BERTimbau 和 mBERT 的语言泛化能力。
2023-06-07 cs.CL
BLUEX: A benchmark based on Brazilian Leading Universities Entrance eXams
State University of Campinas (UNICAMP)(坎皮纳斯州立大学);Maritaca AI;NeuralMind AI
本文提出BLUEX数据集,基于巴西UNICAMP和USP两所顶尖大学的入学考试构建,包含多学科标注、图像位置信息及近期考题,并通过实验建立基准,以推动葡萄牙语自然语言理解与多模态推理研究。
2023-07-11 cs.CL
Datasets for Portuguese Legal Semantic Textual Similarity: Comparing weak supervision and an annotation process approaches
Fluminense Federal University(弗鲁米嫩塞联邦大学)
本文面向巴西法律文本语义相似度任务,构建四个法律领域数据集,并通过专家真值集验证启发式弱监督标注的有效性。
2023-05-29 cs.CL cs.LG
Language Variety Identification with True Labels
George Mason University(乔治梅森大学);University of Helsinki(赫尔辛基大学);Cambridge University(剑桥大学);Rochester Institute of Technology(罗切斯特理工学院)
语言识别是许多IR和NLP应用中重要的第一步。然而,大多数公开可用的语言识别数据集都是在假设每个实例的黄金标签由文本的检索位置确定的情况下编译的。研究表明,这是一个有问题的假设,特别是在非常相似的语言的情况下(例如,克罗地亚语和塞尔维亚语)和民族语言变体(例如,巴西和欧洲葡萄牙语),其中文本可能不包含特定语言或变体的独特标记。为了克服这一重要限制,本文提出了DSL True Labels(DSL-TL),这是第一个用于语言种类识别的人工注释多语言数据集。DSL-TL总共包含12,900个葡萄牙语实例,分为欧洲葡萄牙语和巴西葡萄牙语;西班牙语,分为阿根廷西班牙语和卡斯蒂利亚西班牙语;英语,分为美国英语和英国英语。我们训练了多个模型来区分这些语言变体,并详细介绍了结果。本文提出的数据和模型提供了一个可靠的基准,朝着强大的和公平的语言品种识别系统的发展。我们向研究社区免费提供DSL-TL。
2023-03-02 cs.CL
Lexical Simplification Benchmarks for English, Portuguese, and Spanish
Universitat Pompeu Fabra(庞培法布拉大学);Manchester Metropolitan University(曼彻斯特城市大学);George Mason University(乔治梅森大学)
即使在高度发达的国家,也有15- 30%的人口只能理解使用基本词汇书写的文本。他们对日常文本的理解有限,这使他们无法在社会中发挥积极作用,并在医疗保健,法律代表或民主选择方面做出明智的决定。词汇简化是一项自然语言处理任务,旨在通过用简单的词汇和表达替换复杂的词汇和表达,同时保留原始含义,使每个人都能理解文本。在过去的20年里,它引起了相当大的关注,并且已经为各种语言提出了全自动的词汇简化系统。阻碍该领域发展的主要障碍是缺乏用于构建和评估词汇简化系统的高质量数据集。我们提出了一个新的基准数据集的词汇简化英语,西班牙语和(巴西)葡萄牙语,并提供有关数据选择和注释程序的细节。这是第一个提供三种语言词汇简化系统直接比较的数据集。为了展示数据集的可用性,我们采用了两个具有不同架构的最先进的词汇简化系统(神经与\非神经)到所有三种语言(英语,西班牙语和巴西葡萄牙语),并评估它们在我们新数据集上的表现。为了更公平的比较,我们使用了几个评估指标,这些指标反映了系统功效的各个方面,并讨论了它们的优点和缺点。我们发现,一个国家的最先进的神经词汇简化系统优于一个国家的最先进的非神经词汇简化系统在所有三种语言。更重要的是,我们发现最先进的神经词汇简化系统对英语的表现明显优于西班牙语和葡萄牙语。
2022-09-12 cs.CL
Cem Mil Podcasts: A Spoken Portuguese Document Corpus For Multi-modal, Multi-lingual and Multi-Dialect Information Access Research
Spotify(声田);Silo AI(希洛人工智能公司)
本研究发布了葡萄牙语播客数据集Cem Mil Podcasts,介绍其采样、统计及方言分布情况,验证了多语言摘要和文本元数据分类的有效性,为多模态多语言多方言播客信息获取研究提供支持。
2023-12-13 cs.CL
Tracking environmental policy changes in the Brazilian Federal Official Gazette
Universidade de São Paulo(圣保罗大学);Política por Inteiro
尽管巴西的大部分能源来自可再生能源,但由于密集的农业和亚马逊雨林等生物群落的砍伐,巴西是世界上最大的温室气体排放国之一,保护亚马逊雨林对遵守《巴黎协定》至关重要。尽管如此,无论游说团体或主流政治取向如何,所有政府法律行动每天都在《巴西联邦官方公报》上公布。然而,由于当局每天发布数百项法令,手动分析所有这些过程并找出哪些过程可能造成严重的环境危害是绝对繁重的。在本文中,我们提出了一种策略,组成自动化技术和领域的专家知识来处理所有的数据从BFOG。我们还提供了政府行动跟踪器,这是一个高度策划的数据集,葡萄牙语,由领域专家注释,关于巴西环境政策的联邦政府行为。最后,我们在该数据集中建立并比较了四种不同的NLP模型。我们的最佳模型获得了F1评分$0.714 \pm 0.031$。今后,这一系统应有助于在最低限度的人力监督下扩大对所有官方文件的高质量跟踪,并有助于提高社会对政府行为的认识。
2022-02-11 cs.IR cs.LG
Findings of the TSAR-2022 Shared Task on Multilingual Lexical Simplification
Universitat Pompeu Fabra(庞培法布拉大学);Manchester Metropolitan University(曼彻斯特城市大学);George Mason University(乔治梅森大学)
我们报告了TSAR-2022关于多语言词汇简化的共享任务的结果,该任务是与EMNLP 2022一起举办的文本简化,可访问性和可读性TSAR-2022研讨会的一部分。这项任务要求自然语言处理研究社区提供方法,以推进英语,葡萄牙语和西班牙语多语言词汇简化的最新技术。共有14个团队提交了他们的词汇简化系统的结果,提供了测试数据。共享任务的结果表明,新的基准词汇简化英语词汇简化的定量结果明显高于西班牙语和(巴西)葡萄牙语。
2023-02-06 cs.CL cs.LG
PORTULAN ExtraGLUE Datasets and Models: Kick-starting a Benchmark for the Neural Processing of Portuguese
Laboratório de Inteligência Artificial e Ciência de Computadores (LIACC)(人工智能与计算机科学实验室(LIACC));Faculdade de Engenharia da Universidade do Porto(波尔图大学工程学院);University of Lisbon(里斯本大学);Faculdade de Ciências (FCUL)(理学院(FCUL))
本文推出 PORTULAN ExtraGLUE,通过机译英语基准数据并用低秩适配微调模型,为欧洲和巴西葡萄牙语提供下游任务数据集与基线模型。
2024-05-08 cs.CL
ALBA: A European Portuguese Benchmark for Evaluating Language and Linguistic Dimensions in Generative LLMs
NOVA University of Lisbon(新里斯本大学);NOVA LINCS(新里斯本大学计算机科学与系统研究实验室)
ALBA是首个针对欧洲葡萄牙语的语言学评估基准,通过八个维度评估生成模型在语言多样性、文化绑定语义等任务中的表现,揭示了模型在不同语言学维度上的性能差异。
2026-03-27 cs.AI cs.CL cs.LG
From Brazilian Portuguese to European Portuguese
Instituto Superior Técnico(高等技术学院);Universidade de Lisboa(里斯本大学);INESC-ID
针对巴葡与欧葡资源不均影响欧葡翻译质量的问题,研究者依托神经技术构建巴葡转欧葡翻译系统,整理含500句的双参考黄金测试集,用平行语料微调多类大模型并结合自动、人工评估与ChatGPT 3.5 Turbo对比验证效果。
2024-08-14 cs.CL
DEEPAGÉ: Answering Questions in Portuguese about the Brazilian Environment
Universidade de São Paulo(圣保罗大学)
气候变化和生物群落保护的挑战是我们这个时代最紧迫的问题之一,特别是在巴西,那里有重要的环境保护区。鉴于生态主题的大型文本数据库的可用性,很自然地诉诸于问答(QA)系统,以提高社会对这些主题的认识和理解。在这项工作中,我们引入了多个QA系统,以新颖的方式结合了BM 25算法,一种稀疏检索技术,PTT5,一种预先训练的最先进的语言模型。我们的问答系统专注于葡萄牙语,从而提供文献中找不到的资源。作为训练数据,我们收集了来自开放域数据集的问题,以及葡萄牙语维基百科的内容和新闻。因此,我们为创新架构和新应用做出了贡献,我们的最佳模型获得了36.2的F1分数。
2021-10-19 cs.CL cs.LG
Development of email classifier in Brazilian Portuguese using feature selection for automatic response
电子邮件自动分类是文本分类的一个重要应用。我们研究巴西葡萄牙语的电子邮件业务消息的自动回复。我们提出了一个新的语料库,包含从一个真正的应用程序的消息,基线分类实验使用朴素贝叶斯和支持向量机。然后,我们讨论了词形还原的效果和词性标记过滤对查准率和查全率的作用。支持向量机分类加上非词化的动词,名词和形容词的选择是最好的方法,87.3%的最大准确率。葡萄牙语中的直接词形化导致了该组中最低的分类结果,SVM和Naive Bayes的精度分别为85.3%和81.7%。因此,虽然词形化降低了精确度和召回率,但词性过滤改善了整体结果。
2019-07-08 cs.CL cs.IR cs.LG
TeenyTinyLlama: open-source tiny language models trained in Brazilian Portuguese
University of Bonn(波恩大学);Pontifical Catholic University of Rio Grande do Sul(南里奥格兰德天主教大学)
针对大语言模型在低资源语言上表现不佳、多语言模型存在计算与许可限制的问题,研究推出两款巴西葡萄牙语紧凑型生成模型TeenyTinyLlama,以Apache 2.0许可证开源供社区使用。
2024-05-17 cs.CL cs.LG
PTT5: Pretraining and validating the T5 model on Brazilian Portuguese data
UNICAMP(坎皮纳斯州立大学);NeuralMind Inteligência Artificial(NeuralMind人工智能公司);University of Waterloo(滑铁卢大学)
在自然语言处理(NLP)方面,需要更多的葡萄牙语资源,因为最先进的研究中使用的大部分数据是其他语言。在本文中,我们在BrWac语料库(一个广泛的葡萄牙语网页集合)上预训练了一个T5模型,并在三个不同的任务上评估了它与其他葡萄牙语预训练模型和多语言模型的性能。我们证明了我们的葡萄牙语预训练模型比原始T5模型具有更好的性能。此外,我们展示了使用葡萄牙语词汇的积极影响。我们的代码和模型可在https://github.com/unicamp-dl/PTT5上找到。
2020-10-08 cs.CL
Performance of Data Augmentation Methods for Brazilian Portuguese Text Classification
Alana AI(阿拉纳人工智能)
本研究评估了不同现有数据增强方法在巴西葡萄牙语文本分类任务中的性能,发现部分技术带来了一定改进,但也指出需进一步研究语言偏差与非英语数据稀缺问题。
2023-04-05 cs.CL
PublicHearingBR: A Brazilian Portuguese Dataset of Public Hearing Transcripts for Summarization of Long Documents
Câmara dos Deputados(国会);Universidade Estadual de Campinas (Unicamp)(campinas州立大学);Universidade Federal do Cariri (UFCA)(Cariri联邦大学)
本文提出巴西葡萄牙语长文档摘要数据集PublicHearingBR,包含听证会记录、新闻和结构化摘要,并提供混合摘要基线系统及对LLM摘要幻觉和评估指标的讨论。
2025-08-22 cs.CL
Image captioning for Brazilian Portuguese using GRIT model
Alana AI Research(阿拉纳人工智能研究院)
本研究基于GRIT模型开发巴西葡萄牙语图像描述生成方法,通过调整模型在葡萄牙语数据集上训练,实现更高效的图像描述生成。
2024-02-07 cs.AI cs.CL cs.CV
Evaluating GPT-3.5 and GPT-4 on Grammatical Error Correction for Brazilian Portuguese
该研究构建含四类错误的巴西葡萄牙语GEC数据集,评估GPT-3.5、GPT-4与办公软件的语法纠错效果,发现GPT-4召回率最高但大模型精确率低易过度纠正,验证了其在非英语GEC场景的潜力。
2023-07-18 cs.AI cs.CL
SemClinBr -- a multi institutional and multi specialty semantically annotated corpus for Portuguese clinical NLP tasks
Pontifical Catholic University of Paraná(巴拉那天主教大学);Philips Research North America(飞利浦北美研究院)
大量的研究集中在从电子健康记录(EHR)中提取病人的信息,导致了对注释语料库的需求增加,这是一个非常有价值的资源,为自然语言处理(NLP)算法的开发和评估。在英语范围之外,特别是在巴西葡萄牙语中,缺乏多用途的临床语料库是显而易见的,并严重影响了生物医学NLP领域的科学进步。在这项研究中,我们开发了一个语义注释语料库,使用来自多个医学专业,文档类型和机构的临床文本。我们提出以下内容:(1)一个调查,列出共同的方面和经验教训,从以前的研究,(2)细粒度的注释模式,可以复制和指导其他注释倡议,(3)基于Web的注释工具,侧重于注释建议功能,(4)内在和外在的评价注释。这项工作的结果是SemClinBr,这是一个拥有1,000个临床笔记的语料库,标记有65,117个实体和11,263个关系,可以支持各种临床NLP任务,并促进EHR对葡萄牙语的二次使用。
2020-01-27 cs.CL cs.IR
RDF2PT: Generating Brazilian Portuguese Texts from RDF Data
University of Leipzig(莱比锡大学);Tilburg University(蒂尔堡大学);University of Wolverhampton(伍尔弗汉普顿大学);Military Institute of Engineering - Brazil(巴西军事工程学院);Federal University of Rio de Janeiro - Brazil(巴西里约热内卢联邦大学);German Federal Institute for Risk Assessment - Germany(德国联邦风险评估研究所);Paderborn University(帕德博恩大学)
由于关联数据的持续增长,从资源描述框架(RDF)数据生成自然语言最近获得了极大的关注。这些方法中的一些生成英语以外的语言的自然语言,但是,没有提出从RDF生成巴西葡萄牙语文本的工作。我们通过介绍RDF2PT,一种将RDF数据语言化为巴西葡萄牙语的方法来解决这一研究空白。我们评估了RDF2PT在一个开放式问卷调查,44名母语人士分为专家和非专家。我们的研究结果表明,RDF2PT能够生成类似于人类生成的文本,因此可以很容易地理解。
2018-02-22 cs.CL
Acoustic models of Brazilian Portuguese Speech based on Neural Transformers
Universidade de São Paulo(圣保罗大学)
本研究基于Transformer构建巴西葡萄牙语语音声学模型,经800余小时语音预训练后,在呼吸功能不全检测等任务上微调,性能较无预训练模型显著提升,部分任务达最优水平。
2023-12-14 cs.CL cs.LG cs.SD
Performance in a dialectal profiling task of LLMs for varieties of Brazilian Portuguese
Universidade Federal de Sergipe - UFS(塞尔希培联邦大学)
本文通过提示工程研究GPT 3.5、GPT-4o、Gemini和Sabiá-2四种大语言模型在巴西葡萄牙语变体识别中的方言偏见,为构建公平流畅的NLP技术提供社会语言学依据。
2024-10-14 cs.CL cs.CY
MariNER: A Dataset for Historical Brazilian Portuguese Named Entity Recognition
USP
本文针对巴西葡萄牙语历史文本缺乏标准NER数据集的问题,构建了首个包含超9,000句人工标注的20世纪早期数据集MariNER,并评估了最先进NER模型在其上的性能。
2025-06-29 cs.CL
Sentiment Analysis on Brazilian Portuguese User Reviews
Federal University of Rio de Janeiro(里约热内卢联邦大学)
情感分析是自然语言处理中最经典和最主要的研究任务之一。随着更复杂和可扩展的机器学习模型的提出,这个问题有了显著的进步。尽管取得了这一进展,巴西葡萄牙语仍然只处理有限的语言资源,例如专用于情感分类的数据集,特别是当考虑到在训练、测试和验证集中存在预定义分区时,这些分区将允许更公平地比较不同的算法替代方案。出于这些问题,这项工作分析了一系列的文件嵌入策略的预测性能,假设极性作为系统的结果。该分析包括巴西葡萄牙语的五个情感分析数据集,统一在单个数据集中,以及训练,测试和验证集的参考分区,两者都通过数字存储库公开提供。在不同的情况下,特定于集群的模型进行交叉评估,以评估其泛化能力和采用一个独特的模型来解决所有的情况下的可行性。
2021-12-10 cs.CL
Studying Dishonest Intentions in Brazilian Portuguese Texts
Interinstitutional Center for Computational Linguistics (NILC)(跨机构计算语言学中心(NILC));University of São Paulo(圣保罗大学)
社会科学、心理学和语言学的先前研究表明,说谎者对他们故事的内容有一定的控制力,然而他们潜在的心理状态可能会通过他们讲述的方式“泄露”出来。据我们所知,以前没有系统的努力存在,以描述和模型欺骗语言巴西葡萄牙语。为了填补这一重要的空白,我们进行了初步的实证语言学研究的虚假陈述在巴西新闻。我们系统地分析了语言特征,使用欺骗性的新闻语料库,其中包括假新闻和真新闻。结果表明,它们在词汇、句法和语义方面存在很大差异,并且在标点符号和情感方面也存在差异。
2021-04-01 cs.AI cs.CL cs.IR
PeLLE: Encoder-based language models for Brazilian Portuguese based on open data
University of São Paulo(圣保罗大学);IBM Research(IBM研究院);PUC-Rio(里约热内卢天主教大学)
提出基于 RoBERTa、使用 Carolina 精选开放数据训练的巴西葡萄牙语编码器模型族 PeLLE,并通过多项下游任务对比揭示模型规模与精选数据的不同收益。
2024-02-29 cs.CL
DeBERTinha: A Multistep Approach to Adapt DebertaV3 XSmall for Brazilian Portuguese Natural Language Processing Task
University of Campinas(坎皮纳斯大学);Federal University of Pernambuco(伯南布哥联邦大学);University of São Paulo(圣保罗大学)
本文提出多步骤方法将DebertaV3 XSmall适配为巴西葡萄牙语模型DeBERTinha,通过葡语词汇构建和替换词元检测微调,在多项NLP任务中以40M参数超越BERTimbau-Large。
2023-10-31 cs.CL
Brazilian Portuguese Speech Recognition Using Wav2vec 2.0
Federal University of Technology - Paraná(巴拉那联邦理工大学);University of São Paulo(圣保罗大学);Federal University of Mato Grosso(马托格罗索联邦大学);Federal University of Goias(戈亚斯联邦大学)
深度学习技术已被证明在各种任务中是有效的,特别是在语音识别系统的开发中,即旨在将音频句子转录为书面单词序列的系统。尽管该领域取得了进展,但语音识别仍然被认为是困难的,特别是对于缺乏可用数据的语言,如巴西葡萄牙语(BP)。从这个意义上说,这项工作提出了一个公共的自动语音识别(ASR)系统的发展,只使用开放的可用的音频数据,从微调的Wav 2 vec 2.0 XLSR-53模型预先训练在许多语言,BP数据。最终的模型在7个不同的数据集上呈现了12.4%的平均单词出错率(当应用语言模型时为10.5%)。据我们所知,所获得的误差是最低的开放端到端(E2 E)ASR模型BP。
2021-12-22 cs.CL
A Lightweight Regression Method to Infer Psycholinguistic Properties for Brazilian Portuguese
University of São Paulo(圣保罗大学);Federal Technological University of Paraná (UTFPR)(巴拉那联邦理工大学);University of Sheffield(谢菲尔德大学)
词的心理语言学特性已经被用于各种自然语言处理任务的方法中,例如文本简化和可读性评估。大多数这些属性是主观的,涉及昂贵和耗时的调查收集。最近的方法使用有限的心理语言学属性的数据集,将它们自动扩展到大型词典。然而,这些方法所使用的一些资源并不适用于大多数语文。本研究提出了一种方法来推断巴西葡萄牙语(BP)的心理语言学属性,使用回归建一套轻的功能通常可用于资源较少的语言:字长,频率列表,词汇数据库组成的学校字典和词嵌入模型。推导出的性质之间的相关性与相关工作获得的结果接近。由此产生的资源包含26,874个BP单词,并附有具体性,获得年龄,意象和主观频率。
2017-05-19 cs.CL
Can I guess where you are from? Modeling dialectal morphosyntactic similarities in Brazilian Portuguese
Universidade Federal de Alagoas(阿拉戈斯联邦大学);Universidade Federal de Sergipe(塞尔希培联邦大学)
本文研究巴西葡萄牙语中形态句法的共变关系,探讨是否能通过语言变量的综合行为推断方言起源。通过四种语法现象和聚类方法建模,发现聚类方法能揭示反映区域方言模式的说话人分组。
2026-03-21 cs.CL cs.CY
CAPITU: A Benchmark for Evaluating Instruction-Following in Brazilian Portuguese with Literary Context
Maritaca AI;Jusbrasil
CAPITU基准通过八部巴西文学经典作品背景,结合可验证指令约束与文化内容,评估LLM在巴西葡萄牙语中的指令遵循能力,测试18种前沿模型,揭示多轮对话中约束持久性差异及形态学约束等挑战。
2026-03-23 cs.CL
NorBERTo: A ModernBERT Model Trained for Portuguese with 331 Billion Tokens Corpus
Itaú Unibanco;ICTi
NorBERTo基于ModernBERT架构,利用Aurora-PT语料库训练,具备长上下文支持和高效注意力机制,在葡萄牙语语义相似性、文本蕴含和分类任务中表现优异,达到最高F1和准确率。
2026-07-31 cs.AI cs.CL
fakenewsbr: A Fake News Detection Platform for Brazilian Portuguese
本文面向巴西葡萄牙语新闻,提出结合 TF-IDF 与 Word2Vec 的机器学习虚假新闻检测方法,并构建了提供实时分析的 fakenewsbr.com 平台。
2023-09-21 cs.CL cs.LG stat.ML
JurisTCU: A Brazilian Portuguese Information Retrieval Dataset with Query Relevance Judgments
Câmara dos Deputados(议会委员会);Tribunal de Contas da União (TCU)(联邦审计法院)
本文介绍了一个包含16045份巴西联邦会计法院判例文书和150个带有相关性标注查询的巴西葡萄牙语信息检索数据集,通过混合方法产生相关性判断,展示了文档扩展方法在提升BM25性能上的显著效果,以及OpenAI模型在短关键词查询中的优越表现。
2025-08-01 cs.CL cs.IR
SAMPA: Transformer-based segmentation of prosodic boundaries in Brazilian Portuguese
ICMC(Instituto Superior Técnico);University of Lisbon(里斯本大学)
研究巴西葡萄牙语韵律边界分割问题,基于Whisper提出SAMPA分割器,通过微调及评估不同配置,在多数据集测试中取得有竞争力的边界检测性能,模型能遵循多种线索检测韵律边界。
2026-10-27 cs.AI cs.CL
AI-PAVE-Br: Leveraging Large Language Models for Enhanced Product Attribute Value Extraction through a Golden Set Approach
LuizaLabs – Center of Excellence in Artificial Intelligence(LuizaLabs人工智能卓越中心);Department of Computing and Informatics – Mackenzie Presbyterian University(计算与信息学系-麦金西 Presbyterian大学);Institute of Mathematics and Computer Sciences - University of São Paulo(数学与计算机科学研究所-圣保罗大学)
针对巴西电商产品数据爆炸和复杂性,提出AI-PAVE-Br系统,利用大语言模型和精心标注的黄金集,显著提升葡萄牙语产品属性值提取的准确性。
2026-06-24 cs.AI cs.CL cs.LG
Extracting accent features in spoken Brazilian Portuguese without sociolinguistic labels
PEE/COPPE, UFRJ(PEE/COPPE,UFRJ);Faculdade de Engenharia Elétrica e Computação (FEEC), UNICAMP(电子工程与计算学院(FEEC),UNICAMP);DEL/Poli & PEE/COPPE, UFRJ(DEL/Poli与PEE/COPPE,UFRJ)
针对巴西葡萄牙语口音分类中标签缺乏的问题,提出一种仅使用声学标签的新工作流,通过隔离区域口音地标和基于音素的强制对齐器提取特征,在口音相关任务上优于通用架构。
2026-06-02 cs.CL eess.AS
ICDAR 2021 Competition on Components Segmentation Task of Document Photos
Polytechnic School of Pernambuco - University of Pernambuco(伯南布哥大学伯南布哥理工学院);PRHLT Research Center, Universitat Politécnica de Valéncia(瓦伦西亚理工大学PRHLT研究中心);University of Bari(巴里大学)
本文介绍了在第16届国际文档分析与识别会议(ICDAR 2021)背景下准备的文档照片组件分割任务的短期竞争。这项比赛旨在汇集研究人员在识别文件图像处理领域的工作,并为他们提供一个合适的基准,比较他们的技术对文件图像的组成部分分割任务。提出了三个挑战任务,需要在提供的数据集上执行不同的分割分配。收集的数据来自几种类型的巴西身份证件,其个人信息被方便地替换。有16名参与者的部分或全部三个任务的结果显示不同的比率所采用的指标,如骰子相似系数从0.06到0.99不等。参赛者采用不同的策略应用不同的深度学习模型,以在每个任务中取得最佳结果。所获得的结果表明,目前应用的方法来解决所提出的任务之一(文件边界检测)已经很好地建立。然而,对于其他两个挑战性的任务(文本区域和手写签名检测)的研究和开发更强大的方法仍然需要达到可接受的结果。
2021-07-09 cs.AI cs.CV cs.LG
Embedding generation for text classification of Brazilian Portuguese user reviews: from bag-of-words to transformers
文本分类是一项自然语言处理(NLP)任务,与许多商业应用相关,如电子商务和客户服务。当然,由于内在的语言方面,如讽刺和细微差别,准确地对这些摘录进行分类往往是一个挑战。为了完成这个任务,必须为文档提供一个健壮的数字表示,这个过程称为嵌入。嵌入代表了当今NLP的一个关键领域,在过去十年中取得了重大进展,特别是在引入单词到向量概念以及用于解决NLP任务的深度学习模型(包括卷积神经网络(CNN),递归神经网络(RNN)和基于转换器的语言模型(TLM))普及之后。尽管在这一领域取得了令人印象深刻的成就,有关巴西葡萄牙语文本生成嵌入的文献报道很少,特别是在考虑商业用户评论时。因此,这项工作的目的是提供一个全面的实验研究嵌入方法,针对巴西葡萄牙语的用户评论的二进制情感分类。本研究包括从经典的(词袋)到最先进的(基于Transformer的)NLP模型。这些方法与五个开放源代码数据库进行了评估,这些数据库具有开放数字存储库中提供的预定义数据分区,以鼓励再现性。微调的TLM在所有情况下都取得了最佳结果,其次是基于神经网络的TLM,LSTM和CNN,根据分析的数据库,它们具有交替的排名。
2022-12-01 cs.AI cs.CL
Carolina: a General Corpus of Contemporary Brazilian Portuguese with Provenance, Typology and Versioning Information
University of São Paulo(圣保罗大学);Federal Institute of Education, Science and Technology of Bahia(巴伊亚联邦教育、科学与技术学院);State University of Southwestern Bahia(巴伊亚西南州立大学)
本文介绍了第一个公开版本的卡罗莱纳州语料库,并讨论了其未来的发展方向。Carolina是一个大型的巴西葡萄牙语文本开放语料库,正在建设中,使用网络作为语料库的方法增强了出处,类型学,版本和文本完整性。该语料库的目的是被用作语言学研究的可靠来源,并作为计算机科学研究语言模型的重要资源,有助于将葡萄牙语从低资源语言中删除。在这里,我们提出了建设的语料库方法,比较它与其他现有的方法,以及语料库的现状:卡罗莱纳州的第一个公开版本有$653,322,577$令牌,分布在$7$广泛的类型。每个文本都在其标题中使用几个不同的元数据类别进行注释,这些类别是我们使用TEI注释标准开发的。我们还展示了正在进行的衍生作品,并邀请NLP研究人员贡献自己的作品。
2023-03-28 cs.AI cs.CL
The Constitution Speaks Nheengatu: An Open MT System and Reproducible Corpus Pipeline for the Amazonian Língua Geral
Universidad Internacional Menéndez Pelayo(国际梅嫩德斯·佩拉约大学);Universitat Pompeu Fabra(庞培法布拉大学);PUC-Rio(里约热内卢天主教大学);Northeastern University(东北大学);Tribunal Regional Federal da 1 Região(第一区域联邦地区法院)
本文针对亚马逊通用语恩赫加图语,构建了最大平行语料库、首个语音MT评估集及双向开放权重MT模型,发现语料扩展可提升语音翻译性能,NLLB模型对葡译恩赫加图语无增益,最终系统在三类测试集上达到对应chrF++指标。
2026-10-14 cs.CL
Beyond English benchmarks: clinical llm evaluation in Brazilian Portuguese
Federal University of Rio de Janeiro(里约热内卢联邦大学);Toronto Metropolitan University(多伦多都会大学)
提出首个双语临床基准ClinicalBr,基于巴西病例报告构建,评估四个模型发现葡萄牙语-英语性能差距具有任务依赖性,诊断检索英语优势明显,其他任务差距消失。
2026-06-05 cs.AI cs.CL
Manacá-1B: An Open, Reproducible Brazilian-Portuguese Language Model and a Tokenizer-Aware, Paired Evaluation
Laboratório Nacional de Computação Científica (LNCC)(国家科学计算实验室(LNCC))
本研究针对巴西葡萄牙语开源语言模型复现难、缺乏不确定性度量对比的问题,发布17.2亿参数的Manacá-1B模型及可复现流程,揭示分词器转换的评估陷阱并提供修复方案,所有资源可复现论文结果。
2026-09-01 cs.CL
NILC-Metrix: assessing the complexity of written and spoken language in Brazilian Portuguese
Instituto de Ciências Matemáticas e de Computação - University of São Paulo(圣保罗大学数学与计算机科学研究所);The University of Sheffield(谢菲尔德大学);Itaú Unibanco(伊塔乌联合银行)
本文提出并公开提供NILC-Meetings,一个计算系统,包括200个指标提出的话语,心理语言学,认知和计算语言学的研究,以评估文本的复杂性在巴西葡萄牙语(BP)。这些度量与描述性分析和计算模型的创建相关,并且可以用于从书面和口头语言的各种语言水平中提取信息。NILC-Meetings中的指标是在过去13年中开发的,从2008年开始使用Coh-Meetings-Port,这是在PorSimples项目范围内开发的工具。Coh-Meetings-Port从Coh-Meetings工具中调整了一些度量标准,用于计算英语文本的衔接和连贯性。在2010年PorSimples结束后,Coh-Meetings-Port最初的48个指标中增加了新的指标。鉴于大量的指标,我们提出了他们以下的组织类似的指标Coh-Meetings v3.0,以方便与葡萄牙语和英语的指标进行比较。在这篇论文中,我们通过三个应用来说明NILC-Meetings的潜力:(i)描述性分析儿童电影字幕和为小学I和II编写的文本之间的差异(ii)PorSimples项目的原始和简化文本语料库的文本复杂性的新预测器;(iii)利用青少年讲述的儿童故事的文字记录,为学校成绩建立一个复杂性预测模型。对于每个应用程序,我们评估哪组指标更具区分力,显示它们对每个任务的贡献。
2021-12-17 cs.CL
MedPT: A Massive Medical Question Answering Dataset for Brazilian-Portuguese Speakers
本文提出MedPT数据集,包含384,095个真实患者-医生问答对,覆盖3200多种健康问题,通过多阶段筛选流程和LLM标注,实现了高语义丰富度,用于医疗专业分类任务,达到94%的F1分数。
2026-03-16 cs.CL
A Neural Approach to Language Variety Translation
University of Wolverhampton(伍尔弗汉普顿大学);Saarland University(萨尔大学)
在本文中,我们提出了第一个基于神经的机器翻译系统训练,以翻译标准的国家之间的品种相同的语言。我们以一对巴西-欧洲葡萄牙语为例,并比较该方法的性能,基于短语的统计机器翻译系统。我们报告的性能提高了0.9 BLEU点从欧洲翻译到巴西葡萄牙语和0.2 BLEU点时,在相反的方向翻译。我们还进行了一个人的评价实验与母语为巴西葡萄牙语,这表明,人类更喜欢的输出相比,基于神经系统的统计系统。
2018-07-02 cs.CL
Sabiá-4 Technical Report
Maritaca AI;Jusbrasil
Sabiá-4和Sabiazinho-4是新一代巴西葡萄牙语模型,通过四阶段训练流程提升法律文档、多轮对话和智能体任务能力,实现成本与性能的平衡。
2026-03-10 cs.CL