Almost AI, Almost Human: The Challenge of Detecting AI-Polished Writing
First Author Affiliation（第一作者单位）；Second Author Affiliation（第二作者单位）
本文系统评估了12种先进AI文本检测器在14.7K样本的APT-Eval数据集上的表现，发现其难以区分AI润色程度并存在模型偏见，揭示了现有检测方法的不足。
2025-05-05 cs.AI cs.CL cs.HC
NeoN: A Tool for Automated Detection, Linguistic and LLM-Driven Analysis of Neologisms in Polish
Institute of Computer Science, Polish Academy of Sciences（波兰科学院计算机科学研究所）
NeoN结合参考语料库、语言过滤器、LLM精度提升和每日RSS监控的多层流水线，自动检测波兰语新词，生成定义并分类，在保持高准确率的同时大幅减少人工工作量。
2025-05-21 cs.CL
Integrating gender inclusivity into large language models via instruction tuning
Institute of Computer Science Polish Academy of Sciences（计算机科学研究所波兰科学院）
本研究通过IPIS数据集指令微调多语言和波兰语专用LLMs，将性别包容性融入模型，以系统性缓解波兰语生成中的性别偏见。
2025-08-25 cs.CL
Long-Context Encoder Models for Polish Language Understanding
National Information Processing Institute（国家信息处理研究所）；PKO Bank Polski（波兰PKO银行）
本文提出了一种能够处理长文档的波兰语言模型，通过两阶段训练和知识蒸馏压缩模型，在25个任务中展现优异的长上下文处理能力。
2026-03-12 cs.CL
Behind Closed Words: Creating and Investigating the forePLay Annotated Dataset for Polish Erotic Discourse
NASK National Research Institute（国家研究 institute）
本文构建了包含逾2.4万条标注句子的波兰语情色内容检测数据集 forePLay，采用多维分类体系，并验证了专用波兰语模型及 Transformer 架构在该任务上的优越性，为形态复杂语言的内容审核提供了基础框架。
2025-06-02 cs.CL
Cross-Family Speculative Decoding for Polish Language Models on Apple~Silicon: An Empirical Evaluation of Bielik~11B with UAG-Extended MLX-LM
Wrocław University of Science and Technology（沃拉夫大学科学与技术学院）
本文评估了在苹果Silicon上使用扩展MLX-LM框架实现跨 tokenizer 推测解码的有效性，探讨了波兰语言模型的性能差异及统一内存架构下的实证结果。
2026-04-21 cs.CL
Context based lemmatizer for Polish language
UST-AGH（AGH科技大学）
词形还原是将词的屈折形式组合在一起的过程，这样它们就可以作为一个单独的项目进行分析，通过词的词元或字典形式进行识别。在计算语言学中，词元化（英语：lemmatisation）是一种基于词的预期含义确定词元的算法过程。与词干提取不同，词形词法取决于正确识别句子中单词的预期词性和含义，以及围绕该句子的更大上下文。因此，开发有效的lemmatization算法是一项复杂的任务。近年来，可以观察到用于此任务的深度学习模型优于其他方法，包括机器学习算法。本文提出了一种基于GoogleT5模型的波兰引理器。训练是在不同的上下文长度下进行的。该模型实现了波兰语lemmatization过程中的最佳结果。
2022-07-23 cs.AI cs.CL
Polish ModernBERT: The Long and Short of Polish Language Understanding
National Information Processing Institute（国家信息处理研究所）
该研究推出了Polish ModernBERT系列波兰语编码器，在30项任务中整体性能最优，长上下文任务表现优异且效率更高，在特定波兰语检索基准中也取得最佳结果。
2026-09-02 cs.CL
Language models in word sense disambiguation for Polish
Polish Academy of Sciences（波兰科学院）
在本文中，我们测试了两种不同的方法来{无监督}波兰语词义消歧任务。在这两种方法中，我们使用神经语言模型来预测与被消歧的词相似的词，并且在这些词的基础上，我们以不同的方式预测词义的划分。在第一种方法中，我们聚类选择相似的单词，而在第二种方法中，我们聚类向量代表他们的子集。该评估是在用plWordNet词义注释的文本上进行的，并提供了相对较好的结果（所有歧义词的F1=0.68）。结果显着优于\cite{waw:myk:17:Sense}中提出的基于神经模型的无监督方法，并在那里提出的监督方法的水平。该方法可以解决缺乏语义标注数据的语言的词义消歧问题。
2021-11-27 cs.AI cs.CL
Polish-English medical knowledge transfer: A new benchmark and results
Adam Mickiewicz University（亚当·密茨凯维奇大学）；Poznan University of Medical Sciences（波兹南医科大学）
本研究构建了含超2.4万道题的波兰医学考试基准数据集（含波英平行语料），评估多类前沿LLMs的医学任务表现，发现GPT-4o接近人类水平但跨语言及专科理解仍存挑战，为LLM临床部署提供参考。
2025-09-12 cs.AI cs.CL
Evaluation of Sentence Representations in Polish
National Information Processing Institute（国家信息处理研究所）
近年来，学习句子表征的方法得到了积极的发展。然而，缺乏预先训练的模型和在句子级别注释的数据集一直是波兰语等低资源语言的一个问题，这导致人们对将这些方法应用于特定语言任务的兴趣降低。在这项研究中，我们引入了两个新的波兰数据集，用于评估句子嵌入，并提供了一个全面的评估，包括波兰语和多语言模型的八个句子表示方法。我们考虑经典的词嵌入模型，最近开发的上下文嵌入和多语言句子编码器，显示特定方法的优点和缺点。我们还研究了将词向量聚合成单个句子向量的不同方法。
2020-01-23 cs.CL
Passage Retrieval of Polish Texts Using OKAPI BM25 and an Ensemble of Cross Encoders
Adam Mickiewicz University（亚当·密茨凯维奇大学）
针对波兰语多领域段落检索任务，提出OKAPI BM25初检加多语言交叉编码器集成重排的方案，获Poleval 2023任务3优胜，且发现微调重排器仅在训练域有效、其他域性能下降。
2024-10-06 cs.AI cs.CL
Detection of Criminal Texts for the Polish State Border Guard
Adam Mickiewicz University（亚当·密茨凯维奇大学）
本文介绍了波兰刑事文本出现在互联网上的检测研究。我们进行了实验，以找到最好的设置，有效的分类不平衡和噪声数据。当我们的模型在预训练的基于波兰语的Transformer语言模型上进行微调时，可以实现最佳性能。对于检测任务，收集了大量带注释的互联网片段作为训练数据。我们共享这个数据集，并使用Gonito平台作为基准创建一个新的犯罪文本检测任务。
2021-08-24 cs.CL
BEIR-PL: Zero Shot Information Retrieval Benchmark for the Polish Language
Wrocław University of Science and Technology（弗罗茨瓦夫理工大学）
针对现有零样本信息检索基准多局限于英语的问题，研究构建了含13个数据集的波兰语BEIR-PL基准，发布了波兰语预训练IR模型，评估了多类模型性能并分析了波兰语特性对检索的影响。
2024-05-16 cs.AI cs.CL cs.IR
PL-MTEB: Polish Massive Text Embedding Benchmark
National Information Processing Institute（国家信息处理研究所）
本文提出PL-MTEB，一个涵盖波兰语言文本嵌入的综合基准，包含30个不同NLP任务，新增12个波兰任务和两个新数据集，评估30种公开文本嵌入模型并公开结果。
2026-04-24 cs.CL
Pre-training Polish Transformer-based Language Models at Scale
National Information Processing Institute（国家信息处理研究所）
基于transformer的语言模型在自然语言处理中得到了广泛的应用。这种说法对于英语尤其如此，近年来已经发布了许多使用基于transformer架构的预训练模型。这推动了各种标准NLP任务的发展，例如分类，回归和序列标记，以及文本到文本任务，例如机器翻译，问答或摘要。然而，对于波兰语等低资源语言来说，情况有所不同。虽然有一些基于transformer的波兰语语言模型，但在语料库大小和参数数量方面，它们都没有接近最大的英语语言模型的规模。在这项研究中，我们提出了两种语言模型波兰流行的BERT架构的基础上。更大的模型是在一个由超过10亿个波兰语句子或135GB原始文本组成的数据集上训练的。我们描述了我们收集数据，准备语料库和预训练模型的方法。然后，我们评估我们的模型在13个波兰语的语言任务，并证明在其中11个比以前的方法的改进。
2020-06-09 cs.CL
The Polish Vocabulary Size Test: A Novel Adaptive Test for Receptive Vocabulary Assessment
University of Warsaw（华沙大学）
本文提出基于项目反应理论与计算机化自适应测试的 PVST，用于评估波兰语母语及非母语者的接受性词汇量，并通过1,475人试点研究验证其区分度与年龄相关性。
2025-07-26 cs.CL
PIRB: A Comprehensive Benchmark of Polish Dense and Hybrid Text Retrieval Methods
National Information Processing Institute（国家信息处理研究所）
本研究提出涵盖41项任务的波兰语信息检索基准PIRB，包含10个新数据集，评估20余种检索模型，还提出三步训练法，训练的波兰语稠密模型及混合方法均取得更优性能。
2024-03-10 cs.CL
Polish - English Speech Statistical Machine Translation Systems for the IWSLT 2014
Polish Japanese Academy of Information Technology（波兰-日本信息技术学院）
本研究探讨了波兰语和英语统计机器翻译系统之间的各种训练设置的口语效果。用于IWITO 2014评估活动的TED平行文本语料库的各种元素被用作语言模型培训的基础，以及翻译系统的开发，调整和测试以及我们准备的基于维基百科的可比语料库。BLEU、NIST、METEOR和TER指标被用来评估数据准备对翻译结果的影响。我们的实验包括系统，它使用引理和形态信息的波兰语单词。我们还对提供的波兰数据进行了深入分析，作为自动数据校正和清理阶段的准备工作。
2015-09-29 cs.CL
Evaluation of Transfer Learning for Polish with a Text-to-Text Model
我们引入了一个新的基准来评估波兰语文本到文本模型的质量。该基准测试由不同的任务和数据集组成：KLEJ基准测试适用于文本到文本，en-pl翻译，摘要和问答。特别是，由于摘要和问答缺乏波兰语的基准数据集，我们描述了他们的建设，使他们公开。此外，我们提出了plT 5-波兰语的通用文本到文本模型，可以在各种自然语言处理（NLP）任务中进行微调，具有单一的训练目标。无监督去噪预训练通过使用多语言T5（mT5）对应物初始化模型权重来有效地执行。我们评估了plT 5、mT5、波兰BART（plBART）和波兰GPT-2（papuGaPT 2）的性能。plT 5在所有这些任务中得分最高，除了总结，其中plBART最好。一般来说（汇总除外），模型越大，结果越好。编码器-解码器架构被证明优于仅解码器的等效架构。
2022-05-18 cs.CL cs.LG
Fine-tuning Tree-LSTM for phrase-level sentiment classification on a Polish dependency treebank. Submission to PolEval task 2
Institute of Philosophy and Sociology, Polish Academy of Sciences（波兰科学院哲学与社会学研究所）；University of Warsaw（华沙大学）
我们描述了Child-Sum Tree-LSTM深度神经网络（Tai et al，2015）的一个变体，它被微调为使用依赖树和形态丰富的语言，使用波兰语的例子。微调包括应用自定义正则化技术（zoneout，由Krueger等人，2016），并进一步适用于Tree-LSTM）以及使用用子词信息增强的预训练的词嵌入（Bojanowski等人，2016年）。该系统在PyTorch中实现，并作为PolEval竞赛的一部分在短语级情感标签任务上进行评估。
2017-11-03 cs.CL
Punctuation Prediction for Polish Texts using Transformers
Adam Mickiewicz University（亚当·密茨凯维奇大学）；Faculty of Mathematics and Computer Science（数学与计算机科学学院）
针对语音识别输出文本缺标点的问题，本文提出基于HerBERT模型微调的波兰语标点预测方案，在Poleval 2022任务1中取得71.44的加权F1值。
2024-10-06 cs.CL
Is ChatGPT Involved in Texts? Measure the Polish Ratio to Detect ChatGPT-Generated Text
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳市大数据研究院）；University of Science and Technology of China（中国科学技术大学）
针对现有检测器无法识别人机协作文本的问题，提出HPPT数据集与Polish Ratio方法，通过量化ChatGPT对文本的修改程度来检测ChatGPT润色文本，在多个数据集上展现出更强的鲁棒性。
2023-12-30 cs.CL
Polish - English Speech Statistical Machine Translation Systems for the IWSLT 2013
Polish Japanese Institute of Information Technology（波兰日本信息技术研究所）
本研究探讨了从波兰语到英语的口语统计机器翻译系统的各种训练设置的效果。2013年国际工作组评价活动的TED平行文本语料库的各种要素被用作语言模型培训以及翻译系统开发、调整和测试的基础。BLEU、NIST、METEOR和TER指标被用来评估数据准备对翻译结果的影响。我们的实验包括系统，它使用波兰语单词的词干和形态信息。我们还对提供的波兰数据进行了深入分析，作为自动数据校正和清理阶段的准备工作。
2015-09-30 cs.CL stat.ML
Unsupervised Keyword Extraction from Polish Legal Texts
Interdisciplinary Centre for Mathematical and Computational Modelling, University of Warsaw（华沙大学跨学科数学与计算建模中心）；Faculty of Electronics and Information Technology, Warsaw University of Technology（华沙理工大学电子与信息技术学院）
在这项工作中，我们提出了一个应用程序，最近提出的无监督的关键字提取算法RAKE波兰法律文本的语料库，从公共采购领域。RAKE本质上是一种独立于语言和领域的方法。它唯一的语言特定输入是包含一组非内容词的非索引字列表。该方法的性能在很大程度上取决于这样一个非索引字表的选择，这应该是域采用。因此，我们补充RAKE算法的自动方法来选择非内容词，这是基于术语分布的统计特性。
2014-11-03 cs.CL
Evaluation of basic modules for isolated spelling error correction in Polish texts
University of Warsaw（华沙大学）
拼写错误纠正是自然语言处理中的一个重要问题，是下游任务良好性能的先决条件，也是面向用户的应用程序中的一个重要特性。对于波兰语的文本，存在关于特定纠错解决方案的作品，通常是为了处理专业语料库而开发的，但没有对许多不同的错误资源进行评估。我们开始解决这个问题，通过测试一些基本的和有前途的方法，从波兰语维基百科提取的注释拼写语料库。这些模块可以进一步与用于错误检测和上下文感知的适当解决方案组合。根据我们的结果，可以建议将编辑距离与语义向量的余弦距离结合起来用于可解释的系统，而LSTM，特别是通过ELMo嵌入增强的LSTM，似乎提供了最佳的原始性能。
2019-05-26 cs.CL
Evaluation of Few-Shot Learning for Classification Tasks in the Polish Language
ML Research at Allegro（Allegro公司机器学习研究部门）
本文引入了包含7个波兰语原生分类任务的少样本基准，通过对比微调、线性探测、SetFit和上下文学习等方法，发现ICL表现最佳，但与全量数据微调仍存在14个百分点差距。
2024-04-27 cs.CL
Polish to English Statistical Machine Translation
Polish Japanese Institute of Technology（波兰日本信息技术学院）
本研究探讨了各种训练设置对波兰语到英语口语统计机器翻译系统的影响。TED、Europarl和OPUS平行文本语料库的各种元素被用作语言模型培训的基础，用于开发、调整和测试翻译系统。采用BLEU、NIST、METEOR和TER指标评估数据准备对翻译结果的影响。
2015-09-30 cs.CL stat.ML
Two Approaches to Diachronic Normalization of Polish Texts
Adam Mickiewicz University（亚当·密茨凯维奇大学）
本文提出并比较了波兰文本历时规范化的规则驱动与基于T5的神经两种方法，实验表明规则方法在4个数据集变体中的3个上表现更优，但两者各有优劣。
2024-02-02 cs.CL
Spoken Language Translation for Polish
Polish-Japanese Institute of Information Technology（波兰-日本信息技术学院）
在日益全球化的世界中，口语翻译（英语：Spoken language translation）无论从社会还是经济的角度来看都变得越来越重要。它是自动语音识别（ASR）和机器翻译（MT）的主要挑战之一，推动了这些领域的激烈研究活动。由于技术限制，过去的研究主要是在受控条件下记录的语音，而今天的主要挑战是翻译口语，因为它可以在现实生活中找到。考虑的应用场景范围从便携式翻译器为游客，讲座和演示文稿翻译，广播新闻和节目与现场字幕。我们希望介绍PJIIT在欧盟桥梁第七框架项目和U-Star联盟波兰语/英语对活动中获得的经验。目前的研究集中在波兰语的ASR适应（最先进的声学模型：DBN-BLSTM训练，Kaldi：LDA+MLLT+SAT+MMI），ASR和MT的语言建模（文本规范化，基于RNN的LM，n-gram模型域插值）和统计翻译技术（分层模型，因子翻译模型，自动装箱和标点符号，可比和双语语料库准备）。虽然定义明确的领域（旅行者短语，议会演讲，医疗文档，电影字幕）的结果非常令人鼓舞，但定义较少的领域（演讲，讲座）仍然是一个挑战。我们将介绍我们在IWWWTED任务（仅MT）中的进展，以及波兰ASR的当前进展。
2015-11-24 cs.CL
Sentiment analysis model for Twitter data in Polish language
Politechnika Warszawska（华沙理工大学）；Wydział Elektroniki i Technik Informacyjnych（电子与信息技术学院）；Instytut Informatyki（计算机科学研究所）
对2015年5月10日波兰总统选举期间收集的推文进行文本挖掘分析。该项目包括实现从Twitter检索信息的引擎，构建文档语料库，语料库清理，以及创建术语文档矩阵。来自文本语料库的每条推文都根据其情感得分被分配了一个类别。分数是使用每个文档中积极和/或消极的表情符号和波兰语单词的数量计算的。结果数据集用于训练和测试四个机器学习分类器，以选择提供最准确的自动推文分类结果的分类器。朴素贝叶斯算法和最大熵算法的准确率最高，分别为71.76%和77.32%。所有的实现任务都是使用R程序设计语言完成的。
2019-11-03 cs.CL cs.IR cs.LG
Universal Language Model Fine-Tuning with Subword Tokenization for Polish
n-waves；University of San Francisco（旧金山大学）
用于微调的通用语言模型[arXiv：1801.06146]（ULMFiT）是用于高效归纳迁移学习的第一个NLP方法之一。无监督的预训练导致许多英语NLP任务的改进。在本文中，我们描述了一种新的方法，使用子词标记化，以适应ULMFiT的语言具有高的变形。我们的方法为波兰语带来了一种新的最先进的语言，在PolEval'18的任务3中排名第一。经过进一步的训练，我们的最终模型比第二好的模型高出35%。我们已经开源了我们的预训练模型和代码。
2018-10-24 cs.CL cs.LG stat.ML
Polish -English Statistical Machine Translation of Medical Texts
Polish Japanese Institute of Information Technology（波兰日本信息技术学院）
这项新的研究探讨了各种训练方法对医学文本的波兰语到英语统计机器翻译系统的影响。OPUS项目的EMEA平行文本语料库的各种元素被用作短语表和语言模型的训练以及翻译系统的开发、调整和测试的基础。BLEU、NIST、METEOR、RIBES和TER指标已被用于评估各种系统和数据准备对翻译结果的影响。我们的实验包括使用POS标记，因子短语模型，层次模型，句法标记和许多不同的对齐方法的系统。我们还对波兰数据进行了深入分析，作为自动数据校正的准备工作，例如真正的大小写和标点符号规范化阶段。
2015-09-29 cs.CL cs.IR stat.ML
This is the way: designing and compiling LEPISZCZE, a comprehensive NLP benchmark for Polish
Wroclaw University of Science and Technology（弗罗茨瓦夫理工大学）；Poznan University of Technology（波兹南理工大学）
计算和数据的可用性训练越来越大的语言模型增加了对LM训练的真实进度进行基准测试的鲁棒方法的需求。近年来，英语标准化基准取得了重大进展。诸如GLUE、SuperGLUE或KILT之类的基准测试已经成为比较大语言模型的事实标准工具。随着对其他语言复制GLUE的趋势，KLEJ基准已经为波兰语发布。在本文中，我们评估了低资源语言的基准测试的进展。我们注意到，只有少数几种语言有这样全面的基准。我们还注意到，资源丰富的英语/中文和世界其他地区的基准评估任务数量存在差距。在本文中，我们介绍了LEPISZCZE（波兰语中的glew，中世纪英语中胶水的前身），这是一个新的，全面的波兰NLP基准，具有各种各样的任务和高质量的基准操作。我们在设计LEPISZCZE时考虑到了灵活性。包含新模型、数据集和任务尽可能简单，同时仍然提供数据版本控制和模型跟踪。在基准测试的第一次运行中，我们基于波兰语的五个最新LM测试了13个实验（任务和数据集对）。我们使用来自波兰基准的五个数据集，并添加了八个新的数据集。作为本文的主要贡献，除了LEPISZCZE之外，我们还提供了在创建波兰语基准时学到的见解和经验，作为为其他低资源语言设计类似基准的蓝图。
2022-11-23 cs.CL cs.IR cs.LG
PRODIS -- a speech database and a phoneme-based language model for the study of predictability effects in Polish
KTH Royal Institute of Technology（皇家理工学院）；Adam Mickiewicz University（亚当·密茨凯维奇大学）
该研究构建了波兰语语音数据库PRODIS及音素级语言模型，用于分析韵律、话语因素与可预测性效应交互对声学参数的影响，并提供了高质量、可扩展的公开语料库。
2024-04-15 cs.CL cs.SD eess.AS
Parameter-Efficient Retrievers for Polish and European Languages
National Information Processing Institute（国家信息处理研究所）
针对稠密检索中大型模型的高成本问题，提出三阶段训练流程（跨语言对齐、知识蒸馏、对比微调）开发紧凑检索器PolDense和EuroDense，在41个波兰语和150个多语言任务上展现优异性能，PolDense-1B超越9B参数模型，EuroDense在低参数模型中领先。
2026-09-17 cs.CL
The Limits of BPE Tokenization in Polish: Segmentation-Flexional Forms, Grammatical Anchoring, and First-Person Stability in Inflectional Language Models
University of Lower Silesia DSW（下西里西亚DSW大学）
本文以波兰语为案例，揭示BPE分词在屈折语言中无法稳定锚定语法范畴，提出语法形式锚定概念，并建议通过次词汇稳定化、屈折系统锚定及维持语法“我”来改进建模。
2026-09-17 cs.CL
Stylistic Fingerprints, POS-tags and Inflected Languages: A Case Study in Polish
Institute of Polish Language（波兰语研究所）；Polish Academy of Sciences（波兰科学院）
在文体调查中，最频繁的词（MFW）和字符n-gram的频率优于其他风格标记，即使它们的表现在不同语言中有很大差异。在屈折语言中，单词结尾起着重要作用，因此使用通用文本标记化无法识别不同的单词形式。无数的词形变化使得频率变得稀疏，使得大多数统计程序变得复杂。据推测，应用其中一种NLP技术，如词形化和/或解析，可能会提高分类的性能。本文的目的是研究的有用性的语法功能（通过POS标签n-grams评估）和词形化形式在识别作者的个人资料，以解决潜在的问题，在词汇和语法的选择自由度。使用语料库的波兰小说，我们进行了一系列的监督作者归属基准，以比较不同类型的词汇和句法风格标记的分类精度。即使POS标记和词形化形式的表现比词汇标记差得多，这种差异也不是实质性的，从来没有超过ca。百分之十五
2022-06-05 cs.CL
Graded Entity-Familiarity Readouts in Language Models: Polish Adaptation, Cross-Language Robustness, and Refusal Steering
Prosit AS（Prosit公司）
研究语言模型能否在生成答案前估计对实体的熟悉度，通过新数据集及实验发现熟悉度探测分数可区分实体，在波兰语适配家族中追踪实体受欢迎程度，跨语言鲁棒，在特定模型中可调节拒绝率，校准后的熟悉度探测有竞争力。
2026-07-16 cs.CL cs.LG
HerBERT: Efficiently Pretrained Transformer-based Language Model for Polish
Institute of Computer Science, Polish Academy of Sciences（波兰科学院计算机科学研究所）；AGH University of Science and Technology（AGH科技大学）
基于BERT的模型目前被用于解决几乎所有的自然语言处理（NLP）任务，并且大多数情况下都能获得最先进的结果。因此，NLP社区对理解这些模型进行了广泛的研究，但最重要的是设计有效和高效的培训程序。已经进行了几项消融研究，调查如何训练BERT类模型，但其中绝大多数只涉及英语。为英语设计的培训程序不一定是通用的，也不一定适用于其他类型上特别不同的语言。因此，本文提出了第一个消融研究集中在波兰语，这与孤立的英语语言，是一个融合的语言。我们设计并全面评估了将知识从多语言模型转移到单语言BERT模型的预训练过程。除了多语言模型初始化之外，还探讨了可能影响预训练的其他因素，即训练目标、语料库大小、BPE-Dropout和预训练长度。基于所提出的过程，波兰BERT为基础的语言模型- HerBERT -训练。该模型在多个下游任务上实现了最先进的结果。
2021-05-04 cs.CL cs.LG
nEMO: Dataset of Emotional Speech in Polish
Adam Mickiewicz University（亚当·密茨凯维奇大学）；Faculty of Mathematics and Computer Science（数学与计算机科学学院）
针对斯拉夫语言情感语音数据稀缺的问题，本文构建并开源了由九名演员录制、含六种情感、超过三小时的波兰语情感语音数据集 nEMO。
2024-04-09 cs.CL cs.SD eess.AS
Exploiting Unsupervised Pre-training and Automated Feature Engineering for Low-resource Hate Speech Detection in Polish
Sigmoidal（Sigmoidal公司）
本文介绍了我们对PolEval 2019任务6的贡献：仇恨言论和欺凌检测。我们描述了我们遵循的三种并行方法：根据我们的分类任务微调预训练的ULMFiT模型，根据我们的分类任务微调预训练的BERT模型，以及使用TPOT库来找到最佳管道。我们提出了这三种工具所取得的成果，并审查其优点和缺点方面的用户体验。我们的团队在子任务2中排名第二，TPOT发现了一个浅层模型：一个具有非平凡特征工程的逻辑回归分类器。
2019-06-17 cs.CL cs.LG stat.ML
Polish Natural Language Inference and Factivity -- an Expert-based Dataset and Benchmarks
University of Warsaw（华沙大学）；Warsaw University of Technology（华沙理工大学）
针对波兰语自然语言推理中的事实性现象，构建了包含2,432个动词-补语对的数据集，并评估了BERT模型与基于语言特征的方法，发现BERT模型接近专家特征性能，但复杂案例仍待研究。
2022-01-10 cs.CL cs.LG
Jako Tako or Fluent? Presenting PoVisLE: A Polish Vision-Language Evaluation
NASK National Research Institute（NASK国家研究院）
针对现有英语中心视觉-语言模型在文化理解上的不足，推出波兰语单文化视觉-语言基准 PoVisLE，含1117张图像与2366对标注VQA样本，可评估深层文化多模态理解。
2026-08-11 cs.CL cs.CV
