首页/论文/1801.07779

arXiv 1801.077792018-01-23cs.CVcs.CL

用于书面语言识别的WiLI基准数据集

The WiLI benchmark dataset for written language identification

Martin Thoma

备注：: {"pages": 12, "figures": 4, "language": "English", "author-ORCiD": ["https://orcid.org/0000-0002-6517-1690"]}

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

本文描述了用于单语书面自然语言识别的WiLI-2018基准数据集。WiLI-2018是一个公开、免费的维基百科短文本摘录数据集。它包含235种语言的1000段，共计23500段。WiLI是一个分类数据集：给定一个以一种主要语言编写的未知段落，必须确定它是哪种语言。

英文摘要：

This paper describes the WiLI-2018 benchmark dataset for monolingual written natural language identification. WiLI-2018 is a publicly available, free of charge dataset of short text extracts from Wikipedia. It contains 1000 paragraphs of 235 languages, totaling in 23500 paragraphs. WiLI is a classification dataset: Given an unknown paragraph written in one dominant language, it has to be decided which language it is.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

文本文档中的阿尔巴尼亚语识别

Albanian Language Identification in Text Documents

University of Tirana（地拉那大学）

在这项工作中，我们调查的准确性标准和国家的最先进的语言识别方法在确定阿尔巴尼亚语的书面文本文件。为此目的，建立了一个由阿尔巴尼亚语新闻文章组成的数据集。我们注意到，当使用遗漏阿尔巴尼亚字母表字母““和”“的测试文档时，准确率会大幅下降，并创建了一个自定义训练语料库，通过实现超过99%的准确率来解决这个问题。根据我们的实验，阿尔巴尼亚语最有效的语言识别方法使用朴素贝叶斯分类器和基于n-gram的分类特征。

2019-01-14cs.CLcs.IR

改进的南非语言文本语言识别

Improved Text Language Identification for the South African Languages

Feersum Engine；Praekelt Consulting

虚拟助手和文本聊天机器人最近越来越受欢迎。鉴于基于文本的聊天交互的短消息性质，这些机器人的语言识别系统可能只有15或20个字符来进行预测。然而，准确的文本语言识别是重要的，特别是在许多多语言自然语言处理管道的早期阶段。本文研究了朴素贝叶斯分类器的使用，以准确地预测一段文本所属的语言家族，结合基于词典的分类器来区分文本所写的特定南非语言。这种方法导致语言检测错误减少31%。本着可重复研究的精神，训练和测试数据集以及代码都发布在github上。希望这将是有用的，为南非语言创建一个文本语言识别共享任务。

2017-11-01cs.CL

野外阿拉伯语方言识别

Arabic Dialect Identification in the Wild

Qatar Computing Research Institute（卡塔尔计算研究所）；Hamad Bin Khalifa University (HBKU)（哈马德·本·哈利法大学（HBKU））

我们介绍了QADI，这是一个自动收集的推文数据集，属于广泛的国家级阿拉伯语方言-覆盖中东和北非地区的18个不同国家。我们构建此数据集的方法依赖于应用多个过滤器，以根据帐户描述识别属于不同国家的用户，并消除用现代标准阿拉伯语编写或包含不适当语言的推文。由此产生的数据集包含来自2，525名用户的54万条推文，这些用户均匀分布在18个阿拉伯国家。使用内在评价，我们表明，一组随机选择的推文的标签是91.5%的准确率。对于外部评估，我们能够在推文上建立有效的国家级方言识别，18个类别的宏观平均F1分数为60.6%。

2020-05-15cs.CL

攻击性语言与心理健康关系探析

An Exploratory Analysis of the Relation Between Offensive Language and Mental Health

University of Bucharest（布加勒斯特大学）；Rochester Institute of Technology（罗切斯特理工学院）

在本文中，我们分析了攻击性语言的使用和心理健康之间的相互作用。我们获得了为攻击性语言识别和抑郁症检测而创建的公开数据集，并对训练计算模型，以比较有和没有自我报告抑郁症诊断的个人群体在社交媒体帖子中使用攻击性语言的情况。我们还研究了根据最近的相关研究显示出抑郁迹象的个人群体所写的样本。我们的分析表明，攻击性语言更频繁地使用的样本写的个人与自我报告的抑郁症以及个人表现出抑郁症的迹象。这里讨论的结果在礼貌/进攻性和心理健康的研究开辟了新的途径。

2021-06-24cs.CL

孟加拉语语料库中用于文体检测的细粒度属性推断

Inference of Fine-grained Attributes of Bengali Corpus for Stylometry Detection

Jadavpur University（贾达普大学）

文体学，推断作者的特点，作者写的文件的特点的科学，是一个有着悠久历史的问题，属于文本分类的核心任务，涉及作者身份识别，剽窃检测，法医调查，计算机安全，版权和财产纠纷等。在这项工作中，我们提出了一个策略，以孟加拉语写的文件的文体检测。我们采用了一组细粒度的属性特征与一组词汇标记的文本分析，并使用三个半监督的措施作出决定。最后，采用多数表决法进行最终分类。该系统是全自动的，与语言无关。我们尝试孟加拉作者的风格检测的评估结果显示，与基线模型相比，相当有前途的准确性。

2012-10-13cs.CLcs.CV

TxPI-u：大学生人格认同的资源

TxPI-u: A Resource for Personality Identification of Undergraduates

Universidad Autónoma Metropolitana (UAM)（大都会自治大学（UAM））

在自然语言处理（NLP）领域中，诸如标记语料库之类的资源对于训练自动模型是必要的。从历史上看，关于大量问题的大量资源大多以英语提供。其中一个问题被称为人格识别，其中基于心理模型（例如大五模型），目标是找到受试者的人格特征，例如，由同一受试者撰写的文本。在本文中，我们介绍了一个新的语料库在西班牙语称为文本的个性识别（TxPI）。这个语料库将有助于开发模型，自动分配一个文本文档的作者的个性特征。我们的语料库，TxPI-U，包含416墨西哥本科生的一些人口统计信息，如，年龄，性别和他们就读的学术课程的信息。最后，作为一个额外的贡献，我们提出了一组基线，为进一步的研究提供一个比较方案。

2018-06-20cs.CL

更多相关论文收起更多论文

将方言和语言变体纳入作者分析

Including Dialects and Language Varieties in Author Profiling

University of Bucharest（布加勒斯特大学）；University of Cologne（科隆大学）；Harvard Medical School（哈佛医学院）

本文提出了一种计算方法，作者分析考虑到性别和语言的多样性。我们应用集成系统与字符和单词$n$ -gram训练的多个线性SVM分类器的输出。我们使用2017年PAN实验室组织者提供的关于作者分析的数据集来评估该系统。我们的方法实现了75%的平均准确性性别识别的推文写在四种语言和97%的准确性语言品种识别葡萄牙语。

2017-07-03cs.CL

在自动方言文本规范化中利用方言识别

Exploiting Dialect Identification in Automatic Dialectal Text Normalization

Computational Approaches to Modeling Language Lab（语言建模计算方法实验室）；New York University Abu Dhabi（纽约大学迪拜分校）；Carnegie Mellon University in Qatar（卡内基梅隆大学多哈分校）

本文研究阿拉伯方言文本规范化（CODAfication）任务，通过在预训练序列到序列模型中利用方言识别信息，提升了五种城市方言的规范化性能，并公开了代码、数据和模型。

2024-07-03cs.CL

阿拉伯语历史研究：语言技术与大规模历史语料库

Studying the History of the Arabic Language: Language Technology and a Large-Scale Historical Corpus

MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；University of Rhode Island（罗德岛大学）；Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）；Bar-Ilan University（巴伊兰大学）；Dicta: The Israel Center for Text Analysis（以色列文本分析中心（Dicta））；University of Vienna（维也纳大学）

阿拉伯语是一种广泛使用的语言，具有悠久而丰富的历史，但现有的语料库和语言技术主要集中在现代阿拉伯语及其变体上。因此，迄今为止，对语言历史的研究大多局限于小规模的手工分析。在这项工作中，我们提出了一个大规模的历史语料库的书面阿拉伯语，跨越1400年。我们描述了我们使用阿拉伯语NLP工具清理和处理该语料库的努力，包括识别重用的文本。我们使用一种新的自动分期算法以及其他技术研究阿拉伯语的历史。我们的研究结果证实了书面阿拉伯语分为现代标准阿拉伯语和古典阿拉伯语的既定划分，并证实了其他既定的分期，同时表明书面阿拉伯语可能分为更进一步的发展时期。

2018-09-11cs.CL

TEI2GO：一种用于快速时间表达式识别的多语言方法

TEI2GO: A Multilingual Approach for Fast Temporal Expression Identification

University of Porto（波尔图大学）；INESC TEC；University of Beira Interior（贝拉 interior 大学）

本文提出 TEI2GO 模型，通过结合人工标注语料库和弱标注语料库 Professor HeidelTime，在保持 HeidelTime 效果的同时显著提升运行时性能，支持六种语言并在四种语言上达到 SOTA，并提供了迄今最大开源时间表达式识别数据集。

2024-03-25cs.CL

基于卷积神经网络和笔划识别的儿童手写体阿拉伯字符识别

Handwritten Arabic Character Recognition for Children Writ-ing Using Convolutional Neural Network and Stroke Identification

阿拉伯语手写体的自动识别是机器学习领域的一个新的研究课题。与拉丁语不同，阿拉伯语是一种闪米特语言，形成了一个更难的挑战，特别是由于作家年龄等因素造成的模式变化。大多数研究都集中在成年人身上，只有一项最近的研究是关于儿童的。此外，最近的许多机器学习方法都集中在使用卷积神经网络，这是一类强大的神经网络，可以从图像中提取复杂的特征。在本文中，我们提出了一种卷积神经网络（CNN）模型，该模型在Hijja数据集上识别儿童笔迹的准确率为91%，Hijja数据集是通过收集儿童书写的阿拉伯字符图像而建立的最新数据集，在阿拉伯手写字符数据集上的准确率为97%。结果显示，Hijja数据集作者提出的模型有了很好的改进，但它揭示了解决儿童阿拉伯手写字符识别的更大挑战。此外，我们提出了一种新的方法，使用多个模型，而不是单一的模型的基础上，在一个字符的笔画数，并合并Hijja与AHCD，达到平均预测准确率为96%。

2022-11-03cs.AIcs.CV

使用廉价的信号处理技术进行书写者识别

Writer Identification Using Inexpensive Signal Processing Techniques

Concordia University（康考迪亚大学）

我们建议使用新的和经典的音频和文本信号处理和其他技术的“廉价”的快速作家识别任务的扫描手写文件的“视觉”。“廉价”是指识别过程的效率，在CPU周期方面，同时保持适当的准确性，为初步识别。这是一个在Java中实现的模式识别管道中的多个算法组合的比较研究，它围绕着一个开源的模块化音频识别框架（MARF），可以做更多的音频之外的事情。我们提出了我们的初步实验结果，在这样的识别任务。我们模拟“视觉”识别的“看”在手写的文件作为一个整体，而不是试图提取细粒度的功能，它之前的分类。

2009-12-30cs.CV

如何吸引你的读者？生成引导性问题以促进主动阅读

How to Engage Your Readers? Generating Guiding Questions to Promote Active Reading

ETH Zürich（苏黎世联邦理工学院）；ETH AI Center（ETH人工智能中心）

该研究提出了GuidingQ数据集，包含1万个文内问题，通过分析其特征并探索语言模型生成方法，发现生成的高质量问题能有效提升读者的记忆与理解，效果接近人工编写。

2024-07-29cs.AIcs.CL

DeepWriter：一种用于文本无关作者识别的多流深度CNN

DeepWriter: A Multi-Stream Deep CNN for Text-independent Writer Identification

Shenzhen Institutes of Advanced Technology, CAS（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）；The Chinese University of Hong Kong（香港中文大学）

文本无关的作者识别是具有挑战性的，因为巨大的变化的书面内容和模糊的写作风格的不同作家。本文提出了DeepWriter，这是一种深度多流CNN，可以学习用于识别作者的深度强大表示。DeepWriter将本地手写补丁作为输入，并使用softmax分类损失进行训练。主要贡献如下：1）针对作者识别任务设计并优化了多流结构; 2）引入数据增强学习来提高DeepWriter的性能; 3）引入补丁扫描策略来处理不同长度的文本图像。此外，我们发现，不同的语言，如英语和中文可能有共同的特征，作家识别，和联合训练可以产生更好的性能。在IAM和HWDB数据集上的实验结果表明，该模型具有较高的识别准确率：对301名作者和657名作者输入一句英文的识别准确率分别为99.01%和97.03%;对300名作者输入一个汉字的识别准确率为93.85%，明显优于已有的方法。此外，我们的模型获得了98.01%的准确性，对301名作家，只有4个英文字母作为输入。

2016-08-03cs.CV

所有摘要的总和：用于分级命题显著性评估的PROPALIGN方法

The Sum of All Summaries: PROPALIGN for Graded Proposition Salience Evaluation

Georgetown University（乔治城大学）

本文提出基于多摘要的PROPALIGN方法用于命题显著性评估，发布含13.8万对齐结果的PROPALIGNBANK数据集，发现分级摘要指标更稳定，模型集成方法接近人工标注质量。

2026-10-15cs.CL

Nuremberg Letterbooks：用于文档分析的15世纪早期手稿多转录数据集

Nuremberg Letterbooks: A Multi-Transcriptional Dataset of Early 15th Century Manuscripts for Document Analysis

Friedrich-Alexander-Universität Erlangen-Nürnberg（弗里德里希-亚历山大-埃尔朗根-纽伦堡大学）

本文提出Nuremberg Letterbooks数据集，包含15世纪早期1711页带标签页面，提供三种转录类型及元数据，支持手写文本识别与书写者识别，并建立基线以促进人文学科研究。

2024-11-11cs.CV

WildlifeDatasets：面向动物重识别的开源工具包

WildlifeDatasets: An open-source toolkit for animal re-identification

Czech Technical University in Prague（捷克布拉格技术大学）；University of West Bohemia（西波西米亚大学）；INRIA（法国国家信息与自动化研究所）；Queen Mary University of London（伦敦玛丽女王大学）

本研究推出面向动物重识别的Python开源工具包WildlifeDatasets，提供数据集访问、预处理等功能，完成多方法全面对比，并提出多物种重识别基础模型MegaDescriptor，性能优于CLIP等模型，已开源多版本。

2023-12-14cs.CV

DocLangID：改进少样本训练以识别历史文献的语言

DocLangID: Improving Few-Shot Training to Identify the Language of Historical Documents

Hasso Plattner Institute（哈索·普拉特纳研究所）

本文提出 DocLangID，通过迁移学习与基于距离的少样本学习方法，仅用少量人工标注示例即可有效识别未标注历史文献的语言，并在四种未见语言上达到 74% 的识别准确率。

2023-05-03cs.CV