Accelerating Bangla NLP Tasks with Automatic Mixed Precision: Resource-Efficient Training Preserving Model Efficacy
Department of Computer Science；Engineering Khulna University of Engineering \& Technology Khulna, Bangladesh Email
本文通过自动混合精度技术提升孟加拉语NLP任务的训练效率，减少内存消耗并保持模型性能。
2025-11-30 cs.AI cs.CL
QA Dataset Explosion: A Taxonomy of NLP Resources for Question Answering and Reading Comprehension
University of Copenhagen（哥本哈根大学）；RIKEN（理化学研究所）；Microsoft Semantic Machines（微软语义机器公司）
近年来，除了对NLP中深度学习模型的大量研究外，还对跟踪建模进度所需的基准数据集进行了大量研究。在这方面，问答和阅读理解特别多产，在过去两年中出现了80多个新的数据集。这项研究是迄今为止该领域最大的调查。我们提供了目前的资源的各种格式和领域的概述，突出了目前的空白，为未来的工作。我们进一步讨论了当前的分类“技能”，问答/阅读理解系统应该获得，并提出了一个新的分类。补充材料调查目前的多语种资源和单语资源的语言以外的英语，我们讨论了过度关注英语的影响。这项研究既针对寻找现有数据财富指针的从业者，也针对研究新资源的研究人员。
2022-09-19 cs.AI cs.CL
Towards Accurate and Reliable Energy Measurement of NLP Models
Stony Brook University（石溪大学）；Department of Computer Science（计算机科学系）；Stony Brook, NY 11794, USA（石溪，纽约州，11794，美国（注意：此地址部分不应作为机构，根据要求修正））
在选择和训练大规模NLP模型时，准确可靠的能耗测量对于做出明智的设计选择至关重要。在这项工作中，我们表明，现有的基于软件的能源测量是不准确的，因为它们不考虑硬件的差异，以及资源利用率如何影响能源消耗。我们用四种不同的模型对一个问答任务进行了能量测量实验。我们量化现有的基于软件的能量测量的误差，通过使用硬件功率计，提供高度准确的能量测量。我们的关键是需要一个更准确的能源估计模型，考虑到硬件的可变性和资源利用率和能源消耗之间的非线性关系。我们在https://github.com/csarron/sustainlp2020-energy上发布代码和数据。
2020-10-11 cs.CL
Asking the Right Questions in Low Resource Template Extraction
Johns Hopkins University（约翰斯·霍普金斯大学）
信息抽取（Information Extraction，IE）的研究者正在将任务映射到问答（Question Questioning，QA）中，以充分利用现有的大量QA资源，从而提高数据效率。特别是在模板提取（TE）中，将本体映射到一组问题可能比收集标记的示例更省时。我们问TE系统的最终用户是否可以设计这些问题，以及在这个过程中让NLP从业者参与是否有益。我们比较问题的措辞自然语言提示TE的其他方式。我们提出了一个新的模型来执行TE提示，并发现它的好处，从其他风格的提示问题，他们不需要一个NLP背景的作者。
2022-05-25 cs.CL
A Dataset of Kurdish (Sorani) Named Entities -- An Amendment to Kurdish-BLARK Named Entities
命名实体识别是自然语言处理的重要应用之一。它也是一种在许多其他NLP应用中发挥重要作用的工具，例如机器翻译（MT），信息检索（IR）和词性标注（POST）。从NLP的角度来看，库尔德语是一种资源不足的语言。特别是，在所有类别中，缺乏净入学率资源阻碍了库尔德人处理的其他方面。在这项工作中，我们提出了一个数据集，涵盖了几个类别的东北部在库尔德语（索拉尼）。该数据集是对以前在库尔德语BLARK（基本语言资源工具包）中开发的数据集的重大修改。它涵盖了11个类别，共33261个条目。该数据集在CC BY-NC-SA 4.0许可下可在https://kurdishblark.github.io/上公开用于非商业用途。
2023-01-12 cs.CL
HausaNLP: Current Status, Challenges and Future Directions for Hausa Natural Language Processing
Imperial College London（伦敦帝国理工学院）；Northeastern University（东北大学）；Data Science for Social Impact, University of Pretoria（比勒陀利亚大学数据科学为社会影响）；Kaduna State University（卡杜纳州大学）；HausaNLP；Bayero University, Kano（卡诺巴耶罗大学）；Universiti Teknologi PETRONAS（PETRONAS科技大学）；University of the Witwatersrand（沃斯堡大学）；Federal University of Lafia（拉法联邦大学）
本文系统梳理豪萨语NLP的现状与挑战，提出HausaNLP目录以聚合资源，并针对大语言模型集成、数据集扩展和社区协作提出未来研究方向。
2025-07-22 cs.CL
NLP Service APIs and Models for Efficient Registration of New Clients
Indian Institute of Technology, Bombay（印度理工学院孟买分校）
最先进的NLP推理使用了大量的神经架构和模型，经过GPU数月的训练，远远超出了大多数NLP消费者的能力。这导致了主要AI公司基于公共API的NLP服务模型的一刀切，为大量客户提供服务。无论是（硬件不足的）客户机还是（大量订阅的）服务器都无法承受传统的微调。许多客户端拥有很少或没有标记的数据。我们发起了一项研究的适应集中式NLP服务的客户端，并提出了一个实用的和轻量级的方法。每个客户端都使用一个无监督的、基于语料库的草图来注册服务。服务器使用辅助网络将草图映射到抽象矢量表示，然后通知主标记网络。当一个新的客户端注册其草图，它立即获得准确性的好处。我们使用情感标签、NER和预测语言建模来证明所提出的架构的成功
2020-10-04 cs.CL cs.LG
Implementing a Portable Clinical NLP System with a Common Data Model - a Lisp Perspective
Northwestern University（西北大学）；MIT（麻省理工学院）
本文提出了一种Lisp架构的便携式NLP系统，称为LAPNLP，用于处理临床笔记。LAPNLP集成了多种标准、定制和内部开发的NLP工具。我们的系统通过整合丰富的通用数据模型（CDM）来标准化必要的数据元素，从而促进了不同机构和数据系统之间的可移植性。它利用UMLS进行领域自适应时，集成通用领域自然语言处理工具。它还具有通过原始文档的位置参照指定的支座注释。我们建立了一个基于区间树的搜索引擎，通过指定位置要求来有效地查询和检索支座注释。我们还开发了一个实用程序，将内联注释格式转换为stand-off注释，以便重用具有内联注释的临床文本数据集。我们用我们的系统进行了几个NLP促进任务的实验，包括淋巴瘤患者的计算表型分析和临床笔记的语义关系抽取。这些实验展示了LAPNLP更广泛的适用性和实用性。
2018-11-15 cs.AI cs.CL
Natural Language Processing for Tigrinya: Current State and Future Directions
Korea Advanced Institute of Science and Technology (KAIST)（韩国高等科学技术院（KAIST））
本文调查了提格里尼亚语NLP的现状与未来方向，分析了50项研究，揭示了从规则系统到神经架构的发展轨迹，并提出了形态感知建模、跨语言迁移等研究方向。
2025-12-30 cs.AI cs.CL
Fine-Tuning BERT for Domain-Specific Question Answering: Toward Educational NLP Resources at University Scale
Dept. of Electronic & Computer Engineering, University of Limerick（电子与计算机工程系，利默里克大学）
本研究通过微调BERT模型，针对大学课程材料开发了首个领域特定问答系统，展示了基础模型在教育领域的应用潜力。
2025-12-04 cs.AI cs.CL
Lithium NLP: A System for Rich Information Extraction from Noisy User Generated Text on Social Media
Lithium Technologies（Lithium科技公司）
在本文中，我们描述了锂自然语言处理（NLP）系统-一个资源受限，高吞吐量和语言无关的系统，用于从社交媒体上的嘈杂用户生成的文本中提取信息抽取。Lithium NLP从文本中提取丰富的信息，包括实体，主题，主题标签和情感。我们讨论了几个现实世界中的应用系统目前纳入锂产品。我们还比较了我们的系统与现有的商业和学术NLP系统的性能，信息提取和语言支持。我们表明，Lithium NLP与最先进的商业NLP系统不相上下，在某些情况下，其性能优于最先进的商业NLP系统。
2017-07-13 cs.AI cs.CL cs.IR
Neural Unsupervised Domain Adaptation in NLP---A Survey
University of Trento（特伦托大学）；ITU Copenhagen（哥本哈根信息技术大学）
深度神经网络擅长从标记数据中学习，并在各种自然语言处理任务中实现最先进的结果。相比之下，从未标记数据中学习，特别是在域转移下，仍然是一个挑战。受最新进展的启发，在这次调查中，我们回顾了神经无监督领域自适应技术，不需要标记的目标域数据。这是一个更具挑战性但适用范围更广的设置。我们概述了从早期传统的非神经方法到预训练模型转移的方法。我们还重新审视了域的概念，我们发现了最受关注的自然语言处理任务类型的偏见。最后，我们概述了未来的发展方向，特别是对未来NLP的分布外泛化的更广泛需求。
2020-10-28 cs.CL
Universal Domain Adaptation for Robust Handling of Distributional Shifts in NLP
Seoul National University（首尔国立大学）；NAVER Cloud（NAVER云）；NAVER AI Lab（NAVER人工智能实验室）；KAIST（韩国科学技术院）；IntelliSys（智能系统研究院）；Hanyang University（汉阳大学）
本文提出一个针对自然语言的通用域适应（UniDA）全面基准，涵盖多难度数据集，验证并发现计算机视觉中的UniDA方法可有效迁移至自然语言领域，且适应难度显著影响模型性能。
2023-10-23 cs.CL
Hyperdecoders: Instance-specific decoders for multi-task NLP
Allen Institute for AI（艾伦人工智能研究所）
我们研究了NLP中多任务的输入条件超网络，使用编码器输出条件的超网络为解码器生成参数有效的自适应。这种方法为每个输入实例产生一个唯一的解码器自适应，使网络比以前的工作更大程度的灵活性，每个任务只产生一个解码器自适应。我们将我们的方法应用于序列分类任务，提取QA和总结，并发现它超越了以前的参数高效微调方法，并经常优于完全微调的基础模型。对我们的超网络所使用的嵌入的分析表明，它们对输出标签和类型敏感，这表明我们的方法可以更好地从编码器表示映射到输出标签。我们的代码可在https://github.com/allenai/hyperdecoders上公开获取。
2022-10-18 cs.CL
NLP Research and Resources at DaSciM, Ecole Polytechnique
Ecole Polytechnique（巴黎综合理工学院）；Institut Polytechnique de Paris（巴黎理工学院）；Athens University of Economics and Business（雅典经济与商业大学）；Linagora
DaSciM（数据科学和挖掘）是Ecole Polytechnique LIX的一部分，成立于2013年，从那时起，通过机器和深度学习的方法在大规模数据分析领域取得了研究成果。该小组在NLP和文本挖掘领域特别活跃，在方法和资源层面取得了令人感兴趣的成果。以下是我们对AFIA社区感兴趣的不同贡献。
2021-12-01 cs.CL
The Interplay between Lexical Resources and Natural Language Processing
Cardiff University（卡迪夫大学）；University of Cambridge（剑桥大学）
将语言、世界和常识知识转化为人工智能/自然语言处理系统目前是一个重要的研究领域，但仍存在一些问题和挑战。同时，在词汇资源中处理和存储这些知识并不是一项简单的任务。本教程建议从两个方法论角度来解决这些互补的目标：使用NLP方法来帮助构建和丰富词汇资源的过程，以及使用词汇资源来改进NLP应用程序。两种主要类型的受众可以从本教程中受益：那些致力于语言资源的人，他们有兴趣熟悉自动NLP技术，最终目标是加速和/或简化资源管理过程;另一方面，NLP研究人员希望从词汇资源的知识中受益，以改进他们的系统和模型。本教程的幻灯片可在https://bitbucket.org/luisespinosa/lr-nlp/上获得
2018-07-02 cs.CL
BhashaSutra: A Task-Centric Unified Survey of Indian NLP Datasets, Corpora, and Resources
Department of Computer Science and Engineering, Indian Institute of Technology Patna, India（印度理工学院帕纳加邦计算机科学与工程系）；Indian Institute of Technology Patna, India（印度理工学院帕纳加邦）
本文首次系统梳理印度NLP资源，涵盖200+数据集、50+基准测试和100+模型工具，分析注释、评估及模型设计趋势，识别数据稀疏、语言覆盖不均等挑战，为公平、文化导向的NLP研究提供基础。
2026-04-20 cs.CL
Extending the adverbial coverage of a NLP oriented resource for French
LIGM, Université Paris-Est（巴黎东部大学LIGM研究所）
本文介绍了对面向自然语言处理的法语句法资源LGLex的状语词条进行扩展的工作。副词是从词汇语法表中提取的，包括以“-ly”结尾的简单副词（Molinier和Levrier，2000）和复合副词（Gross，1986; 1990）。这项工作依赖于利用现有资源中提供的细粒度语言信息。各种功能都编码在两个LG表，他们还没有被利用。它们分别描述了简单副词与复合副词之间以及不同类型的复合副词之间的删除、置换、强化和释义关系。生成的语法资源是手动评估的，并在LGPL-LR许可下免费提供。
2011-11-15 cs.CL
On the Limitations of Sociodemographic Adaptation with Transformers
University of Mannheim（曼海姆大学）；Bocconi University（博科尼大学）；University of Würzburg（维尔茨堡大学）
社会人口因素（例如，性别或年龄）塑造我们的语言。以前的工作表明，在传统的NLP模型中，结合特定的社会人口因素可以持续提高各种NLP任务的性能。我们调查这些先前的发现是否仍然适用于最先进的预先训练的Transformers。我们使用三种常见的专业化方法，这些方法被证明可以有效地将外部知识整合到预先训练的Transformers中（例如，地理知识或地理知识）。我们调整语言表示的社会人口性别和年龄方面，使用连续的语言建模和动态多任务学习适应，在那里我们耦合语言建模与预测的社会人口类。我们在使用多语言模型时的结果显示，四种语言（英语，德语，法语和丹麦语）的性能都有很大的提高。这些研究结果与以前的工作成果一致，并有望成功实现社会人口专业化。然而，控制混杂因素，如域和语言表明，虽然社会人口适应改善下游的性能，收益并不总是仅仅源于社会人口知识。我们的研究结果表明，社会人口专业化，而非常重要的，仍然是一个悬而未决的问题，在NLP。
2022-08-01 cs.CL
North Africa's Missing Framework: NLP-Driven Mental Healthcare in Algeria and Implications for Low-resource Settings
University Mohamed El Bachir El Ibrahimi of Bordj Bou Arreridj（布吉布阿雷里吉·穆罕默德·巴希尔·易卜拉欣大学）；Laboratory of Informatics and its Applications of M’sila（姆西拉信息学及其应用实验室）；Laboratory of Materials and Electronic Systems（材料与电子系统实验室）
该研究提出首个针对阿尔及利亚精神医疗的NLP概念框架，明确当地精神医疗四项障碍并映射NLP应用，给出研究政策路线图，为低资源多语言地区开发AI精神医疗系统提供基础。
2026-08-11 cs.CL
KnowDA: All-in-One Knowledge Mixture Model for Data Augmentation in Low-Resource NLP
Macquarie University（麦考瑞大学）；Peking University（北京大学）；Microsoft Corporation（微软公司）
本文主要研究训练集有限的低资源NLP任务的数据增强。现有的解决方案或者利用与任务无关的启发式规则（例如，同义词替换）或微调通用预训练语言模型（例如，GPT 2）使用有限的训练实例来产生新的合成数据。因此，它们具有琐碎的特定于任务的知识，并且限于产生低质量的合成数据。为了解决这个问题，我们提出了知识混合数据增强模型（KnowDA），这是一个Seq 2Seq语言模型，在知识混合训练（KoMT）的新框架下，对不同的NLP任务进行了预训练。KoMT的目标是将不同的NLP任务特定知识浓缩到单个KnowDA模型中（即，使KnowDA能够利用这些知识，通过有限的训练实例，快速掌握目标任务的内在合成规律。具体而言，KoMT将来自各种异构NLP任务的输入示例重新格式化为统一的文本到文本格式，并采用不同粒度的去噪训练目标来学习重建部分或完整样本。据我们所知，我们是第一次尝试将100+ NLP多任务训练应用于数据增强。广泛的实验表明i）由KnowDA产生的合成数据成功地提高了强预训练语言模型的性能（即，BERT，ALBert和Deberta）在低资源的NLP基准FewGLUE，CoNLL'03和WikiAnn上获得了很大的优势; ii）KnowDA成功地将任务知识转移到NLP任务，其类型在KoMT中可见和不可见。
2023-01-27 cs.CL
Expanding Pretrained Models to Thousands More Languages via Lexicon-based Adaptation
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
多语言预训练模型的性能高度依赖于目标语言中存在的单语或平行文本的可用性。因此，世界上大多数语言无法从NLP的最新进展中受益，因为它们没有或只有有限的文本数据。为了扩大在这些代表性不足的语言中使用NLP技术的可能性，我们系统地研究了通过使用双语词典（一种具有更好语言覆盖率的替代资源）来放松对传统语言资源的依赖的策略。我们分析了不同的策略来合成文本或标记的数据使用词典，以及如何将这些数据可以与单语或平行文本时可用。对于3个任务中的19种代表性不足的语言，我们的方法分别在有和没有额外的单语文本的情况下导致了高达5和15分的持续改进。总的来说，我们的研究强调了NLP方法如何适应当前技术服务不足的数千种语言
2022-04-06 cs.CL
NLPeer: A Unified Resource for the Computational Study of Peer Review
Ubiquitous Knowledge Processing Lab (UKP Lab)（普适知识处理实验室（UKP实验室））；Department of Computer Science（计算机科学系）；Hessian Center for AI (hessian.AI)（黑森人工智能中心（hessian.AI））；Technical University of Darmstadt（达姆施塔特工业大学）
本文提出NLPeer，首个包含超5k论文和11k评审报告的多领域同行评审语料库，通过统一数据表示和三项评审辅助任务，为NLP同行评审系统研究奠定基础。
2023-05-19 cs.CL
Bootstrapping NLP tools across low-resourced African languages: an overview and prospects
University of Cape Town（开普敦大学）
计算和互联网接入是南部非洲大幅度增长的市场，随之而来的是对非洲土著语言的本地内容和工具的需求日益增加。由于这些语言中的大多数都是低资源的，因此人们努力研究从一种非洲语言到另一种非洲语言的自助工具的概念。本文提供了一个概述，这些努力的刚果B（“班图”）语言。地理上遥远的语言的自举语法已经被证明对于形态和规则或基于语法的自然语言生成仍然具有积极的结果。使用数据驱动的方法进行NLP任务的自举很难有意义地使用，无论地理位置是否接近，这在很大程度上是由于拼写和词汇的词汇多样性。比较语言学中的分支分类方法可以为自举策略提供信息，相似性度量也可以作为自举潜力的代理，这两种方法都是进一步研究的沃土。
2022-10-21 cs.CL
Exploring NLP Benchmarks in an Extremely Low-Resource Setting
National Kaohsiung University of Science and Technology（高雄科技大学）；University of Innsbruck（因斯布鲁克大学）
本文针对濒危罗曼语Ladin的Val Badia变体，利用少量平行语料生成合成数据集，提升低资源环境下的情感分析和多项选择问答性能，提供首个公开可用的Ladin数据集。
2025-09-04 cs.CL
Beyond Good Intentions: When Does the Framing of Multilingual and Low-Resource NLP Research Become a Caricature?
Cardiff University（卡迪夫大学）；University of Alberta（阿尔伯塔大学）
本文考察近期NLP与ML论文，提出研究框架分析框架，发现低资源NLP研究常优先资源创建而非社区受益证据，最后给出评估断言的实用建议。
2026-09-01 cs.CL
Multilingual BERT language model for medical tasks: Evaluation on domain-specific adaptation and cross-linguality
Erasmus University Medical Center Rotterdam（鹿特丹伊拉斯姆斯大学医学中心）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
本研究探讨在领域特定语料库上进一步预训练多语言BERT对医疗NLP任务的影响，发现领域适应和跨语言迁移能显著提升低资源语言（荷兰语、罗马尼亚语、西班牙语）的临床任务性能。
2025-10-31 cs.CL
QU-NLP at QIAS 2026: Multi-Stage QLoRA Fine-Tuning for Arabic Islamic Inheritance Reasoning
Qatar University（卡塔尔大学）
本文提出通过多阶段QLoRA微调策略提升阿拉伯伊斯兰继承推理能力，利用领域适应和任务特定训练，在低资源下实现高精度推理。
2026-03-29 cs.CL
Two-Stage Bengali Sentiment Classification: Domain Adaptation Through Continual Learning and Parameter-Efficient Fine-Tuning
针对低资源语言情感分析难题，提出结合领域自适应持续预训练与LoRA参数高效微调的SentiBanglaBERT框架，集成SHAP可解释性，实现高效且可解释的孟加拉语情感分类，性能可媲美强基准。
2026-08-04 cs.CL
Dealing with the Hard Facts of Low-Resource African NLP
RobotsMali AI4D Lab（RobotsMali AI4D实验室）
本文针对低资源非洲语言的语音数据集创建与评估挑战，通过田野收集、半自动化标注和模型训练，提供实用建议与公开资源。
2025-11-23 cs.CL
The #Somos600M Project: Generating NLP resources that represent the diversity of the languages from LATAM, the Caribbean, and Spain
SomosNLP
针对拉丁美洲、加勒比和西班牙语言多样性在 AI 中缺乏代表的问题，#Somos600M 项目作为开源社区创建了首批用于微调和评估大型语言模型的指令与评估数据集。
2024-07-01 cs.CL
Few-Shot Optimized Framework for Hallucination Detection in Resource-Limited NLP Systems
Faculty of Computer Science, MSA University（MSA大学计算机科学学院）
本文提出一种面向资源受限NLP系统的幻觉检测框架，通过DeepSeek Few-shot优化与迭代提示工程生成高质量弱标签，并在其上微调Mistral-7B-Instruct-v0.3模型结合集成学习，在SHROOM任务测试集上达到85.5%准确率。
2025-01-28 cs.CL
How Good is Your Wikipedia? Auditing Data Quality for Low-resource and Multilingual NLP
Department of Computer Science, KU Leuven（库勒万大学计算机科学系）；CENTAL, UCLouvain（UCLouvain的CENTAL）；Department of Computer Science, Aalborg University（奥尔堡大学计算机科学系）；Department of Computer and Information Science, Linköping University（利厄浦大学计算机与信息科学系）；Google Translate（谷歌翻译）
本文审计非英语 Wikipedia 的数据质量，通过多种过滤技术发现短文章与重复问题，并证明质量剪枝可在不降低性能的前提下提升低资源多语言 NLP 的训练效率。
2025-05-16 cs.CL
Domain Adaptation for Sparse-Data Settings: What Do We Gain by Not Using Bert?
Center for Information & Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）
大部分NLP的实际成功取决于训练数据的可用性。然而，在现实世界的场景中，训练数据往往是稀缺的，尤其是因为许多应用领域是有限的和特定的。在这项工作中，我们比较了不同的方法来处理这个问题，并提供指导方针，当只有少量的标记训练数据可用于特定的域时，建立NLP应用程序。虽然使用预训练的语言模型的迁移学习在跨任务方面优于其他方法，但替代方法的性能不会差得多，同时需要的计算工作量少得多，从而显著降低了金钱和环境成本。我们研究了几种这样的替代方案的性能权衡，包括可以训练高达175K倍的模型，并且不需要单个GPU。
2022-03-31 cs.CL
The (In)Effectiveness of Intermediate Task Training For Domain Adaptation and Cross-Lingual Transfer Learning
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Massachusetts Institute of Technology（麻省理工学院）
从大语言模型（LLM）的迁移学习已经成为一种强大的技术，可以为许多任务进行基于知识的微调，为不同的领域甚至语言调整模型。然而，迁移学习是否以及何时起作用，即导致正迁移还是负迁移，仍然是一个悬而未决的问题。在本文中，我们分析了三个自然语言处理（NLP）任务-文本分类，情感分析和句子相似性，使用三个LLM- BERT，RoBERTa和XLNet -并分析其性能，通过微调目标数据集的域和跨语言适应任务，有和没有中间任务训练更大的数据集。我们的实验表明，在没有中间任务训练的情况下进行微调可以使大多数任务的性能更好，而更一般化的任务可能需要预先进行中间任务训练步骤。我们希望这项工作将作为迁移学习的NLP从业者的指南。
2022-11-04 cs.CL
Cultural Adaptation in Large Language Models for Political Discourse
Northwestern University in Qatar（卡塔尔西北大学）
本文探讨大型语言模型在政治话语分析中的文化适应问题，提出通过翻译、话语和本体层面的形式化框架及评估矩阵，确保跨文化部署的可靠性和民主安全性。
2026-05-22 cs.CL
Contextualising Levels of Language Resourcedness that affect NLP tasks
University of Cape Town（开普敦大学）；Stellenbosch University（斯泰伦博斯大学）；South African Digital Language Resources Centre（南非数字语言资源中心）
本文提出通过上下文特征对语言资源进行分类，以更准确地评估影响NLP任务的语言资源水平。
2026-01-17 cs.CL
IndoLEM and IndoBERT: A Benchmark Dataset and Pre-trained Language Model for Indonesian NLP
The University of Melbourne（墨尔本大学）；The University of Queensland（昆士兰大学）
尽管印度尼西亚语有近2亿人使用，是世界上使用人数第10多的语言，但它在NLP研究中的代表性不足。以前的印尼语工作受到缺乏注释数据集，语言资源稀少和缺乏资源标准化的阻碍。在这项工作中，我们发布了IndoLEM数据集，包括印度尼西亚语的七个任务，涵盖形态语法，语义和话语。我们还发布了IndoBERT，这是一种针对印度尼西亚语的新的预训练语言模型，并通过IndoLEM对其进行评估，此外还根据现有资源对其进行基准测试。我们的实验表明，IndoBERT在IndoLEM中的大多数任务上都达到了最先进的性能。
2020-11-02 cs.CL
TutorialBank: A Manually-Collected Corpus for Prerequisite Chains, Survey Extraction and Resource Recommendation
Department of Computer Science, Yale University（耶鲁大学计算机科学系）
自然语言处理（NLP）领域正在迅速发展，每天都有新的研究成果发表，同时还有大量的教程、代码库和其他在线资源。为了了解这个充满活力的领域或保持最新的最新研究，学生以及教育工作者和研究人员必须不断筛选多个来源，以找到有价值的相关信息。为了解决这种情况，我们引入了TutorialBank，这是一个新的公开数据集，旨在促进NLP教育和研究。我们已经手动收集和分类了超过6，300个关于NLP以及人工智能（AI），机器学习（ML）和信息检索（IR）相关领域的资源。值得注意的是，我们的数据集是用于NLP教育的最大的手动挑选的资源语料库，其中不仅包括学术论文。此外，我们还为资源创建了一个搜索引擎和一个命令行工具，并对语料库进行了注释，以包括研究主题列表、每个主题的相关资源、主题之间的先决条件关系、单个资源的相关子部分以及其他注释。我们正在发布数据集，并提出了几种进一步研究的途径。
2018-05-11 cs.CL
The Annotation Scarcity Paradox in Low-Resource NLP Evaluation: A Decade of Acceleration and Emerging Constraints
DSFSI & AfriDSAI, University of Pretoria（DSFSI与AfriDSAI， Pretoria大学）
本文探讨了低资源NLP评估中由于标注资源不足导致的矛盾，分析了过去十年中评估方法的发展阶段，并提出了新的解决方案以提升评估的公平性和有效性。
2026-07-01 cs.CL
Mukayese: Turkish NLP Strikes Back
Koç University（科奇大学）；Cağaloğlu Anadolu Lisesi（恰拉奥卢安纳托利亚高中）；Bilkent University（比尔肯特大学）
为语言X提供足够的资源可以将其从资源不足的语言类中提升出来，但不一定是从研究不足的语言类中提升出来。在本文中，我们解决的问题，没有组织的基准在土耳其语。我们证明了像土耳其语这样的语言在NLP应用中落后于最先进的语言。作为一种解决方案，我们提出了Mukayese，这是一套针对土耳其语的NLP基准测试，其中包含几个NLP任务。我们为每个基准测试处理一个或多个数据集，并提供两个或多个基线。此外，我们提出了四个新的基准数据集在土耳其语的语言建模，句子分割和拼写检查。所有数据集和基线可在以下网址获得：https://github.com/alisafaya/mukayese
2022-03-16 cs.CL
Indexing Portuguese NLP Resources with PT-Pump-Up
INESC TEC（葡萄牙系统与计算机工程与技术研究所）；Uni. Beira Interior（贝拉英特雷奥尔大学）；Uni. of Porto（波尔图大学）
针对葡萄牙语这类中低资源NLP资源分散、缺乏统一管理基础设施的问题，研究提出PT-Pump-Up工具集，含网络平台、客户端及管理端Python包、公开GitHub仓库四个组件，提升资源可及性。
2024-01-27 cs.CL cs.IR
TajPersLexon: A Tajik-Persian Lexical Resource and Hybrid Model for Cross-Script Low-Resource NLP
Institute of Computational Mathematics and Information Technologies（计算数学与信息科技学院）
本文提出TajPersLexon，一个包含40112词对的塔吉克-波斯语平行词汇资源，通过混合模型在低资源环境下实现跨脚本词检索与对齐，取得96.4%准确率。
2026-05-07 cs.CL
Can Demographic Factors Improve Text Classification? Revisiting Demographic Adaptation in the Age of Transformers
University of Mannheim（曼海姆大学）；NEC Laboratories Europe GmbH（NEC欧洲实验室有限公司）；University of Hamburg（汉堡大学）；Bocconi University（博科尼大学）；University of Würzburg（维尔茨堡大学）
本研究考察人口统计适配在预训练Transformer语言模型中的有效性，发现表面上的性能提升源于混杂因素而非人口统计知识，表明该问题在现代NLP中仍未解决。
2023-05-09 cs.CL
COVID-19 SignSym: a fast adaptation of a general clinical NLP tool to identify and normalize COVID-19 signs and symptoms to OMOP common data model
Melax Technologies, Inc（Melax科技）；University of Kansas Medical Center（堪萨斯大学医学中心）；Johns Hopkins University School of Medicine（约翰斯·霍普金斯大学医学院）；The University of Texas Health Science Center at Houston（德克萨斯大学休斯顿健康科学中心）；University of Missouri School of Medicine（密苏里大学医学院）
COVID-19疫情迅速席卷全球，感染了数百万人。一个能够从电子健康记录（EHR）中的自由文本中准确识别COVID-19重要临床概念的有效工具将对加速COVID-19临床研究有价值。为此，本研究旨在调整现有的CLAMP自然语言处理工具，以快速构建COVID-19 SignSym，该工具可以从临床文本中提取COVID-19体征/症状及其8个属性（身体位置、严重程度、时间表达、主题、条件、不确定性、否定和过程）。所提取的信息还映射到观察性医学成果伙伴关系通用数据模型中的标准概念。应用了一种结合基于深度学习的模型、精选词典和基于模式的规则的混合方法，从CLAMP快速构建COVID-19 SignSym，并优化了性能。我们使用3个外部网站进行了广泛的评估，这些网站提供了COVID-19患者的临床记录，以及COVID-19的在线医疗对话，结果表明COVID-19 Sign-Sym可以在所有数据源中实现高性能。用于本研究的工作流程可以推广到其他用例，其中现有的临床自然语言处理工具需要在短时间内针对特定信息需求进行定制。COVID-19 SignSym作为可下载软件包（https：//clamp.uth.edu/covid/nlp.php）可供研究界免费访问，并已被16家医疗机构用于支持COVID-19的临床研究。
2021-04-07 cs.CL
CoDa: Constrained Generation based Data Augmentation for Low-Resource NLP
University of Maryland（马里兰大学）；NVIDIA（英伟达公司）
CoDa通过从低资源数据中提取简单约束并提示大语言模型生成多样化训练样本，实现无需训练的可控数据增强，在11个数据集上优于基线方法。
2024-03-30 cs.CL
Ve'rdd. Narrowing the Gap between Paper Dictionaries, Low-Resource NLP and Community Involvement
University of Helsinki（赫尔辛基大学）；Rootroo Ltd（Rootroo有限公司）
我们提出了一个开源的在线词典编辑系统，Ve'rdd，它提供了一个机会，重新评估和编辑已经暴露给多个业余编辑的基层词典。其想法是将社群活动纳入对一种严重濒危的少数民族语言-斯科尔特萨米语-的最新有限状态语言描述。问题涉及到让社区参与到文件和文件级别以上的事情中来。有时，母语人士和面向词典的人似乎缺乏技术理解，无法利用可能使他们的工作在未来更有意义的基础设施，即对所有输入的多重重用。因此，我们的系统集成了乌拉尔语言的现有工具和基础设施，掩盖了用户友好的UI背后的技术复杂性。
2020-12-04 cs.CL
Domain Adaptation from Scratch
University of Edinburgh（爱丁堡大学）；Technion, IIT（以色列理工学院）
自然语言处理（NLP）算法正在迅速改进，但在应用于分发外的示例时往往会遇到困难。一个突出的方法，以减轻域差距是领域自适应，其中一个模型训练的源域是适应一个新的目标域。我们提出了一个新的学习设置，“从零开始的领域自适应”，我们认为这是至关重要的NLP的范围扩展到敏感领域的隐私保护的方式。在这种设置中，我们的目标是有效地注释来自一组源域的数据，以便训练的模型在数据不可用于注释的敏感目标域上表现良好。我们的研究比较了几种方法，这个具有挑战性的设置，从数据选择和领域自适应算法的主动学习范式，两个自然语言处理任务：情感分析和命名实体识别。我们的研究结果表明，使用上述方法缓解了域间隙，并将它们结合起来进一步改善了结果。
2022-09-02 cs.AI cs.CL cs.LG
Towards Realistic Practices In Low-Resource Natural Language Processing: The Development Set
New York University（纽约大学）
对于真正的低资源语言，获得开发集是不切实际的，因为使用所有可用的数据进行训练通常更有效。然而，开发集被广泛用于那些声称要处理低资源自然语言处理（NLP）的研究论文中。在这里，我们的目标是回答以下问题：与更现实的替代方案相比，在低资源环境中使用早期停止的开发集是否会影响结果，其中训练时期的数量是根据开发语言调整的？它是否会导致对业绩的高估或低估？我们重复了最近针对低资源NLP的神经模型工作中的多个实验，并比较了通过使用和不使用开发集训练获得的模型的结果。平均而言，不同语言之间的绝对准确度差异高达1.4%。然而，对于某些语言和任务，差异高达18.0%的准确率。我们的研究结果强调了现实的实验设置在低资源NLP研究结果的出版中的重要性。
2019-09-15 cs.CL
CultureMINE: Datasets and Methods for Improving the Cultural Capabilities of NLP Systems
Purdue University（普渡大学）；University of Pennsylvania（宾夕法尼亚大学）
本文通过分析375余篇论文，系统梳理文化NLP中的能力目标、数据创建与方法趋势，并发布交互式论文列表以促进社区研究。
2026-09-22 cs.CL
Model-Agnostic Meta Learning for Class Imbalance Adaptation
University of Memphis（密苏里大学）
本文提出HAMR框架，通过双层优化和邻域感知重采样解决类别不平衡问题，实验表明在多个领域数据集上有效提升少数类性能。
2026-04-20 cs.CL
Neural Structural Correspondence Learning for Domain Adaptation
Technion, IIT（以色列理工学院）
领域自适应是一个基本的NLP挑战，它将模型从富含标记训练数据的领域调整到缺乏此类数据的领域。我们介绍了一种神经网络模型，该模型通过表示学习将领域自适应的两个突出研究方向的思想结合在一起：结构对应学习（SCL，（Blitzer et al.，2006））和自动编码器神经网络。特别地，我们的模型是一个三层神经网络，它学习将输入示例的非枢轴特征编码为低维表示，以便可以从该表示中解码示例中枢轴特征（在两个域中都很突出并为NLP任务传递有用信息的特征）的存在。低维表示，然后采用在一个学习算法的任务。此外，我们展示了如何将预训练的词嵌入注入到我们的模型中，以提高具有相似枢轴特征的示例的泛化能力。关于跨领域产品情感分类的任务（Blitzer等人，2007），由12个域对组成，我们的模型优于SCL和边缘化堆叠去噪自动编码器（MSDA，（Chen et al.，2012年））方法分别为3.77%和2.17%，平均跨域对。
2017-06-17 cs.CL
The Past, Present, and Future of Typological Databases in NLP
McGill University（麦吉尔大学）；Mila Quebec AI Institute（米拉魁北克人工智能研究所）；Aalborg University（奥尔堡大学）
本文系统探讨了NLP中类型学数据库（如WALS和Grambank）间的不一致问题，指出其离散分类性质是主要原因，并提出采用连续的类型学特征视图，以在未来低资源语言建模中发挥巨大潜力。
2023-10-20 cs.CL
CLICKER: A Computational LInguistics Classification Scheme for Educational Resources
Tata Consultancy Services Limited（塔塔咨询服务有限公司）；Yale University（耶鲁大学）；University of Waterloo（滑铁卢大学）
一个科学主题的分类方案提供了其知识体系的概述。它还可以用来方便访问与该主题有关的研究文章和其他材料。例如，ACM Computing Classification System（CCS）用于ACM数字图书馆搜索界面，也用于索引计算机科学论文。我们观察到，像CCS或数学主题分类（MSC）这样的综合分类系统并不存在于计算语言学（CL）和自然语言处理（NLP）中。我们提出了一个分类方案- CLICKER CL/NLP的基础上分析了77个大学课程在线讲座在这个问题上。目前提出的分类法包括334个主题，并侧重于CL/NLP的教育方面;它主要基于但不限于NLP课程的讲义。我们讨论了这样的分类可以帮助在各种现实世界中的应用，包括辅导平台，资源检索，资源推荐，先决条件链学习，和调查生成。
2021-12-16 cs.CL
