NusaCrowd: A Call for Open and Reproducible NLP Research in Indonesian Languages
IndoNLP（印度尼西亚自然语言处理研究所）
在阻碍印度尼西亚自然语言处理（NLP）研究进展的根本问题的中心，我们发现数据稀缺。印度尼西亚语资源，特别是当地语言资源，极为稀缺，代表性不足。许多印度尼西亚研究人员没有公布他们的数据集。此外，我们拥有的少数公共数据集分散在不同的平台上，因此在印度尼西亚NLP中进行可重复和以数据为中心的研究变得更加艰巨。面对这一挑战，我们发起了第一个印度尼西亚NLP众包项目NusaCrowd。NusaCrowd致力于为所有印度尼西亚语言的NLP任务提供最大的数据表聚合和标准化数据加载。通过开放和集中访问印度尼西亚NLP资源，我们希望NusaCrowd能够解决阻碍印度尼西亚NLP发展的数据稀缺问题，并使NLP从业者走向合作。
2022-08-01 cs.AI cs.CL
Analyzing and Interpreting Neural Networks for NLP: A Report on the First BlackboxNLP Workshop
Tilburg University（蒂尔堡大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
EMNLP 2018研讨会BlackboxNLP致力于专门开发的资源和技术，用于分析和理解语言神经模型获得的内部工作和表示。办法包括：系统地操纵神经网络的输入并调查对其性能的影响，测试可解释的知识是否可以从神经网络获得的中间表示中解码，提出对神经网络架构的修改以使其知识状态或生成的输出更可解释，并检查简化或形式语言上的网络性能。在这里，我们回顾了每个类别中的一些代表性研究。
2019-04-05 cs.CL stat.ML
"It's how you do things that matters": Attending to Process to Better Serve Indigenous Communities with Language Technologies
Australian National University（澳大利亚国立大学）；Google Research（谷歌研究院）
本文基于对17位研究者的访谈，探讨为原住民语言构建NLP技术的伦理问题，主张应关注与原住民社区互动的过程而非仅重成果，以更好地服务这些社区。
2024-02-06 cs.CL
Natural Language Processing 4 All (NLP4All): A New Online Platform for Teaching and Learning NLP Concepts
Aarhus University（奥胡斯大学）；Interacting Minds Center（互动心智中心）；ScienceAtHome（居家科学中心）
自然语言处理为几乎所有学科和领域的语言数据提供了新的见解，并使我们能够证实和/或挑战现有的知识。扩大参与和使用这些新的研究工具的主要障碍是，第一，在整个K-16学生缺乏编码技能，并在广大人口，第二，缺乏知识的NLP方法可以用来回答语言学和/或计算机科学以外的学科感兴趣的问题。为了扩大对NLP的参与并提高NLP素养，我们引入了一个新的工具-基于Web的工具，称为自然语言处理4 All（NLP 4All）。NLP 4All的目的是帮助教师通过提供易于使用的NLP方法，数据和分析界面来促进NLP的学习，使非程序员和新手程序员能够交互式地学习NLP概念。
2021-05-28 cs.CL
NLP for Maternal Healthcare: Perspectives and Guiding Principles in the Age of LLMs
Allen Institute for AI（艾伦人工智能研究所）；Association of American Medical Colleges, Center for Health Justice（美国医学院协会健康正义中心）；University of Washington（华盛顿大学）；University of California, Berkeley（加州大学伯克利分校）；University of California, San Francisco（加州大学旧金山分校）
本文通过研讨会互动和调查孕产妇及医护人员的需求，提出九项在孕产妇保健中合乎伦理使用NLP的指导原则，为临床NLP开发提供方法论范式。
2024-01-23 cs.CL
Few-Shot Learning for Clinical Natural Language Processing Using Siamese Neural Networks
University of Pittsburgh（匹兹堡大学）
临床自然语言处理（NLP）已成为医疗保健领域的一项新兴技术，它利用电子健康记录（EHR）中的大量自由文本数据来改善患者护理，支持临床决策，并促进临床和转化科学研究。最近，深度学习在许多临床NLP任务中取得了最先进的性能。然而，训练深度学习模型通常需要大型带注释的数据集，这些数据集通常不公开，并且在临床领域中构建可能非常耗时。在临床NLP中，使用较小的注释数据集是典型的，因此，确保深度学习模型表现良好对于模型在现实世界中的应用至关重要。一种被广泛采用的方法是微调现有的预训练语言模型（PLM），但当训练数据集只包含少量注释样本时，这些尝试就显得不够了。少样本学习（FSL）最近被研究来解决这个问题。连体神经网络（SNN）作为一种FSL方法在计算机视觉中得到了广泛的应用，但在自然语言处理中还没有得到很好的研究。此外，关于其在临床领域应用的文献很少。在本文中，我们提出了两种基于SNN的临床NLP FSL方法，包括预训练SNN（PT-SNN）和SNN与二阶嵌入（SOE-SNN）。我们评估了两个临床任务，即临床文本分类和临床命名实体识别所提出的方法。我们测试了三种Few-Shot设置，包括4次、8次和16次学习。两个临床NLP任务都使用三个PLM进行基准测试，包括BERT、BioBERT和BioClinicalBERT。实验结果验证了所提出的基于SNN的FSL方法在两个NLP任务中的有效性。
2022-10-26 cs.CL
Testing the effectiveness of saliency-based explainability in NLP using randomized survey-based experiments
Procter & Gamble（宝洁公司）；Singapore Management University（新加坡管理大学）
随着自然语言处理（NLP）在政治分析、教育论文审查等敏感领域的应用激增，迫切需要提高NLP模型的透明度，以建立与利益相关者的信任并识别偏见。可解释人工智能的许多工作都旨在设计解释方法，让人类深入了解NLP模型的工作和预测。虽然这些方法将预测从复杂的模型（如神经网络）中提取出来，转化为可消费的解释，但人类如何理解这些解释仍然是广泛未探索的。人类与生俱来的倾向和偏见可能会阻碍人类对这些解释的理解，也可能导致他们对模型和预测做出错误的判断。我们设计了一个基于随机调查的实验，以了解自然语言处理中基于显着性的事后可解释性方法的有效性。实验结果表明，人类倾向于接受不那么批判性的解释。
2022-11-25 cs.AI cs.CL cs.LG
The Call for Socially Aware Language Technologies
Stanford University（斯坦福大学）；Bocconi University（博科尼大学）；University of Michigan（密歇根大学）；LMU Munich（慕尼黑大学）
本文指出当前大语言模型虽在传统NLP任务上接近人类水平，但因缺乏社会感知加剧了偏见等问题，呼吁NLP领域发展社会感知技术，以提升应用的自然性、实用性与安全性，开启领域发展新时代。
2025-02-20 cs.CL
ELECTRAMed: a new pre-trained language representation model for biomedical NLP
Politecnico di Milano（米兰理工大学）
大量的生物医学科学文本要求开发能够处理广泛的生物医学自然语言处理（NLP）任务的有效语言模型。最新的主流方法是特定领域的模型，用一般领域的文本数据初始化，然后在各种科学语料库上训练。然而，已经观察到，对于存在大型语料库的专业领域，仅使用领域内知识从头开始训练模型可能会产生更好的结果。此外，越来越多的关注预训练的计算成本，最近导致了更有效的架构的设计，如ELECTRA。在本文中，我们提出了一个预先训练的特定领域的语言模型，称为ELECTRAMed，适合于生物医学领域。新的方法继承了一般域ELECTRA架构的学习框架，以及其计算优势。在几个生物医学NLP任务的基准数据集上进行的实验支持ELECTRAMed的有用性，它在BC 5CDR语料库上为命名实体识别设置了最新的最先进的结果，并在第7次BioASQ-factoid Challange的5次运行中为问答任务提供了2次最佳结果。
2021-04-19 cs.CL
FinBERT: A Pretrained Language Model for Financial Communications
Hong Kong University of Science and Technology（香港科技大学）
上下文预训练语言模型，例如BERT（Devlin et al.，2019年），通过对大规模未标记文本资源的训练，在各种NLP任务中取得了重大突破。金融领域也积累了大量的金融沟通文本。但是，没有预训练的金融特定语言模型可用。在这项工作中，我们解决了需要通过预训练金融领域特定的BERT模型，FinBERT，使用大规模的金融通信语料库。在三个金融情感分类任务上的实验证实了FinBERT模型相对于一般领域BERT模型的优势。代码和预训练模型可在https://github.com/yya518/FinBERT上获得。我们希望这对从事金融NLP任务的从业者和研究人员有用。
2020-07-09 cs.CL
Undesirable Biases in NLP: Addressing Challenges of Measurement
Institute for Logic, Language and Computation, University of Amsterdam（阿姆斯特丹大学逻辑、语言与计算研究所）；Department of Experimental Psychology, Utrecht University（乌得勒支大学实验心理学系）
本文从心理测量学视角出发，引入构念效度和信度两个核心概念，为NLP模型偏见测量提供方法学工具，以解决现有偏见测量方法存在严重问题且测量目标不明确的问题。
2024-01-14 cs.AI cs.CL
One Model to Rule them all: Multitask and Multilingual Modelling for Lexical Analysis
当你学习一项新技能时，你会利用你先前的技能和知识。例如，如果你是一个熟练的小提琴手，你可能会有一个更容易学习演奏大提琴。同样，当你学习一门新语言时，你会利用你已经说的语言。例如，如果你的母语是挪威语，你决定学习荷兰语，这两种语言之间的词汇重叠可能会有利于你的语言习得速度。本论文在自然语言处理（NLP）的背景下研究了多任务学习和多语言学习的交叉点，自然语言处理可以定义为对人类语言的计算处理的研究。虽然这两种学习方式在表面上看起来不同，但我们会发现它们有许多相似之处。NLP的传统方法是一次考虑一种语言的单一任务。然而，最近的进展允许通过同时考虑多个任务和语言的数据来扩大这种方法。这是一个需要进一步探索的重要方法，因为提高NLP可靠性的关键，特别是对于低资源语言，是尽可能利用所有相关数据。在这样做的过程中，希望从长远来看，低资源语言可以从NLP的进步中受益，这些进步目前在很大程度上是为高资源语言保留的。这反过来可能会产生积极的影响，例如，语言保护，因为使用少数民族语言的人使用高资源语言的压力较小。在短期内，回答所提出的具体研究问题应该对致力于同一目标的NLP研究人员有用。
2017-11-03 cs.CL
Connecting Ideas in 'Lower-Resource' Scenarios: NLP for National Varieties, Creoles and Other Low-resource Scenarios
University of New South Wales（新南威尔士大学）；Institute for People-Centred AI, University of Surrey（萨里大学以人为本人工智能研究所）；Aalborg University（奥尔堡大学）；National Institute of Information and Communications Technology（日本信息通信研究机构）
本教程旨在连接低资源场景（方言、克里奥尔语等）NLP研究的共同挑战与方法，促进跨场景合作，以应对数据匮乏问题。
2024-09-19 cs.AI cs.CL
The State and Fate of Linguistic Diversity and Inclusion in the NLP World
Microsoft Research（微软研究院）
语言技术有助于在世界各地促进使用多种语言和语言多样性。然而，在世界上7000多种语言中，只有极少数的语言在迅速发展的语言技术和应用中得到了体现。在本文中，我们研究了语言类型、资源及其在NLP会议中的表示之间的关系，以了解不同语言随着时间的推移所遵循的轨迹。我们的定量调查强调了语言之间的差距，特别是在他们的资源方面，并质疑当前的模型和系统的“语言不可知论”的地位。通过这篇论文，我们试图说服ACL社区优先解决这里强调的困境，这样就不会有任何语言被抛在后面。
2021-01-27 cs.CL
Costs to Consider in Adopting NLP for Your Business
Kata.ai Research Team（Kata.ai研究团队）；Universitas Indonesia（印度尼西亚大学）
自然语言处理（NLP）的最新进展在很大程度上推动了基于深度转换器的模型成为最先进的技术，而无需过多考虑生产和使用成本。计划在业务中采用这些方法的公司面临困难，因为缺乏机器，数据和人力资源来构建它们。我们比较的性能和成本的经典学习算法的最新的共同序列和文本标记任务。在我们的工业数据集中，我们发现经典模型的性能通常与深度神经模型相当，尽管成本较低。我们展示了各个模型中性能增益和成本之间的权衡，以提供更多关于AI枢转业务的见解。此外，我们呼吁对低成本模型进行更多研究，特别是针对资源不足的语言。
2021-04-15 cs.CL
What to do about non-standard (or non-canonical) language in NLP
University of Groningen（格罗宁根大学）
真实世界的数据与我们在自然语言处理（NLP）中使用的基准语料库有着根本的不同。一旦我们将技术应用于现实世界，性能就会下降。这个问题的原因是显而易见的：NLP模型是在被认为是标准的，最突出的是英语新闻的一组有限的典型品种的样本上训练的。然而，存在许多维度，例如，社会人口统计、语言、体裁、句子类型等，文本可能与标准不同。解决方案并不明显：我们无法控制所有因素，目前尚不清楚如何最好地超越目前在单一领域和语言的同质数据上进行训练的做法。在本文中，我回顾了规范的概念，以及它如何塑造我们的社会的语言的方法。我主张利用我所谓的偶然数据，即，迄今为止被忽视的、隐藏在普通视线中的不明显的数据，或者需要改进的原始数据。如果我们通过将其与适当的算法相结合来拥抱这种异构数据的多样性，我们不仅会产生更强大的模型，而且还将使自适应语言技术能够解决自然语言的变化。
2016-08-28 cs.CL
MELABenchv1: Benchmarking Large Language Models against Smaller Fine-Tuned Models for Low-Resource Maltese NLP
Department of Artificial Intelligence, University of Malta（人工智能系，马耳他大学）
本研究引入MELABenchv1基准，评估55个LLMs在低资源马耳他语上的表现，发现较小微调模型优于LLMs，且预训练阶段的先验接触是关键因素，建议低资源语言研究采用传统建模方法。
2025-06-13 cs.AI cs.CL
When Does "Post-Call" Begin? An Availability Contract for Earnings-Call NLP Benchmarks
National University of Singapore（新加坡国立大学）；Asian Institute of Digital Finance（亚洲数字金融研究院）
该研究针对金融NLP基准存在的事件内时间不匹配问题，提出可用性契约框架，经552次财报电话会议等实验验证，明确了结果时间轴对模型标签与损失的显著影响。
2026-10-16 cs.CL cs.LG q-fin.CP
Towards Faithfully Interpretable NLP Systems: How should we define and evaluate faithfulness?
Bar Ilan University（巴伊兰大学）；Allen Institute for AI（艾伦人工智能研究所）
随着基于深度学习的NLP模型的日益普及，需要可解释的系统。但是什么是可解释性，什么是高质量的解释？在这篇评论文章中，我们反思了可解释性评估研究的现状。我们呼吁更明确地区分解释应满足的不同理想标准，并侧重于忠实标准。我们调查的文学方面的忠诚度的评价，并安排目前的方法围绕三个假设，提供了一个明确的形式如何忠诚度是“定义”的社会。我们提供了具体的指导方针，解释方法的评估应该和不应该进行。最后，我们认为目前对忠诚的二元定义为被认为是忠诚设置了一个潜在的不切实际的门槛。我们呼吁摒弃对忠诚的二元概念，而采用一种更分级的概念，我们相信这将具有更大的实际效用。
2020-04-27 cs.CL cs.LG
Enriching the NArabizi Treebank: A Multifaceted Approach to Supporting an Under-Resourced Language
Inria（法国国家信息与自动化研究所）
针对NArabizi标注数据稀缺问题，本文通过添加命名实体识别、冒犯性语言检测标注层及重新标注分词等层增强NArabizi树库，实验验证其价值并公开资源，为该语言的NLP工具开发铺路。
2023-06-26 cs.CL
Thorny Roses: Investigating the Dual Use Dilemma in Natural Language Processing
Hasso Plattner Institute（哈索·普拉特纳研究院）；University of Copenhagen（哥本哈根大学）；Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文通过调查NLP研究人员和从业者对双重用途问题的认知与行动现状，提出面向NLP社区的双重用途定义，并设计可整合进ACL伦理框架的检查清单以缓解潜在危害。
2023-10-30 cs.AI cs.CL
The Elephant in the Room: Analyzing the Presence of Big Tech in Natural Language Processing Research
Institute for Better Health（健康促进研究所）；University of Göttingen（哥廷根大学）；Université Paris-Saclay（巴黎萨克雷大学）；Sorbonne Université（索邦大学）；LORIA（洛里亚实验室）；National Research Council（国家研究委员会）
本研究通过分析78,187篇论文和701份简历，量化了NLP领域产业存在随时间的变化，发现近年来产业参与显著增长，并呼吁提高产业影响的透明度。
2024-07-16 cs.CL
Intrinsic Bias Metrics Do Not Correlate with Application Bias
University of Edinburgh（爱丁堡大学）；Rasa Technologies GmbH（Rasa技术公司）；Heriot-Watt University（赫瑞-瓦特大学）
自然语言处理（NLP）系统学习有害的社会偏见，导致它们在越来越多的情况下被部署时放大不平等。为了指导消除这些系统的偏见，NLP社区依赖于各种量化模型偏见的指标。这些指标中的一些是内在的，测量词嵌入空间中的偏差，而另一些是外在的，测量词嵌入启用的下游任务中的偏差。这些内在的和外在的指标相互关联吗？我们比较了数百个训练模型的内在和外在指标，这些模型涵盖了不同的任务和实验条件。我们的结果显示，这些指标之间没有可靠的相关性，而这些相关性在跨任务和语言的所有场景中都成立。我们敦促致力于去偏置的研究人员关注偏置的外在度量，并通过创建新的挑战集和注释的测试数据使这些度量的使用更加可行。为了帮助这项工作，我们发布了代码，一个新的内在指标，以及一个专注于仇恨言论中性别偏见的注释测试集。
2021-06-08 cs.CL
A POS Tagger for Code Mixed Indian Social Media Text - ICON-2016 NLP Tools Contest Entry from Surukam
Surukam Analytics（Surukam分析公司）
由于缺乏精确注释的训练语料库，为代码混合的印度语言构建词性标注器是计算语言学中一个特别具有挑战性的问题。ICON作为其NLP工具竞赛的一部分，连续第二年将此挑战作为一项共同任务来组织，以提高最先进的水平。本文介绍了在Surukam构建的POS标记器，用于预测三种语言对的粗粒度和细粒度POS标记-孟加拉语-英语，泰卢固语-英语和印地语-英语，文本跨越三个流行的社交媒体平台- Facebook，WhatsApp和Twitter。我们采用条件随机场作为序列标记算法，并使用一个名为sklearn-crfsuite的库-一个围绕CRFsuite的薄包装器来训练我们的模型。我们使用的特征包括多字符n-grams，语言信息和emoji，数字，标点符号和网址的模式。我们在受限环境中提交的文件，即，在不使用任何单语POS标记器等的情况下，获得了76.45%的总体平均F1分数，这与2015年的76.79%的获胜分数相当。
2016-12-31 cs.CL
Low-Resource, High-Impact: Building Corpora for Inclusive Language Technologies
Toloka AI
本教程提供构建包容性语言技术的实用工具和方法，涵盖多语言和低资源语言的端到端NLP流水线建设。
2025-12-16 cs.AI cs.CL
Explainability in Practice: A Survey of Explainable NLP Across Various Domains
Department of Methodology and Statistics, Utrecht University, The Netherlands（方法论与统计学系，乌得勒支大学，荷兰）
本综述针对实际部署的可解释NLP，覆盖7个应用领域，提出两级评估协议，探讨研究缺口并给出未来方向，为跨领域XNLP实践提供参考。
2026-08-13 cs.AI cs.CL
The Annotation Scarcity Paradox in Low-Resource NLP Evaluation: A Decade of Acceleration and Emerging Constraints
DSFSI & AfriDSAI, University of Pretoria（DSFSI与AfriDSAI， Pretoria大学）
本文探讨了低资源NLP评估中由于标注资源不足导致的矛盾，分析了过去十年中评估方法的发展阶段，并提出了新的解决方案以提升评估的公平性和有效性。
2026-07-01 cs.CL
HatePRISM: Policies, Platforms, and Research Integration. Advancing NLP for Hate Speech Proactive Mitigation
IIT Kharagpur（印度理工学院Kharagpur分校）；University of Hamburg（汉堡大学）；Technical University of Munich（慕尼黑技术大学）；Bucerius Law School（布勒斯海姆法学院）；Skolkovo Institute of Science and Technology（斯克尔科维科学与技术研究所）；Artificial Intelligence Research Institute（人工智能研究 institute）
HatePRISM从国家法规、平台政策和NLP数据集三方面系统审视仇恨言论治理，揭示定义与实践的不一致，并提出融合多种策略的统一自动化审核框架研究方向。
2025-07-06 cs.CL
BenLLMEval: A Comprehensive Evaluation into the Potentials and Pitfalls of Large Language Models on Bengali NLP
Islamic University of Technology（伊斯兰理工大学）；York University（约克大学）；University of Alberta（阿尔伯塔大学）；Nanyang Technological University（南洋理工大学）；Dialpad Inc.（Dialpad公司）
本文提出BenLLM-Eval，对GPT-3.5、LLaMA-2-13b-chat和Claude-2在孟加拉语多项NLP任务上进行零样本评估，发现其性能多数逊于现有最优模型，呼吁加强低资源语言LLM研究。
2024-03-19 cs.CL
Collaborating Heterogeneous Natural Language Processing Tasks via Federated Learning
Sun Yat-sen University（中山大学）；Alibaba Group（阿里巴巴集团）
近年来，对个人隐私文本数据的日益关注促进了联邦学习（FL）的发展。然而，现有的关于外语在NLP中应用的研究并不适合协调具有异质性或私人学习目标的参与者。在这项研究中，我们进一步扩大了自然语言处理中的应用范围，提出了一个分配然后对比（表示为ATC）的框架，这使得客户端与异构自然语言处理任务，构建一个外语课程，并从对方学习有用的知识。具体来说，建议客户端首先使用服务器分配的统一任务进行本地训练，而不是使用自己的学习目标，这被称为分配训练阶段。之后，在对比培训阶段，客户端使用不同的本地学习目标进行训练，并与提供一致且有用的模型更新的其他客户端交换知识。我们在六个广泛使用的数据集上进行了广泛的实验，涵盖了自然语言理解（NLU）和自然语言生成（NLG）任务，所提出的ATC框架与各种基线方法相比取得了显着的改善。源代码可从\url{https://github.com/alibaba/FederatedScope/tree/master/federatedscope/nlp/hetero_tasks}获得。
2022-12-12 cs.CL
The Rediscovery Hypothesis: Language Models Need to Meet Linguistics
NAVER LABS Europe（NAVER LABS 欧洲）；Nazarbayev University（纳扎尔巴耶夫大学）
在NLP社区中有一个正在进行的辩论，即现代语言模型是否包含通过所谓的探针恢复的语言知识。在本文中，我们研究语言知识是否是现代语言模型，我们称之为\textit{rediscovery hypothesis}的良好性能的必要条件。首先，我们表明，语言模型，显着压缩，但表现良好的预训练目标保持良好的成绩时，探测语言结构。这一结果支持了再发现假说，并导致我们的论文的第二个贡献：一个信息理论框架，语言建模目标与语言信息。该框架还提供了一个度量标准来衡量语言信息对单词预测任务的影响。我们加强我们的分析结果与各种实验，无论是在合成和真正的NLP任务的英语。
2022-01-03 cs.CL
A Survey On Neural Word Embeddings
Izmir Institute of Technology（伊兹密尔理工学院）
理解人类语言一直是智能机器道路上的一个子挑战。自然语言处理中的意义研究依赖于分布假设，即语言元素从上下文中共同出现的单词中获得意义。概念的分布式表征这一革命性的想法与人类思维的工作方式非常接近，因为一个单词的含义分散在几个神经元中，而失去激活只会轻微影响记忆提取过程。神经词嵌入通过在所有NLP任务中引入实质性的改进，改变了整个NLP领域。在这项调查中，我们提供了一个全面的文献综述神经词嵌入。我们给出了理论基础，并描述了现有的工作之间的相互作用词嵌入和语言建模。我们提供了广泛的覆盖神经词嵌入，包括早期的词嵌入，嵌入针对特定的语义关系，意义嵌入，词素嵌入，最后，上下文表示。最后，我们描述了字嵌入的性能评估和下游任务中的基准数据集以及词嵌入的性能结果。
2021-10-05 cs.AI cs.CL cs.LG
A Natural Language Processing-Based Classification and Mode-Based Ranking of Musculoskeletal Disorder Risk Factors
Khulna University of Engineering & Technology (KUET)（库尔纳工程技术大学（KUET））
本研究结合自然语言处理与基于众数的排序，分类和排序肌肉骨骼疾病风险因素，发现工作姿势最严重，为预防提供可操作见解。
2024-11-05 cs.CL cs.LG
Multi-VALUE: A Framework for Cross-Dialectal English NLP
Stanford University（斯坦福大学）；Georgia Institute of Technology（佐治亚理工学院）；Amazon（亚马逊）
本文提出 Multi-VALUE 框架，通过覆盖 50 种英语方言的规则转换系统评估并提升 NLP 模型的方言不变性，并发布新的方言基准数据集。
2023-05-30 cs.CL
NLP Systems That Can't Tell Use from Mention Censor Counterspeech, but Teaching the Distinction Helps
Stanford University（斯坦福大学）
本文揭示语言模型无法区分词语的“使用”与“提及”，导致反言论在错误信息和仇恨言论检测中被误删，并提出提示缓解方法教授这一区别以减少审查错误。
2024-04-02 cs.CL cs.CY cs.HC
Evaluating NLP Embedding Models for Handling Science-Specific Symbolic Expressions in Student Texts
Physics Education Group, Leibniz University Hannover（莱布尼茨汉诺威大学物理教育组）；Leibniz Institute for Science and Mathematics Education（莱布尼茨科学与数学教育研究所）
本研究针对当前NLP嵌入模型难以处理科学文本中符号表达式的问题，用真实学生物理回答中的符号表达式，通过相似度分析和机器学习流水线集成两种方法评估多款嵌入模型，发现GPT-text-embedding-3-large性能最优但优势中等，为教育数据挖掘的模型选择提供参考。
2025-10-22 cs.AI cs.CL physics.ed-ph
BERTje: A Dutch BERT Model
University of Groningen（格罗宁根大学）
基于transformer的预训练语言模型BERT有助于提高许多自然语言处理（NLP）任务的最新性能。使用相同的架构和参数，我们开发和评估了一个单语荷兰语BERT模型称为BERTje。与多语言BERT模型（包括荷兰语，但仅基于维基百科文本）相比，BERTje基于24亿个令牌的大型多样性数据集。BERTje在下游NLP任务（词性标记、命名实体识别、语义角色标注和情感分析）上的表现一直优于同等大小的多语言BERT模型。我们的预训练荷兰BERT模型可在https://github.com/wietsedv/bertje上获得。
2019-12-19 cs.CL
Revisiting Pre-Trained Models for Chinese Natural Language Processing
Harbin Institute of Technology（哈尔滨工业大学）；iFLYTEK Research（科大讯飞研究院）；iFLYTEK AI Research (Hebei)（科大讯飞人工智能研究院（河北））
来自Transformers的双向编码器表示（BERT）在各种NLP任务中表现出了惊人的改进，并且已经提出了连续变体来进一步提高预训练的语言模型的性能。在本文中，我们的目标是重新审视中文预训练的语言模型，以检查它们在非英语语言中的有效性，并向社区发布中文预训练的语言模型系列。我们还提出了一个简单而有效的模型称为MacBERT，它在几个方面，特别是掩蔽策略，采用MLM作为校正（Mac）的RoBERTa的改进。我们在八个中文NLP任务上进行了广泛的实验，以重新审视现有的预训练语言模型以及建议的MacBERT。实验结果表明，MacBERT可以在许多NLP任务上实现最先进的性能，我们还通过一些可能有助于未来研究的发现来消除细节。可用资源：https://github.com/ymcui/MacBERT
2020-11-02 cs.CL
Parsing Thai Social Data: A New Challenge for Thai NLP
King Mongkut’s Institute of Technology Ladkrabang（蒙kut国王理工学院）；Chiang Mai University（清迈大学）；Kasikorn Labs（开泰实验室）
依存句法分析（DP）是分析文本的句法结构和词与词之间关系的任务。DP被广泛用于改进诸如英语等许多语言中的自然语言处理（NLP）应用。以前的DP工作一般适用于正式书面语言。然而，它们并不适用于非正式语言，如在社交网络中使用的语言。因此，DP必须用这样的社交网络数据进行研究和探索。在本文中，我们探索并确定了一个DP模型，适合泰国的社交网络数据。之后，我们将识别适当的语言单位作为输入。实验结果表明，基于转换的改进的Elkared依赖分析器在UAS为81.42%的情况下优于其他依赖分析器。
2020-03-06 cs.AI cs.CL
SqueezeBERT: What can computer vision teach NLP about efficient neural networks?
UC Berkeley（加州大学伯克利分校）
人类每天阅读和编写数千亿条信息。此外，由于大型数据集、大型计算系统和更好的神经网络模型的可用性，自然语言处理（NLP）技术在理解、校对和组织这些消息方面取得了重大进展。因此，在无数应用程序中部署NLP以帮助Web用户，社交网络和企业是一个重要的机会。特别是，我们认为智能手机和其他移动设备是大规模部署NLP模型的关键平台。然而，当今高精度的NLP神经网络模型，如BERT和RoBERTa，计算成本非常高，BERT-base需要1.7秒才能在Pixel 3智能手机上对文本片段进行分类。在这项工作中，我们观察到分组卷积等方法为计算机视觉网络带来了显着的加速，但其中许多技术尚未被NLP神经网络设计者采用。我们演示了如何用分组卷积替换自注意层中的几个操作，并在一种名为SqueezeBERT的新型网络架构中使用这种技术，该架构在Pixel 3上的运行速度比BERT-base快4.3倍，同时在GLUE测试集上实现了有竞争力的准确性。SqueezeBERT代码将被释放。
2020-06-19 cs.CL cs.CV cs.LG
TiME: Tiny Monolingual Encoders for Efficient NLP Pipelines
EPFL（瑞士联邦理工学院）
TiME通过蒸馏技术训练小型单语模型，提升NLP流水线的效率与性能平衡。
2025-12-16 cs.CL cs.LG
A Survey of Prompt Engineering Methods in Large Language Models for Different NLP Tasks
New York University（纽约大学）
本文综述了44篇研究论文，总结了29个NLP任务上的39种提示工程方法，分类讨论了这些技术在各数据集上的性能、所用LLMs及对应SoTA。
2024-07-24 cs.AI cs.CL
Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond
Amazon（亚马逊）；Texas A&M University（得克萨斯农工大学）；Rice University（莱斯大学）
该综述从模型、数据与下游任务出发，系统梳理 LLM 的适用和不适用场景、偏差及部署因素，并提供实践资源。
2023-04-27 cs.AI cs.CL cs.LG
Explainability in Neural Networks for Natural Language Processing Tasks
University of Colorado Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）；University of Gondar（贡德尔大学）；SOS HGS
本文使用 LIME 解释文本分类 MLP 的单个特征贡献，评估其局部解释价值，并指出其在全局模式与特征交互捕捉上的局限。
2025-01-08 cs.AI cs.CL
A survey on natural language processing (nlp) and applications in insurance
Data Analytics Solutions（数据分析解决方案）；SCOR（斯高保险）；Université de Bretagne Occidentale（布列塔尼西部大学）；EURIA（欧洲研究与创新中心（EURIA））；Paris, France（法国巴黎）；Brest, France（法国布雷斯特）；Beijing, China（中国北京）
文本是当今最广泛使用的通信手段。这些数据是丰富的，但在算法中利用起来却很复杂。多年来，科学家们一直在尝试实现不同的技术，使计算机能够复制人类阅读的某些机制。在过去的五年里，研究破坏了算法释放文本数据价值的能力。如今，它为保险业带来了许多机会。了解这些方法，尤其是知道如何应用它们，是一个重大挑战，也是释放存储多年的文本数据价值的关键。用计算机处理语言带来了许多新的机会，特别是在保险部门，报告是保险公司使用的信息的中心。SCOR的数据分析团队一直致力于实施创新工具或产品，以使用最新的文本分析研究。了解保险中的文本挖掘技术可以增强对承保风险的监控，并最终使投保人受益。本文旨在解释自然语言处理（NLP）为保险提供的机会。它详细介绍了今天在实践中使用的不同方法，追溯了它们的故事。我们还使用开源库和Python代码来说明某些方法的实现，我们已经开发了这些技术来促进这些技术的使用。在对过去几年中文本挖掘的发展进行了概述之后，我们分享了如何对文本挖掘进行全面的研究，并分享了一些将这些模型应用于保险产品或服务的例子。最后，我们更详细地解释了组成自然语言处理研究的每一个步骤，以确保读者能够对实现有深入的理解。
2020-10-01 cs.CL cs.LG stat.ML
Large Language Models with Controllable Working Memory
Google Research（谷歌研究院）；Deepmind（深度思维）
大语言模型（LLM）以其出色的理解和生成能力，为自然语言处理（NLP）带来了一系列突破。值得注意的是，让这些模型进一步与众不同的是，它们在预训练期间内化了大量的世界知识。虽然许多下游应用程序为模型提供了一个信息上下文，以帮助其执行底层任务，但模型的世界知识如何与上下文中呈现的事实信息相互作用仍在探索中。作为一种理想的行为，LLM应该优先考虑上下文，只要它包含与模型记忆的知识相冲突的任务相关信息。这使得模型预测能够基于上下文，然后可以用于更新或纠正特定的模型预测，而无需频繁的重新训练。相比之下，当上下文与任务无关时，模型应该忽略它并依赖于其内部知识。在本文中，我们进行了第一次联合研究的上述两个属性，即可控性和鲁棒性，在LLM的上下文中。我们证明了最先进的T5和PaLM（预训练和微调）可能表现出较差的可控性和鲁棒性，并且不会随着模型大小的增加而扩展。作为解决方案，我们提出了一种新方法--知识感知微调（KAFT）--通过将反事实和不相关的上下文纳入标准监督数据集来增强可控性和鲁棒性。我们的全面评估展示了KAFT在模型架构和尺寸上的实用性。
2022-11-09 cs.AI cs.CL cs.LG
NLP for Social Good: A Survey and Outlook of Challenges, Opportunities, and Responsible Deployment
University of Copenhagen（哥本哈根大学）；University of Michigan-Ann Arbor（密歇根大学安娜堡分校）；ETH Zurich（苏黎世联邦理工学院）；University of North Texas（北卡罗来纳州立大学）；Sony Computer Science Laboratories - Paris（索尼计算机科学实验室-巴黎）；Santa Clara University（圣克拉拉大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Dataminr（DataMinr公司）；United Nations Development Programme (UNDP)（联合国开发计划署）；University of Maryland, College Park（马里兰大学学院市分校）；Max Planck Institute for Intelligent Systems, Tübingen（智能系统马克斯·普朗克研究所，图宾根）；Vector Institute（向量研究所）；University of Toronto（多伦多大学）；University of Washington（华盛顿大学）；Queen Mary University of London（伦敦大学玛丽女王学院）；IIT Kharagpur（印度理工学院Kharagpur分校）；University of California San Diego（加州大学圣地亚哥分校）；Princeton University（普林斯顿大学）；LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；University of Alicante（阿利坎特大学）；University of Michigan-Flint（密歇根大学弗林特分校）；University of Southern California（南加州大学）；Technical University of Munich（慕尼黑技术大学）
本文综述了NLP在社会公益领域的应用现状，指出包容性和AI危害是研究热点，同时呼吁跨学科合作以促进公众福祉。
2026-01-22 cs.CL cs.CY
AUTALIC: A Dataset for Anti-AUTistic Ableist Language In Context
University of California, San Diego（加州大学圣迭戈分校）；Cardiff University（卡迪夫大学）
针对现有NLP工具难以检测微妙且依赖语境的反自闭症能力歧视语言，本文提出首个基准数据集AUTALIC，含2,400条Reddit句子及专家标注，并揭示当前LLM在此任务上表现不佳，为开发包容性NLP系统奠定基础。
2025-08-06 cs.AI cs.CL
Beyond Catalogue Counts: the Dataset Visibility Asymmetry in Low-Resource Multilingual NLP
L3S Research Center, Leibniz University Hannover（莱布尼茨汉诺威大学L3S研究中心）；Technische Universität Darmstadt（达姆施塔特技术大学）
本研究探讨了多语言NLP中数据集可见性不对称问题，通过结合目录基准和文献证据，提出了资源密度指数（RDI）来衡量语言的数据集可见性，揭示了大量语言在目录记录中数据贫乏但文献中存在明显数据集活动的现象。
2026-05-17 cs.AI cs.CL cs.IR
NLPContributions: An Annotation Scheme for Machine Reading of Scholarly Contributions in Natural Language Processing Literature
TIB Leibniz Information Centre for Science and Technology（TIB莱布尼茨科学与技术信息中心）；L3S Research Center（L3S研究中心）
我们描述了一个注释计划，以捕获自然语言处理（NLP）文章中的学术贡献，特别是讨论机器学习（ML）方法用于各种信息抽取任务的文章。我们开发的注释任务的基础上，一个试点注释练习50 NLP-ML学术文章提出的贡献，五个信息抽取任务1。机器翻译，2.命名实体识别; 3.问答，4.关系分类; 5.文本分类在本文中，我们描述了这个试验性注释阶段的结果。通过练习，我们获得了一个注释方法，并发现了十个核心信息单元，反映了NLP-ML学术研究的贡献。我们基于这些信息单元开发的注释方案称为NLP贡献。我们努力的总体目标是四方面的：1）找到一组系统的主语-谓语-宾语语句模式，用于学术贡献的语义结构，这些模式或多或少地适用于NLP-ML研究文章; 2）将发现的模式应用于创建更大的注释数据集，用于训练研究贡献的机器读者; 3）将数据集摄取到开放研究知识图谱（ORKG）基础设施中，作为创建用户友好的最先进概述的展示; 4）将机器阅读器集成到ORKG中，以帮助用户手动管理他们各自的文章贡献。我们设想，NLP贡献的方法引起了更广泛的讨论，对进一步完善和发展的主题。根据NLP贡献计划，我们的50篇NLP-ML学术文章的试点注释数据集可在https://doi.org/10.25835/0019761上向研究社区公开提供。
2020-09-03 cs.CL cs.DL cs.IR
Towards mapping the contemporary art world with ArtLM: an art-specific NLP model
Ecole Polytechnique（巴黎综合理工学院）；Docent Art；Goldsmiths CCA（金史密斯当代艺术学院）
随着艺术世界中数据量的增加，发现适合收藏家口味的艺术家和艺术品成为一项挑战。在当代艺术中，使用视觉信息已经不够了，因为艺术家的背景信息已经变得同样重要。在这项工作中，我们提出了一个通用的自然语言处理框架（称为ArtLM），以发现当代艺术家之间的联系，基于他们的传记。在这种方法中，我们首先继续用大量未标记的艺术相关数据对现有的通用英语语言模型进行预训练。然后，我们用艺术行业的专业团队手动注释的传记对数据集微调这个新的预训练模型。通过大量的实验，我们证明了我们的ArtLM达到了85.6%的准确率和84.0%的F1分数，优于其他基线模型。我们还提供了从ArtLM的输出建立的艺术家网络的可视化和定性分析。
2022-12-22 cs.CL cs.LG
Pre-Training with Whole Word Masking for Chinese BERT
Harbin Institute of Technology（哈尔滨工业大学）；iFLYTEK Research（科大讯飞研究院）；iFLYTEK AI Research (Hebei)（科大讯飞人工智能研究院（河北））
来自Transformers的双向编码器表示（BERT）在各种NLP任务中表现出了惊人的改进，并且已经提出了其连续变体，以进一步提高预训练的语言模型的性能。在本文中，我们的目标是首先介绍了整个词掩蔽（wwm）的策略，中文BERT，随着一系列的中文预训练语言模型。然后，我们还提出了一个简单但有效的模型称为MacBERT，它在几个方面改进了RoBERTa。特别是，我们提出了一个新的掩蔽策略称为MLM校正（Mac）。为了证明这些模型的有效性，我们创建了一系列中文预训练语言模型作为我们的基线，包括BERT，RoBERTa，ELECTRA，RBT等。我们对十个中文NLP任务进行了广泛的实验，以评估创建的中文预训练语言模型以及建议的MacBERT。实验结果表明，MacBERT可以在许多NLP任务上实现最先进的性能，我们还通过一些可能有助于未来研究的发现来消除细节。我们将预先训练好的语言模型开源，以进一步促进我们的研究社区。相关资源：https://github.com/ymcui/Chinese-BERT-wwm
2021-11-25 cs.CL cs.LG
The Evolution of Natural Language Processing: How Prompt Optimization and Language Models are Shaping the Future
RPTU Rheinland-Pfälzische Technische Universität Kaiserslautern-Landau（莱茵-普法尔茨理工大学）；German Research Centre for Artificial Intelligence（德国人工智能研究中心）
本文综述提示优化策略，将其分为11类，分析工作范式、应用任务及评估基准，旨在填补全面分析空白，为未来比较研究和创新预测器开发奠定基础。
2025-06-21 cs.AI cs.CL
IITP at AILA 2019: System Report for Artificial Intelligence for Legal Assistance Shared Task
Government College Of Engineering And Textile Technology（政府工程与纺织技术学院）；Indian Institute of Technology Patna（印度理工学院巴特那分校）
在本文中，我们介绍了我们的系统，作为我们参与共同任务的一部分，即人工智能法律援助（AILA 2019）。这是信息检索评估论坛-2019的一个组成部分。这一轨道的成果将有助于印度司法系统工作程序的自动化。司法系统任何一级（从低级法院到高级法院）的手工工作程序和文件编制在性质上都非常复杂。作为这一轨道的一部分而产生的系统将有助于法律从业人员。这对普通人也有帮助。这种跟踪也为自然语言处理在司法领域的研究开辟了道路。这条轨道定义了两个问题，如任务1：确定特定情况下相关的先前案例和任务2：确定特定情况下最相关的法规。我们抓住了他们两个。我们提出的方法是基于BM 25和Doc 2 Vec。根据任务组织者公布的结果，我们在任务1和任务2中分别处于第三和中等位置。
2021-06-26 cs.CL cs.IR
