PASC: Pipeline-Aware Conformal Prediction with Joint Coverage Guarantees for Multi-Stage NLP and LLM Pipelines
Independent Researcher（独立研究者）
本文提出PASC，一种面向多阶段NLP和LLM流水线的管道感知置信区间方法，通过联合覆盖保证提升多阶段流水线的置信区间性能。
2026-05-12 cs.CL cs.IR cs.LG
Time to Embrace Natural Language Processing (NLP)-based Digital Pathology: Benchmarking NLP- and Convolutional Neural Network-based Deep Learning Pipelines
University of Science and Technology of China（中国科学技术大学）；UNSW Sydney（新南威尔士大学）；Genmab Inc.（Genmab公司）
基于NLP的计算机视觉模型，特别是视觉Transformer，在许多成像任务中表现优于CNN模型。然而，大多数数字病理学人工智能模型基于CNN架构，这可能是由于缺乏有关病理学图像的NLP模型的数据。在这项研究中，我们开发了数字病理学管道，以基准测试最近提出的五种NLP模型（视觉Transformer（ViT），Swin Transformer，MobileViT，CMT和Sequencer2D）和四种流行的CNN模型（ResNet18，ResNet50，MobileNetV2和EfficientNet），以预测结直肠癌的生物标志物（微卫星不稳定性，CpG岛甲基化表型和BRAF突变）。来自分子和细胞肿瘤学和癌症基因组图谱的苏木精和伊红染色的全载玻片图像分别用作训练和外部验证数据集。交叉研究外部验证显示，基于NLP的模型在生物标志物预测任务中显著优于基于CNN的模型，将总体预测和精度分别提高了约10%和26%。值得注意的是，与当前文献中使用大型训练数据集的现有模型相比，我们的NLP模型使用相对较小的训练数据集实现了所有三种生物标志物的最新预测，这表明大型训练数据集不是NLP模型或Transformers的先决条件，NLP可能更适合于通常收集小型训练数据集的临床研究。Sequencer2D的优越性能表明，在数字病理学领域，有必要对Transformer和双向长短期记忆架构进行进一步的研究…
2023-02-21 cs.CL cs.CV cs.LG
Spark NLP: Natural Language Understanding at Scale
John Snow Labs Inc.（约翰·斯诺实验室公司）
Spark NLP是一个基于Apache Spark ML的自然语言处理（NLP）库。它为机器学习管道提供了简单，高性能和准确的NLP注释，可以在分布式环境中轻松扩展。Spark NLP提供了1100个预训练的管道和模型，支持192种语言。它支持几乎所有可以在集群中无缝使用的NLP任务和模块。自2020年1月以来，Spark NLP的下载量已超过270万次，增长了9倍，被54%的医疗保健组织使用，成为全球企业中使用最广泛的NLP库。
2021-01-26 cs.CL
Langformers: Unified NLP Pipelines for Language Models
针对使用Transformer语言模型时多框架操作和重复代码的复杂性问题，提出开源Python库Langformers，通过统一工厂式接口整合多任务与平台，简化NLP流水线并提升易用性。
2025-04-12 cs.CL
LatinCy: Synthetic Trained Pipelines for Latin NLP
Institute for the Study of the Ancient World（古代世界研究所）；New York University（纽约大学）
本文提出LatinCy，一组基于spaCy框架、在全部五个拉丁语通用依赖树库上训练的通用拉丁语核心流水线，在词性标注、词形还原和形态标注任务上取得高准确率，为拉丁语NLP研究提供便利。
2023-05-07 cs.CL
MARCUS: An Event-Centric NLP Pipeline that generates Character Arcs from Narratives
International Institute of Information Technology, Hyderabad（国际信息科技学院，海得拉巴）
本研究提出事件中心型NLP流水线MARCUS，通过提取叙事中的事件、角色、情绪等建模角色关系并生成图形化人物弧光，在两部奇幻系列作品上验证了方法有效性，为文学理论概念的量化研究及相关应用提供了支撑。
2025-10-21 cs.CL
Energy and Policy Considerations for Deep Learning in NLP
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
用于训练神经网络的硬件和方法的最新进展已经迎来了在丰富数据上训练的新一代大型网络。这些模型在许多NLP任务中的准确性都有显著提高。然而，这些精度的提高取决于非常大的计算资源的可用性，这需要类似的大量能量消耗。因此，这些模型的训练和开发在经济上是昂贵的，这是由于硬件和电力或云计算时间的成本，并且在环境上是由于为现代张量处理硬件提供燃料所需的碳足迹。在本文中，我们通过量化训练各种最近成功的NLP神经网络模型的近似财务和环境成本来引起NLP研究人员的注意。基于这些发现，我们提出了可操作的建议，以降低成本，提高NLP研究和实践的公平性。
2019-06-05 cs.CL
Evolution of ESG-focused DLT Research: An NLP Analysis of the Literature
Centre for Blockchain Technologies, University College London（区块链技术中心，伦敦大学学院）；UK Centre for Blockchain Technologies（英国区块链技术中心）；Modul University Vienna（维也纳Modul大学）；HSBC Business School, Peking University（汇丰商学院，北京大学）
本研究构建了首个DLT领域人工标注NER数据集，结合NLP与时序图分析24539篇文献，识别出505篇DLT与ESG交叉关键文献，揭示了领域演进趋势并提供了跨学科文献综述新方法。
2025-06-17 cs.CL cs.IR cs.LG
iSEA: An Interactive Pipeline for Semantic Error Analysis of NLP Models
New York University（纽约大学）；Salesforce Research（赛富时研究院）
NLP模型中的错误分析对于成功的模型开发和部署至关重要。诊断错误的一种常见方法是识别数据集中模型产生最多错误的子群体。然而，现有的方法通常基于预定义的特征来定义子群体，这需要用户提前形成错误的假设。为了补充这些方法，我们提出了iSEA，一个用于NLP模型中语义错误分析的交互式管道，它可以在人机交互系统的上下文中自动发现具有高出错率的语义接地子群体。iSEA使模型开发人员能够通过发现的子群体更多地了解其模型误差，通过对发现的子群体进行交互式分析来验证误差来源，并通过定义自定义子群体来测试有关模型误差的假设。该工具支持在标记和概念级别对易出错的子群体进行语义描述，以及预定义的更高级别的功能。通过用例和专家访谈，我们展示了iSEA如何帮助错误理解和分析。
2022-03-08 cs.CL cs.HC
Advancing Hungarian Text Processing with HuSpaCy: Efficient and Accurate NLP Pipelines
University of Szeged（塞格德大学）
本研究基于spaCy框架改进HuSpaCy架构，推出涵盖全流程基础文本处理的匈牙利语工业级NLP流水线，兼顾效率与准确率，经对比验证性能具竞争力，且可复现、免费开源。
2023-08-24 cs.AI cs.CL stat.ML
Bridging Fairness and Environmental Sustainability in Natural Language Processing
University of Mannheim（曼海姆大学）；Carnegie Mellon University（卡内基梅隆大学）；Bocconi University（博科尼大学）；University of Hamburg（汉堡大学）
公平性和环境影响是人工智能可持续发展的重要研究方向。然而，虽然每个主题都是自然语言处理（NLP）中的一个活跃的研究领域，但令人惊讶的是，这两个领域之间的相互作用缺乏研究。这一空白非常成问题，因为越来越多的证据表明，只注重公平实际上会阻碍环境的可持续性，反之亦然。在这项工作中，我们揭示了这个关键的交叉点在NLP（1）调查的效率，目前的公平方法，通过调查的例子方法，减少不公平的刻板偏见从文献中，（2）评估一种常见的技术，以减少能源消耗（从而对环境的影响）的英语NLP模型，知识蒸馏（KD），其对公平的影响。在这个案例研究中，我们评估了重要的KD因素的影响，包括层和降维，关于：（a）蒸馏任务（自然语言推理和语义相似性预测）的性能，以及（b）刻板偏见的多个度量和维度（例如，通过词嵌入关联测试测量的性别偏见）。我们的研究结果使我们澄清了当前关于KD对不公平偏差影响的假设：与其他研究结果相反，我们表明KD实际上可以降低模型的公平性。
2022-11-08 cs.CL
SU-NLP at SemEval-2022 Task 11: Complex Named Entity Recognition with Entity Linking
Sabancı University（萨班哲大学）
本文介绍了由萨班斯大学自然语言处理小组在SemEval-2022 MultiCoNER任务中提出的系统。我们开发了一个无监督的实体链接管道，它可以在维基百科的帮助下检测潜在的实体提及，并使用相应的维基百科上下文来帮助分类器找到该提及的命名实体类型。我们的结果表明，我们的管道显着提高了性能，特别是对于低上下文环境中的复杂实体。
2022-03-22 cs.CL
Trankit: A Light-Weight Transformer-based Toolkit for Multilingual Natural Language Processing
University of Oregon（俄勒冈大学）
我们介绍Trankit，一个轻量级的基于transformer的多语言自然语言处理（NLP）工具包。它为超过100种语言的基本NLP任务提供了一个可训练的管道，并为56种语言提供了90个预训练管道。Trankit建立在最先进的预训练语言模型之上，在句子分割、词性标记、形态特征标记和依存句法分析方面显著优于之前的多语言NLP管道，同时在标记化、多词标记扩展和词形化方面保持了超过90个通用词典树库的竞争性能。尽管使用了一个大型的预训练的Transformer，我们的工具包在内存使用和速度方面仍然很高效。这是通过我们新颖的Adapters即插即用机制实现的，其中多语言预训练的Transformer在不同语言的管道中共享。我们的工具包以及预训练的模型和代码可在https://github.com/nlp-uoregon/trankit上公开获取。我们的工具包的演示网站也可以在：http://nlp.uoregon.edu/trankit。最后，我们在https://youtu.be/q0KGP3zGjGc上为Trankit创建了一个演示视频。
2021-10-15 cs.CL
A Natural Language Processing Pipeline of Chinese Free-text Radiology Reports for Liver Cancer Diagnosis
School of Biomedical Engineering, Capital Medical University（首都医科大学生物医学工程学院）；Beijing Friendship Hospital, Capital Medical University（首都医科大学附属北京友谊医院）；Tsinghua University（清华大学）
尽管自然语言处理（NLP）在电子病历（EMR）中的应用发展迅速，但由于语料有限和特定的语法特征，中文EMR的处理仍然具有挑战性，特别是对于放射学报告。在这项研究中，我们设计了一个NLP管道，用于从中文放射学报告中直接提取临床相关特征，这是计算机辅助放射学诊断的第一个关键步骤。该流水线由命名实体识别、同义词规范化和关系提取组成，最终得到由一个或多个术语组成的放射学特征。在命名实体识别中，我们将词典纳入深度学习模型双向长短期记忆-条件随机场（BiLSTM-CRF），该模型最终取得了93.00%的F1分数。利用提取的影像学特征，采用最小绝对收缩和选择算子以及机器学习方法（支持向量机、随机森林、决策树和逻辑回归）构建肝癌预测分类器。对于肝癌诊断，随机森林在肝癌诊断中具有最高的预测性能（F1得分86.97%，准确率87.71%，召回率86.25%）。本研究是一项综合性的NLP研究，重点关注中国放射学报告以及NLP在癌症风险预测中的应用。所提出的用于放射学特征提取的NLP流水线可以很容易地在其他类型的中文临床文本和其他疾病预测任务中实现。
2020-10-13 cs.CL
Lights, Camera, Action! A Framework to Improve NLP Accuracy over OCR documents
Microsoft（微软公司）；Amazon Alexa（亚马逊Alexa）
文档数字化对于我们社会的数字化转型至关重要，但这一过程中的关键一步--光学字符识别（OCR）仍不完善。即使是商业OCR系统也可能产生有问题的输出，这取决于扫描文档的保真度。在本文中，我们展示了一个有效的框架，以减轻OCR错误的任何下游NLP任务，使用命名实体识别（NER）作为一个例子。我们首先通过构建文档合成管道来解决模型训练的数据稀缺问题，生成具有NER标签的真实但退化的数据。我们测量了不同降级水平下的NER准确度下降，并表明在降级数据上训练的文本恢复模型显着缩小了OCR错误造成的NER准确度差距，包括在域外数据集上。为了社区的利益，我们将文档合成管道作为开源项目提供。
2021-08-06 cs.CL cs.LG
SpeedRead: A Fast Named Entity Recognition Pipeline
Stony Brook University（石溪大学）
在线内容分析采用算法方法来识别非结构化文本中的实体。机器学习和知识库方法都是当代命名实体提取系统的基础。然而，在网络规模上部署这些方法的进展受到了NLP在大量文本语料库上的计算成本的阻碍。我们提出了SpeedRead（SR），一个命名实体识别管道，运行速度至少比斯坦福大学NLP管道快10倍。该管道包括一个高性能的Penn Treebank兼容的标记器，接近最先进的词性（POS）标记器和基于知识的命名实体识别器。
2013-01-14 cs.CL
Composable NLP Workflows for BERT-based Ranking and QA System
UC San Diego（加州大学圣迭戈分校）
针对现实NLP系统跨任务交互繁琐的问题，本工作基于可组合NLP工具包Forte构建端到端排序与问答系统，集成BERT等模型，在MS-MARCO等数据集上验证，模块化设计降低复杂应用构建难度。
2025-04-13 cs.AI cs.CL
Large-Scale News Classification using BERT Language Model: Spark NLP Approach
Brawijaya University（布拉维贾亚大学）
在NLP之上的大数据分析的兴起增加了大规模文本处理的计算负担。NLP面临的问题是非常高维的文本，因此需要大量的计算资源。MapReduce允许大型计算的并行化，并且可以提高文本处理的效率。本研究旨在研究基于深度学习方法的大数据处理对自然语言处理任务的影响。我们使用预先训练好的模型对BERT进行微调，对新闻主题的大文本进行分类。在本研究中使用了具有不同数量参数的五个预训练模型。为了衡量这种方法的效率，我们将BERT的性能与Spark NLP的流水线进行了比较。结果表明，与使用Spark NLP的BERT相比，使用Spark NLP的BERT具有更高的精度。使用BERT的所有模型的平均精度和训练时间为0.9187和35分钟，而使用Spark NLP管道的BERT为0.8444和9分钟。模型越大，需要的计算资源越多，完成任务的时间也越长。然而，与没有Spark NLP的BERT相比，使用Spark NLP的BERT的准确率平均仅下降了5.7%，而训练时间则显著减少了62.9%。
2021-07-15 cs.CC cs.CL cs.LG
What's Wrong with Hebrew NLP? And How to Make it Right
Open University of Israel（以色列开放大学）
对于具有简单形态的语言，如英语，spaCy或斯坦福大学的CoreNLP等自动注释管道成功地为学术界和工业界的项目提供了服务。对于许多形态丰富语言（Morphologically Rich Languages，MRL），类似的流水线表现出次优性能，限制了它们在研究和工业中的文本分析应用。次优性能主要是由于早期形态消歧决策中的错误，这些错误在流水线后期无法恢复，总体上产生不连贯的注释。在本文中，我们描述了设计和使用的Onlp套件，一个联合形态句法分析框架处理现代希伯来语文本。形态学和句法的联合推理大大限制了错误传播，并导致高精度。Onlp提供丰富而富有表现力的输出，已经满足了不同的学术和商业需求。其附带的在线演示进一步服务于教育活动，向研究人员和非研究人员介绍希伯来语NLP的复杂性。
2019-08-15 cs.CL
A Cascaded Unsupervised-Supervised NLP Pipeline for Detecting Accusatory Language in Public Procurement
Universidad San Francisco de Quito（基多圣弗朗西斯科大学）；Universidad de Las Américas（美洲大学）；Escuela Politécnica Nacional（国家理工学院）；Carnegie Mellon University（卡内基梅隆大学）
该研究针对公共采购中指控性语言检测问题，提出级联无监督-监督NLP流水线，结合Word2Vec、GMM和随机森林模型，可在类别不平衡下高效识别违规风险，提升采购透明度。
2026-08-13 cs.CL
A Hybrid, Multi-Layered Pipeline for Phishing and Threat Classification: Independently Validated URL and NLP Engines with a Calibrated Multi-Channel Fusion Stage
Department of Communications and Information Engineering（通讯与信息工程系）；Zewail City of Science and Technology（泽瓦尔科学与技术城）
提出一种混合管道，分别对URL和文本模态使用独立引擎评分并融合结果，在10,677封邮件基准测试中达到F1=0.914，并将真实垃圾邮件误报率降至3.6%。
2026-06-24 cs.CL cs.CR cs.LG
Conversion of Legal Agreements into Smart Legal Contracts using NLP
National Taiwan Normal University（台湾师范大学）；University College London（伦敦大学学院）；Peking University（北京大学）
本文提出一种利用NLP模型自动化创建智能法律合同的流水线，将法律协议转换为Accord Project的Concerto模型，并开发了相应的Web界面，实验表明其NER检测准确率达0.8。
2023-04-05 cs.CL cs.CY
EcoVerse: An Annotated Twitter Dataset for Eco-Relevance Classification, Environmental Impact Analysis, and Stance Detection
针对NLP领域对气候变化外环境主题研究不足、环境影响分析空白的问题，本文构建了含3023条推文的EcoVerse标注数据集，设计三级标注方案，用BERT类模型实验验证了数据质量，指出需定制环境文本专用模型，数据集已开放。
2024-04-08 cs.CL
Demonstrate-Search-Predict: Composing retrieval and language models for knowledge-intensive NLP
Stanford University（斯坦福大学）
检索增强的上下文学习已经成为一个强大的方法来解决知识密集型任务使用冻结语言模型（LM）和检索模型（RM）。现有的工作结合了这些简单的“检索，然后阅读”管道中的RM检索插入到LM提示通道。为了开始充分认识到冻结LM和RM的潜力，我们提出了演示搜索预测（DSP），一个框架，依赖于传递自然语言文本之间的LM和RM复杂的管道。DSP可以表达高级程序，这些程序可以引导流水线感知的演示，搜索相关段落，并生成接地预测，系统地将问题分解为LM和RM可以更可靠地处理的小转换。我们已经编写了新颖的DSP程序，用于在开放域、多跳和会话设置中回答问题，在早期评估中建立了最先进的上下文学习结果，并分别提供了相对于香草LM（GPT-3.5）、标准检索然后读取管道和同期自问管道的37- 120%、8- 39%和80-290%的相对增益。我们在https://github.com/stanfordnlp/dsp上发布DSP
2023-01-23 cs.CL cs.IR
Renard: A Modular Pipeline for Extracting Character Networks from Narrative Texts
Laboratoire des Sciences du Numérique de Nantes（南特数字科学实验室）
本文介绍 Python 库 Renard，它通过模块化、可定制的 NLP 流水线从叙事文本中提取静态与动态人物网络，并支持分析各子任务的影响。
2024-07-02 cs.CL
A Low-Resource Speech-Driven NLP Pipeline for Sinhala Dyslexia Assistance
Informatics Institute of Technology（信息学技术学院）；Swansea University（斯旺西大学）
本研究针对低资源语言僧伽罗语的成人诵读障碍辅助需求，构建了集成Whisper、SinBERT、mT5与Mistral及gTTS的语音驱动NLP辅助系统，在数据集有限的情况下实现了0.65的整体准确率，验证了该方法的可行性与有效性。
2025-10-06 cs.CL cs.SE
One Model is All You Need: ByT5-Sanskrit, a Unified Model for Sanskrit NLP Tasks
Heinrich Heine University Düsseldorf（杜塞尔多夫海因里希·海涅大学）；University of California, Berkeley（加利福尼亚大学伯克利分校）；University of Zürich（苏黎世大学）
本文提出预训练语言模型 ByT5-Sanskrit，通过多任务数据集微调构建统一模型，在梵语词分割、依存句法分析及 OCR 后校正等任务上取得 SOTA，证明字节级模型在形态丰富语言处理中的优越性。
2024-09-20 cs.CL cs.LG
Uncertainty Quantification with Pre-trained Language Models: A Large-Scale Empirical Analysis
Massachusetts Institute of Technology（麻省理工学院）；Carnegie Mellon University（卡内基梅隆大学）；University of Cambridge（剑桥大学）；Stanford University（斯坦福大学）
预训练的语言模型（PLM）由于其在各种自然语言处理（NLP）任务中引人注目的预测性能而越来越受欢迎。在为NLP任务制定基于PLM的预测管道时，管道最大限度地减少校准误差也至关重要，特别是在安全关键型应用中。也就是说，管道应该可靠地指示我们何时可以信任它的预测。特别是，管道背后有各种考虑因素：（1）PLM的选择和（2）PLM的大小，（3）不确定性量化器的选择，（4）微调损耗的选择等等。虽然先前的工作已经研究了其中的一些考虑因素，他们通常得出结论的基础上有限的范围内的实证研究。对于如何构建一个校准良好的基于PLM的预测管道，仍然缺乏整体分析。为了填补这一空白，我们根据三个流行的NLP分类任务和域转移的设置，比较了各种流行的选项。作为回应，我们建议如下：（1）使用ELECTRA进行PLM编码，（2）如果可能，使用更大的PLM，（3）使用Temp Scaling作为不确定性量化器，以及（4）使用Focal Loss进行微调。
2022-10-14 cs.CL cs.LG stat.ML
Automated Refugee Case Analysis: An NLP Pipeline for Supporting Legal Practitioners
School of Informatics（信息学院）；The University of Edinburgh（爱丁堡大学）；School of Law（法学院）
本文提出一个端到端NLP流水线，用于从加拿大难民法律案件中提取19类信息，测试多种模型架构，发现法律领域预训练模型效果最佳，F1分数在多个类别上超过90%。
2023-05-24 cs.CL
Dialogue to Detection: A Multimodal Hybrid NLP Pipeline for Insurance Fraud Detection
Aston University（阿斯顿大学）；Domestic & General
提出一种合成多模态框架，结合ASR、NER、LLM-RAG和说话人嵌入，通过规则风险评分检测保险欺诈中的叙述复用、结构不一致和跨案件语音重复。
2026-06-29 cs.AI cs.CL eess.AS
Improving Clinical Document Understanding on COVID-19 Research with Spark NLP
John Snow Labs Inc.（约翰斯诺实验室公司）
在全球COVID-19大流行之后，研究该病毒的科学论文数量大幅增加，导致对自动化文字审查的兴趣增加。我们提出了一个临床文本挖掘系统，在三个方面改进了以前的努力。首先，它可以识别超过100种不同的实体类型，包括健康，解剖，风险因素和不良事件的社会决定因素，以及其他常用的临床和生物医学实体。其次，文本处理管道包括断言状态检测，以区分存在、不存在、有条件或关于患者以外的某人的临床事实。第三，使用的深度学习模型比以前更准确，利用了最先进的预训练命名实体识别模型的集成管道，并改进了以前的断言状态检测的最佳性能基准。我们举例说明如何从COVID-19开放研究数据集（CORD-19）中提取趋势和见解，例如最常见的疾病和症状，以及最常见的生命体征和EKG结果。该系统使用Spark NLP库构建，该库原生支持扩展以使用分布式集群，利用GPU，可配置和可重用的NLP管道，医疗保健特定嵌入以及训练模型以支持新实体类型或人类语言而无需更改代码的能力。
2020-12-07 cs.CL cs.IR
From Word Sequences to Behavioral Sequences: Adapting Modeling and Evaluation Paradigms for Longitudinal NLP
本文提出纵向建模和评估范式，针对纵向研究中文档嵌套于作者且按时间顺序排列的行为序列，改进NLP流程的四个部分，展示传统方法的不足及改进效果。
2026-06-29 cs.AI cs.CL cs.LG
A Pipeline For Discourse Circuits From CCG
Quantinuum（昆腾努姆）；University of Oxford（牛津大学）
本文提出一个将英语文本转换为DisCoCirc电路表示的软件流水线，结合CCG解析与共指消解，生成简单类型λ演算项和电路图，以支持经典与量子NLP应用。
2023-11-29 cs.AI cs.CL
Semantic Decomposition and Selective Context Filtering -- Text Processing Techniques for Context-Aware NLP-Based Systems
Cebu Institute of Technology（宿务理工学院）
本文提出语义分解与选择性上下文过滤两项文本处理技术，以结构化提示和剔除无关上下文，增强基于 NLP 的上下文感知系统的接口、回复连贯性及工作流优化能力。
2025-02-19 cs.AI cs.CL cs.HC
Smart-Hiring: An Explainable end-to-end Pipeline for CV Information Extraction and Job Matching
ATM Mobilis Algiers, Algeria（阿尔及利亚阿尔梅里尔ATM Mobilis）
本文提出Smart-Hiring，一个端到端NLP流水线，通过文档解析、命名实体识别和上下文文本嵌入技术，从非结构化简历中提取结构化信息，并在共享向量空间中计算候选人与职位的相似度，实现了高准确率、高可解释性的自动化简历筛选与职位匹配。
2025-11-04 cs.CL
Disengagement Cause-and-Effect Relationships Extraction Using an NLP Pipeline
The University of Michigan（密歇根大学）
机器学习和人工智能的进步正在促进自动驾驶汽车（AV）在公共道路上的测试和部署。加州机动车管理局（CA DMV）启动了自动驾驶汽车测试计划，该计划收集并发布与自动驾驶汽车脱离（AVD）相关的报告。了解AVD的原因对于提高AV系统的安全性和稳定性至关重要，并为AV测试和部署提供指导。在这项工作中，构建了一个可扩展的端到端管道，使用自然语言处理深度迁移学习收集、处理、建模和分析2014年至2020年发布的脱离报告。使用分类学、可视化和统计学检验对脱离数据进行分析，揭示了AV测试的趋势、分类的原因频率以及AVD的原因和影响之间的显著关系。我们发现，（1）制造商在春季和/或冬季集中测试AV，（2）测试驾驶员发起超过80%的脱离，而超过75%的脱离是由AV系统本身的感知，定位和映射，规划和控制错误引起的，（3）AVD的发起者和原因类别之间存在显着的关系。这项研究是使用预训练模型进行深度迁移学习的成功实践，并生成了一个统一的脱离数据库，允许其他研究人员进行进一步的调查。
2021-11-05 cs.CL cs.HC cs.RO
lambeq: An Efficient High-Level Python Library for Quantum NLP
Cambridge Quantum Computing（剑桥量子计算公司）
我们介绍了lambeq，第一个用于量子自然语言处理（QNLP）的高级Python库。这个开源工具包提供了一个详细的模块和类层次结构，实现了将句子转换为字符串图、张量网络和量子电路的管道的所有阶段，可以在量子计算机上使用。Lambeq支持句法分析、字符串图的重写和简化、语法创建和操作、以及用于准备句子的量子友好表示的多个组合模型，采用不同程度的语法敏感性。我们提出了通用的体系结构，并详细描述了最重要的模块，演示了使用说明性的例子。此外，我们在实践中测试工具包，使用它来执行一些简单的NLP任务的实验，实现经典和量子管道。
2021-10-08 cs.AI cs.CL quant-ph
DaCy: A Unified Framework for Danish NLP
Interacting Minds Centre（互动心智中心）；Center for Humanities Computing Aarhus（奥胡斯人文计算中心）；Aarhus University（奥胡斯大学）；Department of Clinical Medicine（临床医学系）
近年来，丹麦自然语言处理（NLP）通过增加多个新的数据集和模型获得了相当大的改进。然而，目前还没有一个连贯的框架来适用丹麦语的最新模式。我们提出DaCy：一个建立在SpaCy上的丹麦NLP统一框架。DaCy使用高效的多任务模型，在命名实体识别、词性标注和依存句法分析方面获得了最先进的性能。DaCy包含用于轻松集成现有模型的工具，例如极性，情感或主观性检测。此外，我们通过增加DaNE的测试集，对丹麦NLP管道的偏差和鲁棒性进行了一系列测试。DaCy large比较有利，并且对长输入长度和拼写变化和错误特别鲁棒。除DaCy大型模型外，所有模型均显示出与种族相关的显著偏倚，而只有Polyglot显示出显著的性别偏倚。我们认为，对于具有有限基准集的语言，数据增强对于获得更现实和细粒度的性能估计特别有用。我们提供了一系列增强器，作为对中低资源语言的语言模型进行更彻底评估的第一步，并鼓励进一步开发。
2021-07-12 cs.CL cs.LG
Initial Investigation of LLM-Assisted Development of Rule-Based Clinical NLP System
University of Utah（犹他大学）；VA Salt Lake City Health Care System（盐湖城退伍军人医疗保健系统）
本研究提出在规则型临床NLP系统开发阶段利用LLM辅助，初步实验显示高召回率，实现更快速、经济且透明的半自动化开发。
2025-06-19 cs.CL cs.LG
Annotated Dataset Creation through General Purpose Language Models for non-English Medical NLP
获取带有语义注释的文本数据集是一个费力的过程，但对于自然语言处理（NLP）中的监督训练至关重要。一般来说，在特定于领域的上下文中为任务开发和应用新的NLP管道通常需要定制设计的数据集，以监督机器学习的方式解决NLP任务。当使用非英语语言进行医疗数据处理时，这暴露了几个次要和主要的相互关联的问题，例如缺乏任务匹配数据集以及特定于任务的预训练模型。在我们的工作中，我们建议利用预训练的语言模型进行训练数据采集，以便检索足够大的数据集，为特定于用例的任务训练更小和更有效的模型。为了证明您的方法的有效性，我们创建了一个自定义数据集，我们使用它来训练德语文本的医学NER模型GPTNERMED，但我们的方法原则上仍然与语言无关。我们获得的数据集以及我们的预训练模型可在https://github.com/frankkramer-lab/GPTNERMED上公开获取
2022-08-30 cs.AI cs.CL cs.LG
ESGBERT: Language Model to Help with Classification Tasks Related to Companies Environmental, Social, and Governance Practices
University of California Berkeley（加州大学伯克利分校）
环境、社会和治理（ESG）是非财务因素，越来越受到投资者的关注，因为他们越来越多地将这些因素作为分析的一部分，以识别重大风险和增长机会。这种关注也受到客户的推动，他们现在比以往任何时候都更加意识到，他们要求负责任地管理和投资他们的资金。随着人们对ESG的兴趣越来越大，投资者对获取可消费的ESG信息的需求也越来越大。由于大部分信息都是以文本形式出现在报告、披露、新闻稿和10-Q文件中，因此我们认为需要复杂的NLP技术来完成ESG文本的分类任务。我们假设ESG领域特定的预训练模型将有助于实现这一点，并在本文中研究构建同样的模型。我们通过使用ESG特定文本微调BERT预训练的权重，然后进一步微调分类任务的模型来探索这一点。在特定于环境的分类任务中，我们能够实现比原始BERT和基线模型更好的准确性。
2022-03-31 cs.CL cs.LG
LogogramNLP: Comparing Visual and Textual Representations of Ancient Logographic Writing Systems for NLP
UC San Diego（UC圣地亚哥大学）；University of Waterloo（滑铁卢大学）
LogogramNLP通过比较视觉与文本表示，为古代象形文字的NLP分析提供首个基准，展示视觉方法在部分任务中的优势。
2026-01-28 cs.AI cs.CL cs.CV
Masader: Metadata Sourcing for Arabic Text and Speech Data Resources
King Fahd University of Petroleum and Minerals（法赫德石油和矿产大学）
NLP管道在过去几年中发生了巨大的变化。管道中的第一步是找到合适的注释数据集来评估我们试图解决的任务。不幸的是，大多数已发布的数据集缺乏描述其属性的元数据注释。更不用说，缺乏一个公共目录来索引与特定地区或语言相关的所有公开数据集。例如，当我们考虑低资源的辩证语言时，这个问题变得更加突出。在本文中，我们创建了\textit{Masader}，这是阿拉伯语NLP数据集的最大公共目录，由200个数据集组成，注释了25个属性。此外，我们开发了一个元数据注释策略，可以扩展到其他语言。我们还就阿拉伯语NLP数据集的现状发表评论并强调一些问题，并提出解决这些问题的建议。
2021-10-13 cs.CL
Social media mining for toxicovigilance of prescription medications: End-to-end pipeline, challenges and future work
Emory University（埃默里大学）
本文介绍了一个从Twitter和Reddit挖掘非医疗处方药物使用信息的端到端流水线，采用监督机器学习和NLP过滤噪声，并讨论了挑战与未来方向。
2023-09-02 cs.AI cs.CL
TokenVerse: Towards Unifying Speech and NLP Tasks via Transducer-based ASR
Idiap Research Institute（伊迪亚普研究所）；EPFL（洛桑联邦理工学院）；University of Zurich（苏黎世大学）；Brno University of Technology（布尔诺理工大学）；Uniphore（尤尼福公司）
针对传统语音对话智能级联流水线流程繁琐的问题，提出基于Transducer的TokenVerse模型，通过在ASR训练中融入任务特定token统一处理语音与NLP任务，在多任务上性能优于级联方案，ASR相对WER最高提升7.7%。
2024-10-08 cs.CL cs.SD eess.AS
Multilingual Medical Question Answering and Information Retrieval for Rural Health Intelligence Access
Sir M. Visvesvaraya Institute of Technology（M·维斯维斯瓦亚爵士理工学院）
在一些发展中国家的农村地区，基本上无法获得高质量的医疗保健、医疗基础设施和专业诊断。这些地区中有许多正在逐步接入互联网基础设施，尽管连接不够强大，无法与医生进行持续的通信。由于无法获得医疗服务、没有病人以前的健康记录和没有土著语言的信息而造成的几起死亡是很容易避免的。在本文中，我们描述了一种利用机器学习和NLP（自然语言处理）技术的惊人进步来设计一个低资源、多语言和初步的第一接触点医疗助理的模型的方法。我们的贡献包括定义命名实体识别所需的NLP管道，语言无关的句子嵌入，自然语言翻译，信息检索，问答，并生成最终查询处理的预训练。我们获得了有希望的结果，这个管道和EHR（电子健康记录）分析的初步结果与文本摘要，供医疗从业者阅读他们的诊断。通过这个NLP管道，我们的目标是为用户提供初步的医疗信息，并不声称要取代合格医生的诊断。使用来自主题专家的输入，我们已经编译了一个大型语料库来预训练和微调我们的基于BioBERT的NLP模型，用于特定任务。我们期待NLP架构的最新进展，其中一些是高效和隐私保护的模型，以进一步影响我们的解决方案，并提高个人任务的性能。
2021-06-02 cs.CL cs.IR
Towards the Roof of the World: NLP Progress in Tibetan Languages
School of Philosophy and Religious Studies, Minzu University of China（中央民族大学哲学与宗教学学院）；School of Information Engineering, Minzu University of China（中央民族大学信息工程学院）；Institute of National Security, Minzu University of China（中央民族大学国家安全研究院）；National Language Resource Monitoring & Research Center — Minority Languages Branch（国家语言资源监测与研究中心少数民族语言分中心）；School of Information Science and Technology, Xizang University（西藏大学信息科学技术学院）；The State Key Laboratory of Tibetan Intelligence（藏语智能国家重点实验室）
本研究对2004-2026年藏语NLP的140篇文献开展系统计量分析，揭示其发展现状、缺口并提出建议，为低资源语言NLP提供参考模型。
2026-10-12 cs.CL
An Unsupervised Natural Language Processing Pipeline for Assessing Referral Appropriateness
ARIA s.p.a - Azienda Regionale per l’Innovazione e gli Acquisti（区域创新与采购公司）；Regione Lombardia（伦巴第大区）；Human Technopole（人类技术极地）
针对意大利医疗体系中转诊原因仅为自由文本、缺乏标注数据的问题，研究提出基于意大利医疗文本预训练Transformer嵌入的无监督NLP流水线，在两类检查数据集上实现高精度的转诊原因识别与合理性评估，为区域医疗政策制定提供支持。
2025-09-04 cs.CL cs.LG
Why Low-Resource NLP Needs More Than Cross-Lingual Transfer: Lessons Learned from Luxembourgish
SnT, University of Luxembourg（卢森堡大学SnT学院）；Luxembourg Institute of Science and Technology（卢森堡科学技术研究院）
本文探讨了低资源语言处理中跨语言迁移与语言特定努力的互补性，指出两者需结合以构建可持续的NLP流程。
2026-05-11 cs.AI cs.CL
Multilingual Sequence-to-Sequence Models for Hebrew NLP
Google Research（谷歌研究院）
最近的工作将NLP的进展归因于大语言模型（LM），其模型大小增加，预训练数据量大。尽管如此，与其他语言的LM相比，目前最先进的希伯来语LM参数化不足，训练不足。此外，以前关于预训练的希伯来语LM的工作主要集中在编码器模型上。虽然仅编码器架构有利于分类任务，但考虑到希伯来语在形态上丰富的性质，它无法很好地满足子词预测任务，例如命名实体识别。在本文中，我们认为，序列到序列生成架构更适合LLM的情况下，形态丰富的语言（MRL），如希伯来语。我们证明，通过将Hebrew NLP管道中的任务转换为文本到文本任务，我们可以利用强大的多语言，预训练的序列到序列模型作为mT5，从而消除了对专门的，基于词素的，单独微调的解码器的需求。使用这种方法，我们的实验表明，在现有的希伯来语NLP基准上，与以前发表的结果相比，有了很大的改进。这些结果表明，多语言序列到序列模型为MRL的NLP提供了一个有前途的构建模块。
2022-12-19 cs.CL
Zero-shot LLM-guided Counterfactual Generation: A Case Study on NLP Model Evaluation
Worcester Polytechnic Institute（伍斯特理工学院）
本文研究利用大语言模型以零样本方式生成反事实示例来对黑盒NLP模型进行压力测试和解释，提出结构化生成流水线，并通过多种LLMs和下游任务实验验证其有效性。
2024-11-19 cs.AI cs.CL cs.LG
CASE: Efficient Curricular Data Pre-training for Building Assistive Psychology Expert Models
IIIT Bangalore（印度信息技术研究所班加罗尔分校）；NIMHANS（国家精神卫生和神经科学研究所）；Ashoka University（阿肖克大学）；IBM（国际商业机器公司）
针对心理健康论坛文本分析中的数据隐私与稀缺问题，提出利用专业课程文本预训练的CASE-BERT，高效标记需紧急关注的抑郁与焦虑用户。
2024-10-02 cs.AI cs.CL cs.LG
Deep learning-based NLP Data Pipeline for EHR Scanned Document Information Extraction
Division of Pulmonary, Critical Care and Sleep Medicine, Department of Internal Medicine, University of Texas Medical Branch（德克萨斯大学医学分部内科学系肺、重症监护与睡眠医学部）；School of Biomedical Informatics, University of Texas Health Science Center at Houston（德克萨斯大学休斯顿健康科学中心生物医学信息学学院）；Center for Outcomes Research, Houston Methodist（休斯顿卫理公会医院结果研究中心）
本文提出一种基于深度学习的NLP数据管道，用于处理电子健康记录中扫描文档的信息提取，评估了图像预处理、NLP模型选择及文档布局对信息提取效果的影响。
2021-09-14 cs.CL cs.CV
Recent Trends in the Use of Deep Learning Models for Grammar Error Handling
Wells Fargo（富国银行）；Corporate Model Risk（企业模型风险部门）
语法错误处理是自然语言处理中的一个重要课题。GEH包括语法错误检测和语法错误纠正。计算系统的最新进展促进了深度学习（DL）模型在GEH等NLP问题中的使用。在这篇综述中，我们重点介绍了GEH的两种主要的深度学习方法：神经机器翻译模型和编辑器模型。我们描述了这些模型管道的三个主要阶段：数据准备，训练和推理。此外，我们讨论了不同的技术，以提高这些模型在管道的每个阶段的性能。我们比较了不同模型的性能，并得出结论，提出了未来的发展方向。
2020-09-04 cs.AI cs.CL
