The Case for Scalable, Data-Driven Theory: A Paradigm for Scientific Progress in NLP
New York University(纽约大学)
本文提出以可扩展、数据驱动的语言结构理论为核心的 NLP 科学进步范式,并以 QA-SRL 为例展示如何通过受限问答标注和机器学习构建可解释的浅层语义理论。
2023-12-01 cs.AI cs.CL
NLP Privacy Risk Identification in Social Media (NLP-PRISM): A Survey
George Mason University(乔治·马歇尔大学)
本文提出NLP-PRISM框架,系统评估社交媒体中NLP处理的隐私风险,揭示模型隐私保护与效用之间的权衡,并呼吁加强隐私保护措施。
2026-01-26 cs.AI cs.CL cs.CR
Fault of Our Stars: Behavioral Drivers of Rating-Sentiment Incongruence
Department of Computer Science and Engineering(计算机科学与工程系);University of Moratuwa(穆拉图瓦大学)
本研究通过分析斯里兰卡旅游评论,发现18.6%的评论存在评分与文本情感不一致,并识别出保守评分者和强制性5星行为等模式,揭示了评分不能替代文本情感。
2026-07-02 cs.CL
What Do You See in this Patient? Behavioral Testing of Clinical NLP Models
Berliner Hochschule für Technik (BHT)(柏林工程应用技术大学)
基于临床记录的决策支持系统有可能通过向医生指出监督风险来改善患者护理。预测患者的结果是此类系统的重要组成部分,深度神经网络的使用已经显示出有希望的结果。然而,这些网络学习到的模式大多是不透明的,以前的工作揭示了无意偏见复制的缺陷。因此,我们引入了一个可扩展的测试框架,评估临床结果模型的输入变化的行为。该框架有助于理解学习的模式及其对模型决策的影响。在这项工作中,我们应用它来分析患者特征性别,年龄和种族方面的行为变化。我们对目前三个临床NLP模型的评估表明了这些特征对模型决策的具体影响。他们表明,即使对相同的数据进行微调,模型的行为也会发生巨大的变化,并且据称表现最好的模型并不总是学习到医学上最合理的模式。
2021-11-30 cs.CL cs.LG
A Study of Social and Behavioral Determinants of Health in Lung Cancer Patients Using Transformers-based Natural Language Processing Models
University of Florida(佛罗里达大学);Weill Cornell Medicine(威尔康奈尔医学院)
健康的社会和行为决定因素(SBDoH)在塑造人们的健康方面发挥着重要作用。在临床研究中,特别是比较有效性研究中,未能调整SBDoH因素可能会在统计分析和基于机器学习的模型中导致混淆问题和错误分类错误。然而,有有限的研究,以检查SBDoH因素的临床结果,由于缺乏结构化的SBDoH信息在当前的电子健康记录(EHR)系统,而大部分的SBDoH信息记录在临床叙述。因此,自然语言处理(NLP)是从非结构化临床文本中提取此类信息的关键技术。然而,目前还没有一个成熟的临床NLP系统专注于SBDoH。在这项研究中,我们检查了两个最先进的基于转换器的NLP模型,包括BERT和RoBERTa,以从临床叙述中提取SBDoH概念,应用表现最好的模型提取肺癌筛查患者队列的SBDoH概念,分析了自然语言处理结果和结构化EHR中SBDoH信息的差异(SBDoH信息以标准词汇表(如国际疾病分类代码)获取)。实验结果表明,基于BERT的自然语言处理模型取得了最好的严格/宽松的F1分数分别为0.8791和0.8999。NLP提取的SBDoH信息和结构化EHR在864例肺癌患者队列中的161,933种不同类型的临床记录之间的比较表明,关于吸烟,教育和就业的更详细的信息仅在临床叙述中获得,并且有必要使用临床叙述和结构化EHR来构建患者SBDoH因素的更完整的图片。
2021-08-10 cs.CL cs.LG
From Word Sequences to Behavioral Sequences: Adapting Modeling and Evaluation Paradigms for Longitudinal NLP
本文提出纵向建模和评估范式,针对纵向研究中文档嵌套于作者且按时间顺序排列的行为序列,改进NLP流程的四个部分,展示传统方法的不足及改进效果。
2026-06-29 cs.AI cs.CL cs.LG
AutoTestForge: A Multidimensional Automated Testing Framework for Natural Language Processing Models
Xidian University(西安电子科技大学);University of Southampton(南安普顿大学)
本文提出AutoTestForge框架,利用大语言模型自动生成测试用例并通过多模型投票保证质量,从分类法、公平性和鲁棒性三个维度评估NLP模型,在情感分析和语义文本相似度任务上取得了优于现有工具的错误检测率。
2025-03-07 cs.CL cs.CR cs.SE
Automatic Generation of Behavioral Test Cases For Natural Language Processing Using Clustering and Prompting
Wells Fargo(富国银行);H2O.ai;UNC Charlotte(北卡罗来纳大学夏洛特分校)
本文提出利用大型语言模型与聚类提示技术自动生成NLP行为测试用例,并在Amazon Reviews上分析四种分类算法的行为测试画像及优劣。
2024-08-08 cs.AI cs.CL cs.ET
Detecting Reddit Users with Depression Using a Hybrid Neural Network SBERT-CNN
University of Washington(华盛顿大学);Mayo Clinic(梅奥诊所)
本研究提出结合预训练 SBERT 和 CNN 的混合深度学习模型,通过分析 Reddit 帖子自动识别抑郁症用户,在 SMHD 数据集上达到 0.86 的准确率和 F1 分数,优于现有方法。
2024-01-29 cs.AI cs.CL cs.LG
DECK: Behavioral Tests to Improve Interpretability and Generalizability of BERT Models Detecting Depression from Text
从文本中准确检测抑郁症的模型是应对大流行后心理健康危机的重要工具。基于BERT的分类器有前途的性能和现成的可用性使它们成为这项任务的理想候选者。然而,已知这些模型遭受性能不一致和较差的泛化。在本文中,我们介绍了DECK(抑郁症患者Klist),抑郁症特定的模型行为测试,允许更好的解释性和提高概括性的BERT分类器在抑郁症领域。我们创建了23个测试来评估BERT,RoBERTa和AL BERT抑郁分类器在三个数据集上,两个基于Twitter和一个基于临床访谈。我们的评估表明,这些模型:1)对文本中某些性别敏感的变化具有鲁棒性; 2)依赖于第一人称代词使用增加的重要抑郁语言标记; 3)未能检测到其他一些抑郁症状,如自杀意念。我们还证明了DECK测试可以用于将特定于训练数据的信息整合到训练数据中,并始终如一地提高所有三个BERT模型的泛化能力,分布外F1分数增加高达53.93%。
2022-09-12 cs.CL
When Good and Reproducible Results are a Giant with Feet of Clay: The Importance of Software Quality in NLP
Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会);University of Trento(特伦托大学);NVIDIA(英伟达公司)
本文通过修复Conformer实现中的三个错误,揭示良好可复现结果仍可能掩盖代码缺陷并误导研究,进而提出代码质量检查清单并发布测试库pangoliNN以提升NLP软件质量。
2024-07-04 cs.AI cs.CL
Evaluating Large Language Models (LLMs) in Financial NLP: A Comparative Study on Financial Report Analysis
本文评估了五种基于transformer的LLMs在财务报告分析中的表现,发现模型在不同评估维度上表现各异,需考虑人类主观性和行为差异性。
2026-01-19 cs.AI cs.CE cs.CL
To share or not to share: What risks would laypeople accept to give sensitive data to differentially-private NLP systems?
Technical University of Darmstadt(达姆施塔特工业大学);Ludwig-Maximilians-Universität München(慕尼黑大学);Paderborn University(帕德博恩大学)
针对差分隐私NLP系统中隐私预算$\varepsilon$选择任意的问题,通过311名参与者的行为实验,探究普通人在真实NLP场景下愿意分享敏感文本数据的$\varepsilon$阈值。
2024-03-25 cs.CL cs.CR
Towards General Error Diagnosis via Behavioral Testing in Machine Translation
The Hong Kong University of Science and Technology(香港科技大学);Tencent AI Lab(腾讯人工智能实验室)
本文提出了一种基于双语翻译对生成的行为测试(BTPGBT)框架,通过自动化构建高质量测试用例及伪参考,解决了机器翻译系统行为测试中依赖人工参考的问题,实现了对通用错误的全面准确诊断。
2023-10-20 cs.AI cs.CL cs.LG
TestAug: A Framework for Augmenting Capability-based NLP Tests
Stevens Institute of Technology(史蒂文斯理工学院);The University of Texas at Dallas(德克萨斯大学达拉斯分校)
最近提出的基于能力的NLP测试允许模型开发人员测试NLP模型的功能能力,揭示传统heldout机制无法检测到的功能故障。然而,现有的工作基于能力的测试需要大量的手工工作和领域的专业知识,在创建测试用例。在本文中,我们研究了一种低成本的方法,利用GPT-3引擎的测试用例生成。我们进一步建议使用分类器来移除GPT-3的无效输出,并将输出扩展为模板以生成更多的测试用例。实验结果表明,TestAug与现有的行为测试方法相比,具有以下三个优点:(1)TestAug可以发现更多的错误;(2)TestAug中的测试用例更加多样化;(3)TestAug大大节省了创建测试套件的人工工作。TestAug的代码和数据可以在我们的项目网站(https://guanqun-yang.github.io/testaug/)和GitHub(https://github.com/guanqun-yang/testaug)上找到。
2022-10-14 cs.AI cs.CL cs.LG
Automating Behavioral Testing in Machine Translation
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Apple(苹果公司)
本文提出利用 LLM 自动生成多样化源句及候选匹配集,以极少人工对多个机器翻译系统开展行为测试,发现了传统准确率指标遗漏的差异与潜在缺陷。
2023-11-03 cs.AI cs.CL