Radar de Parité: An NLP system to measure gender representation in French news stories
Simon Fraser University（西蒙菲莎大学）
本文提出 Radar de Parité NLP 系统，通过法语共指消解等技术统计六家加拿大法语媒体引述中的男女比例，并用逾28万篇文章揭示女性代表性不足。
2023-04-19 cs.CL
Evaluating the Faithfulness of Importance Measures in NLP by Recursively Masking Allegedly Important Tokens and Retraining
Mila – Quebec AI Institute（米拉-魁北克人工智能研究所）；Polytechnique Montréal（蒙特利尔综合理工学院）；McGill University（麦吉尔大学）；Facebook（脸书）
为了解释NLP模型，一种流行的方法是使用重要性度量，例如注意力，它告知输入令牌对于进行预测很重要。然而，一个悬而未决的问题是，这些解释在多大程度上准确地反映了模型的逻辑，即所谓的忠实性。为了回答这个问题，我们提出了递归ROAR，一个新的忠诚度度量。这是通过递归地屏蔽所谓的重要标记，然后重新训练模型来实现的。其原理是，与屏蔽随机令牌相比，这将导致更差的模型性能。结果是给定掩蔽比的性能曲线。此外，我们还提出了一个使用相对曲线间面积（RACU）的总结指标，该指标可以轻松比较论文、模型和任务。我们在8个不同的数据集上评估了4种不同的重要性度量，使用了LSTM注意力模型和RoBERTa模型。我们发现重要性度量的忠实性既依赖于模型又依赖于任务。这一结论与之前在计算机视觉和注意力忠实性文献中的评价相矛盾。
2022-10-31 cs.AI cs.CL cs.LG
On Measures of Biases and Harms in NLP
University of California, Los Angeles（加州大学洛杉矶分校）；University of Southern California（南加州大学）；Microsoft Research（微软研究院）
最近的研究表明，自然语言处理（NLP）技术传播了与性别、种族和国籍等属性相关的人口统计群体的社会偏见。为了制定干预措施并减轻这些偏见和相关危害，能够检测和衡量这些偏见至关重要。虽然现有的工作提出了各种任务的偏见评估和缓解方法，但仍然需要有凝聚力地了解他们测量的偏见和具体危害，以及不同的措施如何相互比较。为了解决这一差距，这项工作提出了一个实用的危害框架和一系列问题，从业者可以回答，以指导偏见措施的发展。作为对我们的框架和文档问题的验证，我们还提出了几个案例研究，说明NLP中现有的偏见措施--陈述中的偏见的内在措施和下游应用程序的偏见的外在措施--如何与不同的危害保持一致，以及我们提出的文档问题如何促进对偏见措施的更全面的理解。
2022-10-13 cs.CL cs.CY
Comparing the Performance of NLP Toolkits and Evaluation measures in Legal Tech
Lehrstuhl für Data Science（数据科学讲席教授组）
自然语言处理的最新发展导致了最先进的神经语言模型的引入，该模型支持无监督可转移学习，使用不同的预训练目标。虽然这些模型在下游NLP任务上取得了优异的结果，但各种领域自适应技术可以提高它们在特定领域任务上的性能。我们比较和分析了预训练的神经语言模型，XLNet（自回归）和BERT（自动编码器）。结果表明，XLNet模型在我们的法律意见分类的序列分类任务上表现更好，而BERT在NER任务上产生更好的结果。我们使用特定于领域的预训练和额外的法律词汇来使BERT模型进一步适应法律领域。我们准备了BERT模型的多种变体，使用两种方法及其组合。比较我们的变体的BERT模型，专门在法律领域，我们的结论是，额外的预训练和词汇技术提高了BERT模型的法律意见分类任务的性能。额外的法律词汇提高了BERT在NER任务上的表现。结合预训练和词汇技术进一步提高了最终结果。我们的Legal-Vocab-BERT模型在法律意见任务上给出了最好的结果，优于较大的预训练通用语言模型，即，BERT-Base和XLNet-Base。
2021-03-12 cs.CL cs.LG
On Defining Erasure Harms for NLP
Johns Hopkins University（约翰霍普金斯大学）；Carnegie Mellon University（卡内基梅隆大学）；Mila – Québec Artificial Intelligence Institute（魁北克人工智能研究所）；McGill University（麦吉尔大学）；Canada CIFAR AI Chair, Mila（加拿大CIFAR人工智能主席，Mila）
针对NLP系统部署中擦除伤害概念模糊的问题，提出结构化定义，明确建立和测量擦除所需的必要组件，促进跨场景应用。
2026-06-16 cs.CL
NLP Evaluation in trouble: On the Need to Measure LLM Data Contamination for each Benchmark
HiTZ Center - Ixa, University of the Basque Country UPV/EHU（HiTZ中心 - Ixa，巴斯克大学）；Cohere（Cohere公司）
本文指出LLM在基准测试集上训练导致的数据污染会高估模型性能并误导科学结论，呼吁社区开发自动检测方法并对受污染论文进行标记。
2023-10-27 cs.CL
Fair Enough: Standardizing Evaluation and Model Selection for Fairness Research in NLP
The University of Melbourne（墨尔本大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
现代NLP系统表现出一系列的偏差，越来越多的关于模型去偏的文献试图纠正这些偏差。然而，目前的进展是阻碍了偏见的多种定义，量化手段，往往是模糊的关系去偏算法和偏置的理论措施。本文旨在澄清现状，并制定一个有意义的进展，在公平学习的过程中，有两个关键的贡献：（1）明确目前的各种方法之间的相互关系，以及它们与公平理论的关系;（2）解决模型选择的实际问题，这涉及公平性和准确性之间的权衡，并导致公平性研究的系统性问题。综合这些建议，我们提出了一些建议，以帮助塑造未来的工作。
2023-02-11 cs.CL cs.CY cs.LG
A Measure for Transparent Comparison of Linguistic Diversity in Multilingual NLP Data Sets
University of Zurich（苏黎世大学）；University of Neuchâtel（纳沙泰尔大学）；Telepathy Labs GmbH（心灵感应实验室有限公司）
本文提出基于参考语言样本、Jaccard 指数与文本特征的语言多样性度量，用于解释并比较多语言 NLP 数据集，分析九个常用数据集并发现多数缺少（多式）综合语。
2024-04-16 cs.CL
Quantified Reproducibility Assessment of NLP Results
ADAPT Research Centre（ADAPT研究中心）；Dublin City University（都柏林城市大学）；Universitat Pompeu Fabra（庞培法布拉大学）
本文描述和测试的方法进行量化的再现性评估（QRA），是基于计量学的概念和定义。QRA产生一个单一的分数，估计一个给定的系统和评价措施的可重复性的程度，从分数的基础上，和之间的差异，不同的复制。我们在18个系统和评估措施组合（涉及不同的NLP任务和评估类型）上测试QRA，对于每个组合，我们都有原始结果和一到七个复制结果。所提出的QRA方法产生的再现性评分的程度，是可比的多次复制不仅相同，但不同的原始研究。我们发现，所提出的方法有利于洞察再现之间的变化的原因，并允许得出结论，系统和/或评估设计的变化可能会导致提高再现性。
2022-04-12 cs.CL
The Hype Index: an NLP-driven Measure of Market News Attention
Department of Applied Mathematics and Statistics（应用数学与统计学系）；Johns Hopkins University（约翰霍普金斯大学）
本文提出基于 NLP 的 Hype Index，从新闻计数和市值调整两个层面度量 S&P 100 个股与行业的媒体关注，并验证其在波动分析和短期市场信号中的作用。
2025-05-30 cs.CE cs.CL q-fin.ST
CoDA21: Evaluating Language Understanding Capabilities of NLP Models With Context-Definition Alignment
Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心）
预训练的语言模型（PLM）在许多基准测试中取得了超人的性能，因此需要更难的任务。我们引入CoDA 21（上下文定义对齐），这是一个具有挑战性的基准测试，用于测量PLM的自然语言理解（NLU）能力：给定k个单词的定义和上下文，但不是单词本身，任务是将k个定义与k个上下文对齐。CoDA21需要对上下文和定义有深刻的理解，包括复杂的推理和世界知识。我们发现，人类和PLM性能之间存在很大的差距，这表明CoDA21衡量了NLU的一个方面，而现有的基准测试中没有充分涵盖这一方面。
2022-03-11 cs.AI cs.CL
ECBD: Evidence-Centered Benchmark Design for NLP
Mila – Quebec Artificial Intelligence Institute（米拉-魁北克人工智能研究所）；McGill University（麦吉尔大学）；Microsoft Research（微软研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出以证据为中心的基准设计框架 ECBD，将 NLP 基准设计形式化为五个模块，并通过 BoolQ、SuperGLUE 和 HELM 的案例研究揭示现有设计实践中威胁测量有效性的常见问题。
2024-06-13 cs.CL
A Thousand Words are Worth More Than One Recording: NLP Based Speaker Change Point Detection
Ariel University（阿里埃勒大学）；Ariel Cyber Innovation Center（阿里埃勒网络创新中心）
扬声器日志化（SD）包括根据扬声器身份来分割或分段输入音频突发。在本文中，我们专注于SD问题的关键任务，这是音频分割过程，并提出了一个解决方案的变化点检测（CPD）问题。我们经验证明的负相关性增加的扬声器和召回和F1分数测量的数量。这种负相关性被证明是一个大规模的实验评估过程的结果，这说明它的优越性，最近开发的基于语音的解决方案。为了克服扬声器的数量问题，我们提出了一个强大的解决方案的基础上，一种新的自然语言处理（NLP）技术，以及元数据特征提取过程，而不是一个单独的声乐为基础。据我们所知，我们是第一个提出基于智能NLP的解决方案的人，该解决方案（I）用希伯来语的数据集解决CPD问题，（II）解决SD问题的CPD变体。我们经验表明，基于两个不同的数据集，我们的方法是能够准确地识别的CPD在音频突发与82.12%和89.02%的成功率在召回和F1分数测量。
2020-05-18 cs.CL cs.SD eess.AS
Vygotsky Distance: Measure for Benchmark Task Similarity
CAIRO, Technical University of Applied Sciences Würzburg-Schweinfurt（维尔茨堡-施韦因富特应用科学大学CAIRO）
本文提出基于模型相对表现的“维果茨基距离”来度量基准任务相似性，实验表明可减少至少40%的评估任务并验证新任务，从而提升模型泛化潜力。
2024-02-26 cs.AI cs.CL cs.LG
Visualizing and Understanding Neural Models in NLP
Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）
虽然神经网络已经成功地应用于许多自然语言处理任务，但由此产生的基于向量的模型非常难以解释。例如，不清楚它们如何实现{ \em组合性}，从单词和短语的意义中构建句子意义。在本文中，我们描述了四种策略，可视化NLP神经模型中的组合性，灵感来自计算机视觉的类似工作。我们首先绘制单位值来可视化否定、强化和让步从句的组合性，让我们看到否定中众所周知的标记不对称。然后，我们介绍了三种简单而直接的方法来可视化一个单元的{ \em显着性}，它对最终组成的意义的贡献量：（1）梯度反向传播，（2）从平均单词节点的令牌的方差，（3）LSTM风格的门，测量信息流。我们使用简单的递归网络和LSTM来测试我们的方法。我们的通用方法可能在理解深度网络的组合性和其他语义属性方面具有广泛的应用，并且还揭示了为什么LSTM优于简单的递归网络，
2016-01-08 cs.CL
Bootstrapping NLP tools across low-resourced African languages: an overview and prospects
University of Cape Town（开普敦大学）
计算和互联网接入是南部非洲大幅度增长的市场，随之而来的是对非洲土著语言的本地内容和工具的需求日益增加。由于这些语言中的大多数都是低资源的，因此人们努力研究从一种非洲语言到另一种非洲语言的自助工具的概念。本文提供了一个概述，这些努力的刚果B（“班图”）语言。地理上遥远的语言的自举语法已经被证明对于形态和规则或基于语法的自然语言生成仍然具有积极的结果。使用数据驱动的方法进行NLP任务的自举很难有意义地使用，无论地理位置是否接近，这在很大程度上是由于拼写和词汇的词汇多样性。比较语言学中的分支分类方法可以为自举策略提供信息，相似性度量也可以作为自举潜力的代理，这两种方法都是进一步研究的沃土。
2022-10-21 cs.CL
On Extending NLP Techniques from the Categorical to the Latent Space: KL Divergence, Zipf's Law, and Similarity Search
Zoomi, Inc（Zoomi公司）；College of William & Mary（威廉与玛丽学院）；Peking University（北京大学）；Purdue University（普渡大学）
尽管深度学习最近在自然语言处理（NLP）中取得了成功，但仍然存在对不依赖于机器学习的技术的广泛使用和需求。这些技术的优点是它们的可解释性和低成本相比，经常不透明和昂贵的机器学习模型。虽然它们可能不是在所有情况下都具有同样的性能，但它们通常足以解决常见和相对简单的问题。在本文中，我们的目标是现代化这些旧的方法，同时保留其优势，从分类或袋的话表示的潜在空间中的词嵌入表示的方法。首先，我们表明，熵和Kullback-Leibler分歧可以有效地估计使用词嵌入，并使用这种估计比较文本在几个类别。接下来，我们将在分类空间中经常观察到的重尾分布（称为齐普夫定律）重新转换到潜在空间。最后，我们希望通过引入一种新的方法来识别相似的句子，基于集合覆盖问题，以提高Jaccard相似性度量的句子建议。我们比较了该算法的性能对几个基线，包括字移动器的距离和Levenshtein距离。
2020-12-02 cs.CL cs.LG
NLP meets psychotherapy: Using predicted client emotions and self-reported client emotions to measure emotional coherence
Technical University of Darmstadt（达姆施塔特工业大学）；Hessian Center for AI (hessian.AI)（黑森人工智能中心（hessian.AI））；Bar-Ilan University（巴伊兰大学）
情绪是通过各种反应系统体验和表达的。情感体验和情感表达之间的一致性被认为对客户的福祉很重要。到目前为止，情绪连贯性（EC）已被研究在一个单一的时间点使用基于实验室的任务相对较小的数据集。没有研究探讨情绪的主观体验和情绪表达之间的EC治疗或这种一致性是否与客户的幸福感。自然语言处理（NLP）方法已被应用于从心理治疗对话中识别情绪，这可以被实施以在更大范围内研究情绪过程。然而，这些方法还没有被用来研究治疗过程中情绪体验和情绪表达之间的一致性，以及它是否与客户的幸福感有关。这项工作提出了一个端到端的方法，我们使用我们的Transformer为基础的情感识别模型的情感预测，研究情绪的连贯性及其诊断潜力的心理治疗研究。我们首先采用我们的Transformer为基础的方法对希伯来语的心理治疗数据集自动标记客户的情绪在话语水平的心理治疗对话。随后，我们调查了客户的自我报告的情绪状态和我们的基于模型的情绪预测之间的情绪一致性。我们还研究了情感连贯性和客户的幸福感之间的关联。我们的研究结果表明，在心理治疗过程中，客户的自我报告的情绪和口头表达的积极和消极情绪之间存在显着的相关性。积极情绪的一致性也与客户的幸福感高度相关。这些结果说明了NLP如何应用于识别心理治疗中的重要情感过程，以改善患有心理健康问题的客户的诊断和治疗。
2022-11-22 cs.AI cs.CL cs.HC
Effective Proxy for Human Labeling: Ensemble Disagreement Scores in Large Language Models for Industrial NLP
Qualtrics（奎特里克（Qualtrics公司））
研究工业NLP中LLM在未标注数据上的性能评估问题，提出集成分歧得分作为人类标注的代理，在零样本、少样本和微调设置下有效评估模型性能，其平均绝对误差低至0.4%，比银标签平均好13.8%。
2023-11-20 cs.CL
An assessment of orthographic similarity measures for several African languages
University of Cape Town（开普敦大学）
众所周知，自然语言界面和工具，如拼写检查和以自己的语言进行的网络搜索，在以信通技术为媒介的通信中是有用的。然而，南部非洲的大多数语言资源不足。因此，如果通用的和少数特定于语言的NLP工具都可以重用或轻松地跨语言调整，这将是非常有用的。这取决于语言之间相似性的概念和程度。我们从正字法和语料库的角度来评估这一点。12个版本的《世界人权宣言》（UDHR）进行了检查，显示集群的语言，从而或多或少地适合跨语言适应的NLP工具，这不符合格思里区。为了检验这些结果的普遍性，我们放大isiZulu定量和定性与其他四个语料库和不同类型的文本。结果表明，《世界人权宣言》是一个典型的文本文件的正字法。研究结果还提供了对词汇多样性和体裁等典型指标可用性的深入了解，以及相同的统计数据在不同的文档中可能意味着不同的东西。虽然NLTK for Python可以用于文本的基本分析，但它和类似的NLP工具需要大量的定制。
2016-08-10 cs.CL
The Promises and Pitfalls of Using Language Models to Measure Instruction Quality in Education
University of Maryland（马里兰大学）；Boston University（波士顿大学）；University of Virginia（弗吉尼亚大学）
本文首次利用NLP技术评估K-12课堂和职前教师模拟任务中的多种高推断教学实践，发现预训练语言模型在低推断变量上接近人类评分者水平，但在复杂实践中效果下降，且仅用教师话语即可较好衡量学生中心变量。
2024-04-03 cs.AI cs.CL
How Gender Debiasing Affects Internal Model Representations, and Why It Matters
Technion – Israel Institute of Technology（以色列理工学院）；University of Edinburgh（爱丁堡大学）
NLP中性别偏见的常见研究集中在通过模型在下游任务上的表现来衡量的外在偏见或在模型的内部表征中发现的内在偏见。然而，外在和内在偏见之间的关系是相对未知的。在这项工作中，我们阐明了这种关系，通过测量两个量在一起：我们debias模型在下游微调，这减少了外在的偏见，并测量对内在的偏见，这是可操作的偏差提取与信息理论探测的影响。通过两个任务和多个偏见指标的实验，我们表明，我们的内在偏见指标是一个更好的指标比（上下文适应）的标准WEAT指标的去偏置，也可以暴露的情况下，肤浅的去偏置。我们的框架提供了对NLP模型中偏差的全面视角，可以应用于以更明智的方式部署NLP系统。我们的代码和模型检查点是公开的。
2022-05-16 cs.CL
What are the best systems? New perspectives on NLP Benchmarking
L2S（信号与系统实验室）；CentraleSupelec（巴黎中央理工-高等电力学院）；S2A；Telecom Paris（巴黎电信学院）
在机器学习中，基准是指与一个或多个指标相关联的数据集的集合，以及聚合不同系统性能的方法。它们有助于（一）评估不同轴上新方法的进展情况，以及（二）选择最佳系统供实际使用。对于开发大型预训练模型（例如GPT，BERT）的NLP来说，情况尤其如此，这些模型有望在各种任务上很好地泛化。虽然社区主要专注于开发新的数据集和指标，但对聚合过程几乎没有兴趣，聚合过程通常被简化为各种性能指标的简单平均值。然而，当度量在不同的尺度上时，该过程可能是有问题的，这可能导致虚假的结论。本文提出了一种新的程序来排名系统的基础上，他们的表现在不同的任务。受社会选择理论的启发，通过对每个任务的排序进行聚合，得到最终的系统排序，并具有理论依据。我们进行了广泛的数值实验（超过270k分数），以评估我们的方法在合成和真实分数（例如胶水，EXTREM，SEVAL，TAC，FLICKR）上的可靠性。特别是，我们表明，我们的方法产生不同的结论，国家的最先进的系统比平均聚合过程，同时更可靠和强大的。
2022-10-07 cs.AI cs.CL
Constructing a Testbed for Psychometric Natural Language Processing
University of Notre Dame（圣母大学）；University of Virginia（弗吉尼亚大学）
能力、态度、感知和信念的心理测量对于理解包括健康、安全、电子商务和金融在内的各种环境中的用户行为至关重要。传统上，心理测量维度是使用基于调查的方法测量和收集的。从用户生成的文本中推断出这样的结构可以为及时、不引人注目的收集和分析提供机会。在本文中，我们描述了我们的努力，以建立一个语料库的心理测量自然语言处理（NLP）。我们讨论了我们的多步骤过程，以使用户文本与他们基于调查的响应项保持一致，并概述了由此产生的测试平台，其中包括基于调查的心理测量措施和来自8，500多名受访者的用户生成的文本。我们报告使用文本分类/预测用户的调查响应标签的初步结果。我们还讨论了我们的工作的重要意义，并为未来的心理测量NLP研究的测试平台。
2020-07-25 cs.CL cs.CY
Consistency is Key: Disentangling Label Variation in Natural Language Processing with Intra-Annotator Agreement
Heriot-Watt University（赫瑞斯泰特大学）；CENTAI Institute（CENTAI研究院）；Bocconi University（博科尼大学）
本文主张在NLP标注中引入标注者内部一致性以衡量标签稳定性，并通过系统综述与四项探索性实验发现标注者约25%的回答存在不一致。
2025-10-20 cs.CL
Can Transformer Models Measure Coherence In Text? Re-Thinking the Shuffle Test
UC Berkeley（加州大学伯克利分校）
Shuffle测试是评估NLP模型是否可以测量文本连贯性的最常见任务。最新的工作使用直接监督的任务;我们表明，通过简单地微调一个RoBERTa模型，我们可以实现97.8%的近乎完美的准确率，一个国家的最先进的。我们认为，这种出色的表现是不太可能导致一个良好的模型的文本连贯性，并建议洗牌测试应该在Zero-Shot设置接近：模型应该在不接受任务本身培训的情况下进行评估。我们评估了这种设置中的常见模型，如生成式和双向Transformers，并发现较大的架构可以实现开箱即用的高性能。最后，我们提出了k-块洗牌测试，通过增加洗牌块的大小对原始测试进行修改。尽管人类读者的性能仍然很高（准确率约为95%），但随着块大小的增加，模型性能从94%下降到78%，这对基准NLP模型造成了概念上的简单挑战。可用代码：https://github.com/tingofurro/shuffle_test/
2021-07-07 cs.CL
This Prompt is Measuring <MASK>: Evaluating Bias Evaluation in Language Models
University of Edinburgh（爱丁堡大学）；National Research Council Canada（加拿大国家研究委员会）；Microsoft Research（微软研究院）
本文分析了使用提示评估语言模型偏见的研究，利用测量建模框架构建分类法并审查90项偏见测试，发现其概念化与操作化常存在模糊、隐含假设或不匹配问题，为社区探索更广泛的偏见空间和改进实验设计提供了指导。
2023-05-22 cs.CL
On the State of NLP Approaches to Modeling Depression in Social Media: A Post-COVID-19 Outlook
University of Bucharest（布加勒斯特大学）；PRHLT Research Center（PRHLT研究中心）；Universitat Politècnica de València（瓦伦西亚理工大学）；Rochester Institute of Technology（罗切斯特理工学院）；George Mason University（乔治梅森大学）；Human Language Technology Research Center（人类语言技术研究中心）；Faculty of Mathematics and Computer Science, University of Bucharest（布加勒斯特大学数学与计算机科学学院）
本文综述了后COVID-19时代社交媒体抑郁症建模的NLP方法，梳理疫情背景下最新方法与数据集的运用，并探讨心理健康数据处理的公平性、问责制与伦理问题。
2025-03-07 cs.CL
Deep learning models are not robust against noise in clinical text
Medical University of Vienna（维也纳医科大学）
人工智能（AI）系统在医疗领域引起了越来越多的兴趣，因为它们能够学习需要人类智能和专家知识的复杂任务。利用高性能自然语言处理（NLP）模型的AI系统在各种临床文本处理基准测试中取得了最先进的结果。它们在某些任务上的准确性甚至超过了人类。然而，此类人工智能系统的性能评估仅限于对精心策划和干净的基准数据集的准确性测量，这些数据集可能无法正确反映这些系统在现实世界中的稳健性。为了应对这一挑战，我们引入并实现了各种各样的扰动方法，模拟不同类型的噪声和临床文本数据的变化。虽然这些扰动方法产生的噪声样本通常可以被人类理解，但它们可能会导致AI系统做出错误的决策。我们对几个临床文本处理任务进行了广泛的实验，评估了高性能NLP模型对各种类型的字符级和单词级噪声的鲁棒性。结果表明，当输入包含少量噪声时，NLP模型的性能会下降。这项研究是暴露临床文本处理系统中使用的AI模型漏洞的重要一步。所提出的扰动方法可以用于性能评估测试，以评估如何稳健的临床NLP模型可以在噪声数据上操作，在现实世界的设置。
2021-08-27 cs.AI cs.CL
