ERASER: A Benchmark to Evaluate Rationalized NLP Models
Northeastern University(东北大学);Salesforce Research(赛富时研究院)
NLP中最先进的模型现在主要基于深度神经网络,这些网络在如何进行预测方面是不透明的。这一限制增加了人们对为NLP设计更多可解释的深度模型的兴趣,这些模型揭示了模型输出背后的“推理”。但这方面的工作是在不同的数据集和任务上进行的,目标和指标也相应独特;这使得跟踪进展变得困难。我们提出了评估语义和简单英语推理(ERASER)基准,以推进NLP中可解释模型的研究。该基准包括多个数据集和任务,其中已收集了人类对“基本原理”(支持证据)的注释。我们提出了几个指标,旨在捕捉模型提供的基本原理与人类基本原理的一致程度,以及这些基本原理的忠实程度(即,所提供的基本原理影响相应预测的程度)。我们希望发布这个基准可以促进设计更可解释的NLP系统的进展。基准测试、代码和文档可在https://www.eraserbenchmark.com/上获得
2020-04-24 cs.AI cs.CL cs.LG
Indian Legal NLP Benchmarks : A Survey
ThoughtWorks(思特沃克)
本文综述了印度法律NLP基准现状,提出创建针对法律系统特有任务的挑战性基准,以推动该领域创新并惠及AI社区与法律界。
2021-07-13 cs.AI cs.CL cs.LG
ADePT: Auto-encoder based Differentially Private Text Transformation
Amazon Alexa(亚马逊Alexa)
在对包含个人信息的数据建立统计模型时,隐私是一个重要的问题。差分隐私提供了隐私的强定义,并且可以用于解决若干隐私问题(Dwork等人,2014年)。对于包含敏感信息的数据集的差分私有变换,已经提出了多种解决方案。然而,由于过程中添加的噪声,这种变换算法在自然语言处理(NLP)任务中提供较差的实用性。在本文中,我们解决这个问题,提供了一个实用程序保持差分私有文本转换算法,使用自动编码器。我们的算法转换文本以提供对攻击的鲁棒性,并产生具有高语义质量的转换,在下游NLP任务中表现良好。我们证明了我们算法的理论隐私保证,并评估了其在成员推断攻击(MIA)下的隐私泄露情况(Shokri等人,2017年)使用转换数据训练的模型。我们的研究结果表明,该模型对MIA攻击的表现更好,同时提供较低或没有退化的底层转换过程的效用相比,现有的基线。
2021-01-29 cs.AI cs.CL cs.CR
ANTONIO: Towards a Systematic Method of Generating NLP Benchmarks for Verification
Heriot-Watt University(赫瑞-瓦特大学);University of Edinburgh(爱丁堡大学);University of Birmingham(伯明翰大学);The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本文分析 NLP 模型难以用现有神经网络验证方法处理的技术原因,提出数据集与模型准备方法,并实现连接 ERAN 和 Marabou 的 Python 库 ANTONIO,用 R-U-A-Robot 数据集评估以支持 NLP 验证基准构建。
2023-08-15 cs.AI cs.CL cs.LG
Empirical Evaluation of Membership Inference Attacks on NLP Text Classifiers: A Baseline Study on SST-2
Minot State University(迈诺特州立大学)
本文在SST-2上比较TF-IDF逻辑回归与DistilBERT的成员推断攻击脆弱性,发现两者均泄露成员信号,而轻量训练调整(如减少epoch)可在效用损失极小下改善隐私-效用权衡。
2026-09-11 cs.CL cs.CR cs.LG
CUAD: An Expert-Annotated NLP Dataset for Legal Contract Review
UC Berkeley(加州大学伯克利分校);The Nueva School(努埃瓦学校)
许多专业领域仍然没有受到深度学习的影响,因为大型标记数据集需要昂贵的专家注释器。我们通过引入合同理解Atticus数据集(CUAD)来解决法律领域内的这一瓶颈,CUAD是一种用于法律合同审查的新数据集。CUAD由来自Atticus Project的数十位法律专家创建,由13,000多条注释组成。任务是突出合同中对人类审查很重要的突出部分。我们发现,Transformer模型具有新生的性能,但这种性能受到模型设计和训练数据集大小的强烈影响。尽管取得了这些可喜的成果,但仍有很大的改进余地。作为唯一一个由专家注释的大型专业NLP基准之一,CUAD可以作为更广泛的NLP社区的一个具有挑战性的研究基准。
2021-11-08 cs.CL cs.LG
SuperTweetEval: A Challenging, Unified and Heterogeneous Benchmark for Social Media NLP Research
Cardiff University(卡迪夫大学);Snap Inc.(Snap公司);AMPLYFI(AMPLYFI公司);University of Michigan(密歇根大学)
针对社交媒体NLP研究碎片化问题,提出统一且异构的基准SuperTweetEval,涵盖多种组合与从头构建的任务及数据集,基准测试表明社交媒体NLP仍具挑战性。
2023-10-23 cs.CL
EvalxNLP: A Framework for Benchmarking Post-Hoc Explainability Methods on NLP Models
Technical University of Munich, School of Computation, Information and Technology, Department of Computer Science(慕尼黑技术大学,计算信息学院,计算机科学系)
本文提出EvalxNLP框架,集成八种可解释性技术,支持对基于Transformer的NLP模型生成和评估解释,并提供基于LLM的交互式文本解释,用户满意度高。
2025-05-02 cs.AI cs.CL cs.LG
NAS-Bench-NLP: Neural Architecture Search Benchmark for Natural Language Processing
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);National Research University Higher School of Economics(国立研究型大学高等经济学院)
神经结构搜索(NAS)是一个很有前途和快速发展的研究领域。训练大量的神经网络需要大量的计算能力,这使得NAS对于那些无法访问或无法访问高性能集群和超级计算机的研究人员来说是无法实现的。最近引入了一些具有预先计算的神经架构性能的基准测试来克服这个问题,并确保更多的可重复实验。然而,这些基准测试仅适用于计算机视觉领域,因此是从图像数据集和卷积衍生架构构建的。在这项工作中,我们走出计算机视觉领域,利用语言建模任务,这是自然语言处理(NLP)的核心。我们的主要贡献如下:我们在文本数据集上提供了递归神经网络的搜索空间,并在其中训练了14 k架构;我们使用语义相关性和语言理解评估数据集对训练模型进行了内在和外在评估;最后,我们测试了几种NAS算法,以证明如何利用预先计算的结果。我们相信我们的研究结果对NAS和NLP社区都有很高的使用潜力。
2020-06-12 cs.CL cs.LG stat.ML
Building a Multivariate Time Series Benchmarking Datasets Inspired by Natural Language Processing (NLP)
Technical University of Munich(慕尼黑工业大学);Fraunhofer Institute for Electronic Microsystems and Solid State Technologies EMFT(弗劳恩霍夫电子微系统与固态技术研究所EMFT)
受NLP基准数据集成功启发,提出创建多变量时间序列基准数据集的新方法,并利用多任务学习策略提升模型性能,推动时间序列建模发展。
2024-10-14 cs.AI cs.CL
Time to Embrace Natural Language Processing (NLP)-based Digital Pathology: Benchmarking NLP- and Convolutional Neural Network-based Deep Learning Pipelines
University of Science and Technology of China(中国科学技术大学);UNSW Sydney(新南威尔士大学);Genmab Inc.(Genmab公司)
基于NLP的计算机视觉模型,特别是视觉Transformer,在许多成像任务中表现优于CNN模型。然而,大多数数字病理学人工智能模型基于CNN架构,这可能是由于缺乏有关病理学图像的NLP模型的数据。在这项研究中,我们开发了数字病理学管道,以基准测试最近提出的五种NLP模型(视觉Transformer(ViT),Swin Transformer,MobileViT,CMT和Sequencer2D)和四种流行的CNN模型(ResNet18,ResNet50,MobileNetV2和EfficientNet),以预测结直肠癌的生物标志物(微卫星不稳定性,CpG岛甲基化表型和BRAF突变)。来自分子和细胞肿瘤学和癌症基因组图谱的苏木精和伊红染色的全载玻片图像分别用作训练和外部验证数据集。交叉研究外部验证显示,基于NLP的模型在生物标志物预测任务中显著优于基于CNN的模型,将总体预测和精度分别提高了约10%和26%。值得注意的是,与当前文献中使用大型训练数据集的现有模型相比,我们的NLP模型使用相对较小的训练数据集实现了所有三种生物标志物的最新预测,这表明大型训练数据集不是NLP模型或Transformers的先决条件,NLP可能更适合于通常收集小型训练数据集的临床研究。Sequencer2D的优越性能表明,在数字病理学领域,有必要对Transformer和双向长短期记忆架构进行进一步的研究…
2023-02-21 cs.CL cs.CV cs.LG
A Fine-grained Interpretability Evaluation Benchmark for Neural NLP
Baidu Inc(百度公司)
虽然人们越来越关注神经模型的可解释性,但由于缺乏适当的评估数据集和指标,可解释性的评估仍然是一个悬而未决的问题。在本文中,我们提出了一个新的基准来评估神经模型和显着性方法的可解释性。该基准测试涵盖了三个具有代表性的NLP任务:情感分析、文本相似性和阅读理解,每个任务都提供了中英文注释数据。为了精确地评估可解释性,我们提供了标记级别的基本原理,这些基本原理经过仔细注释,以确保充分,紧凑和全面。我们还设计了一个新的度量,即,扰动前后理论基础的一致性,统一评价不同类型任务的可解释性。在此基础上,我们使用三种显著性方法对三种典型模型进行了实验,并揭示了它们在可解释性方面的优势和劣势。我们将在https://www.luge.ai/#/luge/task/taskDetail?上发布此基准测试taskId=15,希望能对构建可信系统的研究起到一定的促进作用。
2022-11-15 cs.CL
VIVID: A Culturally Grounded Benchmark Exposing the Figurative Language Gap in Vietnamese NLP
研究团队构建了首个越南文化比喻语言基准VIVID,评估发现越南专用NLP模型远弱于多语言系统,顶尖模型得分不足满分50%,少样本提示未必提升性能,VIVID为相关研究提供关键工具。
2026-08-05 cs.CL cs.LG
DIALECTBENCH: A NLP Benchmark for Dialects, Varieties, and Closely-Related Languages
George Mason University(乔治梅森大学);University of Washington(华盛顿大学);University of Notre Dame(圣母大学);Archimedes Research Unit(阿基米德研究单元);RC Athena(RC雅典娜研究院)
本文提出首个大规模方言与语言变体NLP基准DIALECTBENCH,覆盖281种变体和10个文本任务,系统揭示了标准与非标准变体间的性能差异。
2024-07-07 cs.AI cs.CL
Searching for a Search Method: Benchmarking Search Algorithms for Generating NLP Adversarial Examples
University of Virginia(弗吉尼亚大学)
我们研究了几种黑盒搜索算法的行为,这些算法用于为自然语言处理(NLP)任务生成对抗性示例。我们对与搜索相关的三个元素进行细粒度分析:搜索算法、搜索空间和搜索预算。在过去的工作中,当新的搜索算法被提出时,攻击搜索空间经常随着搜索算法而被修改。在没有消融研究基准的情况下,搜索算法随着搜索空间保持恒定而变化,人们无法判断攻击成功率的增加是由于改进的搜索算法还是限制较少的搜索空间。此外,许多以前的研究未能正确考虑搜索算法的运行时成本,这对于对抗训练等下游任务至关重要。我们的实验提供了一个可重复的基准搜索算法在各种搜索空间和查询预算,以指导未来的研究在对抗性NLP。基于我们的实验,我们建议贪婪攻击字的重要性排名时,在一个时间限制或攻击长的输入,或者束搜索或粒子群优化,否则。通过https://github.com/QData/TextAttack-Search-Benchmark共享代码实现
2020-10-12 cs.AI cs.CL cs.CR
How not to Lie with a Benchmark: Rearranging NLP Leaderboards
Sberbank of Russia(俄罗斯联邦储蓄银行);SberDevices;AI Research Institute (AIRI)(人工智能研究院);Kazan Federal University(喀山联邦大学)
与人类的比较是基准的基本要求,因为它是模型能力的可靠测量。然而,模型比较的方法可能有一个根本性的缺陷-单独指标的算术平均值用于不同复杂性,不同大小的测试和训练集的所有任务。在本文中,我们研究了流行的NLP基准的整体评分方法,并根据他们报告的结果通过几何和调和平均值(适用于平均率)重新排列模型。我们分析了几个流行的基准测试,包括GLUE,SuperGLUE,XGLUE和XTREME。分析表明,例如,SuperGLUE的人类水平仍然没有达到,目前的模型仍有改进的空间。
2021-12-02 cs.AI cs.CL
This is the way: designing and compiling LEPISZCZE, a comprehensive NLP benchmark for Polish
Wroclaw University of Science and Technology(弗罗茨瓦夫理工大学);Poznan University of Technology(波兹南理工大学)
计算和数据的可用性训练越来越大的语言模型增加了对LM训练的真实进度进行基准测试的鲁棒方法的需求。近年来,英语标准化基准取得了重大进展。诸如GLUE、SuperGLUE或KILT之类的基准测试已经成为比较大语言模型的事实标准工具。随着对其他语言复制GLUE的趋势,KLEJ基准已经为波兰语发布。在本文中,我们评估了低资源语言的基准测试的进展。我们注意到,只有少数几种语言有这样全面的基准。我们还注意到,资源丰富的英语/中文和世界其他地区的基准评估任务数量存在差距。在本文中,我们介绍了LEPISZCZE(波兰语中的glew,中世纪英语中胶水的前身),这是一个新的,全面的波兰NLP基准,具有各种各样的任务和高质量的基准操作。我们在设计LEPISZCZE时考虑到了灵活性。包含新模型、数据集和任务尽可能简单,同时仍然提供数据版本控制和模型跟踪。在基准测试的第一次运行中,我们基于波兰语的五个最新LM测试了13个实验(任务和数据集对)。我们使用来自波兰基准的五个数据集,并添加了八个新的数据集。作为本文的主要贡献,除了LEPISZCZE之外,我们还提供了在创建波兰语基准时学到的见解和经验,作为为其他低资源语言设计类似基准的蓝图。
2022-11-23 cs.CL cs.IR cs.LG
ECBD: Evidence-Centered Benchmark Design for NLP
Mila – Quebec Artificial Intelligence Institute(米拉-魁北克人工智能研究所);McGill University(麦吉尔大学);Microsoft Research(微软研究院);Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出以证据为中心的基准设计框架 ECBD,将 NLP 基准设计形式化为五个模块,并通过 BoolQ、SuperGLUE 和 HELM 的案例研究揭示现有设计实践中威胁测量有效性的常见问题。
2024-06-13 cs.CL
Benchmarking Sociolinguistic Diversity in Swahili NLP: A Taxonomy-Guided Approach
Department of IT, Analytics, and Operations University of Notre Dame(信息科技、分析与运营系 纽约大学)
本研究首次以分类法引导评估斯瓦希里语NLP的社会语言多样性,构建含部落影响等特征的2170条肯尼亚使用者数据集,分析模型错误,推进文化评估框架并揭示社会语言变异对模型性能的影响。
2025-08-06 cs.CL cs.CY
WYWEB: A NLP Evaluation Benchmark For Classical Chinese
Zhejiang University(浙江大学)
针对文言文 NLU 缺乏系统评测的问题,本文提出包含九项任务的 WYWEB 基准,并评估现有预训练模型,辅以数据集与工具支持后续研究。
2023-05-23 cs.AI cs.CL
Towards More Robust NLP System Evaluation: Handling Missing Scores in Benchmarks
CentraleSupelec(巴黎中央理工-高等电力学院);Telecom Paris(巴黎电信学院);Owkin
本文针对NLP基准测试中部分系统分数缺失的问题,提出利用兼容偏序方法填补缺失数据并结合Borda计分法聚合,同时引入包含超1.31亿分数的扩展基准,有效提升了评估在真实场景下的鲁棒性。
2023-05-17 cs.AI cs.CL
Dynabench: Rethinking Benchmarking in NLP
Facebook AI Research(脸书人工智能研究院);UCL(伦敦大学学院);UNC Chapel Hill(北卡罗来纳大学教堂山分校);CMU(卡内基梅隆大学);Stanford University(斯坦福大学);Alan Turing Institute(艾伦·图灵研究所);JHU(约翰斯·霍普金斯大学);Simon Fraser University(西蒙弗雷泽大学)
我们介绍Dynabench,一个用于动态数据集创建和模型基准测试的开源平台。Dynabench在Web浏览器中运行,并支持人和模型在环数据集创建:注释者试图创建目标模型会错误分类但另一个人不会的示例。在本文中,我们认为Dynabench解决了我们社区的一个关键需求:当代模型在基准任务上迅速实现了出色的性能,但在简单的挑战示例中失败,并在现实世界的场景中摇摇欲坠。使用Dynabench,数据集创建、模型开发和模型评估可以直接相互通知,从而产生更强大和信息量更大的基准。我们报告了四个初始NLP任务,说明了这些概念并强调了平台的承诺,并解决了动态基准测试作为该领域新标准的潜在反对意见。
2021-04-07 cs.AI cs.CL
Exploring NLP Benchmarks in an Extremely Low-Resource Setting
National Kaohsiung University of Science and Technology(高雄科技大学);University of Innsbruck(因斯布鲁克大学)
本文针对濒危罗曼语Ladin的Val Badia变体,利用少量平行语料生成合成数据集,提升低资源环境下的情感分析和多项选择问答性能,提供首个公开可用的Ladin数据集。
2025-09-04 cs.CL
FewJoint: A Few-shot Learning Benchmark for Joint Language Understanding
Harbin Institute of Technology(哈尔滨工业大学);State Key Laboratory of Cognitive Intelligence(认知智能国家重点实验室)
少样本学习(FSL)是机器学习未来的关键步骤之一,并引起了广泛的关注。然而,与计算机视觉等其他领域的快速发展相比,自然语言处理领域的FSL的发展要缓慢得多。其中一个主要原因是缺乏公共基准。NLP FSL研究总是在自己构建的Few-Shot数据集上报告新的结果,这在结果比较中是相当低效的,从而阻碍了累积进展。在本文中,我们提出了FewJoint,一个新的NLP少样本学习基准。与大多数NLP FSL研究仅关注简单的N-分类问题不同,我们的基准测试引入了Few-Shot联合对话语言理解,它还涵盖了结构预测和多任务依赖问题。这使得我们的基准测试能够反映出超越简单N分类的真实NLP复杂性。我们的基准测试用于SMP 2020-ECDT task-1的少样本学习竞赛。我们还提供了一个兼容的FSL平台,以简化实验设置。
2020-12-13 cs.AI cs.CL
A Japanese Language Model and Three New Evaluation Benchmarks for Pharmaceutical NLP
EQUES Inc.(EQUES公司);The University of Tokyo(东京大学);University of Tsukuba(筑波大学)
该研究提出一个基于持续预训练的日语制药领域语言模型,并引入三个新基准(YakugakuQA、NayoseQA、SogoCheck),在术语和知识任务上超越开源模型,接近商业模型,并指出跨句一致性推理仍是挑战。
2025-09-09 cs.CL
BriefMe: A Legal NLP Benchmark for Assisting with Legal Briefs
NYU School of Law(纽约大学法学院);University of Utah(犹他大学);Columbia University(哥伦比亚大学)
本文提出BRIEFME,一个面向法律文书撰写的NLP基准,包含论点摘要、补全和案例检索三项任务,发现现有LLM在摘要和引导补全上表现优异,但在现实补全和案例检索上欠佳。
2025-06-19 cs.CL
A Survey of Parameters Associated with the Quality of Benchmarks in NLP
Arizona State University(亚利桑那州立大学)
我们已经建立了几个基准,并投入大量资源来跟踪我们在NLP方面的进展。数以千计针对这些基准发表的论文已经在排行榜上名列前茅,模型往往超过人类的表现。然而,最近的研究表明,模型只是通过对虚假偏差的过度拟合而战胜了几个流行的基准,而没有真正学习所需的任务。尽管有这一发现,基准测试在试图解决偏差的同时,仍然依赖于变通方法,由于丢弃低质量数据,这些变通方法没有充分利用在基准测试创建中投入的资源,并且覆盖有限的偏差。这些问题的一个可能解决办法-量化质量的指标-仍然没有得到充分探讨。受电力、食品和水等多个领域成功的质量指标的启发,我们通过识别某些语言属性来迈出度量的第一步,这些语言属性可以代表导致基准偏差的各种可能的相互作用。我们寻找与偏差相关的参数,这些参数可能有助于我们实现指标。我们调查现有的作品,并确定参数捕捉各种属性的偏见,其起源,类型和影响的性能,泛化和鲁棒性。我们的分析跨越了数据集和从NLI到汇总的任务层次,确保我们的参数是通用的,不会过度拟合特定的任务或数据集。我们还在这个过程中制定了一些参数。
2022-10-14 cs.CL cs.CV
PLUE: Language Understanding Evaluation Benchmark for Privacy Policies in English
Meta AI;University of Virginia(弗吉尼亚大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出PLUE基准,一个多任务评估隐私政策语言理解的基准,并收集大规模语料进行领域特定预训练,证明持续预训练提升所有任务性能。
2023-05-12 cs.CL
From Hero to Zéroe: A Benchmark of Low-Level Adversarial Attacks
Technische Universität Darmstadt(达姆施塔特工业大学)
对抗攻击是对机器学习分类器输入的标签保留修改,旨在欺骗机器而不是人类。自然语言处理(NLP)主要集中在高级攻击场景,如释义输入文本。我们认为,这些在典型的应用场景中(如社交媒体)不太现实,而是专注于角色级别的低级别攻击。在人类认知能力和人类鲁棒性的指导下,我们提出了第一个大规模的低级别对抗攻击目录和基准,我们称之为Zéroe,包括9种不同的攻击模式,包括视觉和语音对手。我们表明,RoberTa,NLP目前的主力,在我们的攻击失败。我们的数据集为测试未来更像人类的NLP模型的鲁棒性提供了基准。
2020-10-28 cs.CL
When Does "Post-Call" Begin? An Availability Contract for Earnings-Call NLP Benchmarks
National University of Singapore(新加坡国立大学);Asian Institute of Digital Finance(亚洲数字金融研究院)
该研究针对金融NLP基准存在的事件内时间不匹配问题,提出可用性契约框架,经552次财报电话会议等实验验证,明确了结果时间轴对模型标签与损失的显著影响。
2026-10-16 cs.CL cs.LG q-fin.CP
NusaAksara: A Multimodal and Multilingual Benchmark for Preserving Indonesian Indigenous Scripts
MBZUAI(穆罕默德·本·扎耶德人工智能大学);Monash University Indonesia(莫纳什大学印度尼西亚分校)
针对印度尼西亚本地文字在NLP中被忽视的问题,提出包含8种文字、7种语言的多模态多语言基准NusaAksara,覆盖OCR、翻译等任务,并评测多种模型,发现多数模型性能接近零。
2025-02-25 cs.AI cs.CL cs.LG
AI-assisted German Employment Contract Review: A Benchmark Dataset
Technical University of Munich(慕尼黑工业大学)
本研究发布了一个匿名化的德国雇佣合同条款基准数据集,用于评估NLP在合同合法性与公平性审查中的应用效果。
2025-01-27 cs.CL
Fair NLP Models with Differentially Private Text Encoders
Univ. Lille(里尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院)
编码文本表示通常捕获关于个体的敏感属性(例如,种族或性别),这会引起隐私问题,并可能使下游模型对某些群体不公平。在这项工作中,我们提出了FEDERATE,这是一种结合了差分隐私和对抗性训练的思想来学习私有文本表示的方法,它也可以引入更公平的模型。我们在四个NLP数据集上实证评估了表示的隐私性与下游模型的公平性和准确性之间的权衡。我们的研究结果表明,FEDERATE不断改进以前的方法,从而表明隐私和公平可以积极地相互加强。
2022-05-12 cs.CL cs.LG
NLP for Local Governance Meeting Records: A Focus Article on Tasks, Datasets, Metrics and Benchmark
University of Beira Interior(贝拉内尔大学);INESC TEC;University of Porto(波尔图大学)
本文聚焦地方治理会议记录的NLP任务,探讨文档分割、实体提取和文本摘要等关键技术,旨在提升政府记录的可访问性和解读性。
2026-02-08 cs.CL
Term Set Expansion based NLP Architect by Intel AI Lab
Intel AI Lab(英特尔人工智能实验室)
我们提出了SetExpander,一个基于语料库的系统,用于将一个种子术语集扩展为一个更完整的属于同一语义类的术语集。SetExpander实现了一个迭代的端到端工作流。它使用户能够轻松地选择一个术语的种子集,扩展它,查看扩展集,验证它,重新扩展验证集并存储它,从而简化了特定领域的细粒度语义类的提取。SetExpander已成功地用于现实生活中的用例,包括集成到自动招聘系统和问题和缺陷解决系统。SetExpander的视频演示可在https://drive.google.com/open?上获得id=1e545bB87Autsch36DjnJHmq3HWfSd1Rv(出于隐私原因,部分图像已模糊)
2018-10-15 cs.AI cs.CL
CRoW: Benchmarking Commonsense Reasoning in Real-World Tasks
EPFL(洛桑联邦理工学院);Google DeepMind(谷歌DeepMind)
本文提出手动构建的多任务基准 CRoW,通过常识违背性扰动重写六项真实世界 NLP 任务的样本,评估模型在物理、时间和社会等维度的常识推理能力,发现 NLP 系统与人类表现存在显著差距。
2023-10-23 cs.AI cs.CL
Let's Measure the Elephant in the Room: Facilitating Personalized Automated Analysis of Privacy Policies at Scale
University of Oxford(牛津大学)
本文提出神经符号系统PoliAnalyzer,通过NLP提取隐私政策形式化表示并与用户偏好进行逻辑合规分析,在大规模网站隐私政策中实现高准确率的个性化自动分析,显著降低用户认知负担。
2025-07-15 cs.CL cs.CR cs.CY
Beyond Static Models and Test Sets: Benchmarking the Potential of Pre-trained Models Across Tasks and Languages
Microsoft Research(微软研究院);Microsoft R&D(微软研发部门)
虽然最近的大规模多语言语言模型(MMLM),如mBERT和XLMR支持大约100种语言,但大多数现有的多语言NLP基准测试仅提供少数语言的评估数据,语言多样性很小。我们认为,这使得现有的多语言评估的做法不可靠,并没有提供整个语言景观的MMLM的性能的全貌。我们建议,最近在NLP任务的性能预测中所做的工作可以作为一个潜在的解决方案,通过利用与数据和语言类型相关的功能来估计不同语言的MMLM的性能,从而在多语言NLP中固定基准测试。我们比较了性能预测与翻译测试数据与四个不同的多语言数据集的案例研究,并观察到,这些方法可以提供可靠的性能估计,往往与基于翻译的方法,而不需要任何额外的翻译以及评估成本。
2022-11-14 cs.CL
Comparative Efficiency Analysis of Lightweight Transformer Models: A Multi-Domain Empirical Benchmark for Enterprise NLP Deployment
School of Computing and Mathematics(计算与数学学院)
本文比较了DistilBERT、MiniLM和ALBERT三种轻量级Transformer模型在多领域任务中的效率与准确率,发现MiniLM在推理速度最佳,DistilBERT在任务准确性最均衡,ALBERT在资源受限环境下表现最优。
2026-01-01 cs.CL
Benchmarking Time Series Generation Methods for Privacy-Preserving Forecasting
University of Minho(米尼奥大学);Universidade do Porto(波尔图大学);Laboratory for Artificial Intelligence and Computer Science (LIACC)(人工智能与计算机科学实验室(LIACC));Fraunhofer Portugal AICOS(弗劳恩霍夫葡萄牙AICOS机构);INESCTEC;University of Coimbra(科英布拉大学)
该研究针对隐私敏感时间序列预测场景,通过TSTR协议构建基准测试,提出Grasynd-P方法,揭示不同生成方法的预测与隐私权衡,为隐私感知合成时间序列生成方法提供评估参考。
2026-08-12 cs.LG
BhashaSutra: A Task-Centric Unified Survey of Indian NLP Datasets, Corpora, and Resources
Department of Computer Science and Engineering, Indian Institute of Technology Patna, India(印度理工学院帕纳加邦计算机科学与工程系);Indian Institute of Technology Patna, India(印度理工学院帕纳加邦)
本文首次系统梳理印度NLP资源,涵盖200+数据集、50+基准测试和100+模型工具,分析注释、评估及模型设计趋势,识别数据稀疏、语言覆盖不均等挑战,为公平、文化导向的NLP研究提供基础。
2026-04-20 cs.CL
PrivacyBench: A Conversational Benchmark for Evaluating Privacy in Personalized AI
International Institute of Information Technology Hyderabad(国际信息科技研究所(海得拉巴));Indiana University(印第安纳大学)
PrivacyBench通过多轮对话评估揭示RAG助手在隐私保护上的缺陷,指出需结构性隐私保障措施以确保伦理网络环境。
2025-12-31 cs.AI cs.CL
What are the best systems? New perspectives on NLP Benchmarking
L2S(信号与系统实验室);CentraleSupelec(巴黎中央理工-高等电力学院);S2A;Telecom Paris(巴黎电信学院)
在机器学习中,基准是指与一个或多个指标相关联的数据集的集合,以及聚合不同系统性能的方法。它们有助于(一)评估不同轴上新方法的进展情况,以及(二)选择最佳系统供实际使用。对于开发大型预训练模型(例如GPT,BERT)的NLP来说,情况尤其如此,这些模型有望在各种任务上很好地泛化。虽然社区主要专注于开发新的数据集和指标,但对聚合过程几乎没有兴趣,聚合过程通常被简化为各种性能指标的简单平均值。然而,当度量在不同的尺度上时,该过程可能是有问题的,这可能导致虚假的结论。本文提出了一种新的程序来排名系统的基础上,他们的表现在不同的任务。受社会选择理论的启发,通过对每个任务的排序进行聚合,得到最终的系统排序,并具有理论依据。我们进行了广泛的数值实验(超过270k分数),以评估我们的方法在合成和真实分数(例如胶水,EXTREM,SEVAL,TAC,FLICKR)上的可靠性。特别是,我们表明,我们的方法产生不同的结论,国家的最先进的系统比平均聚合过程,同时更可靠和强大的。
2022-10-07 cs.AI cs.CL
MuLD: The Multitask Long Document Benchmark
Durham University(杜伦大学)
本文提出MuLD,一个仅含超万标记文档的多任务长文档基准,评估现有模型表现,发现其挑战性高于短文档基准,并证明更长上下文长度的Transformer模型更有效,同时发布数据与代码以促进研究。
2022-02-15 cs.AI cs.CL
Differential Privacy in Natural Language Processing: The Story So Far
Technical University of Munich(慕尼黑工业大学)
随着大数据的浪潮继续影响自然语言处理(NLP)的格局,现代NLP方法的利用已经立足于这些数据,以解决各种基于文本的任务。这些方法无疑可以包括私人或其他个人身份信息。因此,近年来,NLP中的隐私问题越来越受到关注,与新的隐私增强技术(PET)的发展相吻合。在这些PET中,差分隐私在围绕数据隐私的对话中拥有几个理想的品质。自然,问题变成了差分隐私是否适用于NLP的大部分非结构化领域。这个主题引发了新的研究,这是统一的一个基本目标:如何适应差分隐私的NLP方法?本文旨在总结差分隐私解决的漏洞,当前的想法,最重要的是,必须考虑的关键后续步骤。
2022-08-17 cs.CL
Down and Across: Introducing Crossword-Solving as a New NLP Benchmark
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
解决填字游戏需要不同的推理能力,获得关于语言和世界的大量知识,以及满足谜题结构所施加的约束的能力。在这项工作中,我们介绍解决填字游戏作为一个新的自然语言理解任务。我们发布了一个纵横字谜语料库的规范,该语料库收集自《纽约时报》25年来的每日纵横字谜,共包含约9000个字谜。这些谜题包括一系列不同的线索:历史的、事实的、词义、同义词/反义词、填空、缩写、前缀/后缀、文字游戏和跨语言,以及取决于其他线索答案的线索。我们单独发布的线索答案对从这些难题作为一个开放域的问答数据集包含超过50万个独特的线索答案对。对于问答任务,我们的基线包括几个序列到序列和基于检索的生成模型。我们还引入了一个非参数的约束满足基线解决整个填字游戏。最后,我们提出了一个评估框架,其中包括几个互补的性能指标。
2022-05-20 cs.AI cs.CL
One size does not fit all: Investigating strategies for differentially-private learning across NLP tasks
Technical University of Darmstadt(达姆施塔特工业大学)
在当代NLP模型中保护隐私使我们能够处理敏感数据,但不幸的是,这是有代价的。我们知道,在差分私有随机梯度下降(DP-SGD)中,更严格的隐私保证通常会降低模型性能。然而,以前的研究DP-SGD在NLP中的效率是不确定的,甚至是违反直觉的。在这篇简短的论文中,我们使用基于BERT和XtremeDistil架构的现代神经模型,在五个不同的“典型”NLP任务中,对七个下游数据集的不同隐私保护策略进行了广泛的分析。我们发现,与解决NLP任务的标准非私有方法不同,隐私保护策略通常越大越好,并没有表现出获胜的模式,每个任务和隐私制度都需要特殊处理才能实现足够的性能。
2023-01-31 cs.CL
Forgetful but Faithful: A Cognitive Memory Architecture and Benchmark for Privacy-Aware Generative Agents
本文提出了一种认知记忆架构和隐私意识生成代理的基准测试,通过平衡性能、隐私和计算效率,提升生成代理在资源受限环境中的应用能力。
2025-12-14 cs.AI cs.LG
PrivLM-Bench: A Multi-level Privacy Evaluation Benchmark for Language Models
The Hong Kong University of Science and Technology(香港科技大学);Center for Data Science, AAIS, Peking University(北京大学AAIS数据科学中心);Amazon.com Inc(亚马逊公司)
本文提出多视角隐私评估基准PrivLM-Bench,通过定义隐私目标、构建隐私微调统一流程并执行隐私攻击,实证量化并公平比较了主流语言模型的隐私泄露风险。
2024-06-01 cs.CL cs.CR
Dynaboard: An Evaluation-As-A-Service Platform for Holistic Next-Generation Benchmarking
Facebook AI(脸书人工智能研究院);Stanford University(斯坦福大学)
我们介绍Dynaboard,一个评估即服务框架,用于托管基准测试和进行整体模型比较,与Dynabench平台集成。我们的平台直接评估NLP模型,而不是依赖于自我报告的指标或对单个数据集的预测。在这种范式下,模型被提交到云中进行评估,避免了经常阻碍NLP基准测试的可重复性、可访问性和向后兼容性问题。这允许用户与上传的模型进行实时的交互,以评估它们的质量,并允许收集额外的指标,如内存使用,吞吐量和鲁棒性,尽管它们对从业者很重要,但传统上一直没有出现在排行榜上。在每个任务中,模型根据Dynascore进行排名,Dynascore是这些统计数据的一种基于实用程序的新型聚合,用户可以自定义以更好地反映他们的偏好,在特定的评估轴或数据集上放置更多/更少的权重。由于最先进的NLP模型突破了传统基准测试的极限,Dynaboard提供了一个标准化的解决方案,可以对模型质量进行更多样化和更全面的评估。
2021-05-21 cs.AI cs.CL
How to keep text private? A systematic review of deep learning methods for privacy-preserving natural language processing
Know-Center GmbH(Know-Center有限公司);Graz University of Technology(格拉茨技术大学)
用于自然语言处理(NLP)任务的深度学习(DL)模型通常处理私人数据,需要保护以防止违规和泄露。数据保护法律,如欧盟的一般数据保护条例(GDPR),从而加强了对隐私的需求。虽然近年来提出了许多隐私保护的NLP方法,但尚未引入组织它们的类别,因此很难跟踪文献的进展。为了缩小这一差距,本文系统地回顾了2016年至2020年期间发表的60多种隐私保护NLP的DL方法,包括理论基础,隐私增强技术以及对现实场景的适用性分析。首先,我们引入了一种新的分类法,将现有的方法分为三类:数据保护方法,可信方法和验证方法。其次,我们对隐私威胁、应用程序数据集和隐私评估指标进行了广泛的总结。第三,在整个审查过程中,我们从整体上描述了NLP管道中的隐私问题。此外,我们还讨论了隐私保护NLP在数据可追溯性、计算开销、数据集大小、嵌入中人类偏见的普遍性以及隐私-效用权衡方面面临的挑战。最后,本文提出了未来的研究方向,以指导后续的研究和发展的隐私保护NLP模型。
2022-05-20 cs.CL
CyberMaskQA: A Privacy-Aware Benchmark for Evaluating Large Language Models in Cybersecurity Question Answering
Department of Computer Science and Engineering(计算机科学与工程系);University of California, San Diego (UCSD)(加州大学圣地亚哥分校)
针对现有基准缺乏隐私保护评估的问题,提出CyberMaskQA基准,通过结合人工场景与LLM语义扩展生成带隐私标签的数据集,以评估模型在网络安全问答中的推理与隐私保护能力。
2026-05-23 cs.CR cs.LG
Russian SuperGLUE 1.1: Revising the Lessons not Learned by Russian NLP models
SberDevices;Sberbank(俄罗斯联邦储蓄银行);National Research University Higher School of Economics(国立研究型高等经济学院);ANO «AI Research Institute»(“人工智能研究院”自治非营利组织);Alex Kukushkin Lab(Alex Kukushkin实验室);Moscow Institute of Physics and Technology(莫斯科物理技术学院);Huawei Noah’s Ark lab(华为诺亚方舟实验室);Kazan Federal University(喀山联邦大学)
在过去的一年里,新的神经架构和多语言预训练模型已经发布了俄语,这导致了一系列语言理解任务的性能评估问题。本文介绍了Russian SuperGLUE 1.1,这是一个针对俄罗斯NLP模型的GLUE风格的更新基准。新版本包括许多技术,用户体验和方法上的改进,包括修复了以前版本中未解决的基准漏洞:用于理解上下文中单词含义的新颖和改进的测试(RUSSE)以及阅读理解和常识推理(DaNetQA,RuCoS,MuSeRC)。随着更新数据集的发布,我们改进了基于\texttt{jiant}框架的基准工具包,用于对各种架构的NLP模型进行一致的训练和评估,现在支持最新的俄语模型。最后,我们提供了俄罗斯SuperGLUE的集成框架的工业评估的开源模型,MOROCCO(MOdel ResOurCe COMMENTARY),其中的模型进行评估,根据加权平均度量在所有任务,推理速度,和占用量的RAM。Russian SuperGLUE可在https://russiansuperglue.com/上公开获取。
2022-02-15 cs.AI cs.CL
Current State in Privacy-Preserving Text Preprocessing for Domain-Agnostic NLP
Paderborn University(帕德博恩大学);Vellore Institute of Technology(韦洛尔理工学院)
本文综述了领域无关自然语言处理中隐私保护的文本预处理方法,重点介绍掩蔽和假名化技术,以应对大型语言模型从数据中提取私人信息的风险。
2025-08-05 cs.CL