Logistic Regression makes small LLMs strong and explainable "tens-of-shot" classifiers
Advanced Analytics, Bank of England（英格兰银行高级分析部）
本研究针对简单分类任务，提出基于小型LLM嵌入向量的带惩罚Logistic Regression方法，在“数十样本”场景下性能媲美甚至优于大型LLM，兼具隐私、成本等优势且可提供稳定解释。
2024-10-04 cs.CL cs.LG stat.ML
DACTYL: Diverse Adversarial Corpus of Texts Yielded from Large Language Models
Department of Computer Science & Technology University of Cambridge（计算机科学与技术系剑桥大学）
针对现有AIG文本检测器鲁棒性不足的问题，该研究构建了聚焦单样本/少样本及CPT生成文本的高难度检测数据集DACTYL，实验发现DXO优化的分类器在分布外场景下泛化能力更优，为检测器改进指明了方向。
2025-08-01 cs.CL cs.LG
BYOC: Personalized Few-Shot Classification with Co-Authored Class Descriptions
University of California Berkeley（加州大学伯克利分校）；Bardeen, Inc.（巴丁公司）
本文提出BYOC方法，通过用户与大型语言模型交互共同撰写类别描述进行少样本文本分类，无需大量标注数据，实验表明其性能接近大训练集模型，且个性化分类器准确率达90%。
2023-10-09 cs.CL cs.LG
Curate-Train-Refine: A Closed-Loop Agentic Framework for Zero Shot Classification
Diabolocom（迪波利科姆）；University of Mons（蒙斯大学）
Curate-Train-Refine通过LLM闭环生成和评估提升零样本分类效率与准确性。
2026-01-23 cs.CL cs.LG
A Comparative Analysis of Counterfactual Explanation Methods for Text Classifiers
本文比较了五种为BERT文本分类器生成反事实解释的方法，发现白盒替换方法有效但欠自然，LLM方法自然但常无效，建议结合两者优势开发新方法。
2024-11-04 cs.AI cs.CL
Mitigating Word Bias in Zero-shot Prompt-based Classifiers
ALTA Institute（ALTA研究所）；University of Cambridge（剑桥大学）
本文针对零样本基于提示的分类器中因词偏置导致的性能差异问题，提出一种无监督地重新加权类别期望边际概率以实现均匀先验的方法，并建立类别先验与语言模型词先验的理论联系，实现零资源阈值设置，在多项NLP任务上取得显著且一致的性能提升。
2023-09-10 cs.CL
Zero-shot Sequence Labeling for Transformer-based Sentence Classifiers
Imperial College London（帝国理工学院）；King’s College London（伦敦国王学院）
我们研究如何在没有任何直接监督的情况下，在令牌级别将并行级Transformers修改为有效的序列标记器。当应用于基于变换器的架构时，用于zero-shot序列标记的现有方法不能很好地执行。由于Transformers包含多层多头自我注意，句子中的信息会分布在许多标记之间，从而对zero-shot标记级性能产生负面影响。我们发现，一个软的注意力模块，明确鼓励关注权重的锐度可以显着优于现有的方法。
2021-06-08 cs.AI cs.CL
Unsupervised Ranking and Aggregation of Label Descriptions for Zero-Shot Classifiers
Symanto Research（Symanto研究院）；Universitat Politècnica de València（瓦伦西亚理工大学）；PRHLT Research Center（PRHLT研究中心）
基于标签描述的Zero-shot文本分类器将输入文本和一组标签嵌入到同一空间中：然后可以使用余弦相似度等度量来选择与输入文本最相似的标签描述作为预测标签。在真正的zero-shot设置中，设计良好的标签描述是具有挑战性的，因为没有可用的开发集。受《带分歧学习》文献的启发，我们研究了重复评级分析的概率模型如何用于以无监督的方式选择最佳标签描述。我们在一组不同的数据集和任务（情感，主题和立场）上评估我们的方法。此外，我们表明，多个，嘈杂的标签描述可以聚合，以提高性能。
2022-05-24 cs.CL cs.LG
Transformers are Short Text Classifiers: A Study of Inductive Short Text Classifiers on Benchmarks and Real-world Datasets
Universität Ulm（乌尔姆大学）
本文通过基准和真实世界数据集实验证明，纯 Transformer 方法在短文本分类上可达到 SOTA 准确率，质疑了专门短文本分类技术的必要性。
2023-08-11 cs.CL
Flexible Job Classification with Zero-Shot Learning
Indeed（Indeed公司）
使用分类法组织信息需要使用适当的分类类对对象（文档、图像等）进行分类。零样本学习的灵活性对这项任务很有吸引力，因为它允许分类器自然地适应分类法的修改。本文研究了在人力资源领域中，在现实的分类法扩展场景下，使用微调的语言模型进行zero-shot多标签文档分类。实验表明，零样本学习在这种情况下可以非常有效。当控制训练数据预算时，与在所有类别上训练的传统多标签分类器相比，zero-shot分类器在宏AP方面实现了12%的相对增加。与直觉相反，这些结果表明，在某些情况下，最好采用zero-shot技术，并花费资源用不完整的类集注释更多的文档，而不是将标记预算均匀地分布在所有类上并使用传统的分类技术。另外的实验表明，采用来自推荐系统文献的公知的过滤器/重新排序分解可以显著降低高性能zero-shot分类器的计算负担，经验上导致计算开销降低98%，而性能仅相对降低2%。这里提出的证据表明，零样本学习有可能显着增加分类的灵活性，并突出了未来研究的方向。
2022-08-30 cs.CL cs.LG cs.NE
Zero-shot Recognition via Semantic Embeddings and Knowledge Graphs
The Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
我们考虑的问题zero-shot识别：学习一个视觉分类器的类别与零训练样本，只是使用词嵌入的类别和它的关系，视觉数据提供。处理不熟悉或新类别的关键是将从熟悉类中获得的知识转移到描述不熟悉类中。在本文中，我们建立在最近推出的图卷积网络（GCN），并提出了一种方法，使用语义嵌入和分类关系来预测分类器。给定一个学习过的知识图谱（KG），我们的方法将每个节点（表示视觉类别）的语义嵌入作为输入。经过一系列的图卷积，我们预测每个类别的视觉分类器。在训练过程中，给出了几个类别的视觉分类器来学习GCN参数。在测试时，这些过滤器被用来预测看不见的类别的视觉分类器。我们证明了我们的方法对KG中的噪声具有鲁棒性。更重要的是，与当前最先进的结果相比，我们的方法在性能上有了显着的改进（从某些指标的2 ~ 3%到一些指标的20%）。
2018-04-08 cs.CL cs.CV
Discriminative Nearest Neighbor Few-Shot Intent Detection by Transferring Natural Language Inference
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Salesforce Research（Salesforce研究中心）；Huazhong University of Science and Technology（华中科技大学）
意图检测是面向目标的对话系统的核心组成部分之一，而检测范围外（OOS）意图也是一项重要的实用技能。少样本学习在缓解数据稀缺方面吸引了很多关注，但OOS检测变得更具挑战性。在本文中，我们提出了一个简单而有效的方法，歧视性最近邻分类与深自我关注。与softmax分类器不同，我们利用BERT风格的成对编码来训练二进制分类器，该二进制分类器估计用户输入的最佳匹配训练样本。我们提出了通过转移一个自然语言推理（NLI）模型来提高区分能力。我们在大规模多领域意图检测任务上的大量实验表明，我们的方法比基于RoberTa的分类器和基于嵌入的最近邻方法实现了更稳定和准确的域内和OOS检测精度。更值得注意的是，NLI传输使我们的10次模型能够与50次甚至全次分类器竞争，同时我们可以通过利用更快的嵌入检索模型来保持推理时间恒定。
2020-10-25 cs.AI cs.CL
Multi-Level Fine-Tuning, Data Augmentation, and Few-Shot Learning for Specialized Cyber Threat Intelligence
Technical University of Darmstadt（达姆施塔特工业大学）
随着系统变得越来越大、越来越复杂，从开源收集网络威胁情报对于维护和实现高水平的安全性变得越来越重要。然而，这些公开来源往往受到信息过载的影响。因此，应用机器学习模型将信息量压缩到必要的程度是有用的。然而，先前的研究和应用表明，现有的分类器由于泛化能力低而无法提取有关新兴网络安全事件的特定信息。因此，我们提出了一个系统来克服这个问题，训练一个新的分类器为每个新的事件。由于这需要大量的标记数据使用标准的训练方法，我们结合了三种不同的低数据制度的技术-迁移学习，数据增强，和少样本学习-训练一个高质量的分类器从很少的标记实例。我们使用来自2021年Microsoft Exchange Server数据泄露的新数据集评估了我们的方法，该数据集由三位专家标记。我们的研究结果显示，与标准训练方法相比，F1分数增加了21分以上，与少样本学习中最先进的方法相比，F1分数增加了18分以上。此外，使用该方法和32个实例训练的分类器仅比使用1800个实例训练的分类器差不到5个F1得分点。
2022-07-22 cs.CL cs.CR
Analysis and Optimization of fastText Linear Text Classifier
IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
论文[1]表明，简单的线性分类器可以在文本分类应用中与复杂的深度学习算法竞争。结合词袋（BoW）和线性分类技术，fastText [1]达到了与深度学习算法[2-9]相同或略低的准确度，后者慢了几个数量级。我们正式证明，fastText可以转换成一个更简单的等价分类器，它不像fastText没有任何隐藏层。我们还证明了词向量嵌入空间的充要维数恰好是文档类的个数。这些结果有助于构建更优的线性文本分类器，保证最大的分类能力。结果是完全由形式代数方法证明，而不吸引任何经验数据。
2017-02-17 cs.CL
Smaller Text Classifiers with Discriminative Cluster Embeddings
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
在用于自然语言处理的神经方法中，词嵌入参数通常支配整体模型大小。我们减少部署的文本分类器的模型大小，通过学习一个硬词聚类在一个端到端的方式。我们使用Gumbel-Softmax分布来最大化潜在聚类，同时最小化任务损失。我们提出了选择性地为单词分配额外参数的变化，这进一步提高了准确性，同时仍然保持参数效率。
2019-06-23 cs.CL
Classifier-Based Text Simplification for Improved Machine Translation
Banasthali University（巴纳斯塔利大学）
机器翻译是计算语言学的研究领域之一。许多机器翻译研究人员的目标是开发一个机器翻译系统，产生高质量和高精度的输出翻译，并覆盖最大的语言对。随着互联网和全球化的日益发展，我们需要一种提高翻译质量的方法。为此，我们开发了一个基于分类器的英语-印地语机器翻译系统的文本简化模型。我们使用了支持向量机和朴素贝叶斯分类器来开发这个模型。我们还评估了这些分类器的性能。
2015-07-12 cs.CL
SelfExplain: A Self-Explaining Architecture for Neural Text Classifiers
University of Washington（华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）
我们介绍SelfExplain，一种新的自我解释模型，它使用基于短语的概念解释文本分类器的预测。SelfExplain通过增加（1）一个全局可解释层来增强现有的神经分类器，该层识别给定样本的训练集中最有影响力的概念，以及（2）一个局部可解释层，该层通过计算相对于预测标签的相关性得分来量化每个局部输入概念的贡献。在五个文本分类数据集上的实验表明，SelfExplain在不牺牲性能的情况下促进了可解释性。最重要的是，与现有的广泛使用的基线相比，SelfExplain的解释显示了模型预测的充分性，并且被人类判断者认为是充分的，值得信赖的和可以理解的。
2021-09-08 cs.CL
SEPP: Similarity Estimation of Predicted Probabilities for Defending and Detecting Adversarial Text
KDDI Research, Inc.（KDDI研究所）
有两种情况描述分类器如何处理输入文本，即错误分类和正确分类。就错误分类的文本而言，分类器处理具有不正确预测和对抗性文本的文本，这些文本是为了欺骗分类器而生成的，被称为受害者。这两种类型都被受害者误解，但它们仍然可以被其他分类器识别。这导致受害者和其他分类器之间的预测概率存在很大差距。相比之下，受害者正确分类的文本通常会被其他人成功预测，并导致小的差距。在本文中，我们提出了一个集成模型的基础上相似性估计的预测概率（SEPP），利用大差距的错误分类的预测，在正确的分类小差距。然后，SEPP纠正错误分类文本的错误预测。我们通过不同类型的受害者分类器，分类任务和对抗攻击证明了SEPP在防御和检测对抗文本方面的弹性。
2021-10-13 cs.CL
Autonomous Data Selection with Zero-shot Generative Classifiers for Mathematical Texts
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海启智研究院）
本文提出AutoDS方法，利用基础语言模型自身作为零样本生成式分类器自动筛选高质量数学文本，在持续预训练中显著提升数学推理性能并实现约两倍的token效率提升。
2025-07-22 cs.AI cs.CL cs.LG
Zero-Shot Text Classification with Self-Training
IBM Research（IBM研究院）
大型预训练语言模型的最新进展增加了对zero-shot文本分类的关注。特别是，在自然语言推理数据集上微调的模型由于其有希望的结果和现成的可用性而被广泛采用作为zero-shot分类器。然而，这些模型不熟悉目标任务的事实可能会导致不稳定和性能问题。我们提出了一种即插即用的方法，使用简单的自我训练方法来弥合这一差距，只需要类名和未标记的数据集，而不需要领域专业知识或试错。我们表明，微调的zero-shot分类器在其最有信心的预测导致显着的性能增益在广泛的文本分类任务，大概是因为自我训练适应zero-shot模型手头的任务。
2022-10-31 cs.CL cs.LG
Zero-Shot Cross-lingual Classification Using Multilingual Neural Machine Translation
The University of Tokyo（东京大学）；Google AI（谷歌人工智能）
将表示从大型监督任务转移到下游任务已经在计算机视觉和自然语言处理（NLP）等AI领域显示出有希望的结果。与此同时，机器翻译（MT）的最新进展使人们能够训练多语言神经MT（NMT）系统，该系统可以在多种语言之间进行翻译，并且还能够执行zero-shot翻译。然而，很少有人注意到利用多语言NMT系统学习的表示来实现其他NLP任务中的zero-shot多语言性。在本文中，我们展示了一个简单的框架，一个多语言编码器分类器，跨语言迁移学习重用的编码器从多语言NMT系统，并将其与特定于任务的分类器组件。我们提出的模型在三个基准任务-亚马逊评论，SST和SNLI的英语设置上取得了显着的改进。此外，我们的系统可以在训练期间没有看到分类数据的新语言中执行分类，这表明zero-shot分类是可能的，并且具有显著的竞争力。为了理解导致这一发现的潜在因素，我们对共享词汇表、NMT的训练数据类型、分类器复杂度、编码器表示能力和模型泛化对zero-shot性能的影响进行了一系列分析。我们的研究结果提供了强有力的证据表明，从多语言NMT系统中学习到的表征广泛适用于各种语言和任务。
2018-09-12 cs.AI cs.CL
Zero-shot Aspect-level Sentiment Classification via Explicit Utilization of Aspect-to-Document Sentiment Composition
Research Center for Social Computing and Information Retrieval（社会计算与信息检索研究中心）；Faculty of Computing（计算学部）；Harbin Institute of Technology（哈尔滨工业大学）
由于方面级情感标签是昂贵的和劳动密集型的获取，zero-shot方面级情感分类提出学习适用于新的领域，而不使用任何注释的方面级数据的分类器。相比之下，带有评级的文档级情感数据更容易访问。在这项工作中，我们实现了zero-shot方面级的情感分类，只使用文档级的评论。我们的关键直觉是，文档的情感表示由该文档所有方面的情感表示组成。在此基础上，我们提出了AF-DSC方法来显式地对评论中的情感成分进行建模。AF-DSC首先学习所有潜在方面的情感表示，然后将方面级情感聚合到文档级情感中，以执行文档级情感分类。通过这种方式，我们获得方面级情感分类器作为文档级情感分类器的副产品。方面级情感分类基准测试的实验结果表明，在文档级情感分类中显式利用情感成分的有效性。我们的模型只有3万个训练数据，优于以前的工作，利用数百万的数据。
2022-09-06 cs.AI cs.CL
Classifiers are Better Experts for Controllable Text Generation
Tinkoff（Tinkoff公司）
本文提出了一种简单的方法，基于加权logits与自由形式的分类器，即CAIF抽样可控的文本生成。使用任意文本分类器，我们调整语言模型的logits的一小部分，并引导文本生成朝向或远离分类器预测。我们进行了毒性避免和情绪控制任务的实验，结果表明，所提出的方法显着优于最近的PPLM，GeDi，和DExperts的PPL和任务准确性指标的基础上生成的文本的外部分类。此外，与其他方法相比，它更容易实现和调优，并且限制和要求显著减少。
2022-11-11 cs.CL cs.LG
MuTox: Universal MUltilingual Audio-based TOXicity Dataset and Zero-shot Detector
FAIR, Meta（Meta FAIR实验室）
针对语音模态毒性检测研究有限的现状，本文提出首个高度多语言基于音频的毒性数据集 MuTox，并训练零样本检测器，在扩大十倍语言覆盖的同时性能超越现有分类器。
2024-06-27 cs.CL cs.SD eess.AS
Enabling Classifiers to Make Judgements Explicitly Aligned with Human Values
The Hong Kong University of Science and Technology（香港科技大学）；Meta AI
许多NLP分类任务，例如性别歧视/种族主义检测或毒性检测，都是基于人类价值观的。然而，人的价值观在不同的文化条件下会有所不同。因此，我们引入了一个值对齐分类的框架，该框架基于命令中显式写入的人类值执行预测。随着任务，我们提出了一个实用的方法，从大规模语言模型（LLM）中提取值对齐的知识，构建值对齐的分类器在两个步骤。首先，我们从LLM中通过基于样本的少样本学习生成值对齐的训练数据。接下来，我们使用为任务生成的数据微调较小的分类模型。实证结果表明，我们的VA模型在F1分数上超过多个基线至少15.56%，包括使用OPT-175 B和现有文本增强方法的少样本学习。我们认为，使用具有明确人类价值输入的分类器可以提高AI的包容性和可解释性。
2022-10-14 cs.AI cs.CL
Challenges of Using Text Classifiers for Causal Inference
Johns Hopkins University（约翰斯·霍普金斯大学）
因果理解对于许多类型的决策都是必不可少的，但是从观测数据中进行因果推理通常只应用于结构化的低维数据集。虽然文本分类器产生低维输出，但它们在因果推理中的使用以前没有被研究过。为了促进基于语言数据的因果分析，我们认为文本分类器可以发挥的作用，通过建立建模机制，从缺失的数据和测量误差的因果关系文献的因果推理。我们演示了如何使用文本分类器对模拟数据和Yelp数据进行因果分析，并讨论了在因果推理中使用文本数据的未来工作的机遇和挑战。
2018-10-01 cs.CL cs.LG
Scaling few-shot spoken word classification with generative meta-continual learning
University of Cape Town（开普敦大学）
本文研究了在仅获得每个类别五个样本的情况下，通过生成性元持续学习（GeMCL）算法对1000个类别进行少样本语音词分类的潜力，并展示了其在性能稳定性及适应速度上的优势。
2026-06-04 cs.AI cs.CL
A Sequential Algorithm for Training Text Classifiers
廉价训练文本分类器的能力对于它们在信息检索、内容分析、自然语言处理和涉及部分或全部文本数据的其他任务中的使用是至关重要的。在统计分类器的机器学习过程中的顺序采样算法的开发和测试的新闻通讯文本分类任务。这种方法，我们称之为不确定性采样，减少了多达500倍的训练数据量，必须手动分类，以达到给定的有效性水平。
1994-07-25 cmp-lg cs.CL
Learning Variational Word Masks to Improve the Interpretability of Neural Text Classifiers
University of Virginia（弗吉尼亚大学）
为了构建一个可解释的神经文本分类器，大多数先前的工作都集中在设计内在可解释的模型或找到忠实的解释。提高模型可解释性的新工作刚刚开始，许多现有的方法需要先验信息或人工注释作为训练中的额外输入。为了解决这一限制，我们提出了变分词掩码（VMASK）方法来自动学习特定于任务的重要词，并减少与分类无关的信息，从而最终提高模型预测的可解释性。在七个基准文本分类数据集上使用三个神经文本分类器（CNN，LSTM和BERT）对所提出的方法进行了评估。实验表明，VMASK在提高模型预测精度和可解释性方面是有效的。
2020-11-19 cs.CL cs.LG
FIND: Human-in-the-Loop Debugging Deep Text Classifiers
Imperial College London（帝国理工学院）
由于获得完美的训练数据集（即，相当大的、无偏的、并且很好地代表未见过的情况的数据集）是几乎不可能的，许多真实世界的文本分类器是在可用的、但不完美的数据集上训练的。因此，这些分类器可能具有不期望的特性。例如，它们可能对某些亚群有偏见，或者由于过度拟合而无法在野外有效工作。在本文中，我们提出了FIND-一个框架，它使人类能够通过禁用不相关的隐藏特征来调试深度学习文本分类器。实验表明，通过使用FIND，人类可以改进CNN文本分类器，这些文本分类器是在不同类型的不完美数据集（包括具有偏差的数据集和具有不同训练测试分布的数据集）下训练的。
2020-10-10 cs.CL cs.HC cs.LG
Robust Text Classifier on Test-Time Budgets
University of California Los Angeles（加州大学洛杉矶分校）；Boston University（波士顿大学）
我们提出了一个通用的和可解释的学习框架，用于构建强大的文本分类模型，在测试时间预算限制下，该模型的准确性可与完整模型相媲美。我们的方法学习一个选择器来识别与预测任务相关的单词，并将它们传递给分类器进行处理。选择器与分类器联合训练，并直接学习与分类器合并。我们进一步提出了一个数据聚合方案，以提高分类器的鲁棒性。我们的学习框架是通用的，可以与任何类型的文本分类模型相结合。在现实世界的数据，我们表明，所提出的方法提高了给定的分类器的性能，并加快了模型的准确性性能损失。
2019-09-13 cs.CL cs.LG stat.ML
TextDecepter: Hard Label Black Box Attack on Text Classifiers
Rutgers University（罗格斯大学）
机器学习已经被证明容易受到精心制作的样本的影响，这些样本被称为对抗性样本。这些对抗性示例的生成有助于使模型更加健壮，并使我们深入了解这些模型的底层决策。多年来，研究人员已经成功地在白盒和黑盒设置中攻击了图像分类器。然而，这些方法并不直接适用于文本，因为文本数据是离散的。近年来，针对文本应用程序制作对抗性示例的研究一直在上升。在本文中，我们提出了一种针对自然语言处理（NLP）分类器的硬标签黑箱攻击的新方法，其中不公开模型信息，攻击者只能查询模型以获得分类器的最终决策，而不需要所涉及类的置信度得分。这种攻击场景适用于真实世界的黑盒模型，用于安全敏感应用程序，如情感分析和有毒内容检测。
2020-12-28 cs.CL cs.CR cs.LG
Write a Classifier: Predicting Visual Classifiers from Unstructured Text
人们通常通过接触与语言描述相关的视觉概念来学习。例如，向儿童教授视觉对象类别通常伴随着文本或语音中的描述。在机器学习的背景下，这些观察促使我们问这个学习过程是否可以通过计算建模来学习视觉分类器。更具体地说，这项工作的主要问题是如何利用纯文本描述的视觉类没有训练图像，学习显式的视觉分类器。我们提出并研究了两个基线配方，基于回归和域转移，预测线性分类器。然后，我们提出了一个新的约束优化配方，结合了回归函数和知识转移函数与额外的约束来预测线性分类器的参数。我们还提出了一个通用的内核化模型，其中一个内核分类器预测的形式定义的代表定理。核化模型允许分别在视觉空间和文本空间中定义和利用任何两个RKHS（再生核希尔伯特空间）核函数。最后，我们提出了一个非结构化的文本描述，建立在分布式语义，这表明在我们的设置的优势，并可能是有用的其他应用程序之间的内核函数。我们应用所有研究的模型来预测两个细粒度和具有挑战性的分类数据集（CU Birds和Flower Datasets）上的视觉分类器，结果表明我们的最终模型在我们设计的几个基线上成功预测。
2016-12-28 cs.CL cs.CV cs.LG
Identifying Adversarial Attacks on Text Classifiers
University of California, Irvine（加利福尼亚大学尔湾分校）；University of Oregon, Eugene（俄勒冈大学尤金分校）
针对文本分类器的对抗攻击的规模持续增长，每年都有新的攻击出现，其中许多攻击可以在标准工具包中找到，例如TextAttack和OpenAttack。作为回应，有越来越多的关于鲁棒学习的工作，这减少了对这些攻击的脆弱性，尽管有时在计算时间或准确性方面付出了很高的代价。在本文中，我们采取了另一种方法-我们试图通过分析敌对文本来了解攻击者，以确定使用了哪些方法来创建它。我们的第一个贡献是一个广泛的攻击检测和标记数据集：150万攻击实例，由12个对抗攻击生成，目标是在六个源数据集上训练的三个分类器，用于英语的情感分析和滥用检测。作为我们的第二个贡献，我们使用这个数据集来开发和基准测试一些用于攻击识别的分类器--确定给定的文本是否被恶意操纵以及被哪种攻击操纵。作为第三个贡献，我们证明了这些任务的三个类别的功能的有效性：文本属性，捕获内容和文本的呈现;语言模型属性，确定哪些令牌是更多或更少的可能性在整个输入;和目标模型属性，表示文本分类器是如何受到攻击的影响，包括内部节点激活。总的来说，这代表了对文本分类器进行对抗攻击取证的第一步。
2022-01-21 cs.CL cs.CR cs.LG
Don't sweat the small stuff, classify the rest: Sample Shielding to protect text classifiers against adversarial attacks
University of Iowa（爱荷华大学）
深度学习（DL）正被广泛用于文本分类。然而，研究人员已经证明了这种分类器对对抗攻击的脆弱性。攻击者以误导分类器的方式修改文本，同时保持原始含义接近完整。最先进的（SOTA）攻击算法遵循对文本进行最小更改的一般原则，以便不危及语义。利用这一点，我们提出了一种新颖而直观的防御策略，称为样本屏蔽。它与攻击者和分类器无关，不需要重新配置分类器或外部资源，并且易于实现。从本质上讲，我们对输入文本的子集进行采样，对它们进行分类，并将其总结为最终决策。我们使用Sample Shielding屏蔽了三个流行的DL文本分类器，在现实的威胁环境中测试了它们对三个数据集上的四个SOTA攻击者的弹性。即使在了解我们的屏蔽策略的优势下，对手的攻击成功率也<=10%，只有一个例外，通常<5%。此外，样本屏蔽在应用于原始文本时保持接近原始的准确性。至关重要的是，我们表明，SOTA攻击者的“做最小的改变”的方法导致关键的漏洞，可以防御一个直观的采样策略。
2022-05-03 cs.CL cs.CR cs.LG
Quantifying the Uncertainty of Precision Estimates for Rule based Text Classifiers
Oak Ridge National Laboratory（橡树岭国家实验室）
基于规则的分类器使用关键子串的存在和不存在来进行分类决策，具有用于量化其精度的不确定性的自然机制。对于二元分类器，关键的见解是将由文档引起的子串集合的分区视为伯努利随机变量。每个随机变量的平均值是分类器的精度的估计，当呈现诱导该分区的文档时。可以使用标准统计测试将这些平均值与期望或预期的分类器精度进行比较。一组二进制分类器可以通过应用Dempster-Shafer证据理论组合成单个多标签分类器。这种方法的实用性证明了一个基准问题。
2020-05-19 cs.AI cs.CL cs.LG
