LexiMark: Robust Watermarking via Lexical Substitutions to Enhance Membership Verification of an LLM's Textual Training Data
Department of Software and Information Systems Engineering, Ben-Gurion University of the Negev（软件与信息系统工程系，贝内尔根大学）
针对现有数据集水印隐蔽性不足、易被检测移除的问题，提出新型文本水印技术LexiMark，通过高熵词同义词替换嵌入水印，在多模型多训练场景下AUROC得分显著提升，可有效验证LLM未授权数据使用情况。
2025-10-05 cs.CL cs.CR
Volta at SemEval-2021 Task 6: Towards Detecting Persuasive Texts and Images using Textual and Multimodal Ensemble
International Institute of Information Technology Hyderabad（海得拉巴国际信息技术学院）
模因是用于在线传播信息的最受欢迎的内容类型之一。他们可以通过修辞和心理技巧影响大量的人。本文的任务，文本和图像中说服技巧的检测，就是检测模因中的这些说服技巧。它由三个子任务组成：（A）使用文本内容的多标签分类，（B）使用文本内容的多标签分类和跨度识别，以及（C）使用视觉和文本内容的多标签分类。在本文中，我们提出了一种迁移学习方法来微调不同模态的BERT模型。我们还探讨了在不同模式下训练的模型集合的有效性。我们在相应的子任务中获得了57.0、48.2和52.1的F1分数。
2021-06-01 cs.CL cs.CV
Defending Pre-trained Language Models from Adversarial Word Substitutions Without Performance Sacrifice
Shanghai Jiao Tong University（上海交通大学）
预训练的上下文化语言模型（PrLM）在下游自然语言理解任务中带来了强大的性能提升。然而，PrLM仍然可以很容易地被敌对词替换所欺骗，这是最具挑战性的文本对抗攻击方法之一。现有的防御方法遭受显着的性能损失和复杂性。因此，本文提出了一个紧凑的和性能保持的框架，异常检测与频率感知随机化（ADFAR）。详细地说，我们设计了一个辅助异常检测分类器，并采用多任务学习过程，通过该过程，PrLM能够区分敌对的输入样本。然后，为了防御对抗性单词替换，将频率感知的随机化过程应用于那些识别出的对抗性输入样本。实验结果表明，ADFAR在各种任务上的推理速度明显优于新提出的防御方法。值得注意的是，ADFAR不会损害PrLM的整体性能。代码可在https://github.com/LilyNLP/ADFAR上获得
2021-05-30 cs.CL
Text Adversarial Purification as Defense against Adversarial Attacks
Fudan University（复旦大学）
本研究针对文本对抗攻击防御研究较少的问题，提出一种借助掩码语言模型注入并重构噪声的文本对抗净化方法，可有效抵御Textfooler、BERT-Attack等强词替换类对抗攻击。
2023-05-03 cs.CL
Towards Robustness Against Natural Language Word Substitutions
Nanyang Technological University（南洋理工大学）；Xiamen University（厦门大学）；National Institute of Informatics（国立信息学研究所）
对单词替换的鲁棒性具有定义明确且广泛接受的形式，即，使用语义相似的词作为替换，因此它被认为是在自然语言处理中实现更广泛的鲁棒性的基本垫脚石。先前的防御方法通过使用$l_2$ -球或超矩形来捕获向量空间中的单词替换，这导致扰动集不够包容或不必要地大，从而阻碍了鲁棒训练的最坏情况的模仿。在本文中，我们介绍了一种新的\textit{Adversarial Sparse Convex Combination}（ASCC）方法。我们将单词替换攻击空间建模为凸包，并利用正则化项来对实际替换进行扰动，从而使我们的建模更好地与离散文本空间对齐。基于ASCC方法，我们进一步提出了ASCC-defense，它利用ASCC来生成最坏情况的扰动，并将对抗训练纳入鲁棒性。实验表明，ASCC-defense在两个流行的NLP任务\emph{i.e.}，情感分析和自然语言推理的鲁棒性方面优于当前最先进的技术，涉及跨多个模型架构的几种攻击。此外，我们还设想了一种新的NLP鲁棒性防御方法，我们鲁棒训练的词向量可以插入到正常训练的模型中，并在不应用任何其他防御技术的情况下增强其鲁棒性。
2021-07-28 cs.CL
Detecting Rumor Veracity with Only Textual Information by Double-Channel Structure
Seoul National University（首尔国立大学）；Artificial Society Inc.（人工社会公司）
本文提出双通道谣言真实性检测框架，先区分知情与不知情谣言，再分别采用谎言检测和回复一致性检测，在 SemEval 2019 Task 7 上取得优于基线及第二名的 macro-F1。
2023-12-06 cs.CL
Text-CRS: A Generalized Certified Robustness Framework against Textual Adversarial Attacks
Zhejiang University（浙江大学）；University of Connecticut（康涅狄格大学）；Illinois Institute of Technology（伊利诺伊理工学院）
本文提出Text-CRS框架，基于随机平滑为NLP模型提供针对同义词替换、单词重排、插入和删除四种词级对抗攻击的可证明鲁棒性认证，并在多个模型和数据集上取得优于现有方法的认证准确率与半径。
2024-06-11 cs.CL cs.CR cs.LG
Detecting Textual Adversarial Examples Based on Distributional Characteristics of Data Representations
Macquarie University（麦考瑞大学）；The University of Adelaide（阿德莱德大学）
虽然深度神经网络在各种机器学习任务中已经达到了最先进的性能，但通过向正确分类的输入添加小的非随机扰动来构建的对抗性示例，成功地欺骗了高度表达的深度分类器进行不正确的预测。在过去的五年里，自然语言任务中的对抗攻击方法使用字符级、单词级、短语级或句子级文本扰动蓬勃发展。虽然在NLP中有一些工作是通过主动方法来防御这种攻击，如对抗训练，但据我们所知，没有有效的通用反应方法来通过检测文本对抗示例来防御，例如在图像处理文献中发现的。在本文中，我们提出了两个新的反应性的方法，NLP来填补这一空白，这与少数有限的应用基线从NLP是完全基于分布特性的学习表示：我们适应一个从图像处理文献（本地固有的包容性（LID）），并提出了一个新的（多距离表示包容方法（MDRE））。自适应LID和MDRE在IMDB数据集上以及在MultiNLI数据集上的后两者上获得了字符级、单词级和短语级攻击的最新结果。为了将来的研究，我们发布了我们的代码。
2022-04-29 cs.CL cs.LG
Investigating the Effects of Word Substitution Errors on Sentence Embeddings
Arizona State University（亚利桑那州立大学）
在几个自然语言处理（NLP）任务中，关键的初始步骤涉及将文本短语嵌入到保留语义含义的实数向量中。为此，最近提出了几种方法，在语义相似性任务上取得了令人印象深刻的结果。然而，所有这些方法都假设在生成嵌入时可以获得完美的转录本。虽然这对于分析书面文本是一个合理的假设，但它限制了对转录文本的分析。在本文中，我们调查的影响，如来自自动语音识别错误（ASR）的单词替换错误，对几个国家的最先进的句子嵌入方法。要做到这一点，我们提出了一个新的模拟器，允许实验者诱导ASR合理的词替换错误在语料库中所需的字出错率。我们使用这个模拟器来评估几个句子嵌入方法的鲁棒性。我们的研究结果表明，预训练的神经句子编码器对ASR错误具有鲁棒性，并且在引入错误后在文本相似性任务中表现良好。同时，词向量的未加权平均值表现良好，完美的transmittance，但其性能迅速下降的文本相似性任务的文本与词替换错误。
2019-04-24 cs.CL cs.SD eess.AS
Attention-based Modeling for Emotion Detection and Classification in Textual Conversations
LIRMM UMR 5506；CNRS（法国国家科学研究中心）；University of Montpellier（蒙彼利埃大学）；IUT de Béziers（贝济耶大学技术学院）；AMIS；Paul Valery University - Montpellier 3（保罗·瓦莱里大学-蒙彼利埃第三大学）
本文讨论了文本会话建模和情感检测的问题。我们提出的模型利用1）深度迁移学习而不是经典的词嵌入浅层方法; 2）自我注意力机制专注于文本中最重要的部分; 3）基于回合的会话建模用于分类情感。该方法不依赖于任何手工制作的功能或词典。我们的模型基于SemEval-2019共享任务提供的文本中上下文情感检测的数据进行了评估。该模型显示出非常有竞争力的结果。
2019-06-14 cs.CL
Detecting Deception in Political Debates Using Acoustic and Textual Features
Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）
我们目前的工作欺骗检测，在那里，给定的口头索赔，我们的目标是预测其真实性。虽然以前在演讲社区的工作依赖于录音从舞台上的设置，人们被要求说实话或撒谎，他们的声明被记录，在这里，我们使用现实世界的政治辩论。由于事实核查组织的努力，有可能在政治话语的背景下获得对陈述的注释，如真、半真半假或假。从CLEF-2018 CheckThat！实验室，这是有限的文本，我们执行对齐到相应的视频，从而产生一个多模态数据集。我们进一步开发了一种用于欺骗检测任务的多模态深度学习架构，这比CLEF-2018实验室任务2的最新技术水平有了相当大的改进。我们的实验表明，声学信号的使用始终有助于提高性能相比，仅使用文本和元数据功能，基于几个不同的评估措施。我们向研究社区发布了新的数据集，希望有助于推进多模态欺骗检测的整体领域。
2019-10-04 cs.AI cs.CL eess.AS
LBA: Textual Hard-Label Adversarial Attack under Low Query Budgets
Zhejiang Normal University（浙江师范大学）；Zhejiang University（浙江大学）；China Electric Power Research Institute（中国电力科学研究院）
研究在低查询预算硬标签场景下生成高质量对抗文本的难题，提出基于采样的LBA方法，整合先验与后验知识构建近似分布用于采样，实验证明该方法在多语言模型上显著优于基线，生成的对抗文本语义保留性和可理解性更佳。
2026-07-17 cs.AI cs.CL
A Practical Synthesis of Detecting AI-Generated Textual, Visual, and Audio Content
AI Labs, King/Microsoft R\&D, CSPaper Stockholm, Sweden
本文综述AI生成文本、图像与音频的检测与缓解方法，涵盖统计分析、模型流水线、水印指纹及集成技术，并结合多领域案例讨论鲁棒性与人在环验证，为应对开放挑战提供指南。
2025-09-26 cs.CL cs.LG
Detecting Hope, Hate, and Emotion in Arabic Textual Speech and Multi-modal Memes Using Large Language Models
Computer Science Department, New York University Abu Dhabi（纽约大学阿布扎克分校计算机科学系）
本文研究利用大型语言模型检测阿拉伯语文本和模因中的希望、仇恨及情绪，通过微调GPT-4o-mini和Gemini Flash 2.5在MAHED 2025挑战赛中取得领先性能并获总排名第一。
2025-08-15 cs.AI cs.CL cs.LG
Detecting Events and Patterns in Large-Scale User Generated Textual Streams with Statistical Learning Methods
University of Bristol（布里斯托大学）
大量的文本网络流受到现实世界中出现的事件或现象的影响。社交网络形成了一个优秀的现代范例，其中非结构化的用户生成的内容定期发布，并且在大多数情况下是自由分发的。目前的PhD论文涉及的问题推断信息-或一般模式-在现实生活中出现的事件的基础上，这个文本流的内容。我们表明，它是可以提取有价值的信息，社会现象，如流行病，甚至降雨率，通过自动分析的内容发布在社交媒体，特别是Twitter，使用统计机器学习方法。一个重要的中间任务是形成和识别的功能，其中包括一个目标事件，我们选择和使用这些文本功能在几个线性，非线性和混合推理方法实现了显着良好的性能方面的应用损失函数。通过进一步研究这一丰富的数据集，我们还提出了提取各种类型的情绪信号的方法，揭示了情感规范-至少在社交网络的人口-在白天如何演变，以及现实世界中出现的重大事件如何影响它们。最后，我们提出了一些初步的研究结果，显示了这种文本信息的几个时空特征，以及使用它来解决诸如预测投票意图等任务的潜力。
2012-08-13 cs.CL cs.IR cs.LG
Detecting Statements in Text: A Domain-Agnostic Few-Shot Solution
University of Edinburgh（爱丁堡大学）
本文提出一种领域无关的少样本主张文本分类框架，结合自然语言推理与概率二分动态采样，在三类任务中以极少标注达到接近传统微调方法的性能。
2024-05-09 cs.CL
Multi-Granularity Tibetan Textual Adversarial Attack Method Based on Masked Language Model
School of Information Science and Technology, Tibet University（西藏大学信息科学技术学院）；Collaborative Innovation Center for Tibet Informatization by MOE and Tibet Autonomous Region（教育部与西藏自治区西藏信息化协同创新中心）；Engineering Research Center of Tibetan Information Technology, Ministry of Education（教育部藏信息技术工程研究中心）
针对藏语文本对抗攻击研究不足，提出基于掩码语言模型的多粒度方法 TSTricker，通过候选音节或词替换及评分排序攻击多个微调模型，显著降低分类准确率并提升攻击效果。
2024-12-03 cs.CL cs.CR
Uncovering Drift in Textual Data: An Unsupervised Method for Detecting and Mitigating Drift in Machine Learning Models
Amazon（亚马逊）
提出一种无监督两步漂移检测方法，利用MMD距离比较生产与训练数据分布并定位漂移根因，用高漂移样本重训模型以提升在线体验指标。
2023-09-07 cs.AI cs.CL cs.LG
Detecting Sarcasm in Multimodal Social Platforms
University of Turin（都灵大学）；Yahoo（雅虎）
讽刺是一种特殊的情感表达形式，表面情感与隐含情感不同。社交媒体平台中的讽刺的检测在过去主要应用于文本话语，其中词汇指示符（诸如感叹词和加强词）、语言标记和上下文信息（诸如用户简档或过去的对话）被用于检测讽刺语气。然而，现代社交媒体平台允许创建多模态消息，其中视听内容与文本相结合，从而孤立地分析模式。在我们的工作中，我们首先研究了来自三个主要社交媒体平台的多模态帖子中文本和视觉方面之间的关系，即，Instagram，Tumblr和Twitter，我们运行一个众包任务来量化人类注释者认为图像是必要的程度。此外，我们提出了两种不同的计算框架来检测讽刺，整合的文本和视觉形式。第一种方法利用在外部数据集上训练的视觉语义，并将语义特征与最先进的文本特征连接起来。第二种方法是将一个在ImageNet上训练的参数初始化的视觉神经网络适应于多模态讽刺帖子。结果显示了跨平台和方法的讽刺检测的组合方式的积极影响。
2016-08-08 cs.CL cs.CV cs.MM
LimeAttack: Local Explainable Method for Textual Hard-Label Adversarial Attack
University of Science and Technology of China（中国科学技术大学）；Xidian University（西安电子科技大学）；Ping An Technology（平安科技）；Lazada
针对仅能获取离散预测标签的文本硬标签攻击难题，提出LimeAttack算法，利用局部可解释方法近似词重要性排序并结合beam search寻找最优解，在相同查询预算下实现更优攻击性能，且生成的对抗样本具备高可迁移性并能提升模型鲁棒性。
2024-01-10 cs.CL
COVID-19 Infodemic. Understanding content features in detecting fake news using a machine learning approach
Faculty of Computer Science & Information Technology, Universiti Malaya（马来亚大学计算机科学与信息技术学院）；LIGM, Univ Gustave Eiffel, CNRS（法国埃菲尔大学LIGM研究所，CNRS）
本研究通过机器学习方法探讨内容特征在虚假新闻检测中的应用，发现文本和语言特征单独使用能提升检测效果，但结合使用未显著提升性能。
2026-05-07 cs.AI cs.CL cs.LG
Enriching GNNs with Text Contextual Representations for Detecting Disinformation Campaigns on Social Media
Universidade de São Paulo（圣保罗大学）；Institut Polytechnique de Paris（巴黎综合理工学院）
本文将Transformer文本上下文表示融入GNN进行假新闻检测，Macro F1相对提升最高达33.8%，并公开代码。
2024-11-23 cs.AI cs.CL cs.LG
Pretraining Chinese BERT for Detecting Word Insertion and Deletion Errors
Central South University（中南大学）；Tencent AI Lab（腾讯人工智能实验室）
中文BERT模型在处理词替换的语法错误方面取得了显著的进展。但是，它们不能处理单词的插入和删除，因为BERT假设每个位置都存在一个单词。为了解决这个问题，我们提出了一个简单有效的中文预训练模型。其基本思想是使模型能够确定单词是否存在于特定位置。我们通过引入一个特殊的标记\texttt{[null]}来实现这一点，该标记的预测代表一个词的不存在。在训练阶段，我们设计了预训练任务，使得模型学习预测\texttt{[null]}和真实单词。在推理阶段，该模型很容易检测是否应该插入或删除一个词与标准的掩蔽语言建模功能。我们进一步创建了一个评估数据集，以促进对单词插入和删除的研究。它包括对7，726个错误句子的人工注释更正。结果表明，现有的中文BERT在检测插入和删除错误方面表现不佳。我们的方法显着提高了F1分数从24.1%到78.1%的词插入和从26.5%到68.5%的词删除，分别。
2022-04-26 cs.CL
Linear probes rely on textual evidence: Results from leakage mitigation studies in language models
研究发现线性探针在依赖文本证据检测行为时性能下降，表明其在非表层模式检测中可能不够稳健。
2026-03-09 cs.AI cs.CL cs.LG
DSRM: Boost Textual Adversarial Training with Distribution Shift Risk Minimization
Fudan University（复旦大学）；Tencent PCG（腾讯平台与内容事业群）
本文提出DSRM方法，通过扰动输入数据的概率分布而非嵌入来估计对抗损失，仅需干净数据即可进行对抗训练，在减少70%时间消耗的同时显著提升了BERT对文本对抗攻击的鲁棒性。
2023-06-27 cs.CL cs.LG
Deciphering Textual Authenticity: A Generalized Strategy through the Lens of Large Language Semantics for Detecting Human vs. Machine-Generated Text
The University of Texas at San Antonio（圣安东尼奥德克萨斯大学）；Secure AI and Autonomy Lab（安全人工智能与自主实验室）
针对真实场景中多生成器、多领域机器文本检测泛化不足的问题，提出 T5LLMCipher，融合预训练 T5 编码器与 LLM 嵌入子聚类，显著提升跨域 F1 并准确识别生成器。
2024-04-03 cs.CL cs.LG
Detecting Functional Memorization in Code Language Models
Meta；Imperial College London（伦敦帝国学院）
研究代码语言模型的功能记忆现象，通过反事实设置对比暴露目标代码的模型与未暴露的参考模型，使用文本和功能相似性度量，发现功能记忆超出文本重叠的检测范围。
2026-08-24 cs.CL cs.CR cs.LG
The Logoscope: a Semi-Automatic Tool for Detecting and Documenting French New Words
在这篇文章中，我们提出了Logoscope的设计和实现，第一个工具，专门开发来检测法语的新单词，记录它们，并允许公众通过Web界面访问。这个半自动的工具每天通过浏览法国知名报纸的在线版本来收集新单词，如Le Monde，Le Figaro，L 'Equipe，Libération，La Croix，Les Échos。与其他主要致力于词典开发的现有工具相比，Logoscope试图对新词出现的上下文给出更完整的解释。除了通常给出的形态句法信息，它还提供了有关单词创建的文本和话语上下文的信息;特别是，它自动确定包含新词的文本的（新闻）主题。在这篇文章中，我们首先给出了一个开发工具的一般概述。然后，我们描述所采取的方法，我们讨论的语言背景，指导我们的设计决策，并提出了计算方法，我们用来实现它。
2018-10-25 cs.CL
ProVe: A Pipeline for Automated Provenance Verification of Knowledge Graphs against Textual Sources
King’s College London（伦敦国王学院）
知识图谱是以语义三元组的形式从多个领域和来源收集数据的信息库，作为现代网络环境中各种关键应用程序的结构化数据源，从维基百科信息框到搜索引擎。这些图表主要作为信息的第二来源，并依赖于记录良好和可核实的出处，以确保其可信度和可用性。然而，他们系统地评估和确保这种来源的质量的能力，最重要的是它是否正确地支持图的信息，主要依赖于不随大小而扩展的手动过程。ProVe旨在弥补这一点，包括一个流水线的方法，自动验证是否知识图谱三元组是从其记录出处提取的文本支持。ProVe旨在帮助信息管理员，包括四个主要步骤，涉及基于规则的方法和机器学习模型：文本提取，三重语言化，句子选择和声明验证。ProVe在Wikidata数据集上进行了评估，在检测来源支持的二进制分类任务上取得了令人鼓舞的整体结果和出色的性能，在文本丰富的源上具有87.5%的准确率和82.9%的F1宏。本文中使用的评估数据和脚本可在GitHub和Figshare上获得。
2022-10-26 cs.CL
Word-level Textual Adversarial Attacking as Combinatorial Optimization
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Columbia University（哥伦比亚大学）
进行对抗攻击是为了揭示深层神经网络的脆弱性。文本对抗攻击具有挑战性，因为文本是离散的，一个小的扰动可以给原始输入带来显着的变化。词级攻击是文本攻击方法中的一种，可以看作是一个组合优化问题。然而，现有的字级攻击模型还远远不够完善，主要是因为不合适的搜索空间减少方法和效率低下的优化算法。在本文中，我们提出了一种新的攻击模型，它结合了基于语义的单词替换方法和粒子群优化搜索算法来解决这两个问题分别。我们在三个基准数据集上进行了详尽的实验，通过攻击BiLSTM和BERT来评估我们的攻击模型。实验结果表明，与基线方法相比，我们的模型始终实现了更高的攻击成功率和工艺更高质量的对抗性示例。进一步的实验表明，我们的模型具有更高的可移植性，可以带来更多的鲁棒性增强受害者模型的对抗性训练。本文的所有代码和数据都可以在https://github.com/thunlp/SememePSO-Attack上获得。
2020-12-09 cs.AI cs.CL cs.LG
RTD-Guard: A Black-Box Textual Adversarial Detection Framework via Replacement Token Detection
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院）
本文提出RTD-Guard框架，利用替换词检测器识别对抗样本，无需对抗数据或模型调优，仅需两次黑盒查询，有效检测多种先进攻击方法生成的对抗文本。
2026-03-13 cs.CL cs.CR
TSCheater: Generating High-Quality Tibetan Adversarial Texts via Visual Similarity
Minzu University of China（中央民族大学）；National Language Resource Monitoring & Research Center Minority Languages Branch（国家语言资源监测与研究中心少数民族语言分中心）；Tibet University（西藏大学）；Collaborative Innovation Center for Tibet Informatization by Ministry of Education & Tibet Autonomous Region（教育部-西藏自治区西藏信息化协同创新中心）
本文提出TSCheater方法，利用藏文编码特性和视觉相似音节语义相近的特征生成高质量对抗文本，并在多个模型上验证其优于现有方法，同时构建了首个藏文对抗鲁棒性评估基准AdvTS。
2026-10-06 cs.CL cs.CR
Named Entity Recognition for Monitoring Plant Health Threats in Tweets: a ChouBERT Approach
Institut Supérieur d’Electronique de Paris（巴黎高等电子学院）；University of Reims Champagne-Ardenne（兰斯香槟-阿登大学）
本文针对农业文本数据缺乏标注的问题，进一步研究法语预训练模型ChouBERT在小规模标注集上进行词元级标注任务的能力，以从Twitter等社交媒体中提取植物健康威胁信息。
2023-10-19 cs.CL cs.LG
Capturing Evolution in Word Usage: Just Add More Clusters?
Jozef Stefan Institute（约瑟夫·斯特凡研究所）；LIMSI - CNRS（法国国家科学研究中心机械与工程科学计算机实验室）；Univ. Paris-Sud（巴黎第十一大学）；Univ. Paris-Saclay（巴黎萨克雷大学）；Societé Générale（法国兴业银行）；University of Helsinki（赫尔辛基大学）
词语的使用方式随着时间的推移而演变，反映了社会的文化或技术演变。语义变化检测是检测和分析文本数据中单词演变的任务，即使是在很短的时间内。在本文中，我们专注于一套新的方法，依赖于上下文嵌入，一种语义建模，革命性的自然语言处理领域最近。我们利用基于transformer的BERT模型的能力来生成能够检测单词随时间的语义变化的上下文嵌入。在一个共同的环境中比较了几种方法，以确定每种方法的优缺点。我们还提出了一些改进的想法，管理，以大幅提高现有方法的性能。
2020-01-24 cs.CL
SAFT: Structure-aware Transformers for Textual Interaction Classification
Hong Kong Baptist University（香港浸会大学）；National University of Singapore（新加坡国立大学）
SAFT通过融合预训练语言模型与线图注意力等图模块，并引入结构嵌入编码TIN拓扑信息，有效提升文本交互分类的准确率。
2025-04-07 cs.AI cs.CL
TextHacker: Learning based Hybrid Local Search Algorithm for Text Hard-label Adversarial Attack
Huazhong University of Science and Technology（华中科技大学）；Huawei（华为）；Harbin Institute of Technology（哈尔滨工业大学）
现有的文本对抗攻击通常利用梯度或预测置信度来生成对抗样本，这使得它很难被部署到现实世界的应用中。为此，我们考虑一种很少研究但更严格的设置，即硬标签攻击，其中攻击者只能访问预测标签。特别地，我们发现我们可以通过对抗性示例上的单词替换引起的预测标签的变化来学习不同单词的重要性。基于这一观察，我们提出了一种新的对抗攻击，称为文本硬标签攻击者（TextHacker）。TextHacker随机干扰大量的单词来制作一个对抗性的例子。然后，TextHacker采用了一种混合局部搜索算法，从攻击历史中估计单词的重要性，以最大限度地减少对抗干扰。对文本分类和文本蕴涵的广泛评估表明，TextHacker在攻击性能和对手质量方面明显优于现有的硬标签攻击。
2022-10-24 cs.CL cs.LG
Detecting Historical Turning Points in Italian Media: A Complex Systems Approach to a Diachronic News Corpus
Department of Physics and Chemistry, University of Palermo（帕尔米洛大学物理与化学系）；Institute for Cross-Disciplinary Physics and Complex Systems (IFISC), UIB-CSIC（跨学科物理与复杂系统研究所（IFISC）， UIB-CSIC）
通过NLP和复杂系统方法分析意大利《共和报》1985-2000年的60万篇文章，无监督检测出意大利第一共和国向第二共和国过渡、海湾战争等关键历史转折点。
2026-11-03 cond-mat.stat-mech cs.CL physics.soc-ph
Exploring Gradient-Guided Masked Language Model to Detect Textual Adversarial Attacks
School of Information and Communication Technology, Griffith University（格里菲斯大学信息与通信技术学院）；School of Computer Science, University of Technology Sydney（悉尼科技大学计算机科学学院）；College of Computer and Information Science, Southwest University（西南大学计算机与信息科学学院）；School of Cyber Science and Engineering, Huazhong University of Science and Technology（华中科技大学网络空间科学与工程学院）
针对文本对抗样本威胁，基于对抗样本偏离正常文本流形的特性，提出MLMD方法利用掩码语言模型检测差异，再通过GradMLMD的梯度引导跳过非关键词，在保证性能的同时降低计算开销。
2025-04-08 cs.AI cs.CL cs.LG
Textual Data Mining for Financial Fraud Detection: A Deep Learning Approach
HKUST（香港科技大学）
本文利用HKEX公告提取欺诈公司MD&A文本，并对比MLP、RNN、LSTM和GRU等深度学习模型在金融欺诈二元分类任务中的准确性，为金融欺诈检测提供了有价值的实证参考。
2023-08-05 cs.AI cs.CL cs.LG
Detecting White Supremacist Hate Speech using Domain Specific Word Embedding with Deep Learning and BERT
King Abdulaziz University（阿卜杜勒阿齐兹国王大学）
白人至上主义者信奉一种激进的意识形态，认为白人比其他种族的人优越。这些团体的关键影响不再局限于社交媒体;它们还通过促进种族仇恨和暴力，在许多方面对社会产生重大影响。白人至上主义仇恨言论是社交媒体上最近观察到的有害内容之一。由于信息的巨大爆炸，报告仇恨言论的传统渠道已被证明是不够的，因此，有必要找到一种自动方法来及时检测此类言论。本研究探讨了使用深度学习和自然语言处理技术自动检测Twitter上白人至上主义仇恨言论的可行性。通过我们的实验，我们使用了两种方法，第一种方法是使用从白人至上主义语料库中提取的特定于领域的嵌入，以利用双向长短期记忆（LSTM）深度学习模型来捕捉这个白人至上主义俚语的含义，这种方法达到了0.74890的F1-得分。第二种方法是通过使用最新的语言模型之一，这是BERT，BERT模型提供了最先进的自然语言处理任务。达到了0.79605的F1分数。这两种方法都在平衡数据集上进行了测试，因为我们的实验仅基于文本数据。该数据集是由Twitter创建的数据集和从白人至上主义论坛编译的Stormfront数据集组合而成的。
2020-10-01 cs.AI cs.CL
Classification of Hope in Textual Data using Transformer-Based Models
Department of Computer Science, Texas Tech University, Lubbock, Texas, United States（计算机科学系，德克萨斯科技大学，德克萨斯州，美国）
本文针对文本希望表达分类任务，对比BERT、GPT-2、DeBERTa三种Transformer模型的性能，发现BERT准确率更高、计算成本更低，为情感检测相关应用提供参考框架。
2025-11-17 cs.AI cs.CL cs.LG
