Is Your LLM Really Mastering the Concept? A Multi-Agent Benchmark
Beijing Normal University(北京师范大学);Australian National University(澳大利亚国立大学)
本文提出CK-Arena,通过多智能体社交推理游戏评估大语言模型的概念理解能力,揭示模型在概念掌握上的差异性。
2026-02-11 cs.AI cs.CL
Do LLMs Really Adapt to Domains? An Ontology Learning Perspective
University of Mannheim(曼海姆大学);Bosch Center for AI(博世人工智能中心)
本文通过使用WordNet合成平行语料库进行受控实验,探究LLM在领域适应中是真正进行语义推理还是仅依赖词汇模式,发现现成LLM倾向利用词义而非推理,但微调能显著提升其在未见领域术语上的本体学习性能。
2024-07-29 cs.AI cs.CL
Is Chain-of-Thought Really Not Explainability? Chain-of-Thought Can Be Faithful without Hint Verbalization
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
本文挑战了链式推理的忠实性定义,指出基于提示注入的偏差特征指标过于狭隘,通过新指标显示推理预算影响提示 verbalization,并通过因果中介分析证明非 verbalized 提示可通过链式推理影响预测,呼吁更广泛的可解释性工具。
2026-05-08 cs.AI cs.CL cs.LG
Word Sense Disambiguation with LSTM: Do We Really Need 100 Billion Words?
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
最近,Yuan等人(2016)已经证明了使用长短期记忆(LSTM)进行词义消歧(WSD)的有效性。他们提出的技术在几个基准测试中表现优于以前的最先进技术,但训练数据和源代码都没有发布。本文介绍了仅使用公开可用的数据集(GigaWord,SemCore,OMSTI)和软件(TensorFlow)对该技术进行再现研究的结果。从他们身上可以看出,可以用比Yuan等人暗示的少得多的数据获得最先进的结果。所有代码和训练模型都是免费提供的。
2017-12-16 cs.CL
What Really Counts? Examining Step and Token Level Attribution in Multilingual CoT Reasoning
University of Groningen(格罗宁根大学)
本研究通过对比多语言Co-T推理中步骤和令牌级归因方法,揭示了归因分数的偏差及结构化提示对高资源语言准确性的影响,强调了多语言鲁棒性和解释透明性的挑战。
2025-11-19 cs.CL
SweEval: Do LLMs Really Swear? A Safety Benchmark for Testing Limits for Enterprise Use
Oracle AI;Indian Institute of Information Technology Ranchi(印度拉奇信息与技术学院);TD Securities(TD证券);Columbia University(哥伦比亚大学);Hanyang University(翰阳大学)
针对企业部署中LLMs可能遵从脏话指令的风险,提出SweEval基准,通过多语气多语境提示测试模型对不当指令的遵从与抵制,评估伦理对齐与文化理解,并开源数据集与代码。
2025-05-22 cs.AI cs.CL cs.LG
Does In-Context Learning Really Learn? Rethinking How Large Language Models Respond and Solve Tasks via In-Context Learning
Nanyang Technological University(南洋理工大学);The Chinese University of Hong Kong(香港中文大学)
本文将上下文学习(ICL)性能分解为标签空间、格式和判别三维度,发现示范对判别影响甚微但能有效调节标签和格式,且检索语义相似示例可显著提升判别能力,但标签多样性存在权衡。
2024-07-23 cs.CL
"Did you really mean what you said?" : Sarcasm Detection in Hindi-English Code-Mixed Data using Bilingual Word Embeddings
Netaji Subhas University of Technology(内塔吉·苏巴斯理工大学)
随着世界各地的人们越来越多地使用社交媒体平台,许多新的有趣的NLP问题已经存在。其中之一是检测社交媒体文本中的讽刺。我们提出了一个语料库的tweets训练自定义词嵌入和标记为讽刺检测的Hinglish数据集。我们提出了一种基于深度学习的方法来解决印地语-英语代码混合推文中的讽刺检测问题,使用来自FastText和Word 2 Vec方法的双语词嵌入。我们试验了各种深度学习模型,包括CNN、LSTM、双向LSTM(有注意力和无注意力)。我们的深度学习模型能够超越所有最先进的性能,其中基于注意力的双向LSTM提供了最佳性能,准确率为78.49%。
2020-10-15 cs.CL
Phonetic Perturbations Reveal Tokenizer-Rooted Safety Gaps in LLMs
Université Paris-Saclay(巴黎-萨克雷大学);IIT Kharagpur(印度理工学院卡哈拉格普尔分校)
研究通过CMP-RT探测器揭示LLMs因分词机制导致的安全漏洞,发现语音扰动使安全关键token分裂为无害子词,导致安全机制失效,且该漏洞能绕过标准防御并扩展至多种模型。
2026-04-07 cs.AI cs.CL
Are Synonym Substitution Attacks Really Synonym Substitution Attacks?
National Taiwan University(国立台湾大学)
本文质疑同义词替换攻击的有效性,发现现有方法产生大量不符合语法或语义的无效替换词,且现有约束难以检测这些无效对抗样本。
2023-05-08 cs.CL
PLEX: Perturbation-free Local Explanations for LLM-Based Text Classification
Institute for Digital Technologies, Loughborough University London(数字技术研究所,洛桑大学伦敦分校)
针对LLM文本分类中LIME和SHAP等局部解释方法计算成本高的问题,提出无扰动局部解释方法PLEX,利用上下文嵌入和连体网络实现高效解释,在多项任务中与LIME和SHAP高度一致,并大幅降低时间和计算开销。
2025-07-12 cs.AI cs.CL
Single Word Change is All You Need: Using LLMs to Create Synthetic Training Examples for Text Classifiers
MIT LIDS(MIT语言信息科学实验室);IRD(法国国家科研机构);Universidad Rey Juan Carlos(雷伊·胡安·卡洛斯大学)
本文揭示了文本分类器的单词扰动漏洞,提出了鲁棒性度量指标$ρ$、攻击方法SP-Attack和防御方法SP-Defense,通过数据增强有效提升了分类器对单词扰动的鲁棒性并降低了攻击成功率。
2025-07-12 cs.CL
Are NLP Models really able to Solve Simple Math Word Problems?
Microsoft Research India(微软研究院印度)
设计数学应用题(MWP)的NLP求解器的问题已经看到了持续的研究活动和测试准确性的稳定增长。由于现有的求解器实现高性能的基准数据集上的初级水平MWPs包含一个未知的算术字的问题,这样的问题往往被认为是“解决”的大部分研究的注意力转移到更复杂的MWPs。在本文中,我们限制我们的注意力在四年级及以下的英语MWPs教学。我们提供了强有力的证据表明,现有的MWP求解器依赖于浅层算法来实现高性能的基准数据集。为此,我们表明,MWP求解器,没有访问的问题,在MWP仍然可以解决大部分的MWP。类似地,将MWP视为词袋的模型也可以实现令人惊讶的高准确性。此外,我们引入了一个挑战数据集,SVAMP,通过应用精心选择的变化从现有的数据集采样的例子。最先进的模型所达到的最佳精度在SVAMP上要低得多,因此即使是最简单的MWP也有很多工作要做。
2021-04-15 cs.CL
T5-CSBoost: Adversarial Perturbation Resistant LLM Fingerprinting
研究针对AIGT检测器在多种干扰下准确性下降的问题,提出T5-CSBoost,通过引入辅助损失鼓励学习抗扰动风格表示,在多基准测试中达先进水平,对高强度对抗扰动鲁棒性增强,证明对比学习规范风格嵌入可构建更强大指纹识别系统。
2026-07-17 cs.AI cs.CL
Language models and brains align due to more than next-word prediction and word-level information
MPI for Software Systems(马克斯·普朗克软件系统研究所)
该研究通过两种扰动对比实验证明,语言模型与大脑记录一致性的提升不仅来自下一词预测和词级信息的改进,还存在其他重要共享机制。
2024-10-03 cs.CL q-bio.NC
Understanding the Ability of LLMs to Handle Character-Level Perturbation
Department of XXX, University of YYY, Location, Country(XXX系,YYY大学,Location,Country);School of ZZZ, Institute of WWW, Location, Country(ZZZ学院,WWW研究所,Location,Country);Shanghai University of Finance(上海财经大学);Tsinghua University, China(清华大学,中国)
本研究通过三种字符级扰动(单词内大量拼写错误、字符乱序、插入不可见字符)测试大型语言模型的鲁棒性,发现即使严重扰动下模型仍保持显著性能,并探索了其内在机制。
2026-05-28 cs.CL
CellVerse: Do Large Language Models Really Understand Cell Biology?
CUHK(香港中文大学);Yale University(耶鲁大学);Peking University(北京大学);Tsinghua University(清华大学);UCLA(加州大学洛杉矶分校);Westlake University(西湖大学);NTU(南洋理工大学);Tencent(腾讯)
本文提出整合多组学数据与三类层级任务的CellVerse问答基准,系统评测14个LLM,发现其细胞生物学理解仍有限,药物预测甚至不优于随机猜测。
2025-05-09 cs.AI cs.CL q-bio.CB
CDAE: Enhancing Perturbation Robustness in Pretrained Language Models with Contrastive Denoising
Institude for Advanced Studies in Basic Sciences (IASBS)(基础科学高级研究所)
本研究针对预训练语言模型词嵌入对保留语义的文本扰动敏感的问题,提出CDAE模型,经多强度扰动策略对比实验,证实其能提升扰动下的嵌入相似度与表示稳定性。
2026-10-19 cs.AI cs.CL
Do VLMs Read or Rewrite? On Transcription Faithfulness in Vision-Language Models
研究视觉语言模型在文档理解中是否忠实转录。引入FaithC4基准,评估通用、OCR专用VLMs及传统OCR管道。发现通用VLMs受扰WER降4.5分,OCR专用降0.2 - 2分,传统OCR降不到0.6分。还揭示重写与FFN表示及单词长度的关系。
2026-09-03 cs.AI cs.CL
Same Question, Different Words: A Latent Adversarial Framework for Prompt Robustness
University of Oxford(牛津大学)
针对语言模型面对语义等价但措辞不同的提示时性能下降的问题,提出双循环对抗框架LAP,通过学习潜在连续扰动优化模型参数,显著提升了提示鲁棒性。
2025-03-03 cs.AI cs.CL cs.LG
Which Words Matter Most in Zero-Shot Prompts?
Brock University(布罗克大学);Dalhousie University(达尔豪斯大学);Emory University(埃默里大学)
本文提出 ZIP 分数,通过受控扰动量化零样本指令提示中的词语重要性,并在多模型、多任务实验中揭示词语层级、模型差异及性能负相关规律,且以基准验证其优于 LIME。
2025-09-29 cs.CL
Unveiling Vulnerability of Self-Attention
Shanghai Jiao Tong University(上海交通大学);Shanghai Data Group Co., Ltd(上海数据集团有限公司)
本文揭示自注意力机制的脆弱性,提出HackAttend注意力掩码扰动攻击和S-Attend平滑防御技术,实现1%扰动下98%攻击成功率及与对抗训练相当的鲁棒性。
2024-02-26 cs.CL
Syntactic Perturbations Reveal Representational Correlates of Hierarchical Phrase Structure in Pretrained Language Models
Columbia University(哥伦比亚大学);Intel Labs(英特尔实验室);MIT-IBM Watson AI(MIT-IBM沃森人工智能实验室);Massachusetts Institute of Technology(麻省理工学院)
虽然来自预训练语言模型的基于向量的语言表示为许多NLP任务设定了新标准,但尚未对其内部工作原理进行完整的解释。特别是,我们还不完全清楚这些表示捕捉了哪些方面的语法,也不清楚它们是如何(如果有的话)沿着网络的堆叠层构建的。在本文中,我们的目标是解决这样的问题与一般类的干预,输入扰动为基础的分析表示从预训练的语言模型。从计算和认知神经科学的表征不变性的概念,我们进行了一系列的探测器设计,以测试这些表征的几种结构的句子的敏感性。每一个探测都涉及交换句子中的单词,并将扰动句子的表征与原始句子进行比较。我们用三种不同的扰动进行实验:(1)随机排列不同宽度的n-gram,以测试表征对单词位置敏感的程度;(2)交换两个跨度,它们形成或不形成句法短语,以测试对全局短语结构的敏感性;以及(3)交换两个相邻的词,它们分开或不分开句法短语,以测试对局部短语结构的敏感性。这些探测的结果共同表明,Transformers沿着它们的层建立对句子较大部分的敏感性,并且层次短语结构在这个过程中起着作用。更广泛地说,我们的研究结果还表明,结构化输入扰动扩大了可以在通常不透明的深度学习系统上执行的分析范围,并且可以作为现有工具(如监督线性探针)的补充,用于解释复杂的黑盒模型。
2021-04-15 cs.CL
Unsupervised Approach to Evaluate Sentence-Level Fluency: Do We Really Need Reference?
IIIT Hyderabad(海得拉巴国际信息技术学院)
本文提出一种无需参考文本的无监督方法评估句子流畅度,利用词嵌入和RNN训练语言模型,并在10种印度语言上与人类判断进行相关性验证。
2023-12-03 cs.CL
What do Language Representations Really Represent?
University of Copenhagen(哥本哈根大学);Stockholm University(斯德哥尔摩大学);University of Zurich(苏黎世大学);University of Helsinki(赫尔辛基大学)
在文本语料库上训练的神经语言模型可以用于诱导单词的分布式表示,使得相似的单词最终具有相似的表示。如果语料库是多语言的,则可以使用相同的模型来学习语言的分布式表示,使得类似的语言最终具有类似的表示。我们表明,即使多语言语料库已被翻译成英语,通过拿起微弱的信号留下的源语言,这也成立。然而,就像在单词表示中分离语义和句法相似性是一个棘手的问题一样,语言表示捕获的相似性类型并不明显。我们调查的相关性和因果关系的语言表征从翻译学习一方面,遗传,地理,和其他语言之间的结构相似性的几个层次。其中,结构相似性被发现与语言表征相似性相关性最强,而遗传关系-在以前的工作中用于评估的一个方便的基准-似乎是一个混杂因素。除了对翻译效果的影响外,我们更普遍地认为这是一个NLP和语言类型学可以相互作用并相互受益的案例。
2019-01-09 cs.CL
MSCR: Exploring the Vulnerability of LLMs' Mathematical Reasoning Abilities Using Multi-Source Candidate Replacement
Xi’an Jiaotong University(西安交通大学);SGIT AI Lab(SGIT人工智能实验室)
针对LLMs数学推理在轻微输入扰动下鲁棒性缺乏系统研究的问题,提出基于多源候选替换的自动化对抗攻击方法MSCR,结合三种信息源生成并替换语义相似候选词,实验表明其能显著降低模型准确率,凸显LLMs鲁棒性缺陷与效率瓶颈。
2025-11-11 cs.AI
CR-UTP: Certified Robustness against Universal Text Perturbations on Large Language Models
University of Central Florida(中佛罗里达大学)
本文研究语言模型对通用文本扰动(UTP)的认证鲁棒性问题,提出优越提示搜索与集成技术,在大量掩盖下维持高认证准确率,首次实现针对UTP和ISTP的最先进认证效果。
2024-06-05 cs.CL cs.CR cs.LG
Adversarial Evasion Attack Efficiency against Large Language Models
School of Engineering, Polytechnic of Porto (ISEP/IPP)(波尔图理工学院工程学院(ISEP/IPP))
本文在情感分类任务中评估三类对抗攻击对五个 LLM 的效果,发现词级攻击更有效,而字符级和强约束攻击更省扰动与查询、更具实用性。
2024-06-12 cs.CL cs.LG
Word Emdeddings through Hellinger PCA
Idiap Research Institute(Idiap研究所)
由神经语言模型产生的词嵌入已经被证明对于各种各样的NLP任务是成功的。然而,这样的架构可能难以训练并且耗时。相反,我们建议大大简化词嵌入计算,通过一个Hellinger PCA的词共现矩阵。我们将这些新的词嵌入与一些知名的嵌入NER和电影评论任务进行比较,并表明我们可以达到类似甚至更好的性能。虽然深度学习对于生成良好的词嵌入并不是真正必要的,但我们证明了它可以提供一种简单的方法来使嵌入适应特定的任务。
2017-01-04 cs.CL cs.LG
A Constrained Sequence-to-Sequence Neural Model for Sentence Simplification
Institute of Computer Science and Technology, Peking University(北京大学计算机科学技术研究所)
句子简化降低了语义复杂性,使语言障碍者受益。前人在句子层面和词层面上的简化研究取得了可喜的成果,但也面临着巨大的挑战。对于初级水平的学习,简化后的句子是流畅的,但有时并不是真正的简化。对于词汇层面的研究,词汇被简化,但由于简化前后词汇的不同用法,也存在潜在的语法错误。在本文中,我们提出了一个两步简化框架相结合的词级和词级简化,利用各自的优势。基于两步框架,我们实现了一种新的约束神经生成模型,以简化句子给定简化词。维基百科和简单维基百科对齐数据集上的最终结果表明,我们的方法比各种基线产生更好的性能。
2017-04-07 cs.AI cs.CL cs.NE
Did You Really Just Have a Heart Attack? Towards Robust Detection of Personal Health Mentions in Social Media
Emory University(埃默里大学)
数以百万计的用户在Twitter等社交媒体网站上分享他们的经验,这反过来又为全球范围内的公共卫生监测、数字流行病学和其他人口健康分析提供了宝贵的数据。这些应用程序的第一个关键任务是分类是否提到了个人健康事件,我们称之为(PHM)问题。这项任务具有挑战性的原因有很多,包括社交媒体帖子的长度通常很短,创造性的拼写和词汇,以及比喻性的语言,包括使用“心脏病发作”或“癌症”等疾病的夸张强调,而不是作为健康自我报告。对于很少报告或频繁但表达模糊的情况,例如“中风”,这个问题甚至更具挑战性。为了解决这个问题,我们提出了一个通用的,强大的方法来检测PHM在社交媒体中,我们称之为WESPAD,它结合了词汇,句法,基于词嵌入,基于上下文的功能。WESPAD能够通过自动扭曲词嵌入空间来最有效地检测真正的健康提及,从而从很少的例子中进行概括。与之前提出的最先进的监督和深度学习技术不同,WESPAD需要相对较少的训练数据,这使得它能够以最小的努力适应每种新的疾病和病症。我们评估WESPAD既有一个既定的公开可用的流感检测基准,也有一个新的数据集,我们已经构建了提到多种健康状况。我们的实验表明,WESPAD优于基线和最先进的方法,特别是在训练数据中提到的真实健康的数量和比例很小的情况下。
2018-03-04 cs.CL
HateProof: Are Hateful Meme Detection Systems really Robust?
FernUniversität in Hagen(哈根远程大学);Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校)
近年来,利用社交媒体传播仇恨的现象大大增加。最近,多模态的仇恨内容,如模因,比单一模态的内容吸引了更多的注意力。此外,隐式内容有效载荷的可用性使得它们很难被现有的仇恨模因检测系统检测到。在本文中,我们提出了一个用例研究,分析这样的系统对外部对抗攻击的脆弱性。我们发现,即使是非常简单的扰动,在单模态和多模态设置由人类进行的知识很少的模型可以使现有的检测模型非常脆弱。根据经验,我们发现某些攻击的宏F1得分明显下降高达10%。作为补救措施,我们尝试使用对比学习以及基于对抗训练的方法- VILLA来提高模型的鲁棒性。使用上述两种方法的集成,在我们的两个高分辨率数据集中,我们能够在很大程度上恢复某些攻击的性能。我们相信,我们的研究是在对抗性环境中解决这一关键问题的第一步,并将在未来激发更多此类调查。
2023-02-11 cs.AI cs.CL
The Sensitivity of Word Embeddings-based Author Detection Models to Semantic-preserving Adversarial Perturbations
The University of Tennessee(田纳西大学)
作者身份分析是自然语言处理领域的一个重要课题。它允许检测文章,新闻,书籍或消息的最有可能的作者。这种技术有多种用途的任务有关的作者归属,检测剽窃,风格分析,来源的错误信息,本文的重点是探讨的局限性和敏感性,建立的方法对抗性操作的输入。为此,并使用这些既定的技术,我们首先开发了一个实验框架,作者检测和输入扰动。接下来,我们通过实验评估了作者身份检测模型对输入叙述的语义保留对抗性扰动的集合的性能。最后,我们比较和分析了不同的扰动策略,输入和模型配置的效果,以及这些对作者检测模型的影响。
2021-02-23 cs.AI cs.CL
Negation, Coordination, and Quantifiers in Contextualized Language Models
CIS - LMU Munich(慕尼黑大学计算机科学研究所);University of Konstanz(康斯坦茨大学)
随着语境化语言模型的成功,许多研究探索了这些模型真正学到了什么,以及在哪些情况下它们仍然失败。这项工作的大部分重点是特定的NLP任务和学习结果。很少有研究试图将模型的弱点与特定任务分离开来,并专注于嵌入本身及其学习模式。在本文中,我们采取了这样的研究机会:基于理论语言学的见解,我们探讨是否学习功能词的语义约束,以及周围的上下文如何影响他们的嵌入。我们创建合适的数据集,提供了新的见解的内部运作的LM相对于功能词和实现一个辅助的可视化Web界面进行定性分析。
2022-09-16 cs.AI cs.CL
Local Structure Matters Most: Perturbation Study in NLU
Polytechnique Montréal(蒙特利尔综合理工学院);McGill University(麦吉尔大学);Quebec Artificial Intelligence Institute (Mila)(魁北克人工智能研究所(Mila))
最近的研究分析了自然语言理解模型对词序扰动的敏感性,结果表明神经模型对词序的敏感性令人惊讶。在本文中,我们研究了这一现象,通过开发的顺序改变扰动的单词,子词,和字符的顺序,分析其对神经模型的性能在语言理解任务的影响。我们进行了实验,测量扰动对受扰动文本中字符的局部邻域和字符的全局位置的影响,并观察到先前文献中发现的扰动函数仅影响全局排序,而局部排序保持相对不受扰动。我们的经验表明,神经模型,其归纳偏见,预训练方案,或标记化的选择不变,主要依赖于文本的局部结构来建立理解,并利用有限的全局结构。
2022-03-31 cs.AI cs.CL
Is BERT Really Robust? A Strong Baseline for Natural Language Attack on Text Classification and Entailment
University of Hong Kong(香港大学);A*STAR(新加坡科技研究局)
机器学习算法通常容易受到对抗性示例的影响,这些示例与原始示例相比具有难以察觉的变化,但可以欺骗最先进的模型。通过暴露恶意制作的对抗性示例,有助于评估甚至提高这些模型的鲁棒性。在本文中,我们提出了TextFocal,一个简单但强大的基线来生成自然的对抗文本。通过将其应用于两个基本的自然语言任务,文本分类和文本蕴涵,我们成功地攻击了三个目标模型,包括强大的预训练BERT,以及广泛使用的卷积和递归神经网络。我们从三个方面证明了这个框架的优势:(1)有效-它在成功率和扰动率方面优于最先进的攻击,(2)实用性保留-它保留了语义内容和语法,并保持了人类的正确分类,(3)高效-它生成的对抗性文本具有与文本长度线性相关的计算复杂性。* 代码、预训练的目标模型和测试示例可在https://github.com/jind11/TextFooler上获得。
2020-04-08 cs.AI cs.CL cs.LG
Applying Occam's Razor to Transformer-Based Dependency Parsing: What Works, What Doesn't, and What is Really Necessary
Bosch Center for Artificial Intelligence(博世人工智能中心);University of Stuttgart(斯图加特大学)
预训练的基于transformer的上下文化词嵌入的引入已经导致了通用语法(UD)等框架的基于图的解析器的准确性的显著提高。然而,以前的作品在各个方面都有所不同,包括他们对预训练语言模型的选择以及他们是否使用LSTM层。为了解开这些选择的影响,并确定一个简单而广泛适用的体系结构,我们介绍了STEPS,一个新的模块化的基于图的依赖解析器。使用STEPS,我们进行了一系列的分析UD语料库的一组不同的语言。我们发现,到目前为止,预训练嵌入的选择对解析器性能的影响最大,并在我们的研究中将XLM-R确定为跨语言的鲁棒选择。在使用基于transformer的嵌入时,添加LSTM层没有任何好处。输出附加UD特征的多任务训练设置可能会扭曲结果。将这些见解结合在一起,我们提出了一个简单但广泛适用的解析器架构和配置,为12种不同语言中的10种实现了新的最先进的结果(就LAS而言)。
2021-07-29 cs.CL
Guided Perturbation Sensitivity (GPS): Detecting Adversarial Text via Embedding Stability and Word Importance
University of Houston(休斯顿大学)
GPS通过嵌入稳定性与词重要性检测对抗文本,实现高准确率和低计算成本的攻击识别。
2026-01-28 cs.AI cs.CL cs.LG
Word Embedding Perturbation for Sentence Classification
CS 682, UMass Amherst(马萨诸塞大学阿默斯特分校)
在这份技术报告中,我们的目标是通过应用数据增强方法来缓解自然语言的过拟合问题。具体地说,我们尝试了几种类型的噪声干扰输入词嵌入,如高斯噪声,伯努利噪声,对抗噪声等,我们也适用于不同类型的噪声的几个限制。通过实施这些提出的数据增强方法,基线模型可以在几个句子分类任务上获得改进。
2018-04-22 cs.CL
Is post-editing really faster than human translation?
University of Manchester(曼彻斯特大学)
本研究基于一家语言服务提供商的9000万词真实数据,首次大规模比较后期编辑与人工翻译的速度,发现后期编辑通常更快但非绝对,且平均速度值可能误导,编辑距离不能作为生产力代理。
2023-12-19 cs.CL
Self-Supervised Contrastive Learning with Adversarial Perturbations for Defending Word Substitution-based Attacks
ETH Zurich(苏黎世联邦理工学院)
在本文中,我们提出了一种方法来提高BERT语言模型对基于单词替换的对抗攻击的鲁棒性,通过利用对抗性扰动进行自监督对比学习。我们创建了一个词级对抗攻击,在对比学习过程中动态生成硬阳性作为对抗示例。与以前的工作相比,我们的方法提高了模型的鲁棒性,而不使用任何标记的数据。实验结果表明,该方法提高了BERT对四种不同的基于词替换的对抗攻击的鲁棒性,并且将该方法与对抗训练相结合,比单独进行对抗训练具有更高的鲁棒性。由于我们的方法纯粹使用未标记数据提高了BERT的鲁棒性,因此它开辟了使用大型文本数据集来训练鲁棒语言模型以对抗基于单词替换的对抗攻击的可能性。
2022-05-24 cs.CL
Do We Really Need Fully Unsupervised Cross-Lingual Embeddings?
University of Cambridge(剑桥大学);University of Mannheim(曼海姆大学);Technion, IIT(以色列理工学院)
最近在跨语言词嵌入(CLWE)学习方面的努力主要集中在完全无监督的方法上,该方法将单语嵌入投射到共享的跨语言空间中,而没有任何跨语言信号。由于缺乏任何监督,这种方法在概念上很有吸引力。然而,它们与基于(弱)监督投影的CLWE方法的唯一核心区别在于它们获得用于初始化迭代自学习过程的种子字典的方式。完全无监督的方法可以说变得更加强大,它们的主要用例是CLWE归纳,用于资源贫乏和遥远的语言对。在本文中,我们质疑即使是最强大的无监督CLWE方法在这些更具挑战性的环境中诱导有意义的CLWE的能力。使用15种不同语言(210种语言对)进行的一系列双语词典归纳(BLI)实验表明,完全无监督的CLWE方法对于大量语言对仍然失败(例如,它们对于87/210对产生零BLI性能)。即使他们成功了,他们也永远不会超过在任何BLI设置中使用相同自学习过程的弱监督方法(种子为500- 1,000个翻译对)的性能,并且差距通常很大。这些发现要求重新审视完全无监督的CLWE方法背后的主要动机。
2019-09-04 cs.CL
Uncertainty in Neural Network Word Embedding: Exploration of Threshold for Similarity
Vienna University of Technology(维也纳技术大学)
词嵌入,特别是它的最新发展,承诺量化的术语之间的相似性。然而,目前尚不清楚这种相似性值在多大程度上对后续任务真正有意义和有用。我们探讨如何从模型中获得的相似性得分是真正的术语相关性的指示。我们首先观察和量化的词嵌入模型的相似度值的不确定性因素。基于这个因素,我们引入了一个通用的阈值,有效地过滤高度相关的条款。我们对四个信息检索集合的评估支持了我们方法的有效性,因为引入阈值的结果显着优于基线,而与最佳结果相等或在统计上无法区分。
2018-04-04 cs.CL cs.IR
Building a Syllable Database to Solve the Problem of Khmer Word Segmentation
University of Tra Vinh(茶荣大学);Polytechnic University of Da Nang(岘港理工大学)
分词是自然语言处理中的一个基本问题。由于语言具有复杂的书写系统,如越南南部的高棉语,这个问题确实非常棘手,构成了重大挑战。虽然越南以及国际上的一些专家对这一问题进行了深入的研究,但迄今为止,在高棉语处理过程中,仍然没有达到要求的合理结果,特别是没有对歧义现象进行彻底的处理。本文提出了一种基于双音节模型的音节划分方法,从而建立高棉语音节数据库,但目前还没有实际应用。该方法使用从在线高棉语词典更新的词汇数据库和一些支持的词典充当训练数据和补充语言特征。每一个组成部分集群标记和定位的第一个和最后一个字母,以确定整个音节。该方法切实可行,测试结果准确率高,消除了歧义,有助于解决高棉语分词问题,提高高棉语处理的应用效率。
2017-03-07 cs.CL
When does word order matter and when doesn't it?
McGill University(麦吉尔大学);Mila Quebec AI Institute(米拉魁北克人工智能研究所)
本文用语言冗余解释语言模型对词序扰动的不敏感,并通过未打乱与打乱句子间的 MI/PMI 量化词序信息量,揭示该效应在 SST-2、RTE 等任务间的差异。
2024-03-01 cs.CL
Data-Driven Mitigation of Adversarial Text Perturbation
New York University(纽约大学);Facebook, Inc.(脸书公司)
社交网络已经成为我们生活中不可或缺的一部分,数十亿人产生了越来越多的文本。在这样的规模下,内容策略及其执行变得至关重要。为了自动化审核,通过自然语言处理(NLP)分类器检测可疑内容。然而,高性能分类器受到拼写错误和对抗性文本扰动的阻碍。在本文中,我们将有意和无意的对抗性文本扰动分为十种类型,并提出了一个去混淆管道,使NLP模型对这种扰动具有鲁棒性。我们提出了连续Word2Vec(CW2V),我们的数据驱动的方法来学习词嵌入,确保词的扰动具有与原始词相似的嵌入。我们表明,CW2V嵌入一般比基于字符ngrams的嵌入更强大的文本扰动。我们强大的分类管道结合了去混淆和分类,使用建议的防御方法和词嵌入来分类Facebook帖子是否请求参与,如喜欢。我们的管道导致参与诱饵分类从0.70到0.67 AUC,带有对抗性文本扰动,而基于字符语法的词嵌入方法导致下游分类从0.76到0.64。
2022-02-19 cs.CL cs.SI
A Comparative Study of Lexical Substitution Approaches based on Neural Language Models
Samsung R&D Institute Russia(三星俄罗斯研发研究院);National Research University Higher School of Economics(国立研究型大学高等经济学院);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
上下文中的词汇替换是一种非常强大的技术,可以用作各种NLP应用程序的骨干,如词义归纳,词汇关系抽取,数据增强等。在本文中,我们提出了一个大规模的比较研究流行的神经语言和掩蔽语言模型(LMs和MLMs),如context 2 vec,ELMo,BERT,XLNet,适用于词汇替换的任务。我们表明,已经取得的SOTA LMs/MLMs的竞争力的结果,可以进一步提高,如果有关目标字的信息被适当地注入,并比较几个目标注入方法。此外,我们提供了不同的模型生成的目标和替代品之间的语义关系的类型的分析,提供洞察到什么样的话是真正生成或注释者作为替代品。
2020-05-29 cs.CL
Sleight of Word Benchmark: Can Language Models Notice If Their Own Output Was Tampered With?
Cleo
该研究构建了Sleight of Word基准,测试19种开放权重语言模型对自身生成过程中单个词被替换的外部扰动的感知,从惊讶度指标和文本反应两方面评估模型的察觉能力。
2026-09-01 cs.AI cs.CL
Perturbation-based QE: An Explainable, Unsupervised Word-level Quality Estimation Method for Blackbox Machine Translation
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
针对有监督QE依赖标注且无监督方法常需白盒访问或并行数据的问题,提出基于扰动输入的无监督词级QE,可解释并适用于黑盒MT与LLM。
2023-07-13 cs.CL
Learning to Deceive Knowledge Graph Augmented Models via Targeted Perturbation
Indian Institute of Technology, Delhi(印度理工学院德里分校);University of Southern California(南加州大学);Adobe Research(Adobe研究院);Indian Institute of Technology, Kharagpur(印度理工学院卡拉格普尔分校);Tsinghua University(清华大学)
知识图谱(KG)已经帮助神经模型提高了各种知识密集型任务的性能,如问答和项目推荐。通过在KG上使用注意力,这种KG增强模型还可以“解释”哪些KG信息与做出给定预测最相关。在本文中,我们质疑这些模型是否真的像我们预期的那样表现。我们表明,通过一个强化学习政策(甚至简单的知识),可以产生欺骗性扰动KG,保持下游的原始KG的性能,同时显着偏离原始KG的语义和结构。我们的研究结果对KG增强模型对KG信息进行推理并给出合理解释的能力提出了质疑。
2021-05-03 cs.AI cs.CL cs.LG
Are We Really Making Much Progress in Text Classification? A Comparative Review
University of Southern Denmark(南丹麦大学);University of Ulm(乌尔姆大学)
本综述比较多种文本分类方法,发现仅编码器预训练语言模型(如BERT)仍为最优,但简单模型(如逻辑回归)可超越新方法,并指出比较中缺乏超参数优化稳健性。
2026-09-29 cs.CL
Towards Robustness Against Natural Language Word Substitutions
Nanyang Technological University(南洋理工大学);Xiamen University(厦门大学);National Institute of Informatics(国立信息学研究所)
对单词替换的鲁棒性具有定义明确且广泛接受的形式,即,使用语义相似的词作为替换,因此它被认为是在自然语言处理中实现更广泛的鲁棒性的基本垫脚石。先前的防御方法通过使用$l_2$ -球或超矩形来捕获向量空间中的单词替换,这导致扰动集不够包容或不必要地大,从而阻碍了鲁棒训练的最坏情况的模仿。在本文中,我们介绍了一种新的\textit{Adversarial Sparse Convex Combination}(ASCC)方法。我们将单词替换攻击空间建模为凸包,并利用正则化项来对实际替换进行扰动,从而使我们的建模更好地与离散文本空间对齐。基于ASCC方法,我们进一步提出了ASCC-defense,它利用ASCC来生成最坏情况的扰动,并将对抗训练纳入鲁棒性。实验表明,ASCC-defense在两个流行的NLP任务\emph{i.e.},情感分析和自然语言推理的鲁棒性方面优于当前最先进的技术,涉及跨多个模型架构的几种攻击。此外,我们还设想了一种新的NLP鲁棒性防御方法,我们鲁棒训练的词向量可以插入到正常训练的模型中,并在不应用任何其他防御技术的情况下增强其鲁棒性。
2021-07-28 cs.CL
Perturbation-based Self-supervised Attention for Attention Bias in Text Classification
South China University of Technology(华南理工大学)
本文提出基于扰动的自监督注意力方法,通过向句子中词语添加不改变语义和预测的噪声来识别不重要的词,从而优化注意力分布,无需标注数据即可显著提升文本分类中注意力模型的性能。
2023-05-25 cs.CL
A Different Level Text Protection Mechanism With Differential Privacy
提出一种利用BERT预训练模型区分词汇重要程度并施加差分隐私扰动的文本保护机制,验证了其有效性,适用于长文本保护场景。
2024-09-05 cs.AI cs.CL