ReDecode Framework for Iterative Improvement in Paraphrase Generation
Adobe（奥多比）
生成释义，即表达相同含义的句子的不同变体，是自然语言处理中一项重要而又具有挑战性的任务。自动生成释义在许多NLP任务中具有实用性，例如问答，信息检索，会话系统等等。在本文中，我们介绍了基于VAE的生成框架内生成的释义迭代求精。当前的序列生成模型缺乏以下能力：（1）一旦生成句子就进行改进;（2）纠正解码时产生的错误。我们提出了一种技术，迭代地完善使用多个解码器的输出，每一个出席由前一个解码器产生的输出句子。我们显著改善了当前最先进的结果-Quora问题对和MSCOCO数据集上的METEOR分数分别绝对增加了9%和28%以上。我们还定性地表明，通过例子，我们的重新解码方法产生更好的释义相比，一个单一的解码器，通过纠正错误，并在释义结构的改进，诱导变化，并引入新的，但语义连贯的信息。
2018-11-11 cs.AI cs.CL cs.LG
End-To-End Anomaly Detection for Identifying Malicious Cyber Behavior through NLP-Based Log Embeddings
Laboratory for Advanced Cybersecurity Research（高级网络安全研究实验室）；National Security Agency（国家安全局）
基于规则的入侵检测系统正被更强大的神经网络入侵检测系统所取代，在网络安全领域显示出巨大的潜力。然而，这些机器学习方法仍然依赖于ad-hoc特征工程技术，这些技术缺乏以与发现异常网络活动完全相关的方式对输入进行矢量化的能力。我们提出了一个深端到端的框架与NLP启发的组件，用于识别企业计算机网络上的潜在恶意行为。我们还证明了这种技术在最近发布的DARPA OpTC数据集上的有效性。
2021-08-27 cs.AI cs.CR
Evaluation of BERT and ALBERT Sentence Embedding Performance on Downstream NLP Tasks
Samsung SDS（三星SDS）
来自预训练的语言模型的上下文表示是实现下游NLP任务的高性能的核心。预训练的BERT和A Lite BERT（ALBERT）模型可以进行微调，以在语义文本相似性（STS）和自然语言推理（NLI）等配对回归中给出最先进的结果。虽然基于BERT的模型产生的[CLS]令牌向量作为一个合理的句子嵌入，寻找一个最佳的句子嵌入计划仍然是一个活跃的研究领域，在计算语言学。本文探讨了BERT和ALBERT的句子嵌入模型。特别地，我们采用具有连体和三重网络结构的修改的BERT网络，称为句子-BERT（SBERT），并用AL BERT替换BERT，以创建句子-AL BERT（SAL BERT）。我们还对SBERT和SALBERT的外部CNN嵌入式网络进行了实验。我们使用STS和NLI数据集评估所有嵌入模型的性能。实证结果表明，我们的CNN架构改善ALBERT模型大大超过BERT模型的STS基准。尽管模型参数明显较少，但ALBERT句子嵌入在下游NLP评估中与BERT相比具有很强的竞争力。
2021-01-26 cs.AI cs.CL
Optimizing Sentence Embedding with Pseudo-Labeling and Model Ensembles: A Hierarchical Framework for Enhanced NLP Tasks
University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Chinese Academy of Sciences（中国科学院大学）；Cornell University（康奈尔大学）
本文提出一个结合伪标签生成与模型集成的分层框架，利用外部数据、交叉注意力与数据增强技术，显著提升了句子嵌入任务的准确率和 F1 分数。
2025-01-27 cs.AI cs.CL
Decrypting Cryptic Crosswords: Semantically Complex Wordplay Puzzles as a Target for NLP
Stanford University（斯坦福大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出密码线索数据集作为NLP新基准，通过课程学习方法（先在单词重组等任务微调）改进T5，虽未达人类泛化能力，但为处理组合性语言提供新方向。
2025-02-17 cs.AI cs.CL
Dealing with Semantic Underspecification in Multimodal NLP
Institute for Logic, Language and Computation（逻辑、语言与计算研究所）；University of Amsterdam（阿姆斯特丹大学）
本文探讨多模态 NLP 中的语义欠规范挑战，指出视觉等多模态系统仍难以补足语言未明示信息，并提出相关应用方向与研究路径。
2023-06-08 cs.AI cs.CL cs.CV
SCARV: Structure-Constrained Aggregation for Stable Sample Ranking in Redundant NLP Datasets
School of Cyber Engineering, Xidian University（西安电子科技大学信息学院）
针对冗余NLP数据集中的稳定样本排序问题，SCARV通过结构感知聚合框架提升全局和局部稳定性，增强排名决策的可重复性。
2026-05-01 cs.AI cs.CL cs.IR
To Augment or Not to Augment? A Comparative Study on Text Augmentation Techniques for Low-Resource NLP
Technical University of Darmstadt（达姆施塔特工业大学）
数据饥渴的深度神经网络已经成为许多NLP任务的标准，包括传统的序列标记任务。尽管它们在高资源语言上具有最先进的性能，但在低资源场景中仍然落后于统计对手。对付这个问题的一种方法是文本增强，即，从现有数据生成新的合成训练数据点。虽然NLP最近见证了大量的文本增强技术，但该领域仍然缺乏对各种语言和序列标记任务的系统性能分析。为了填补这一空白，我们研究了三种类型的文本增强方法，它们对语法进行更改（例如，裁剪子句子），标记（例如，随机字插入）和字符（例如，字符交换）级别。我们系统地比较了他们的词性标记，依赖性分析和语义角色标注的一组不同的语言家族使用各种模型，包括依赖于预训练的多语言上下文语言模型，如mBERT的架构。增强最显着地提高了依存关系分析，其次是词性标注和语义角色标注。我们发现实验技术是有效的形态丰富的语言，而不是分析语言，如越南语。我们的研究结果表明，增强技术可以进一步改善基于mBERT的强基线。我们确定的字符级的方法是最一致的表演者，而同义词替换和语法增强提供不一致的改进。最后，我们讨论的结果最严重地依赖于任务，语言对，和模型类型。
2021-11-18 cs.AI cs.CL
Enhancing Interpretable Clauses Semantically using Pretrained Word Representation
Centre for Artificial Intelligence Research（人工智能研究中心）；University of Agder（阿格德尔大学）
Tsetlin Machine（TM）是一种基于命题逻辑的可解释模式识别算法，它在自然语言处理（NLP）任务中表现出了很好的性能，包括情感分析、文本分类和词义消歧。为了获得人类级别的可解释性，传统TM采用布尔输入特征，例如词袋（BOW）。然而，BOW表示很难使用任何预先训练的信息，例如word2vec和GloVe单词表示。与NLP中的深度神经网络（DNN）相比，这种限制了TM的性能。为了减少性能差距，在本文中，我们提出了一种新的方法，使用预先训练的单词表示TM。该方法显着提高TM的性能和可解释性。我们通过从预先训练的单词表示中提取语义相关的单词作为TM的输入特征来实现这一点。实验结果表明，该方法的准确率明显高于基于BOW的TM，达到了基于DNN的模型的水平。
2021-09-10 cs.AI cs.CL cs.LG
SemClinBr -- a multi institutional and multi specialty semantically annotated corpus for Portuguese clinical NLP tasks
Pontifical Catholic University of Paraná（巴拉那天主教大学）；Philips Research North America（飞利浦北美研究院）
大量的研究集中在从电子健康记录（EHR）中提取病人的信息，导致了对注释语料库的需求增加，这是一个非常有价值的资源，为自然语言处理（NLP）算法的开发和评估。在英语范围之外，特别是在巴西葡萄牙语中，缺乏多用途的临床语料库是显而易见的，并严重影响了生物医学NLP领域的科学进步。在这项研究中，我们开发了一个语义注释语料库，使用来自多个医学专业，文档类型和机构的临床文本。我们提出以下内容：（1）一个调查，列出共同的方面和经验教训，从以前的研究，（2）细粒度的注释模式，可以复制和指导其他注释倡议，（3）基于Web的注释工具，侧重于注释建议功能，（4）内在和外在的评价注释。这项工作的结果是SemClinBr，这是一个拥有1,000个临床笔记的语料库，标记有65,117个实体和11,263个关系，可以支持各种临床NLP任务，并促进EHR对葡萄牙语的二次使用。
2020-01-27 cs.CL cs.IR
LIME-LLM: Probing Models with Fluent Counterfactuals, Not Broken Text
University of North Texas（北卡罗来纳州立大学）
LIME-LLM通过假设驱动的可控扰动提升NLP模型的可解释性，实现更准确的局部解释效果。
2026-01-16 cs.AI cs.CL cs.LG
Describing Sets of Images with Textual-PCA
Tel Aviv University（特拉维夫大学）
我们试图从语义上描述一组图像，捕捉单个图像的属性和集合内的变化。我们的过程类似于主成分分析，其中投影向量的作用被替换为生成的短语。首先，生成与集合中的图像具有最大平均语义相似度的质心短语，其中相似度的计算和生成都基于预训练的视觉语言模型。然后，使用相同的模型来生成在相似性分数中生成最高变化的短语。下一个短语最大化方差，该方差在潜在空间中正交于最高方差短语，并且该过程继续。我们的实验表明，我们的方法是能够令人信服地捕捉图像集的本质，并在整个集合的上下文中以语义上有意义的方式描述单个元素。我们的代码可在https://github.com/OdedH/textual-pca上获取。
2022-10-21 cs.AI cs.CL cs.CV
SECRET: Semantically Enhanced Classification of Real-world Tasks
Princeton University（普林斯顿大学）；Rutgers University（罗格斯大学）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
监督机器学习（ML）算法旨在在可用能量和存储约束下最大化分类性能。它们试图将训练数据映射到相应的标签，同时确保对不可见数据的泛化能力。然而，它们并没有在决策过程中整合标签之间基于意义的关系。另一方面，自然语言处理（NLP）算法强调语义信息的重要性。在本文中，我们将监督ML和NLP算法的互补优势综合到一种方法中，我们称之为SECRET（真实世界任务的语义增强分类）。SECRET通过将标签的语义信息与可用数据融合来执行分类：它将监督算法的特征空间与NLP算法的语义空间相结合，并基于此联合空间预测标签。实验结果表明，与传统的监督学习相比，SECRET实现了高达14.0%的准确率和13.1%的F1得分改善。此外，与集成方法相比，SECRET实现了高达12.7%的准确率和13.3%的F1得分改进。这为基于语义信息的监督分类提供了一个新的研究方向。
2020-04-17 cs.CL cs.LG stat.ML
MSCR: Exploring the Vulnerability of LLMs' Mathematical Reasoning Abilities Using Multi-Source Candidate Replacement
Xi’an Jiaotong University（西安交通大学）；SGIT AI Lab（SGIT人工智能实验室）
针对LLMs数学推理在轻微输入扰动下鲁棒性缺乏系统研究的问题，提出基于多源候选替换的自动化对抗攻击方法MSCR，结合三种信息源生成并替换语义相似候选词，实验表明其能显著降低模型准确率，凸显LLMs鲁棒性缺陷与效率瓶颈。
2025-11-11 cs.AI
Wavelet Phase Diffusion for Structurally and Semantically Consistent Sim-to-Real Translation
研究模拟到真实翻译中弥合合成与真实域外观差距并保持结构语义一致的问题，提出小波相位扩散方法，通过双树复小波包变换域操作及低频随机化，在未配对数据训练，提升了图像和视频翻译的真实感与一致性。
2026-10-30 cs.AI cs.CV eess.IV
What Makes Sentences Semantically Related: A Textual Relatedness Dataset and Empirical Study
Institute for Better Health（健康改善研究所）；University of Toronto（多伦多大学）；National Research Council Canada（加拿大国家研究委员会）
两个语言单位的语义相关程度一直被认为是理解意义的基础。此外，自动确定相关性具有许多应用，例如问答和摘要。然而，由于缺乏相关性数据集，以前的NLP工作主要集中在语义相似性上，这是相关性的一个子集。在本文中，我们介绍了一个语义文本相关性数据集STR-2022，该数据集使用比较注释框架手动注释了5，500个英语句子对，从而得到细粒度的分数。我们表明，人类的直觉，句子对的相关性是高度可靠的，重复注释的相关性为0.84。我们使用数据集来探索是什么使句子语义相关的问题。我们还展示了STR-2022用于评估句子表示的自动方法和各种下游NLP任务的实用性。我们的数据集、数据声明和注释问卷可以在以下网站找到：https://doi.org/10.5281/zenodo.7599667
2023-03-20 cs.CL
Searching for chromate replacements using natural language processing and machine learning algorithms
College of Engineering and Computer Science, The Australian National University（澳大利亚国立大学工程与计算机科学学院）；ARC Research Hub for Australian Steel Innovation（澳大利亚研究理事会澳大利亚钢铁创新研究中心）
在过去的几年里，机器学习被应用于新材料的探索。与许多研究领域一样，绝大多数知识以文本形式发布，这对跨研究和报告的综合或统计分析构成了挑战。这些挑战包括无法提取量化信息，以及无法获取广泛的非数字信息。为了解决这个问题，自然语言处理（NLP）的应用已经在一些研究中进行了探索。在NLP中，将高维向量（称为嵌入）分配给文本段落可以保留单词之间的句法和语义关系。嵌入依赖于机器学习算法，在目前的工作中，我们采用了Word 2 Vec模型，以前由其他人探索，和BERT模型-将它们应用于材料工程的独特挑战。这一挑战是在腐蚀防护领域寻找铬酸盐替代品。从超过8000万条记录的数据库中，选择了5990篇专注于腐蚀防护主题的论文，使用NLP进行了检查。这项研究表明，从科学文献的自动解释中提取知识并实现专家级的人类见解是可能的。
2022-08-11 cond-mat.mtrl-sci cs.CL
What's in a Name? Are BERT Named Entity Representations just as Good for any other Name?
Indian Institute of Technology, Bombay（印度理工学院孟买分校）
我们评估命名实体表示的BERT为基础的NLP模型，通过调查他们的鲁棒性，从输入中的相同类型的类的替代品。我们强调，在一些任务中，虽然这种扰动是自然的，但最先进的训练模型却出奇地脆弱。即使是最近的实体感知BERT模型，这种脆弱性也在继续。我们还试图找出这种非鲁棒性的原因，考虑到诸如令牌化和发生频率等因素。然后，我们提供了一个简单的方法，集成多个替换的预测，同时联合建模类型注释和标签预测的不确定性。在三个NLP任务上的实验表明，我们的方法增强了鲁棒性，提高了自然和对抗数据集的准确性。
2020-07-14 cs.CL cs.LG
BARRAC: Adaptation of an English Aspect-based Sentiment Analysis Approach for Classification Tasks in Arabic Dialects
University of New South Wales（新南威尔士大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本文提出BARRAC，将英文基于方面的情感分析框架适配至阿拉伯语分类任务，在五个方言数据集上平均宏F1达63.93%，优于现有少标签方法及GPT-4o，证明任务特定方法适配的有效性。
2026-10-01 cs.AI cs.CL
Semantically Consistent Data Augmentation for Neural Machine Translation via Conditional Masked Language Model
NetEase Youdao（网易有道）
本文介绍了一种新的神经机器翻译的数据增强方法，可以在语言内部和跨语言之间增强语义一致性。我们的方法是基于条件屏蔽语言模型（CMLM），这是双向的，可以是条件的左右上下文，以及标签。我们证明了CMLM是一个很好的技术，用于生成上下文相关的词分布。特别是，我们表明，CMLM是能够强制执行语义一致性的条件源和目标在替代。此外，为了提高多样性，我们将软字替换的想法，数据增强，取代一个词的概率分布的词汇。在四个不同尺度的翻译数据集上的实验表明，该方法能够实现更真实的数据增强和更好的翻译质量。我们的方法始终实现最佳性能与强大的和最近的作品相比，并产生高达1.90 BLEU点的基线改进。
2022-09-22 cs.CL
Trans-Tokenization and Cross-lingual Vocabulary Transfers: Language Adaptation of LLMs for Low-Resource NLP
Ghent University（根特大学）；imec；KU Leuven（鲁汶大学）；BeCode asbl；Internet and Data Science Lab (IDLab)（互联网与数据科学实验室（IDLab））；AI & Data Bootcamp Ghent 2024（2024年根特人工智能与数据训练营）
本文提出跨分词迁移策略，通过源语言语义相似分词嵌入的加权平均初始化目标语言嵌入，实现高资源大语言模型向低资源语言的适配，并以Tweeties和Hydra系列模型验证其在多语言下游任务及零样本鞑靼语机器翻译中的有效性。
2024-08-08 cs.CL cs.LG
