Layer-wise Guided Training for BERT: Learning Incrementally Refined Document Representations
Institute of Informatics & Telecommunications, NCSR “Demokritos”（德谟克利特国家科学研究中心信息与电信研究所）；Department of Informatics, Athens University of Economics and Business（雅典经济与商业大学信息学系）
虽然BERT被NLP社区广泛使用，但人们对其内部工作原理知之甚少。人们曾多次试图阐明BERT的某些方面，但往往得出相互矛盾的结论。一个备受关注的问题集中在BERT的过度参数化和利用不足的问题。为此，我们提出了一种新的方法来微调BERT的结构化的方式。具体来说，我们专注于大规模多标签文本分类（LMTC），其中文件被分配一个或多个标签从一个大的预定义的分层组织的标签集。我们的方法指导特定的BERT层从特定的层次结构级别预测标签。两个LMTC数据集的实验表明，这种结构化的微调方法不仅产生更好的分类结果，但也导致更好的参数利用率。
2020-10-12 cs.CL
Advancing Semantic Textual Similarity Modeling: A Regression Framework with Translated ReLU and Smooth K2 Loss
School of Software, Tsinghua University（清华大学软件学院）
针对对比学习处理STS任务存在的细粒度信息利用不足、需大批次以及分类视角忽略语义渐进性的问题，本文提出带Translated ReLU与Smooth K2损失的回归框架，在7个STS基准上取得优异表现。
2024-10-06 cs.CL
conSultantBERT: Fine-tuned Siamese Sentence-BERT for Matching Jobs and Job Seekers
Randstad Groep Nederland（任仕达集团荷兰）
在本文中，我们专注于在职位空缺和简历中构建有用的文本信息嵌入，我们的目标是将其作为特征与其他特征一起纳入求职者匹配模型。我们解释了我们的任务，从解析的简历，不同来源的数据，跨语言和多语言的异构性的嘈杂的数据提出了特定领域的挑战。我们通过微调Siamese Sentence-BERT（SBERT）模型来应对这些挑战，我们称之为conSullivan BERT，使用由我们的人事顾问标记的超过270，000个简历空缺对的大规模，真实世界和高质量数据集。我们展示了我们的微调模型如何显著优于依赖于TF-IDF加权特征向量和BERT嵌入的无监督和监督基线。此外，我们发现我们的模型成功地匹配跨语言和多语言的文本内容。
2021-09-14 cs.CL cs.IR
What BERT Sees: Cross-Modal Transfer for Visual Question Generation
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；reciTAL
预训练的语言模型最近为NLP任务的重大进展做出了贡献。最近，已经开发了多模态版本的BERT，使用依赖于大量对齐的文本和图像数据的语料库的重预训练，主要应用于分类任务，如VQA。在本文中，我们感兴趣的是评估的视觉能力的BERT开箱即用，通过避免预训练的补充数据。我们选择研究视觉问题生成，这是一项对接地对话非常感兴趣的任务，可以研究每种形式的影响（因为输入可以是视觉和/或文本）。此外，由于BERT主要设计为编码器，因此任务的生成方面需要自适应。我们介绍BERT-gen，一个基于BERT的文本生成架构，能够利用单模态或多模态表示。在不同配置下报告的结果表明BERT-gen具有适应多模态数据和文本生成的固有能力，即使可用数据很少，也可以避免昂贵的预训练。所提出的模型在两个已建立的VQG数据集上获得了比最新技术水平的实质性改进。
2020-12-16 cs.CL cs.CV cs.LG
Classification of Hope in Textual Data using Transformer-Based Models
Department of Computer Science, Texas Tech University, Lubbock, Texas, United States（计算机科学系，德克萨斯科技大学，德克萨斯州，美国）
本文针对文本希望表达分类任务，对比BERT、GPT-2、DeBERTa三种Transformer模型的性能，发现BERT准确率更高、计算成本更低，为情感检测相关应用提供参考框架。
2025-11-17 cs.AI cs.CL cs.LG
Mono vs Multilingual Transformer-based Models: a Comparison across Several Language Tasks
Federal University of Rio Grande do Sul（南里奥格兰德州联邦大学）
BERT（Bidirectional Encoder Representations from Transformers）和ALBERT（A Lite BERT）是用于预训练语言模型的方法，这些语言模型稍后可以针对各种自然语言理解任务进行微调。这些方法已被应用到一些这样的任务（主要是在英语），取得的结果，优于国家的最先进的。在本文中，我们的贡献是双重的。首先，我们为葡萄牙语提供经过训练的BERT和Albert模型。其次，我们比较了我们的单语和标准的多语言模型，使用实验在语义文本相似性，识别文本蕴涵，文本类别分类，情感分析，攻击性评论检测和假新闻检测，以评估生成的语言表示的有效性。结果表明，单语言和多语言模型都能够达到最先进的水平，并且训练单个语言模型的优势（如果有的话）很小。
2020-07-19 cs.CL cs.LG
Classifying Textual Data with Pre-trained Vision Models through Transfer Learning and Data Transformations
University of Electronics Science and Technology of China（电子科技大学）
知识是人类通过经验获得的，我们可以在同一时间完成不同任务的知识或技能水平之间没有界限。当涉及到神经网络时，情况并非如此。该领域的突破是非常具体的任务和领域。视觉和语言以不同的方式处理，使用不同的方法和不同的数据集。目前的文本分类方法大多依赖于获取输入文本样本的上下文嵌入，然后在嵌入的数据集上训练分类器。一般来说，在与存储相关的任务中的迁移学习被大量用于获得输入样本的上下文文本嵌入。在这项工作中，我们建议使用在ImageNet上训练的基准视觉模型获得的知识来帮助更小的架构学习分类文本。使用数据变换技术来创建新的图像数据集，其中每个图像表示使用基于t-SNE的方法投影在2D平面上的来自BERT的最后六层的句子嵌入。我们训练了五个模型，这些模型包含从ImageNet上预训练的视觉模型中切片的早期层，这些模型是在为嵌入了BERT最后六层的IMDB数据集创建的图像数据集上训练的。尽管不同的数据集带来了挑战，但这种方法在语言和视觉上连接大型预训练模型的实验结果非常有希望，而无需使用计算资源。具体而言，情感分析是通过五个不同的模型在同一图像数据集后得到的BERT嵌入转换成灰度图像。索引术语：BERT，卷积神经网络，领域自适应，图像分类，自然语言处理，t-SNE，文本分类，迁移学习
2022-02-07 cs.AI cs.CL cs.LG
Embodied BERT: A Transformer Model for Embodied, Language-guided Visual Task Completion
Heriot-Watt University（赫瑞-瓦特大学）；Amazon Alexa AI（亚马逊 Alexa AI）；University of Southern California（南加州大学）
执行家庭和办公室任务的机器人必须在世界中导航并与世界互动。将语言教学与视觉观察和在环境中采取的行动相结合是一个开放的挑战。我们提出了一种基于转换器的模型BERT，该模型可以处理高维、多模态的输入，用于完成语言条件任务。此外，我们通过引入EmBERT训练的对象导航目标，弥合了用于非交互式代理的成功的以对象为中心的导航模型与语言引导的视觉任务完成基准ALFRED之间的差距。我们在ALFRED基准测试中实现了具有竞争力的性能，EmBERT标志着第一个基于transformer的模型成功地处理了ALFRED的长视野，密集，多模态历史，以及第一个利用以对象为中心的导航目标的ALFRED模型。
2021-11-04 cs.AI cs.CL cs.CV
AttentionMix: Data augmentation method that relies on BERT attention mechanism
Warsaw University of Technology（华沙工业大学）；Faculty of Mathematics and Information Science（数学与信息科学学院）
本文提出AttentionMix数据增强方法，利用BERT注意力信息进行文本混合，在3个情感分类数据集上优于Mixup类基准和原始BERT。
2023-09-20 cs.AI cs.CL
Multimodal Detection of Fake Reviews using BERT and ResNet-50
College of Business Administration Kansas State University Manhattan, USA（商学院学院 华盛顿州立大学 曼哈顿 美国）；Department of Computer Science Kansas State University Manhattan, USA（计算机科学系 华盛顿州立大学 曼哈顿 美国）
针对单模态检测无法捕捉跨模态语义不一致的问题，提出集成 BERT 文本与 ResNet-50 图像特征的多模态虚假评论检测框架，在 21,142 张图像数据集上 F1 达 0.934，有效识别图文不一致的虚假评论。
2025-10-24 cs.AI cs.CL cs.CV
Bridging Textual and Tabular Data for Cross-Domain Text-to-SQL Semantic Parsing
Salesforce Research（赛富时研究院）
我们提出了BRIDGE，一个强大的顺序体系结构建模之间的依赖关系的自然语言问题和关系数据库跨DB语义解析。BRIDGE以标记序列表示问题和DB模式，其中字段的子集使用问题中提到的单元格值进行扩充。混合序列由BERT编码，具有最少的后续层，并通过BERT中微调的深度注意力实现文本数据库上下文化。结合具有模式一致性驱动的搜索空间修剪的指针生成器解码器，BRIDGE在流行的跨DB文本到SQL基准测试中获得了最先进的性能，Spider（71.1\% dev，67.5\%测试与集成模型）和WikiSQL（92.6\% dev，91.9\%测试）。我们的分析表明，BRIDGE有效地捕获了所需的跨模态依赖关系，并有可能推广到更多的文本数据库相关的任务。我们的实现可在\url{https://github.com/salesforce/TabularSemanticParsing}上获得。
2020-12-31 cs.AI cs.CL cs.DB
AdvEntuRe: Adversarial Training for Textual Entailment with Knowledge-Guided Examples
Carnegie Mellon University（卡内基梅隆大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
我们考虑了有限监督（5 K-10 K训练样本）的文本蕴涵模型的学习问题，并提出了两种互补的方法。首先，我们提出了知识引导的对抗性示例生成器，用于通过少数规则模板将大型词汇资源纳入蕴涵模型。其次，为了使蕴涵模型-一个机器人-更强大，我们提出了第一种GAN风格的方法，使用自然语言示例生成器来训练它，该示例生成器根据机器人的性能进行迭代调整。我们使用两个蕴涵数据集证明了有效性，其中所提出的方法在SciTail上将准确率提高了4.7%，在SNLI的1%训练子样本上提高了2.8%。值得注意的是，即使是一个手写的规则，否定，提高了6.1%的SNLI否定示例的准确性。
2018-05-12 cs.AI cs.CL cs.LG
CORD19STS: COVID-19 Semantic Textual Similarity Dataset
USC Information Sciences Institute（南加州大学信息科学研究所）
为了对抗COVID-19大流行，社会可以从各种自然语言处理应用中受益，例如对话医疗诊断系统和专门针对COVID-19校准的信息检索引擎。这些应用程序依赖于测量语义文本相似性（STS）的能力，使得STS成为一项基本任务，可以使几个下游应用程序受益。然而，现有的STS数据集和模型无法将其性能转化为特定领域的环境，如COVID-19。为了克服这一差距，我们引入了CORD 19 STS数据集，其中包括从COVID-19开放研究数据集（CORD-19）挑战中收集的13，710个注释句子对。具体来说，我们使用不同的采样策略生成了100万个句子对。然后，我们使用了一个微调的BERT类语言模型，我们称之为Sen-SCI-CORD 19-BERT，来计算句子对之间的相似性得分，以提供一个关于不同语义相似性水平的平衡数据集，这给了我们总共32 K个句子对。每个句子对都由五个Amazon Mechanical Turk（AMT）人群工作人员进行注释，其中标签表示句子对之间不同的语义相似性级别（即相关，有点相关和不相关）。在采用严格的资格任务来验证收集的注释后，我们最终的CORD 19 STS数据集包括13，710个句子对。
2020-11-02 cs.CL
Are ELECTRA's Sentence Embeddings Beyond Repair? The Case of Semantic Textual Similarity
University of Zagreb（萨格勒布大学）；Faculty of Electrical Engineering and Computing（电气工程与计算机学院）；TakeLab
针对ELECTRA句嵌入质量差、学界已默认不将其用于语义文本相似度任务的问题，本文提出截断模型微调（TMFT）方法修复嵌入，显著提升了STS基准性能，还发现ELECTRA生成器模型效果堪比BERT且参数效率更高。
2024-10-03 cs.CL
MiqraBERT: Regression-Based Sentence-BERT Finetuning for Biblical Hebrew Parallel Detection
University of Notre Dame（诺丁汉大学）
提出MiqraBERT模型，通过余弦相似度回归微调Sentence-BERT，在圣经希伯来语中检测文本平行，将分布分离度提升2.7倍，重叠区域从24%降至6%。
2026-06-19 cs.CL
BERT and PALs: Projected Attention Layers for Efficient Adaptation in Multi-Task Learning
University of Edinburgh（爱丁堡大学）
多任务学习在相关任务之间共享信息，有时减少所需的参数数量。在GLUE基准测试中，多个自然语言理解任务的最新结果之前使用了从单个大型任务的转移：使用BERT进行无监督预训练，其中为每个任务微调了单独的BERT模型。我们探索多任务的方法，共享一个单一的BERT模型与少量的额外的任务特定的参数。使用新的自适应模块，PAL或“投影注意力层”，我们在GLUE基准测试中匹配了单独微调的模型的性能，参数减少了大约7倍，并在识别文本蕴涵数据集上获得了最先进的结果。
2019-05-15 cs.CL cs.LG stat.ML
NLU-STR at SemEval-2024 Task 1: Generative-based Augmentation and Encoder-based Scoring for Semantic Textual Relatedness
Birzeit University（比尔宰特大学）
本文提出结合生成式数据增强与基于 BERT 的回归评分和余弦相似度方法，在 SemRel-2024 语义文本相关性任务中处理阿拉伯语及方言，并在现代标准阿拉伯语赛道取得第一名。
2024-05-01 cs.CL
Multimodal Fusion with BERT and Attention Mechanism for Fake News Detection
Toyo University（东洋大学）；Aimesoft JSC（艾美软件股份公司）
假新闻检测是提高媒体信息可信度的一项重要任务，因为假新闻每天都在社交媒体上不断传播，这是我们社会中非常严重的问题。假新闻通常是通过操纵图像，文本和视频来创建的。在本文中，我们提出了一种新的方法来检测假新闻融合来自文本和视觉数据的多模态特征。具体来说，我们使用预训练的BERT模型来学习文本特征，并使用在ImageNet数据集上预训练的VGG-19模型来提取图像特征。我们提出了一个尺度点积注意力机制来捕捉文本特征和视觉特征之间的关系。实验结果表明，我们的方法在公共Twitter数据集上的准确率比当前最先进的方法高3.1%。
2021-04-27 cs.CL
Knowledge Graph Refinement based on Triplet BERT-Networks
LISN, CNRS (UMR 9015), Paris Saclay University（巴黎萨克雷大学、法国国家科学研究中心LISN实验室（UMR 9015））；LIPN, CNRS (UMR 7030), University Sorbonne Paris Nord（索邦巴黎北大学、法国国家科学研究中心LIPN实验室（UMR 7030））
知识图谱嵌入技术被广泛用于知识图谱细化任务，例如图完成和三重分类。这些技术旨在将知识图谱的实体和关系嵌入到低维连续特征空间中。本文采用基于transformer的三元组网络，创建一个嵌入空间，将KG中的实体或关系的信息进行聚类。它从事实中创建文本序列，并微调预先训练的基于transformer的语言模型的三元组网络。它坚持一个评估范式，依赖于一个有效的空间语义搜索技术。我们表明，这种评估协议更适合于关系预测任务的Few-Shot设置。我们提出的GilBERT方法在多个知名的基准知识图谱（如FB13，WN11和FB15K）上进行了三元组分类和关系预测任务的评估。我们表明，GilBERT实现了更好的或可比的结果，这两个细化任务的最先进的性能。
2022-11-18 cs.AI cs.CL
CliQ-RRG: Clinical-Knowledge Guided Disease-aware Visual-Textual Alignment for QA-Style Radiology Report Generation
Indian Institute of Technology Indore（印度理工学院印多尔分校）；University of Texas at Dallas（德州大学达拉斯分校）；University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
本研究提出CliQ-RRG框架，通过两阶段结构结合疾病感知对齐与GraphRAG检索，在胸部X射线基准上生成更优的问答式放射学报告。
2026-10-12 cs.CL
Detecting White Supremacist Hate Speech using Domain Specific Word Embedding with Deep Learning and BERT
King Abdulaziz University（阿卜杜勒阿齐兹国王大学）
白人至上主义者信奉一种激进的意识形态，认为白人比其他种族的人优越。这些团体的关键影响不再局限于社交媒体;它们还通过促进种族仇恨和暴力，在许多方面对社会产生重大影响。白人至上主义仇恨言论是社交媒体上最近观察到的有害内容之一。由于信息的巨大爆炸，报告仇恨言论的传统渠道已被证明是不够的，因此，有必要找到一种自动方法来及时检测此类言论。本研究探讨了使用深度学习和自然语言处理技术自动检测Twitter上白人至上主义仇恨言论的可行性。通过我们的实验，我们使用了两种方法，第一种方法是使用从白人至上主义语料库中提取的特定于领域的嵌入，以利用双向长短期记忆（LSTM）深度学习模型来捕捉这个白人至上主义俚语的含义，这种方法达到了0.74890的F1-得分。第二种方法是通过使用最新的语言模型之一，这是BERT，BERT模型提供了最先进的自然语言处理任务。达到了0.79605的F1分数。这两种方法都在平衡数据集上进行了测试，因为我们的实验仅基于文本数据。该数据集是由Twitter创建的数据集和从白人至上主义论坛编译的Stormfront数据集组合而成的。
2020-10-01 cs.AI cs.CL
BERT-Assisted Semantic Annotation Correction for Emotion-Related Questions
University of St. Thomas（圣托马斯大学）
注释数据传统上用于提供用于训练监督机器学习（ML）模型的输入。然而，当前用于自然语言处理（NLP）的预训练ML模型包含可用于通知注释过程的嵌入式语言信息。我们使用BERT神经语言模型将信息反馈到注释任务中，该任务涉及在一个名为情感二十问题（EMO20 Q）的提问游戏中对对话行为进行语义标记。首先，我们描述了BERT的背景，EMO20 Q数据，和辅助注释任务。然后我们描述了微调BERT以检查注释标签的方法。为此，我们使用释义任务作为一种检查具有相同注释标签的所有话语都被归类为彼此的释义的方法。我们表明，这种方法是一种有效的方式来评估和修改文本用户数据的注释与复杂的，话语级的语义标签。
2022-04-02 cs.CL
IITK at SemEval-2024 Task 1: Contrastive Learning and Autoencoders for Semantic Textual Relatedness in Multilingual Texts
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
针对 SemEval-2024 多语言语义文本相关性任务，本文提出基于 BERT 的对比学习与相似度方法处理监督赛道，并探索自动编码器及负采样构建二元语料库以改进词嵌入。
2024-04-06 cs.AI cs.CL cs.LG
An Enhanced Dual Transformer Contrastive Network for Multimodal Sentiment Analysis
Ho Chi Minh City Open University, Ho Chi Minh, Vietnam Insight Centre for Data Analytics \& School of Computing, Dublin City University, Dublin, Ireland
针对多模态情感分析任务，本文提出基于早期融合的BERT-ViT-EF模型及扩展的DTCN模型，通过新增Transformer层优化文本上下文、结合对比学习对齐模态表征，在两个基准数据集上取得了优异性能。
2025-10-20 cs.AI cs.CL cs.LG
Boosting the Performance of Transformer Architectures for Semantic Textual Similarity
Faculty of Electrical Engineering and Computing（电气工程与计算学院）
本文研究语义文本相似度任务，通过部分及端到端微调 BERT、RoBERTa、DeBERTaV3 cross-encoders，并融合模型输出与手工特征进行 boosting，同时分析数据集划分和预测边界误差。
2023-06-01 cs.CL
Transfer Fine-Tuning: A BERT Case Study
Osaka University（大阪大学）；University of Manchester（曼彻斯特大学）
语义等价评估被定义为通过二元判断（即，释义识别）或分级（即，语义文本相似性测量）。它构成了自然语言理解研究的一系列关键任务。最近，BERT在句子表示学习方面实现了突破（Devlin et al.，2019），它可以广泛地转移到各种NLP任务。虽然BERT的性能通过增加其模型大小来提高，但所需的计算能力是阻止实际应用采用该技术的障碍。在这里，我们建议注入短语释义关系到BERT，以产生合适的表示语义等价评估，而不是增加模型的大小。标准的自然语言理解任务的实验证实，我们的方法有效地提高了一个较小的BERT模型，同时保持模型的大小。生成的模型表现出优越的性能相比，一个更大的BERT模型的语义等价性评估任务。此外，它在具有有限训练数据集的任务上实现了更大的性能增益以进行微调，这是迁移学习所期望的属性。
2019-09-03 cs.CL cs.LG
Visual-Language Prompt Tuning with Knowledge-guided Context Optimization
Institute of Automation, CAS（中国科学院自动化研究所）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences(CAS)（中国科学院大学）
提示微调是一种使用任务相关文本标记使预训练的视觉语言模型（VLM）适应下游任务的有效方法。代表性的合作为基础的工作相结合的学习文本令牌类令牌，以获得特定的文本知识。然而，具体的文本知识是最差的泛化看不见的类，因为它忘记了本质的一般文本知识具有很强的泛化能力。为了解决这个问题，我们引入了一种新的知识引导的上下文优化（KgCoOp），以增强不可见类的可学习提示的泛化能力。KgCoOp的关键见解是，通过减少可学习提示和手工制作提示之间的差异，可以减轻对基本知识的遗忘。特别是，KgCoOp最大限度地减少了由学习提示和手工制作的提示生成的文本嵌入之间的差异。最后，在对比损失上添加KgCoOp可以对可见和不可见任务进行区分性提示。多个基准测试结果表明，该方法是一种有效的提示微调方法，\emph{i.e.,}以更少的训练时间获得了更好的性能。
2023-03-23 cs.CL cs.CV
VLC-BERT: Visual Question Answering with Contextualized Commonsense Knowledge
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute for AI（向量人工智能研究所）
人们对解决视觉问答（VQA）任务越来越感兴趣，这些任务要求模型在图像中存在的内容之外进行推理。在这项工作中，我们专注于需要常识推理的问题。与以前的方法，注入静态知识库的知识，我们调查的背景下的知识，使用常识Transformer（COMET），现有的知识模型训练的人类策划的知识库。我们提出了一种方法来生成，选择和编码外部常识知识以及视觉和文本线索在一个新的预训练的视觉语言常识Transformer模型，VLC-BERT。通过我们对知识密集型OK-VQA和A-OKVQA数据集的评估，我们表明VLC-BERT能够优于利用静态知识库的现有模型。此外，通过详细的分析，我们解释了哪些问题受益，哪些不受益，从上下文常识知识彗星。
2022-10-24 cs.CL cs.CV
Hierarchical Multitask Learning Approach for BERT
Boğaziçi University（海峡大学）
最近的工作表明，学习上下文嵌入的话是有益的下游任务。BERT就是这种方法的一个成功例子。它通过解决两个任务来学习嵌入，这两个任务是掩码语言模型（掩码LM）和下一句预测（NSP）。BERT的预训练也可以被视为一个多任务学习问题。在这项工作中，我们采用分层多任务学习方法进行BERT预训练。预训练任务在不同的层而不是最后一层求解，并且来自NSP任务的信息被传输到掩蔽的LM任务。此外，我们提出了一个新的预训练任务bigram移位来编码词序信息。我们选择了两个下游任务，其中一个需要文本级嵌入（文本蕴涵），另一个需要上下文化的单词嵌入（问答）。由于计算限制，我们使用下游任务数据而不是大型数据集进行预训练，以查看给定受限数据集时所提出模型的性能。我们测试了他们的性能在几个探测任务分析学习嵌入。我们的研究结果表明，在预训练中实施任务层次结构可以提高嵌入的性能。
2020-10-17 cs.CL cs.LG
Advances and Challenges in Semantic Textual Similarity: A Comprehensive Survey
本文综述了语义文本相似性在变压器模型、对比学习、领域适应等六个方面的最新进展，探讨了多模态、图方法和知识增强技术，并指出现有挑战与未来发展方向。
2025-12-19 cs.AI cs.CL math.OC
On the Sentence Embeddings from Pre-trained Language Models
ByteDance AI Lab（字节跳动人工智能实验室）；Carnegie Mellon University（卡内基梅隆大学）
像BERT这样的预先训练的上下文表示在自然语言处理中取得了巨大的成功。然而，已经发现来自未经微调的预训练的语言模型的句子嵌入难以捕获句子的语义含义。在本文中，我们认为，在BERT嵌入的语义信息没有得到充分利用。首先从理论上揭示了掩蔽语言模型预训练目标与语义相似度任务之间的理论联系，然后对BERT句子嵌入进行了实证分析。我们发现，BERT总是导致一个非光滑的各向异性的句子语义空间，这损害了它的语义相似度的性能。为了解决这个问题，我们建议将各向异性的句子嵌入分布转换为平滑和各向同性的高斯分布，通过规范化流，学习与无监督的目标。实验结果表明，我们提出的BERT流方法获得了显着的性能增益比国家的最先进的句子嵌入在各种语义文本相似性任务。该代码可在https://github.com/bohanli/BERT-flow上获得。
2020-11-02 cs.CL cs.LG
Contextualized Representations Using Textual Encyclopedic Knowledge
Google Research（谷歌研究院）；University of Washington（华盛顿大学）
我们提出了一种方法来表示输入文本的上下文，他们与动态检索的文本百科全书背景知识从多个文件。我们将我们的方法应用于阅读理解任务，通过编码问题和段落以及关于他们提到的实体的背景句子。我们表明，从文本中整合背景知识对于专注于事实推理的任务是有效的，并允许直接重用功能强大的预训练BERT风格的编码器。此外，知识集成可以进一步提高与适当的预训练，通过一个自我监督的掩蔽语言模型目标在背景增强的输入文本中的单词。在TriviaQA上，我们的方法比不动态整合背景知识的RoBERTA模型获得了1.6到3.1 F1的改进。在MRQA（一个由各种QA数据集组成的大型集合）上，我们看到了域内的一致收益以及BioASQ（2.1至4.2 F1），TextbookQA（1.6至2.0 F1）和DuoRC（1.1至2.0 F1）的域外大幅改善。
2021-07-13 cs.CL
TrojText: Test-time Invisible Textual Trojan Insertion
University of Central Florida（中佛罗里达大学）；Meta Platforms, Inc.（元平台公司）
针对现有不可见文本木马攻击需大量训练数据、成本高的问题，提出无需训练数据的TrojText方法，结合RLI算法及AGR、TWP技术，在多数据集和模型上实现了高攻击准确率。
2023-08-22 cs.CL
Improving Referring Expression Grounding with Cross-modal Attention-guided Erasing
The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）
指称表达定位的目的是定位图像中具有指称表达的特定对象或人，其中的关键挑战是理解和对齐来自视觉和文本域的各种类型的信息，例如视觉属性，位置以及与周围区域的交互。虽然注意力机制已成功地应用于跨通道对齐，以前的注意力模型只关注两种通道的最主要的特征，而忽略了图像和指称表达之间可能存在多个全面的文本-视觉对应的事实。为了解决这个问题，我们设计了一种新的跨模态注意力引导擦除方法，在该方法中，我们丢弃来自文本或视觉域的最主要信息，以在线生成困难的训练样本，并驱动模型发现互补的文本-视觉对应关系。大量的实验证明了我们提出的方法的有效性，在三个引用表达式接地数据集上实现了最先进的性能。
2019-04-02 cs.CL cs.CV
Distilling the Knowledge of Romanian BERTs Using Multiple Teachers
Research Institute for Artificial Intelligence, Romanian Academy（罗马尼亚科学院人工智能研究所）
在计算受限的环境中运行大规模预训练语言模型仍然是一个有待解决的挑战性问题，而从这些模型中进行迁移学习在自然语言处理任务中已经变得普遍。之前已经提出了几种解决方案，包括知识蒸馏，网络量化或网络修剪;然而，这些方法主要集中在英语语言上，从而在考虑低资源语言时扩大了差距。在这项工作中，我们介绍了三个轻型和快速版本的蒸馏BERT模型的罗马尼亚语：蒸馏BERT-基-ro，蒸馏-RoBERT-基，蒸馏多BERT-基-ro。前两个模型导致从两个基础版本的罗马尼亚BERT文献中的知识的个人蒸馏，而最后一个是通过蒸馏他们的合奏。据我们所知，这是第一次尝试创建公开可用的罗马尼亚蒸馏BERT模型，这是彻底评估的五个任务：词性标记，命名实体识别，情感分析，语义文本相似性，和方言识别。我们的实验结果表明，这三种蒸馏模型的性能与它们的老师相当，而在GPU上的速度是老师的两倍，体积小了约35%。此外，我们进一步测试我们的学生与他们的老师的预测之间的相似性，通过测量他们的标签和概率忠诚度，以及回归忠诚度-在这项工作中引入的一个新的度量。
2022-04-13 cs.CL cs.LG
Explicit Pairwise Word Interaction Modeling Improves Pretrained Transformers for English Semantic Similarity Tasks
University of Waterloo（滑铁卢大学）
在英语语义相似性任务中，经典的基于词嵌入的方法显式地对句子对的词表示之间的成对“交互”进行建模。基于transformer的预训练语言模型忽略了这一概念，而是通过其自我注意力机制全局和隐式地对成对单词交互进行建模。在本文中，我们假设，引入一个明确的，受约束的成对词的相互作用机制，预训练的语言模型，提高其有效性的语义相似性任务。我们使用BERT在四个任务中验证了我们的假设，在语义文本相似性和答案句子选择。我们表现出一致的质量改进，通过添加一个明确的成对字交互模块BERT。
2019-11-07 cs.CL
Rule-Guided Joint Embedding Learning over Knowledge Graphs
Wuhan University of Technology（武汉理工大学）；Jianghan University（江汉大学）；Wuhan University of Science and Technology（武汉科技大学）
针对现有知识图谱嵌入模型多依赖结构信息的问题，提出融合上下文与文本信号的图卷积嵌入模型，引入规则计算的置信度和文本相关性指标加权上下文，在基准数据集上优于强基线。
2025-08-30 cs.CL
URL-BERT: Training Webpage Representations via Social Media Engagements
Texas A&M University（德克萨斯A&M大学）；VerSe Innovation Labs（VerSe创新实验室）；Twitter Inc（推特公司）；UC San Diego（加州大学圣迭戈分校）
本文提出 URL-BERT，通过结合社交媒体互动图嵌入与对比预训练目标，使多语言 BERT 更好地理解 URL 和网页，并在多个任务及 Twitter 基准上验证其有效性。
2023-10-25 cs.CL cs.IR
NLP Techniques for Water Quality Analysis in Social Media Content
University of Engineering and Technology, Peshawar（白沙瓦工程技术大学）；Hamad Bin Khalifa University（哈马德·本·哈利法大学）
本文介绍了我们对MediaEval 2021任务的贡献，即“WaterMM：社交多媒体中的水质”。该任务旨在分析与水质相关的社交媒体帖子，特别关注水彩，气味，味道和相关疾病等方面。为此，提供了一个包含文本和视觉信息以及元数据的多模态数据集。考虑到可用内容的质量和数量，我们主要集中在文本信息，分别采用三种不同的模型和联合后融合的方式。这些模型包括（i）来自Transformers的双向编码器表示（BERT），（ii）鲁棒优化的BERT预训练方法（XLM-RoBERTa），以及（iii）定制的长短期记忆（LSTM）模型，在官方测试集上分别获得0.794、0.717、0.663的总体F1分数。在融合方案中，所有的模型都被平等对待，并没有显着的改善，观察到在性能最好的个人模型。
2021-11-30 cs.CL cs.SI
MasonTigers at SemEval-2024 Task 1: An Ensemble Approach for Semantic Textual Relatedness
George Mason University（乔治梅森大学）
本文提出 MasonTigers 参加 SemEval-2024 任务 1 的集成方法，结合统计机器学习、语言特定 BERT 模型和句子 Transformer，在 14 种语言、三个赛道中取得靠前排名。
2024-04-06 cs.CL
SemAttack: Natural Textual Attacks via Different Semantic Spaces
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Alibaba Group（阿里巴巴集团）；Microsoft Research（微软研究院）
最近的研究表明，预先训练的语言模型（LM）容易受到文本对抗攻击。然而，现有的攻击方法要么遭受低攻击成功率或未能有效地搜索在指数大扰动空间。我们提出了一个高效和有效的框架SemAttack通过构建不同的语义扰动函数来生成自然的对抗文本。特别地，SemAttack优化了约束在通用语义空间上的所生成的扰动，所述通用语义空间包括错别字空间、知识空间（例如，WordNet）、上下文化语义空间（例如，BERT聚类的嵌入空间）或这些空间的组合。因此，生成的对抗性文本在语义上更接近原始输入。大量的实验表明，最先进的（SOTA）大规模LM（例如，DeBERTa-v2）和防御策略（例如，FreeLB）仍然容易受到SemAttack的攻击。我们进一步证明了SemAttack是通用的，并且能够为不同的语言生成自然的对抗文本（例如，英语和汉语），攻击成功率高。人类的评估也证实了我们生成的对抗性文本是自然的，几乎不会影响人类的表现。我们的代码可在https://github.com/AI-secure/SemAttack上公开获取。
2022-06-11 cs.CL
Two-stage Textual Knowledge Distillation for End-to-End Spoken Language Understanding
Clova AI
端到端方法通过减轻传统管道系统的缺点，为更准确和有效的口语语言理解（SLU）系统开辟了新的途径。以前的作品利用文本信息的SLU模型通过预训练与自动语音识别或微调与知识蒸馏。为了更有效地利用文本信息，本文提出了一种两阶段的文本知识蒸馏方法，该方法在预训练和微调期间依次匹配两种模态的话语级表示和预测逻辑。我们使用vq-wav 2 vec BERT作为语音编码器，因为它捕获了一般和丰富的功能。此外，我们提高了性能，特别是在低资源的情况下，与数据增强方法随机掩蔽离散音频令牌和上下文隐藏表示的跨度。因此，我们推动了Fluent Speech Commands的最新技术，在完整数据集设置中实现了99.7%的测试准确率，在10%子集设置中实现了99.5%的测试准确率。在整个消融研究中，我们经验性地验证了所有使用的方法对最终表现至关重要，为口语语言理解提供了最佳实践。代码可在https://github.com/clovaai/textual-kd-slu上获得。
2021-06-10 cs.CL cs.LG cs.SD
Automated Fidelity Assessment for Strategy Training in Inpatient Rehabilitation using Natural Language Processing
University of Pittsburgh（匹兹堡大学）
策略训练是一种多学科康复方法，教授技能，以减少中风后认知障碍患者的残疾。在随机对照临床试验中，策略训练被证明是比传统康复方法更可行和有效的促进独立性的干预措施。一个标准化的保真度评估是用来衡量坚持治疗原则，通过检查指导和指导的口头线索，在视频记录的康复会议。虽然保真度评估检测引导和直接的言语线索是有效的和可行的单网站的研究，它可以成为劳动密集型，耗时，昂贵的大型，多网站的务实试验。为了解决这一挑战，广泛的战略培训实施，我们利用自然语言处理（NLP）技术来自动化战略培训保真度评估，即，从康复疗程的视频记录中自动识别引导和定向的言语提示。我们为此任务开发了一个基于规则的NLP算法，一个长短期记忆（LSTM）模型和一个来自Transformers（BERT）模型的双向编码器表示。BERT模型的F1得分为0.8075，表现最好。该BERT模型在从一个单独的主要区域卫生系统收集的外部验证数据集上进行了验证，并获得了0.8259的F1得分，这表明BERT模型具有良好的泛化能力。这项研究的结果在心理学和康复干预研究和实践中具有广泛的前景。
2023-01-24 cs.CL
Distilling the Knowledge of BERT for Sequence-to-Sequence ASR
Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）
基于注意力的序列到序列（seq 2seq）模型在自动语音识别（ASR）中取得了令人鼓舞的结果。然而，由于这些模型以从左到右的方式解码，因此它们无法访问右侧的上下文。我们利用左和右上下文，通过知识蒸馏将BERT作为外部语言模型应用于seq 2seq ASR。在我们提出的方法中，BERT生成软标签来指导seq 2seq ASR的训练。此外，我们利用当前话语之外的上下文作为BERT的输入。实验结果表明，我们的方法显着提高了ASR性能从seq 2seq基线上的语料库的自发日语（CSJ）。从BERT的知识蒸馏优于从仅查看左上下文的Transformer LM的知识提取。我们还显示了利用上下文超出当前话语的有效性。我们的方法优于其他LM应用程序的方法，如n-best rescoring和浅融合，而它不需要额外的推理成本。
2020-08-09 cs.CL eess.AS
L3Cube-MahaSBERT and HindSBERT: Sentence BERT Models and Benchmarking BERT Sentence Representations for Hindi and Marathi
MKSSS’ Cummins College of Engineering for Women（MKSSS卡明斯女子工程学院）；L3Cube；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
普通BERT模型的句子表示在句子相似性任务中效果不佳。在STS或NLI数据集上专门训练的Sentence-BERT模型显示出最先进的性能。然而，由于缺乏这些专门的数据集，为低资源语言构建这些模型并不简单。这项工作的重点是两个低资源的印度语言，印地语和马拉地语。我们使用使用机器翻译准备的合成NLI和STS数据集为这些语言训练重复BERT模型。我们表明，NLI预训练，然后STSb微调的策略是有效的，在生成高性能的印地语和马拉地语的相似性模型。使用这种简单策略训练的普通BERT模型优于使用复杂训练策略训练的多语言LaBSE。这些模型在下游文本分类和相似性任务中进行评估。我们在真实文本分类数据集上评估这些模型，以显示从合成数据训练中获得的嵌入也可推广到真实数据集，因此代表了低资源语言的有效训练策略。我们还提供了对快速文本模型、多语言BERT模型（mBERT、IndicBERT、xlm-RoBERTa、MuRIL）、多语言句子嵌入模型（LASER、LaBSE）以及基于L3 Cube-Maha BERT和HindBERT的单语言BERT模型的句子嵌入的比较分析。我们发布L3 Cube-MahaSBERT和HindSBERT，分别用于马拉地语和印地语的最先进的BERT模型。我们的工作也作为一个指导，以建立低资源的句子嵌入模型。
2022-11-22 cs.CL cs.LG
Logic Constrained Pointer Networks for Interpretable Textual Similarity
Amazon（亚马逊）；Flipkart（弗利普卡特）；Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校）
系统地发现文本中的语义关系是自然语言处理中一个重要且广泛研究的领域，具有各种任务，例如蕴涵，语义相似性等。通过子序列比对的可分解性已经被提出作为使模型更具可解释性的一种方式。我们研究的问题，对齐组件的句子导致一个可解释的模型，语义文本相似性。在本文中，我们介绍了一种新的指针网络为基础的模型与哨兵门控功能，以调整组成块，这是表示使用BERT。我们用一个损失函数改进了这个基础模型，以同等地惩罚两个句子中的不对齐，确保对齐是双向的。最后，为了用结构化的外部知识来指导网络，我们引入了基于ConceptNet和语法知识的一阶逻辑约束。该模型在SemEval基准数据集上的F1得分分别为97.73和96.32，与现有解决方案相比有很大的改进。源代码可在https://github.com/manishb89/interpretable_sentence_similarity上获得
2020-07-15 cs.CL cs.LG
Prompt-Guided Turn-Taking Prediction
Kyoto University（京都大学）
本文提出一种基于文本提示动态控制轮流发言预测的模型，通过在VAP模型中融入提示嵌入，实现对话节奏的直观调控并提升预测准确率。
2025-07-03 cs.CL cs.SD eess.AS
