Learning Disentangled Textual Representations via Statistical Measures of Similarity
CentraleSupelec(中央理工-高等电力学院);CNRS(法国国家科学研究中心);Universite Paris-Saclay(巴黎萨克雷大学);Telecom Paris(巴黎电信学院);Institut Polytechnique de Paris(巴黎理工学院);Université McGill(麦吉尔大学);ETS(蒙特利尔高等技术学院);MILA(蒙特利尔学习算法研究所)
当处理文本数据时,解纠缠表示的自然应用是公平分类,其中目标是在不受数据中可能存在的敏感属性(例如,年龄、性别或种族)。从文本表示中分离敏感属性的主要方法依赖于同时学习惩罚项,该惩罚项涉及对抗性损失(例如,A/D)或信息度量(例如,互信息)。然而,这些方法需要训练深度神经网络,对于表示模型的每次更新具有若干参数更新。事实上,所得到的嵌套优化循环既耗时,增加了优化动态的复杂性,又需要精细的超参数选择(例如,学习率、体系结构)。在这项工作中,我们介绍了一个家庭的正规化学习解开表示,不需要训练。这些正则化是基于敏感属性的条件概率分布之间的相似性的统计测量。我们的新型正则化器不需要额外的训练,速度更快,不涉及额外的调整,同时在与预训练和随机初始化的文本编码器结合时获得更好的结果。
2022-10-07 cs.CL
Improving Robustness and Generality of NLP Models Using Disentangled Representations
ShannonAI;Key Lab of Intelligent Information Processing of Chinese Academy of Sciences(中国科学院智能信息处理重点实验室);Department of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);Zhejiang University(浙江大学)
监督神经网络首先将输入$x$映射到单个表示$z$,然后将$z$映射到输出标签$y$,在广泛的自然语言处理(NLP)任务中取得了显著的成功。尽管取得了成功,但神经模型缺乏鲁棒性和通用性:对输入的微小扰动可能会导致绝对不同的输出;在一个域上训练的模型在另一个域上测试时,性能急剧下降。在本文中,我们提出的方法,以提高鲁棒性和通用性的NLP模型的立场,解开表示学习。所提出的策略不是将$x$映射到单个表示$z$,而是将$x$映射到一组表示$\{z_1,z_2,...,z_K\}$,同时强制它们被解开。然后将这些表示映射到不同的logit $l$,其集合用于进行最终预测$y$。我们提出了不同的方法将这一想法纳入目前广泛使用的模型,包括添加一个$L$ 2正则化的$z$ s或添加总相关(TC)的变分信息瓶颈(VIB)的框架下。我们表明,该标准训练的模型提供了更好的鲁棒性和域适应能力,在广泛的监督学习任务。
2020-09-21 cs.CL
Disentangled Contrastive Learning for Learning Robust Textual Representations
Zhejiang University(浙江大学);AZFT Joint Lab for Knowledge Engine(AZFT知识引擎联合实验室);Hangzhou Innovation Center, Zhejiang University(浙江大学杭州国际科创中心)
虽然Transformer模型的自我监督预训练已经导致了自然语言处理(NLP)应用的革命性变化,并在各种基准方面取得了最先进的结果,但这个过程仍然容易受到来自合法输入的微小和不可感知的排列的影响。直观地说,这些表示在特征空间中应该是相似的,具有微妙的输入排列,而大的变化则具有不同的含义。这促使我们以对比的方式研究鲁棒文本表征的学习。然而,获得文本样本的相反语义实例是不平凡的。在这项研究中,我们提出了一个解开的对比学习方法,分别优化的一致性和对齐的表示没有负采样。具体来说,我们引入动量表示一致性的概念来对齐特征,并在一致性的同时利用功率归一化。NLP基准测试的实验结果表明,与基线相比,我们的方法可以获得更好的结果,并且在不变性测试和对抗攻击方面取得了有希望的改进。该代码可在https://github.com/zxlzr/DCL上获得。
2021-08-22 cs.AI cs.CL cs.IR
Variational Autoencoder with Disentanglement Priors for Low-Resource Task-Specific Natural Language Generation
Monash University(莫纳什大学);The University of Melbourne(墨尔本大学)
在本文中,我们提出了一个变分自编码器与解纠缠先验,VAE-DPRIOR,特定于任务的自然语言生成没有或少数特定于任务的标记的例子。为了解决跨任务的合成泛化问题,我们的模型通过为潜在内容空间引入一个条件先验和为潜在标签空间引入另一个条件先验来执行解纠缠的表示学习。这两种类型的先验满足一个新的属性称为$ε$ -解纠缠。我们的经验和理论表明,新的先验可以解开表示,即使没有特定的正则化,在以前的工作。内容先验使得能够直接从内容空间中采样不同的内容表示,所述内容空间是从所看到的任务中学习的,并且将它们与新颖任务的表示融合,以用于在低资源设置中生成语义上不同的文本。我们广泛的实验证明了我们的模型在以下方面优于竞争基线:i)连续零/少样本学习中的数据增强,以及ii)Few-Shot设置中的文本样式传输。
2022-10-29 cs.CL
DiMBERT: Learning Vision-Language Grounded Representations with Disentangled Multimodal-Attention
Peking University(北京大学);Tencent(腾讯)
视觉和语言(V-L)任务要求系统理解视觉内容和自然语言,从而学习视觉和语言的细粒度联合表示(也称为“视觉和语言”)。V-L表示)是至关重要的。最近,各种预训练的V-L模型被提出来学习V-L表示,并在许多任务中取得了改进的结果。然而,主流模型处理视觉和语言输入具有相同的一组注意力矩阵。结果,生成的V-L表示纠缠在一个共同的潜在空间。为了解决这个问题,我们提出了DiMBERT(Disentangled Multimodal-Attention BERT的缩写),这是一个新的框架,它将视觉和语言的注意力空间分开,从而可以明确地解开多模态的表示。为了增强视觉和语言之间的关联,在解开空间,我们引入了视觉概念,以文本格式表示视觉信息的DiMBERT。通过这种方式,视觉概念有助于弥合这两种模式之间的差距。我们在两个任务上对大量的图像-句子对预训练DiMBERT:双向语言建模和序列到序列语言建模。预训练后,DiMBERT将进一步针对下游任务进行微调。实验表明,DiMBERT设置新的国家的最先进的性能在三个任务(超过四个数据集),包括生成任务(图像描述和视觉讲故事)和分类任务(参考表达式)。提出的DiM(Disentangled Multimodal-Attention的缩写)模块可以很容易地集成到现有的预训练V-L模型中,以提高它们的性能,在代表性任务上提高高达5%。最后,我们进行了系统的分析,并…
2022-10-28 cs.CL cs.CV
Faithful by Definition: Emotion Analysis via Natural Semantic Metalanguage Explications
University of Reading(雷丁大学);Nanyang Technological University(南洋理工大学)
提出一种基于自然语义元语言解释的情感分析接口,通过解析器将输入文本映射为固定规则的解释,实现因果定义上的忠实性,并在小规模数据集上验证了其可检查的决策基础。
2026-07-02 cs.AI cs.CL
Disentangled VAD Representations via a Variational Framework for Political Stance Detection
The University of Manchester(曼彻斯特大学)
本研究提出PoliStance-VAE框架,利用变分自编码器解耦VAD情感特征,在政治立场检测中达到最先进性能,超越BERT、GPT-4o等模型。
2025-02-26 cs.CL
Disentangled Representation Learning with Large Language Models for Text-Attributed Graphs
Tsinghua University(清华大学)
针对现有大语言模型处理文本属性图时结构理解不足的问题,提出融合定制化解耦GNN层的DGTL模型,在冻结预训练LLM的前提下提升了任务性能与可解释性。
2024-03-09 cs.CL cs.LG
Breaking Down Word Semantics from Pre-trained Language Models through Layer-wise Dimension Selection
针对预训练语言模型嵌入中语义等维度难以解读的问题,本文提出在不更新预训练参数的前提下,通过对BERT各层中间输出施加二值掩码解耦语义义项的方法,实验验证了逐层信息的有效性及语义解耦对词义判别性能的提升作用。
2023-10-08 cs.AI cs.CL
Building a Knowledge Graph from Natural Language Definitions for Interpretable Text Entailment Recognition
University of Passau(帕绍大学);University of Manchester(曼彻斯特大学)
术语的自然语言定义可以作为丰富的知识来源,但将它们构建为可理解的语义模型对于使它们能够用于语义解释任务至关重要。我们提出了一种方法,并提供了一套工具,自动建立一个图形世界知识库的自然语言的定义。采用由一组字典定义的语义角色组成的概念模型,我们训练了一个分类器来自动标记定义,准备数据稍后转换为图形表示。WordNetGraph,一个知识图谱建立了名词和动词WordNet定义根据这种方法,成功地用于可解释的文本蕴涵识别方法,使用该图中的路径,以提供明确的理由蕴涵决策。
2018-06-20 cs.CL
Semantic Role Labeling Meets Definition Modeling: Using Natural Language to Describe Predicate-Argument Structures
Sapienza University of Rome(罗马第一大学);Babelscape(巴贝尔斯凯普)
过去和现在的语义角色标注(SRL)方法的一个共同特点是它们依赖于从预定义的语言库中提取的离散标签来对谓词意义及其论元进行分类。然而,我们认为情况不一定如此。在本文中,我们提出了一种方法,利用定义建模引入一个广义的制定SRL的任务描述谓词参数结构使用自然语言定义,而不是离散的标签。我们的新配方的第一步,把可解释性和灵活性放在首位,但我们的实验和分析PropBank风格和FrameNet风格,依赖性为基础的和跨度为基础的SRL也表明,一个灵活的模型与可解释的输出不一定是以牺牲性能。我们在https://github.com/SapienzaNLP/dsrl上发布我们的软件用于研究目的。
2022-12-02 cs.AI cs.CL cs.LG
DepFlow: Disentangled Speech Generation to Mitigate Semantic Bias in Depression Detection
College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算机与数据科学学院);School of Electrical Engineering and Telecommunications, UNSW(新南威尔士大学电信工程学院);School of Software and Microelectronics, Peking University(北京大学软件与微电子学院);Center for AI in Medicine (C-AIM), Lee Kong Chian School of Medicine, NTU(人工智能医学中心(C-AIM)、李光耀医学院、南洋理工大学)
DepFlow通过三阶段框架解耦语音生成,缓解抑郁症检测中的语义偏差,提升模型鲁棒性并提供可控合成平台。
2026-01-01 cs.AI cs.CL
Unsupervised TTS Acoustic Modeling for TTS with Conditional Disentangled Sequential VAE
Tencent AI Lab(腾讯AI实验室)
本研究提出无需文本音频配对的无监督TTS声学模型UTTS,基于C-DSVAE主干与解纠缠表示学习,通过对齐转换实现零样本多说话人合成,经评估语音自然度与可懂度优异。
2024-10-06 cs.AI cs.CL cs.LG
Definition Modeling: Learning to define word embeddings in natural language
Northwestern University(西北大学)
词的分布式表征已被证明可以捕捉词汇语义,这在词相似性和类比关系任务中表现出了有效性。但是,这些任务只是间接地评估词汇语义。在本文中,我们研究是否有可能利用分布式表示来生成单词的字典定义,作为嵌入语义的更直接和透明的表示。我们将介绍定义建模,即为给定单词及其嵌入生成定义的任务。我们提出了几种基于递归神经网络的定义模型架构,并在多个数据集上对模型进行了实验。我们的研究结果表明,控制被定义的单词和定义单词之间的依赖关系的模型表现得更好,并且旨在利用形态学的字符级卷积层可以补充单词级嵌入。最后,一个错误分析表明,由一个定义模型的错误可能会提供洞察词嵌入的缺点。
2016-12-01 cs.CL
Overcoming Poor Word Embeddings with Word Definitions
NEC Laboratories America(美国 NEC 实验室);Princeton(普林斯顿大学)
现代自然语言理解模型依赖于预训练的子词嵌入,但应用程序可能需要对预训练期间从未或很少看到的词进行推理。我们表明,严重依赖于一个罕见的词的例子是更具有挑战性的自然语言推理模型。然后,我们将探讨模型如何学习使用自然文本中提供的定义来克服这一障碍。我们的模型对定义的理解通常比良好建模的词嵌入弱,但它可以从使用完全未经训练的词中恢复大部分性能差距。
2021-03-05 cs.CL
DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-Disentangled Embedding Sharing
Microsoft Azure AI(微软Azure人工智能部门);Microsoft Research(微软研究院)
提出了一种新的预训练语言模型DeBERTaV 3,它改进了原有的DeBERTa模型,用一种样本效率更高的预训练任务替换标记检测(RTD)代替掩码语言建模(MLM)。我们的分析表明,ELECTRA中的香草嵌入共享会损害训练效率和模型性能。这是因为训练器和生成器的训练损失在不同的方向上拉动令牌嵌入,从而产生“拔河”动态。因此,我们提出了一种新的梯度分离嵌入共享方法,避免了拔河动态,提高了训练效率和预训练模型的质量。我们使用与DeBERTa相同的设置对DeBERTaV 3进行了预训练,以展示其在广泛的下游自然语言理解(NLU)任务上的卓越性能。以8个任务的GLUE基准测试为例,DeBERTaV 3 Large模型的平均得分为91.37%,比DeBERTa高1.37%,比ELECTRA高1.91%,在结构相似的模型中创下了新的最先进水平(SOTA)。此外,我们已经预训练了一个多语言模型mDeBERTa,并观察到与英语模型相比,在强基线上有更大的改进。例如,mDeBERTa Base在XNLI上实现了79.8%的zero-shot跨语言准确性,比XLM-R Base提高了3.6%,在此基准上创建了新的SOTA。我们已经在https://github.com/microsoft/DeBERTa上公开了我们的预训练模型和推理代码。
2023-03-24 cs.CL cs.LG
Explainable Disentangled Representation Learning for Generalizable Authorship Attribution in the Era of Generative AI
University of Oregon(俄勒冈大学);Adobe Research(Adobe研究)
本文提出EAVAE框架,通过解耦风格与内容来提升作者归属和AI生成文本检测的泛化能力,实验表明在多个数据集上达到最佳性能。
2026-04-23 cs.CL cs.IR cs.LG
Multi-type Disentanglement without Adversarial Training
University of Oxford(牛津大学)
通过解开潜在空间来控制自然语言的风格是迈向可解释机器学习的重要一步。当潜在空间被解开后,可以在不影响句子其他特征的情况下,通过调整风格表征来转换句子的风格。以前的作品通常使用对抗训练来保证解纠缠向量不会相互影响。然而,对抗性方法很难训练。特别是当存在多个特征时(例如,情感或时态,在本文中我们称之为风格类型),每个特征都需要单独的分类器来提取与该特征相对应的分离的风格向量。在本文中,我们提出了一个统一的分布控制方法,它提供了每个特定的风格值(风格类型的值,例如,积极的情绪,或过去式)具有独特的代表性。该方法为避免多类型解缠的对抗性训练提供了坚实的理论基础。我们还提出了多个损失函数,以实现一个风格的内容解开,以及多个风格类型之间的解开。此外,我们观察到,如果两种不同的样式类型总是有一些特定的样式值在数据集中一起出现,那么它们在传输样式值时会相互影响。我们称这种现象为训练偏差,我们提出了一个损失函数来减轻这种训练偏差,同时解开多种类型。我们在两个数据集(Yelp服务评论和Amazon产品评论)上进行实验,以评估风格分解效果和两种风格类型(情感和时态)的无监督风格迁移性能。实验结果表明了该模型的有效性。
2021-08-03 cs.AI cs.CL cs.LG
Categorization of Semantic Roles for Dictionary Definitions
University of Passau(帕绍大学)
理解术语之间的语义关系是自然语言处理应用中的一项基本任务。虽然可以以正式方式表达这些关系的结构化资源(如本体)仍然稀缺,但收集字典定义的大量语言资源正在变得可用,但理解自然语言定义的语义结构是使其在语义解释任务中有用的基础。WordNet的注释的一个子集的分析的基础上,我们提出了一组语义角色,组成的字典定义的语义结构,并显示它们是如何相关的定义的语法配置,识别模式,可用于开发的信息抽取框架和语义模型。
2018-06-20 cs.CL
Multi-Relational Hyperbolic Word Embeddings from Natural Language Definitions
Idiap Research Institute(伊迪亚普研究所);University of Manchester(曼彻斯特大学);National Biomarker Centre(国家生物标志物中心)
本文提出一种多关系模型,通过从词典定义中自动提取概念关系,在双曲空间中利用翻译框架学习词嵌入,实验证明其比欧几里得方法更优,且比神经模型更高效可解释。
2024-02-16 cs.CL cs.LG
Visual Referential Games Further the Emergence of Disentangled Representations
University of York(约克大学)
该研究在视觉指称博弈语境下探究语言组合性、表征解耦性与系统性的关联,验证基于Obverter架构的博弈解耦表现更优,扩展PosDis指标以区分不同组合语言,并发现训练中系统性与两类指标的相关性随测量时点变化呈现正负显著相关。
2023-04-27 cs.CL
Multi-sense Definition Modeling using Word Sense Decompositions
Northwestern University(西北大学);Mahidol University(玛希隆大学)
词嵌入捕获关于词的句法和语义信息。定义建模旨在通过基于嵌入输出自然语言定义,使每个嵌入中的语义内容显式化。然而,现有的定义模型在为同一个词的不同含义生成准确定义的能力方面是有限的。在本文中,我们介绍了一种新的方法,使多个感官的定义建模。我们展示了Gumble-Softmax方法如何在训练过程中将特定意义的嵌入与定义相匹配时优于基线。在实验中,我们的多意义定义模型比最先进的单意义定义模型提高了三倍的召回率,而不影响精度。
2019-09-19 cs.CL
Concept Algebra for (Score-Based) Text-Controlled Generative Models
University of Chicago(芝加哥大学);Data Science Institute, University of Chicago(芝加哥大学数据科学研究所);Google Research(谷歌研究院)
本文提出概念代数方法,通过将概念编码为表示子空间,利用代数操作操纵基于分数的文本控制生成模型(如Stable Diffusion)中的概念表达。
2024-02-08 cs.CL cs.LG stat.ML