Feature-aware conditional GAN for category text generation
School of Electrical and Electronic Engineering, Nanyang Technological University(南洋理工大学电气与电子工程学院);Interdisciplinary Graduate School, Nanyang Technological University(南洋理工大学跨学科研究生院)
本文提出特征感知条件GAN(FA-GAN)框架,通过包含特征与类别感知编码器及关系记忆核心解码器的序列到序列生成器,结合多类分类损失的对抗训练,解决文本GAN的多样性与可控性问题,在6个数据集上优于10种先进方法。
2023-08-02 cs.AI cs.CL
Bag-of-Vectors Autoencoders for Unsupervised Conditional Text Generation
Idiap Research Institute(伊迪亚普研究所);EPFL(洛桑联邦理工学院)
文本自动编码器通常用于无监督的条件文本生成,通过在潜在空间中应用映射将属性更改为所需的值。最近,Mai等人(2020)提出了Emb 2 Emb,这是一种在自动编码器的嵌入空间中学习这些映射的方法。然而,他们的方法仅限于具有单向量嵌入的自动编码器,这限制了可以保留多少信息。我们通过将他们的方法扩展到Bag-of-Vectors Autoencoders(BoV-AE)来解决这个问题,BoV-AE将文本编码为一个可变大小的矢量包,该矢量包随着文本的大小而增长,就像基于注意力的模型一样。这允许编码和重建比标准自动编码器长得多的文本。类似于传统的自动编码器,我们提出了正则化技术,便于学习潜在空间中有意义的操作。最后,我们调整Emb 2 Emb的训练方案,学习映射输入袋到输出袋,包括一个新的损失函数和神经架构。我们对无监督情感转移的经验评估表明,我们的方法比标准的自动编码器表现得更好。
2023-02-04 cs.AI cs.CL cs.LG
Automatic Conditional Generation of Personalized Social Media Short Texts
Beijing University of Posts and Telecommunications(北京邮电大学);Beijing Key Laboratory of Network System and Network Culture(网络系统与网络文化北京市重点实验室);Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
由于深度神经网络的快速发展,文本自动生成受到了广泛关注。基于统计语言模型的文本生成系统一般不会考虑拟人化特征,从而导致生成的文本类似于机器生成的文本。为了填补这一空白,我们提出了一个有条件的语言生成模型与大五人格(BFP)的特征向量作为输入上下文,写类似人类的短文本。短文本生成器由一层长短记忆网络(LSTM)组成,其中BFP特征向量被连接为每个单元格的输入的一部分。为了实现有监督的训练生成模型,采用基于文本分类模型的卷积神经网络(CNN)对BFP标注的中文微博语料进行训练。通过BFP语言学计算模型的验证,我们生成的中文短文本具有区分性的个性风格,并且具有正确的句法和流畅的语义以及适当的表情符号。该模型将自然语言生成与心理语言学相结合,可广泛应用于机器翻译、图像字幕、对话生成等个性化文本生成。
2019-06-15 cs.AI cs.CL cs.SI
Watermarking Conditional Text Generation for AI Detection: Unveiling Challenges and a Semantic-Aware Watermark Remedy
University of California Riverside(加州大学河滨分校);Tianjin University(天津大学)
针对现有水印技术损害条件文本生成性能的问题,提出一种考虑输入上下文的语义感知水印算法,在BART和Flan-T5等模型上显著提升了摘要等任务的生成质量并保持检测能力。
2024-02-13 cs.CL cs.CR
Pre-train and Plug-in: Flexible Conditional Text Generation with Variational Auto-Encoders
Alibaba Group(阿里巴巴集团);Wuhan University(武汉大学);University of Michigan(密歇根大学);Amazon(亚马逊);Tencent AI Lab(腾讯人工智能实验室)
条件文本生成作为自然语言生成的一个研究热点,为人类控制生成内容的属性提供了可能。当前的条件生成模型由于其联合端到端学习方式而无法处理新出现的条件。当一个新的条件增加,这些技术需要全面的再培训。在本文中,我们提出了一个新的框架命名为预训练和插件变分自动编码器(PPVAE)灵活的条件文本生成。PPVAE将文本生成模块从条件表示模块中分离出来,以允许“一对多”的条件生成。当一个新的条件出现时,只需要训练一个轻量级的网络,并作为PPVAE的插件工作,这对于现实世界的应用来说是高效和理想的。大量的实验表明,PPVAE对现有的替代品具有更好的条件性和多样性,但更少的培训工作的优越性。
2020-05-08 cs.CL cs.LG stat.ML
Conditional [MASK] Discrete Diffusion Language Model
IPAI, Seoul National University(首尔国立大学IPAI);Seoul National University(首尔国立大学)
提出Diffusion-EAGS框架,结合条件掩码语言模型与扩散模型,通过熵自适应吉布斯采样和噪声调度,实现非自回归文本生成的最优质量-多样性权衡。
2025-02-24 cs.AI cs.CL
Text-Blueprint: An Interactive Platform for Plan-based Conditional Generation
Google Research(谷歌研究院)
本文提出 Text-Blueprint 交互式网页平台,用问答对构成的蓝图计划控制面向查询的摘要生成,并支持用户编辑计划以改善输出。
2023-04-28 cs.CL
Contrastive Learning with Adversarial Perturbations for Conditional Text Generation
KAIST(韩国科学技术院);AITRICS
最近,序列到序列(seq 2seq)模型与Transformer架构取得了显着的性能在各种条件文本生成任务,如机器翻译。然而,它们中的大多数都是用教师强迫训练的,在每个时间步都给出了地面真值标签,而不会在训练过程中暴露于错误生成的令牌,这会损害其对看不见的输入的泛化,即所谓的“暴露偏差”问题。在这项工作中,我们建议通过对比正对与负对来减轻条件文本生成问题,使得模型暴露于输入的各种有效或不正确的扰动,以提高泛化能力。然而,使用随机非目标序列作为负例,使用朴素对比学习框架训练模型是次优的,因为它们很容易与正确的输出区分开,特别是使用大型文本语料库预训练的模型。此外,生成正面示例需要特定于域的增强算法,这可能不会在不同的域上推广。为了解决这个问题,我们提出了一个原则性的方法来产生积极的和消极的样本的对比学习的seq 2seq模型。具体来说,我们通过向输入序列添加小扰动来最小化其条件似然来生成负例,并通过添加大扰动来生成正例,同时强制其具有高条件似然。使用我们的方法生成的这种“硬”正负对指导模型更好地区分正确的输出和不正确的输出。我们的经验表明,我们提出的方法显着提高了概括的seq 2seq的三个文本生成任务-机器翻译,文本摘要和问题生成。
2021-03-10 cs.CL
Biomedical text summarization using Conditional Generative Adversarial Network(CGAN)
Isfahan University of Technology(伊斯法罕理工大学)
医学中的文本摘要可以帮助医生减少从无数文档中获取重要信息的时间。提出了一种基于条件生成对抗网络和卷积神经网络的有监督抽取摘要方法。与以前的模型,通常使用贪婪的方法来选择句子,我们使用一种新的方法来选择句子。此外,我们还提供了一个用于生物医学词嵌入的网络,这提高了摘要。本文的一个重要贡献是引入了一个新的损失函数,使消隐器的性能更好。所提出的模型实现的结果相比,国家的最先进的方法,由ROUGE度量。在医学数据集上的实验表明,该方法比竞争模型平均好5%,并且与参考摘要更相似。
2021-09-17 cs.CL
SCOPE: A Self-supervised Framework for Improving Faithfulness in Conditional Text Generation
Sorbonne Université(索邦大学);Miles Team(迈尔斯团队);LAMSADE(拉玛德实验室);Université Paris-Dauphine(巴黎多芬大学);Université PSL(巴黎文理大学);AgroParisTech(巴黎高科农业学院);Criteo AI Lab(Criteo人工智能实验室)
针对大型语言模型在条件文本生成中存在的幻觉问题,提出自监督框架SCOPE,通过生成不忠实样本训练集并结合偏好训练优化模型,在忠实度上优于现有自监督技术。
2025-02-19 cs.CL
CTRL: A Conditional Transformer Language Model for Controllable Generation
Salesforce Research(Salesforce研究院)
大规模的语言模型显示出有前途的文本生成能力,但用户不能容易地控制生成的文本的特定方面。我们发布了CTRL,这是一个有16.3亿个参数的条件Transformer语言模型,它被训练成控制样式、内容和特定于任务的行为的控制代码。控制代码来源于与原始文本自然共存的结构,保留了无监督学习的优点,同时对文本生成提供更明确的控制。这些代码还允许CTRL预测训练数据的哪些部分最有可能被赋予序列。这为通过基于模型的源属性分析大量数据提供了一种潜在的方法。我们已经在https://github.com/salesforce/ctrl上发布了多个全尺寸的、预训练的CTRL版本。
2019-09-20 cs.CL
Multimodal Conditionality for Natural Language Generation
Salesforce Einstein
大规模预训练语言模型在语言理解任务中表现出最先进的性能。它们的应用最近已经扩展到多模态学习,从而改进了视觉和语言相结合的表征。然而,在适应语言模型的条件自然语言生成(NLG)的进展已被限制到一个单一的模态,一般是文本。我们提出了MAnTiS,多模态适应文本合成,一个通用的方法,多模态条件转换为基础的NLG模型。在这种方法中,我们通过特定于模态的编码器传递来自每个模态的输入,投影到文本标记空间,最后连接形成条件前缀。我们用引导生成的条件前缀微调预训练的语言模型和编码器。我们将MAnTiS应用于产品描述生成任务,调节产品图像和标题的网络以生成描述性文本。我们证明了MAnTiS在标准NLG评分指标上优于强基线方法。此外,定性评估表明,MAnTiS可以生成与给定的多模态输入一致的人的质量描述。
2021-09-02 cs.CL cs.LG
DiffuDetox: A Mixed Diffusion Model for Text Detoxification
University of Toronto(多伦多大学);LG Electronics(LG电子)
针对文本去毒化任务数据不足导致扩散模型生成文本流畅度下降的问题,提出混合扩散模型DiffuDetox,结合条件模型保多样性、无约束模型提流畅度的优势,经实验验证了其有效性。
2023-06-14 cs.CL cs.LG
PCAE: A Framework of Plug-in Conditional Auto-Encoder for Controllable Text Generation
Tsinghua University(清华大学)
可控制的文本生成技术已经向前迈出了巨大的一步。然而,现有的方法要么限制在一个一次性的模式或没有足够的效率,在每个生成阶段接收多个条件。我们提出了一个模型无关的框架插件条件自动编码器的可控文本生成(PCAE)的灵活和半监督的文本生成。我们的框架是“即插即用”的,部分参数在预训练模型中进行微调(不到一半)。PCAE成功的关键是建议的广播标签融合网络,用于将全球潜在代码导航到指定的本地和受限空间。局部潜在先验井的可视化证实了所提出的模型在隐藏空间中的主要贡献。此外,在基于RNN和基于预训练的BART [26]的自动编码器上进行的五个相关生成任务(从2个条件到10个条件)的广泛实验揭示了PCAE的高能力,这使得生成具有高度可操作性,语法多样性和节省时间的最小标记样本。我们将在https://github.com/ImKeTT/pcae上发布我们的代码。
2022-10-07 cs.CL
CG-BERT: Conditional Text Generation with BERT for Generalized Few-shot Intent Detection
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Amazon(亚马逊);Florida State University(佛罗里达州立大学)
在本文中,我们制定了一个更现实和困难的问题设置的意图检测任务在自然语言理解,即广义Few-Shot意图检测(GFSID)。GFSID旨在区分由具有足够标记数据的现有意图和每个类别只有几个示例的新意图组成的联合标签空间。为了解决这个问题,我们提出了一个新的模型,条件文本生成与BERT(CG-BERT)。CG-BERT有效地利用大型预训练语言模型来生成以意图标签为条件的文本。通过用变分推理对话语分布进行建模,CG-BERT可以为新意图生成不同的话语,即使只有几个可用的话语。实验结果表明,CG-BERT在两个真实世界数据集上的1次和5次设置的GFSID任务上实现了最先进的性能。
2020-04-04 cs.CL cs.LG
A Causal Lens for Controllable Text Generation
UC San Diego(加州大学圣迭戈分校);AWS AI, Amazon(亚马逊云科技人工智能)
可控文本生成涉及广泛应用的两个基本任务,即生成给定属性的文本(即,属性条件生成),以及最低限度地编辑现有文本以拥有期望的属性(即,文本属性转移)。大量的先前工作在很大程度上分别研究了这两个问题,并开发了不同的条件模型,然而,这些模型容易产生有偏见的文本(例如,各种性别陈规定型观念)。本文提出了制定可控的文本生成从原则的因果关系的角度来看,模型的两个任务与一个统一的框架。因果公式的一个直接优势是使用丰富的因果关系工具来减轻世代偏差并改善控制。我们把这两个任务的干预和反事实的因果推理的基础上的结构因果模型,分别。然后,我们将该框架应用到具有挑战性的实际环境中,其中混淆因素(引起虚假相关性)仅在一小部分数据上可观察到。实验表明,因果关系的方法比以前的条件模型,提高控制精度和减少偏见显着的优越性。
2022-01-22 cs.AI cs.CL cs.LG
Technical Report: Auxiliary Tuning and its Application to Conditional Text Generation
AI21 Labs(AI21实验室)
我们介绍了一种简单而有效的方法,称为辅助调整,适应一个预先训练的语言模型一个新的任务,我们证明了这种方法的任务条件文本生成。我们的方法用一个辅助模型补充了原始的预训练模型,该模型根据目标任务改变输出分布。通过将其logits添加到预训练的模型logits并最大化目标任务输出的可能性来训练辅助模型。我们的方法对辅助架构没有任何限制。特别地,辅助模型可以独立于预训练模型的输入摄取与目标任务相关的附加输入。此外,在logits水平上混合模型提供了该方法的自然概率解释。我们的方法实现了类似的结果,从零开始训练几个不同的任务,同时使用显着更少的资源进行训练;我们分享一个特定的例子,文本生成条件的关键字。
2020-06-30 cs.CL cs.LG cs.NE
Probing Explicit and Implicit Gender Bias through LLM Conditional Text Generation
Texas A&M University(德克萨斯A&M大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文提出无需预定义性别短语和刻板印象的条件文本生成机制,通过三类输入和显隐性指标评估LLM性别偏见,发现模型增大未必提升公平性且所有被测模型均存在显性或隐性偏见。
2023-11-01 cs.CL
Improve Diverse Text Generation by Self Labeling Conditional Variational Auto Encoder
Alibaba Group(阿里巴巴集团);Beijing, China, 100102(中国北京,100102(注:此处为地址信息,不应提取为机构,原数据中可能存在格式混淆,仅保留明确的机构名Alibaba Group))
多样性在许多文本生成应用程序中起着至关重要的作用。近年来,条件变分自动编码器(CVAE)已经显示出很好的性能。然而,他们经常遇到所谓的KL消失问题。以前的工作减轻了这样的问题,启发式方法,如加强编码器或削弱解码器,同时优化CVAE目标函数。然而,这些方法的优化方向是隐含的,很难找到一个合适的程度,这些方法应该应用。在本文中,我们提出了一个明确的优化目标,以补充CVAE直接拉远离KL消失。事实上,这个目标项引导编码器朝向解码器的“最佳编码器”以增强表现力。一个标记网络被引入到估计的“最佳编码器”。它在CVAE的潜在空间中提供了一个连续的标签,以帮助在潜在变量和目标之间建立紧密的联系。整个方法称为自标记CVAE~(SLCVAE)。为了加速对不同文本生成的研究,我们还提出了一个大型的本地一对多数据集。在两个任务上进行了大量的实验,结果表明,我们的方法大大提高了生成的多样性,同时实现了与最先进的算法相比相当的准确性。
2019-03-26 cs.CL cs.LG stat.ML
Rows from Many Sources: Enriching row completions from Wikidata with a pre-trained Language Model
Microsoft Research(微软研究院);Harbin Institute of Technology(哈尔滨工业大学)
行补全是用额外的相关行来扩充给定的文本和数字表的任务。该任务分为两个步骤:主题建议,填充主列的任务;和空白填充,填充其余列的任务。我们提出了国家的最先进的结果为主题的建议和差距填补衡量的标准基准(WikiTables)。我们的想法是通过和谐地结合知识库表解释和自由文本生成来解决这个任务。我们使用知识库来解释表,以建议新的行并通过属性链接生成像标题这样的元数据。为了提高候选人的多样性,我们通过GPT-3使用自由文本生成来合成额外的行,并且至关重要的是,我们利用我们解释的元数据来产生更好的文本生成提示。最后,我们验证了额外的合成内容可以链接到知识库或可信的网络源,如维基百科。
2022-04-14 cs.AI cs.CL
Out-of-the-Box Conditional Text Embeddings from Large Language Models
Cyberagent Inc.(Cyberagent公司)
本文提出无监督条件文本嵌入方法PonTE,利用因果大语言模型和条件提示,无需微调即可生成条件嵌入,在相似性和聚类任务上性能媲美监督方法,并具备可解释性。
2025-04-23 cs.CL
Task-Conditional Flow Matching for Balanced Multilingual Text Embedding Adaptation
Indian Institute of Technology Gandhinagar(印度甘地讷格尔印度理工学院)
针对多语言文本嵌入模型适配的任务差异问题,提出TCFM框架,结合流匹配与教师引导表示保留等方法,在Indic基准上实现最优性能并将发布代码与数据集。
2026-08-07 cs.AI cs.CL
Poison Attacks against Text Datasets with Conditional Adversarially Regularized Autoencoder
Nanyang Technological University(南洋理工大学);AWS AI(亚马逊云科技人工智能)
本文演示了自然语言推理(NLI)和文本分类系统中的致命漏洞。更具体地说,我们对NLP模型进行了“后门中毒”攻击。我们的中毒攻击利用条件逆向正则化自动编码器(CARA)生成中毒的训练样本的毒药注射在潜在的空间。实验结果表明,仅添加1%的中毒数据,当输入假设被注入中毒签名时,受害者BERT微调分类器的预测就可以以>80%的成功率转向中毒目标类,这表明NLI和文本分类系统面临着巨大的安全风险。
2020-10-06 cs.AI cs.CL cs.NE
Semi-supervised Text Regression with Conditional Generative Adversarial Networks
Purdue University(普渡大学);ObEN, Inc.(ObEN公司);California Institute of Technology(加州理工学院)
大量的在线文本信息为理解社会和经济语义提供了有趣的机会。在本文中,我们提出了一种新的文本回归模型的基础上的条件生成对抗网络(GAN),试图在一个半监督的方式关联文本数据和社会结果。除了预测能力的潜力,我们的优势是双重的:(i)该模型适用于有限标记数据的不平衡数据集,与现实世界的场景一致;(ii)预测是通过端到端的框架获得的,而无需明确选择高级表示。最后,我们指出了相关的实验数据和未来的研究方向。
2018-11-11 cs.AI cs.CL q-fin.CP
LLM-Assisted Content Conditional Debiasing for Fair Text Embedding
The University of British Columbia(不列颠哥伦比亚大学);Google Cloud(谷歌云)
该研究针对文本嵌入的偏见问题,提出内容条件等距公平性与对应去偏损失,并用LLM指令增强数据,在保持嵌入效用的同时提升公平性,还构建了新的公平评估基准。
2024-06-24 cs.AI cs.CL cs.CY
AMOM: Adaptive Masking over Masking for Conditional Masked Language Model
Institute of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院);Microsoft Research Asia(微软亚洲研究院)
基于变换器的自回归(AR)方法对于不同的序列到序列生成任务已经实现了吸引人的性能,例如,神经机器翻译、摘要和代码生成,但是遭受低推理效率。为了加快推理阶段,在过去的几年中,许多非自回归(NAR)策略已被提出。其中,条件掩码语言模型(CMLM)是最通用的框架之一,因为它可以支持许多不同的序列生成场景,并在这些任务上实现非常有竞争力的性能。在本文中,我们进一步介绍了一个简单而有效的自适应掩蔽策略,以提高细化能力的解码器,使编码器的优化更容易。\textbf{3}不同的任务(神经机器翻译,摘要和代码生成)与\textbf{15}数据集的实验证实,我们提出的简单的方法实现了显着的性能改善强CMLM模型。令人惊讶的是,我们提出的模型在神经机器翻译上产生了最先进的性能(WMT 16 EN $\to$ RO上的\textbf{34.62} BLEU,WMT 16 RO $\to$ EN上的\textbf{34.82} BLEU,以及IWALTH De $\to$ En上的\textbf{34.84} BLEU),甚至比\textbf{7}基准数据集上的\textbf{AR} Transformer更好的性能,至少具有\textbf{2.2$\times$}加速。我们的代码可以在GitHub上找到。
2023-03-13 cs.AI cs.CL
Conditional Supervised Contrastive Learning for Fair Text Classification
University of Virginia(弗吉尼亚大学);UC Berkeley(加州大学伯克利分校);UCLA(加州大学洛杉矶分校);UIUC(伊利诺伊大学厄巴纳-香槟分校)
对比表示学习由于其在图像和序列数据表示学习方面的优越性能而受到广泛关注。然而,学习的表示可能会导致下游任务的性能差异,例如在毒性评论分类中代表性不足的群体的沉默增加。鉴于这一挑战,在这项工作中,我们研究了通过对比学习学习满足公平性概念的公平表示,即文本分类的均衡化几率。具体来说,我们首先从理论上分析了公平约束的学习表示和条件监督对比目标之间的联系,然后提出使用条件监督对比目标来学习文本分类的公平表示。我们在两个文本数据集上进行实验,以证明我们的方法在平衡现有文本分类基线之间的任务性能和偏见缓解之间的权衡方面的有效性。此外,我们还表明,所提出的方法是稳定的,在不同的超参数设置。
2022-10-31 cs.AI cs.CL cs.CY
MoSEs: Uncertainty-Aware AI-Generated Text Detection via Mixture of Stylistics Experts with Conditional Thresholds
Nankai University(南开大学);Tsinghua University(清华大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室);Shenzhen ShenNong Information Technology Co., Ltd.(深圳深农信息技术有限公司)
本文提出MoSEs框架,通过文体参考库、文体感知路由器和条件阈值估计器实现文体感知的不确定性量化,在AI生成文本检测中平均提升11.34%,低资源场景提升39.15%。
2025-09-08 cs.AI cs.CL
Focusing Condition: Inference-Time Self-Contrastive Steering Elicits Better Conditional Text Embeddings in LLMs
本文提出推理时自对比引导(SCS)方法,通过构建无条件嵌入并干预注意力机制,提升大语言模型的条件文本嵌入质量,无需训练且即插即用。
2026-09-29 cs.CL
A Linguistic Model for Terminology Extraction based Conditional Random Fields
在本文中,我们展示了使用线性条件随机场(CRF)的专业文本语料库中的术语提取的可能性。
2014-02-15 cs.AI cs.CL
Clinical Text Prediction with Numerically Grounded Conditional Language Models
University College London(伦敦大学学院);William Harvey Research Institute(威廉·哈维研究所);Queen Mary University of London(伦敦玛丽女王大学)
辅助文本输入技术可以节省时间和精力,并提高文本质量。在本文中,我们研究如何接地和条件扩展标准神经语言模型可以带来改进的任务,单词预测和完成。这些扩展将结构化的知识库和文本中的数值纳入用于预测下一个单词的上下文。我们对临床数据集的自动评估显示,扩展模型的性能显着优于标准模型。我们最好的系统同时使用调节和接地,因为它们具有正交优势。对于包含5个建议的单词预测,它将召回率从25.03%提高到71.28%,对于单词补全,它将节省的时间从34.35%提高到44.81%,其中该数据集的理论界限为58.78%。我们还进行了定性研究,以了解具有较低困惑度的模型如何偶尔在任务中表现得更好。我们发现,在测试时,数字对文档级别的影响大于对单个单词概率的影响。
2016-10-20 cs.CL cs.HC cs.NE
Enhancing Content Preservation in Text Style Transfer Using Reverse Attention and Conditional Layer Normalization
The Hong Kong University of Science and Technology(香港科技大学)
文本样式转换旨在改变样式(例如,一个句子,同时保持它的内容。一种常见的方法是将给定的句子映射到没有样式的内容表示,并且内容表示被馈送到具有目标样式的解码器。以往的风格过滤方法都是在token级别上完全删除具有风格的token,从而导致内容信息的丢失。在本文中,我们提出了通过隐式地去除每个标记的反向注意的样式信息来增强内容保存,从而保留内容。此外,我们在构建目标样式表示时融合了内容信息,使其相对于内容是动态的。该方法在传递样式的过程中,不仅建立了与样式无关的内容表示,而且建立了与内容相关的样式表示。实证结果表明,我们的方法优于国家的最先进的基线的内容保存方面的大幅度。此外,它在风格转移的准确性和流畅性方面也具有竞争力。
2021-08-01 cs.AI cs.CL
Rewriting Meaningful Sentences via Conditional BERT Sampling and an application on fooling text classifiers
大多数设计用于欺骗文本分类器的对抗攻击方法通过修改几个单词或字符来改变文本分类器的预测。很少有人试图通过重写整个句子来攻击分类器,这是因为在句子级改写中存在固有的困难以及为合法重写设置标准的问题。在本文中,我们探讨了使用事务级重写创建对抗性示例的问题。我们设计了一个新的采样方法,命名为ParaphraseSampler,有效地改写了原始句子的多种方式。然后,我们提出了一个新的标准的修改,所谓的威胁级别的威胁模型。该标准允许单词和句子级别的变化,并且可以在两个维度上独立调整:语义相似性和语法质量。实验结果表明,这些改写的句子中有许多被分类器错误分类。在所有6个数据集上,我们的ParaphraseSampler实现了比我们的基线更好的攻击成功率。
2022-10-19 cs.AI cs.CL cs.LG
A Well-Composed Text is Half Done! Composition Sampling for Diverse Conditional Generation
Google Research(谷歌研究院);Google Brain(谷歌大脑)
我们提出了组合采样,一个简单但有效的方法来产生不同的输出,有条件的生成更高的质量相比,以前的随机解码策略。它建立在最近提出的基于计划的神经生成模型(Narayan et al,2021)的基础上,这些模型经过训练,首先创建输出的组合,然后通过调节它和输入来生成。我们的方法避免了文本退化,首先采样组成的实体链的形式,然后使用束搜索,以产生最好的可能接地到这个实体链的文本。摘要(CNN/DailyMail和XSum)和问题生成(SQuAD)的实验,使用现有的和新提出的自动度量以及基于人类的评估,证明了成分采样是目前最好的解码策略,用于生成各种有意义的输出。
2022-03-28 cs.CL
Quantum-Like Uncertain Conditionals for Text Analysis
University of Glasgow(格拉斯哥大学);University of Cambridge(剑桥大学)
基于术语出现的文档的简单表示在信息检索等领域无处不在,在自然语言处理中也很常见。在这项工作中,我们提出了一个逻辑概率的方法来分析自然语言文本的基础上的概念不确定条件,制定词汇测量的理论概念的启发,理想的量子测量。所提出的概念可以用于生成文本的特定主题表示,旨在以简单的方式将用户的感知与文本中术语的使用应该是什么的预先建立的想法相匹配。一个简单的例子是用两种语言的文本的两个版本开发的,显示如何在使用术语的检测和很容易表示。
2011-06-02 cs.CL quant-ph
IncogniText: Privacy-enhancing Conditional Text Anonymization via LLM-based Private Attribute Randomization
Huawei Munich Research Center(华为慕尼黑研究中心)
本文提出IncogniText文本匿名化技术,通过大语言模型私有属性随机化误导对手预测错误属性值,在8种属性上降低泄露超90%,并蒸馏为端侧LoRA参数实现现实部署。
2025-02-02 cs.AI cs.CL cs.CR
Dipping PLMs Sauce: Bridging Structure and Text for Effective Knowledge Graph Completion via Conditional Soft Prompting
Nanyang Technological University(南洋理工大学);Macquarie University(麦考瑞大学);Agency for Science Technology Research (A*STAR)(新加坡科技研究局)
本文提出CSProm-KG方法,通过条件软提示在知识图谱补全中平衡结构信息与文本知识,在多个静态和时序基准上取得最优结果。
2023-07-04 cs.CL
Conditional Adversarial Networks for Multi-Domain Text Classification
Carleton University(卡尔顿大学);University of Ottawa(渥太华大学)
在本文中,我们提出了条件对抗网络(CAN),这是一个探索共享特征和标签预测之间关系的框架,用于多域文本分类(MDTC)。该方法引入了一个条件域变量来同时对共享特征表示和类感知信息中的域变量进行建模,并采用熵调节来保证共享特征的可传递性。我们提供的CAN框架的理论分析,表明CAN的目标是相当于最大限度地减少共享功能和标签预测的多个联合分布之间的总分歧。因此,CAN是一个理论上合理的对抗网络,可以区分多种分布。两个MDTC基准测试结果表明,CAN优于以前的方法。进一步的实验表明,CAN具有很好的能力,推广学习到未知领域的知识。
2021-02-19 cs.CL cs.LG
CIGLI: Conditional Image Generation from Language & Image
Carnegie Mellon University(卡内基梅隆大学)
近年来,多模式发电已被广泛探索。目前的研究方向涉及基于图像生成文本,反之亦然。在本文中,我们提出了一个新的任务称为CIGLI:条件图像生成语言和图像。与在文本-图像生成中基于文本生成图像不同,该任务需要从文本描述和图像提示生成图像。我们设计了一个新的数据集,以确保文本描述描述了来自两个图像的信息,并且仅分析描述不足以生成图像。然后,我们提出了一种新的语言图像融合模型,提高了性能超过两个已建立的基线方法,通过定量(自动)和定性(人)评价。代码和数据集可在https://github.com/vincentlux/CIGLI上获得。
2021-08-20 cs.CL cs.CV
Data Boost: Text Data Augmentation Through Reinforcement Learning Guided Conditional Generation
Moody College of Communication, University of Texas at Austin(得克萨斯大学奥斯汀分校穆迪传播学院);Dartmouth College(达特茅斯学院)
数据增强在许多NLU任务中被证明是有效的,特别是对于那些数据稀缺的人。在本文中,我们提出了一个强大且易于部署的文本增强框架Data Boost,它通过强化学习引导的条件生成来增强数据。我们在五种不同的分类器架构下对三种不同的文本分类任务进行了评估。实验结果表明,Data Boost算法能够有效提高分类器的性能,尤其是在低资源数据的情况下。例如,当只提供10%的数据用于训练时,Data Boost将三个任务的F1平均提高了8.7%。我们还将Data Boost与六种先前的文本增强方法进行了比较。通过人工评估(N=178),我们确认Data Boost增强在可读性和类一致性方面具有与原始数据相当的质量。
2020-12-05 cs.CL cs.LG
Conditional Variational Autoencoder for Neural Machine Translation
Harvard University(哈佛大学)
我们探讨了神经机器翻译(NMT)的背景下,条件文本生成的潜变量模型的性能。与Zhang等人类似,我们通过引入一个连续的隐变量来模拟翻译过程的特征,从而增强了编码器-解码器NMT范例。我们扩展了这个模型的协同注意力机制的Parikh等。在推理网络。与视觉领域相比,文本的潜变量模型由于语言的离散性而面临额外的挑战,即后验崩溃。我们尝试了不同的方法来缓解这个问题。我们表明,我们的条件变分模型改进了基于判别注意力的翻译和张等人提出的变分基线。最后,我们提出了一些探索的学习潜在空间,以说明什么是潜在变量能够捕获。这是第一个有意义地利用潜变量而不削弱翻译模型的文本条件变分模型。
2018-12-11 cs.CL
ORAL: Prompting Your Large-Scale LoRAs via Conditional Recurrent Diffusion
The University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);National University of Singapore(新加坡国立大学)
本文提出条件循环扩散框架ORAL,通过融合模型架构与任务文本条件生成任务特定的LoRA参数,在数十亿参数LLMs上同时实现可扩展性与可控性,并在多类任务中取得与常规训练相当或更优的性能。
2025-04-08 cs.AI cs.CL cs.CV
Style Description based Text-to-Speech with Conditional Prosodic Layer Normalization based Diffusion GAN
IIT Delhi(印度理工学院德里分校)
本文提出Prosodic Diff-TTS,通过条件韵律层归一化将风格描述嵌入扩散GAN,在仅4步去噪内实现高保真语音合成,并在多说话人数据集上验证了效果。
2023-10-27 cs.CL cs.SD eess.AS
Text to Image Synthesis Using Generative Adversarial Networks
University of Manchester(曼彻斯特大学)
从自然语言生成图像是近年来条件生成模型的主要应用之一。除了测试我们对有条件的高维分布建模的能力外,文本到图像合成还有许多令人兴奋的实际应用,例如照片编辑或计算机辅助内容创建。最近的进展是使用生成对抗网络(GANs)。本材料首先对这些主题进行了温和的介绍,并讨论了现有的最先进的模型。此外,我提出了Wasserstein GAN-CLS,一种基于Wasserstein距离的条件图像生成新模型,它提供了稳定性的保证。然后,我展示了Wasserstein GAN-CLS的新损失函数如何用于条件渐进生长GAN。结合提出的损失,该模型将仅使用高级视觉语义的模型的最佳初始得分(在加州理工学院鸟类数据集上)提高了7.07%。唯一一个比条件Wasserstein渐进增长GAN表现更好的模型是最近提出的Attn GAN,它也使用单词级视觉语义。
2018-05-02 cs.CL cs.CV
If Probable, Then Acceptable? Understanding Conditional Acceptability Judgments in Large Language Models
MaiNLP, Center for Information and Language Processing, LMU Munich(MaiNLP,信息与语言处理中心,慕尼黑大学);Munich Center for Machine Learning (MCML), Munich(慕尼黑机器学习中心(MCML),慕尼黑)
研究探讨了大型语言模型在评估条件语句'若A则B'的可接受性时如何结合条件概率与语义相关性,发现模型对这两因素的敏感度因架构和提示策略而异,且比人类更不一致。
2026-03-19 cs.CL
Human-like informative conversations: Better acknowledgements using conditional mutual information
Stanford University(斯坦福大学)
这项工作旨在构建一个对话代理,可以像人类一样自然地将新的事实内容编织到对话中。我们从会话分析的语言学原理中汲取见解,并从Switchboard Dialog Act语料库中注释人与人的会话,以研究人类的确认,过渡,细节选择和呈现策略。当当前的聊天机器人(明确提供了新的事实内容)将事实引入对话时,它们生成的响应不承认先前的回合。这是因为模型在两种背景下训练-新的事实内容和会话历史-生成非特定w.r.t.的响应。其中一个语境,通常是会话历史。我们发现,特异性w.r.t.通过逐点条件互信息($\text{pcmi}_h$)比通过逐点互信息($\text{pmi}$)的已建立的使用更好地捕获会话历史。我们提出的方法,融合PCMI,权衡$\text{pmi}$为$\text{pcmi}_h$,是首选的人的整体质量超过最大PMI基线60%的时间。人类评估者在74%的时间内也能更好地判断具有较高$\text{pcmi}_h$的应答。结果表明,模仿人类会话特征(在这种情况下确认)的系统提高了整体质量,并更广泛地说明了语言原则在改善对话代理中的效用。
2021-04-16 cs.CL
Research on Violent Text Detection System Based on BERT-fasttext Model
School of Information Engineering, Zhongnan University of Economics and Law(中南财经政法大学信息工程学院)
本文提出基于BERT-fasttext模型的暴力文本检测系统,结合BERT的语义理解与Fasttext的高效分类,准确率较单一模型提升0.7%和0.8%,有效净化网络环境。
2024-12-21 cs.CL cs.CY
Conditional Variational Autoencoder for Sign Language Translation with Cross-Modal Alignment
Xiamen University(厦门大学)
提出基于条件变分自编码器的CV-SLT框架,通过双路径与双KL散度实现手语视频与文本的跨模态对齐,在PHOENIX14T和CSL-daily上取得最先进结果。
2023-12-25 cs.CL
Regularized Conditional Alignment for Multi-Domain Text Classification
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院)
针对多领域文本分类中对抗对齐易错位、标注数据不足导致判别力弱的问题,提出正则化条件对齐方法,结合半监督约束提升特征判别性与模型鲁棒性,性能超越现有最优技术。
2023-12-18 cs.CL cs.CR cs.LG