Text comparison using word vector representations and dimensionality reduction
Aalto University(阿尔托大学)
本文描述了一种使用词向量表示(word 2 vec)和降维(t-SNE)比较大型文本源的技术,以及如何使用Python实现该技术。该技术提供了文本源的鸟瞰图,例如文本摘要及其源材料,并使用户能够像地理地图一样探索文本源。词向量表示捕捉了许多语言属性,如性别,时态,复数,甚至语义概念,如“首都”。使用降维,可以计算2D图,其中语义相似的单词彼此接近。该技术使用gensim Python库中的word 2 vec模型和scikit-learn中的t-SNE。
2016-07-02 cs.CL
Critic-Guided Decoding for Controlled Text Generation
Seoul National University(首尔国立大学);NAVER AI Lab(NAVER人工智能实验室);University of Richmond(里士满大学)
引导语言生成朝向目标或远离不期望的内容一直是利用语言模型(LM)的长期目标。最近的工作表明,强化学习和加权解码的有效方法,以实现更高水平的语言控制和质量的利弊。在这项工作中,我们提出了一种新的批评解码方法控制语言生成(CriticControl),结合了强化学习和加权解码的优势。具体来说,我们采用演员批评的框架训练LM转向评论家从不可微的奖励模型。类似于加权解码,我们的方法冻结了语言模型,并使用所谓的评论家操纵输出令牌分布,提高训练效率和稳定性。我们的方法上的三个控制生成任务,即主题控制,情绪控制和解毒的评估表明,我们的方法比以前的方法产生更多的连贯性和良好的控制文本。此外,CriticControl在zero-shot设置中展示了卓越的泛化能力。人体评估研究也证实了我们的发现。
2022-12-21 cs.CL
Few-Shot Table-to-Text Generation with Prefix-Controlled Generator
Shanghai Jiao Tong University(上海交通大学)
神经表格到文本生成方法是数据饥饿的,限制了它们对低资源现实世界应用的适应。以往的工作大多采用预训练的语言模型(PLM)来生成流畅的表格摘要。然而,由于PLM的不受控制的性质,它们通常包含幻觉内容。此外,表和序列之间的拓扑差异很少被研究。最后但并非最不重要的一点是,在PLM上使用少量实例进行微调可能会导致过度拟合和灾难性遗忘。为了缓解这些问题,我们提出了一种基于前缀的方法,前缀控制生成器(即,PCG),用于Few-Shot表格到文本生成。我们为PLM预先添加了一个特定于任务的前缀,以使表结构更好地适应预先训练的输入。此外,我们生成一个特定于输入的前缀来控制生成的文本的实际内容和词序。对Wikibio数据集的不同领域(人类,书籍和歌曲)的自动和人工评估都显示出比基线方法有实质性的改进。
2022-08-23 cs.CL
Reward-Augmented Decoding: Efficient Controlled Text Generation With a Unidirectional Reward Model
UNC-Chapel Hill(北卡罗来纳大学教堂山分校);University of Toronto(多伦多大学);Vector Institute(向量研究所)
本文提出Reward-Augmented Decoding (RAD),利用小型单向奖励模型在解码时对生成文本评分并调整采样概率,以高效实现受控文本生成,其性能媲美需重新训练的最先进方法且计算开销极小。
2024-01-02 cs.CL
Plan-then-Generate: Controlled Data-to-Text Generation via Planning
University of Cambridge(剑桥大学);Apple(苹果公司)
神经网络的最新发展导致了数据到文本生成的进步。然而,神经模型缺乏控制生成的输出结构的能力,这在某些现实世界的应用中可能是有限的。在这项研究中,我们提出了一种新的计划然后生成(PlanGen)框架,以提高神经数据到文本模型的可控性。在两个基准数据集ToTTo和WebNLG上进行了大量的实验和分析。结果表明,我们的模型能够控制生成的输出的句内和句间结构。此外,与以前的国家的最先进的方法的实证比较表明,我们的模型提高了生成质量以及输出多样性判断的人类和自动评估。
2021-08-31 cs.CL
LiFi: Lightweight Controlled Text Generation with Fine-Grained Control Codes
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Tencent AI Lab(腾讯AI Lab)
提出 LIFI 方法,利用连续、相对且非互斥的细粒度控制码结合 adapters,在少量标注和大量未标注数据上实现轻量级受控文本生成,在情感、主题控制和风格化小说写作任务上显著优于基线。
2024-02-10 cs.CL
Improving User Controlled Table-To-Text Generation Robustness
University of Edinburgh(爱丁堡大学);The Hong Kong Polytechnic University(香港理工大学)
在这项工作中,我们研究了用户控制的表到文本的生成,用户探索的内容在一个表中选择单元格和阅读的自然语言描述自动产生的自然语言发生器。这样的生成模型通常从仔细选择的单元选中单元组合(干净单元选择)学习;然而,在实践中,用户可能选择意外的、冗余的或不相干的单元组合(有噪声的单元选择)。在实验中,我们发现,模型表现良好的测试集来自相同的分布作为训练数据,但其性能下降时,现实的嘈杂的用户输入进行评估。我们提出了一个微调制度,额外的用户模拟嘈杂的细胞选择。使用所提出的机制进行微调的模型在用户嘈杂的测试用例中获得4.85个BLEU点,在干净的测试用例中获得1.4个BLEU点;并在ToTTo数据集上实现了相当的最先进性能。
2023-02-20 cs.CL
PREADD: Prefix-Adaptive Decoding for Controlled Text Generation
UC Berkeley(加州大学伯克利分校)
PREADD 通过对比原始提示与带前缀提示的输出 logits 实现无需外部模型的受控文本生成,在毒性缓解、去偏和情感控制任务上相对增益超 12%。
2023-07-06 cs.CL
Controlled Text Generation as Continuous Optimization with Multiple Constraints
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院);University of Washington(华盛顿大学)
随着大规模语言模型预训练推动了文本生成的发展,最近的工作已经转向控制这些模型生成的文本的属性。虽然通过微调来修改预训练模型仍然是流行的方法,但它会产生显著的计算成本,并且由于缺乏适当的数据而不可行。作为替代方案,我们提出了MuCoCO -一种灵活的模块化算法,用于从预训练模型进行可控推理。我们制定的解码过程作为一个优化问题,它允许多个属性,我们的目标是控制容易被纳入作为可微约束的优化。通过将这种离散优化放松为连续优化,我们利用拉格朗日乘子和基于梯度下降的技术来生成所需的文本。我们评估了我们的方法在可控的机器翻译和风格转移与多个副本级别的属性,并观察到显着的改进基线。
2021-08-04 cs.CL
Controlled Hallucinations: Learning to Generate Faithfully from Noisy Data
Google Research(谷歌研究院)
当训练数据丰富时,神经文本生成(数据或文本到文本)表现出显着的性能,而许多应用程序并非如此。为了收集大量的并行数据,通常使用启发式规则,但它们不可避免地将噪声带入数据中,例如输出中的短语无法由输入解释。因此,模型会接收到噪音,并可能产生幻觉-生成流畅但不受支持的文本。我们的贡献是一个简单但功能强大的技术来处理这样的幻觉作为一个可控的方面生成的文本,而不驳回任何输入,而不修改模型架构。在WikiBio语料库上(Lebret等人,2016),一个特别嘈杂的数据集,我们证明了该技术在自动和人工评估中的有效性。
2020-10-12 cs.CL
BOLT: Fast Energy-based Controlled Text Generation with Tunable Biases
University of Michigan(密歇根大学)
提出BOLT方法,通过可调偏置直接调整语言模型输出logits并保持自回归特性,在受控文本生成任务中实现更快的收敛速度与更高的生成效率及流畅性。
2023-05-19 cs.CL
Syntax Matters! Syntax-Controlled in Text Style Transfer
现有的文本样式转换(TST)方法依赖于样式分类器来解开文本的内容和样式属性,以进行文本样式转换。虽然风格分类器在现有的TST方法中起着至关重要的作用,但还没有关于其对TST方法的影响的已知调查。在本文中,我们进行了实证研究的局限性,在现有的TST方法中使用的风格分类。我们证明了现有的风格分类器不能有效地学习句子句法,并最终恶化现有的TST模型的性能。为了解决这个问题,我们提出了一种新的语法感知可控生成(SACG)模型,其中包括一个语法感知的风格分类器,确保学习风格的潜在表示有效地捕捉语法信息的TST。通过对两个流行的TST任务的广泛实验,我们表明,我们提出的方法显着优于国家的最先进的方法。我们的案例研究也证明了SACG生成流畅的目标风格的句子,保留了原始内容的能力。
2021-08-12 cs.CL
WikiIns: A High-Quality Dataset for Controlled Text Editing by Natural Language Instruction
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Center for Data Science, Peking University(北京大学数据科学中心);The MOE Key Laboratory of Computational Linguistics, Peking University(北京大学计算语言学教育部重点实验室);Schools of Electronic Engineering and Computer Science, Peking University(北京大学电子工程与计算机科学学院)
针对现有受控文本编辑数据集指令信息不足的问题,研究者构建并发布了高质量数据集WikiIns,包含多类标注数据及自动生成的大规模银标训练集,并开展了相关分析以助力文本编辑研究。
2023-10-08 cs.CL
Controlled Text Generation via Language Model Arithmetic
ETH Zurich(苏黎世联邦理工学院)
本研究提出无需训练的模型算术推理框架,可组合调控大语言模型实现精准受控文本生成,兼容推测采样实现高效推理,在毒性降低任务上性能优于现有方法并已开源。
2026-10-14 cs.CL
When Is 0.1% Enough? Analyzing the Combined Effects of Dimensionality Reduction and Quantization on Text Embedding Compression
Graduate School of Informatics, Nagoya University(名古屋大学信息学研究科)
本文系统研究了结合降维和量化方法压缩文本嵌入的效果,发现联合压缩可大幅减小嵌入尺寸(低至原始大小的0.1%)而几乎不损失性能,且最优策略因任务而异。
2026-10-21 cs.CL
Improving text classification with vectors of reduced precision
Jagiellonian University(雅盖隆大学);AGH University of Science and Technology(AGH科技大学);Academic Computer Centre CYFRONET(学术计算机中心CYFRONET)
分析了浮点数精度降低对文本分类质量的影响。表示数据的向量的精度降低(例如,在我们的情况下,TF-IDF表示)允许减少专用硬件平台上的计算时间和内存占用。使用4种不同的分类器,在5个语料库上进行了精度降低对分类质量的影响。此外,降维考虑。结果表明,精度降低提高了分类精度的大多数情况下(高达25%的错误减少)。一般来说,从64位减少到4位给出了最佳分数,并确保结果不会比全浮点表示更差。
2017-06-20 cs.CL
Sequentially Controlled Text Generation
Bloomberg(彭博)
虽然GPT-2生成的句子非常像人类,但较长的文档可能会漫无边际,并且不遵循类似人类的写作结构。我们研究的问题强加结构的长距离文本。我们提出了一种新的受控文本生成任务,顺序控制的文本生成,并确定一个数据集,NewsDiscourse作为这个任务的起点。我们开发了一个具有生成和编辑功能的顺序控制文本生成管道。我们测试不同程度的结构意识,并表明,在一般情况下,更多的结构意识的结果更高的控制准确性,语法,连贯性和话题性,接近人类水平的写作表现。
2023-01-05 cs.AI cs.CL cs.LG
Palette of Language Models: A Solver for Controlled Text Generation
China Mobile Research Institute(中国移动研究院)
针对多属性受控文本生成中线性组合单属性模型易忽视重叠并引发冲突的问题,提出基于全概率定律与条件互信息最小化的 Palette of Language Models 组合策略。
2025-03-14 cs.CL
Index-Translate: A Multilingual Translation Model Family -- Text, Speech, Controlled Dubbing, and Long-Document Translation
Index LLM Team(Index LLM 团队)
Index-Translate是一个多语言翻译模型家族,通过共享基础与专门训练结合,在通用、语音、配音和长文档翻译上达到前沿性能。
2026-10-14 cs.CL
CTRLEval: An Unsupervised Reference-Free Metric for Evaluating Controlled Text Generation
Tsinghua University(清华大学);Tencent Inc.(腾讯公司);Institute for AI Industry Research (AIR), Tsinghua University(清华大学智能产业研究院)
现有的无参考指标在评估受控文本生成模型时有明显的局限性。非监督度量只能提供与任务无关的评估结果,与人类判断弱相关,而监督度量可能过度拟合特定于任务的数据,对其他数据集的泛化能力较差。在本文中,我们提出了一个无监督的无参考度量称为CTRLEval,从不同的方面制定成多个文本填充任务的每个方面来评估控制的文本生成。在这些任务之上,度量从预训练的语言模型组装生成概率,而无需任何模型训练。实验结果表明,我们的度量有更高的相关性与人类的判断比其他基线,同时获得更好的泛化评估生成的文本从不同的模型和不同的质量。
2022-12-05 cs.AI cs.CL
Output Composability of QLoRA PEFT Modules for Plug-and-Play Attribute-Controlled Text Generation
ADAPT, Dublin City University Dublin, Ireland(ADAPT,都柏林城市大学都柏林,爱尔兰)
本文研究了通过多任务数据集训练、推理时组合PEFT模块权重及输出三种方法,发现输出求和在情感、主题和多属性控制中表现优异,平均提升2个百分点。
2026-05-12 cs.CL
Architecture of a Web-based Predictive Editor for Controlled Natural Language Processing
Macquarie University(麦考瑞大学)
在本文中,我们描述了一个基于Web的预测文本编辑器正在开发的控制自然语言彭$^{ASP)$的体系结构。这种受控语言可用于编写非单调规范,其表达能力与答案集程序相同。为了支持这些规范的编写过程,预测文本编辑器与受控的自然语言处理器异步通信,该受控的自然语言处理器为规范文本的作者生成先行类别和附加辅助信息。文本编辑器可以为不同的可能的句子完成、照应表达式同时显示多组先行类别,并支持向词典中添加新的内容词。
2014-06-27 cs.AI cs.CL
German4All -- A Dataset and Model for Readability-Controlled Paraphrasing in German
Technical University of Munich(慕尼黑技术大学)
本文构建涵盖五个可读性层级、逾25,000个样本的德语段落级改写数据集 German4All,并训练开源模型,实现面向不同读者的最先进德语文本简化。
2025-08-29 cs.CL
Text Classification with Few Examples using Controlled Generalization
Google(谷歌);Pinterest;UPenn(宾夕法尼亚大学)
用于文本分类的训练数据在实际应用中往往是有限的,特别是对于具有许多输出类或涉及许多相关分类问题的应用。这意味着分类器必须从有限的证据中进行归纳,但归纳的方式和程度取决于任务。目前的实践主要依赖于预训练的词嵌入来将训练中未看到的词映射到类似的已看到的词。不幸的是,这将意义的许多组成部分压缩成高度有限的能力。我们的替代方案从未标记的解析语料库中获得的稀疏预训练表示开始;基于可用的训练数据,我们选择提供相关概括的特征。这产生了特定于任务的语义向量;在这里,我们表明,与现有的最先进的方法相比,这些向量上的前馈网络在低数据场景中特别有效。通过将该网络与卷积神经网络进一步配对,我们在低数据场景中保持了这种优势,并在使用完整训练集时保持竞争力。
2020-05-18 cs.CL
Tailor: A Prompt-Based Approach to Attribute-Based Controlled Text Generation
National University of Singapore(新加坡国立大学);Alibaba Group(阿里巴巴集团)
基于属性的受控文本生成(CTG)是指生成满足期望属性(例如,情感和主题)。现有的作品往往利用微调或诉诸额外的属性分类器,但遭受存储和推理时间的增加。为了解决这些问题,我们探索基于属性的CTG在一个基于属性的方式。简而言之,所提出的Tailor将每个属性表示为预先训练的连续向量(即,单属性提示),并引导生成固定的PLM开关到预先指定的属性。我们的实验发现,这些提示可以简单地连接作为一个整体,多属性CTG没有任何重新训练,但提出的问题,流畅性下降和位置敏感性。为此,Tailor提供了一个多属性提示掩码和一个重新索引的位置ID序列,以弥合训练(每个任务一个提示)和测试阶段(连接多个提示)之间的差距。为了进一步增强这种单属性提示组合,Tailor还引入了一个可训练的提示连接器,它可以与任何两个单属性提示连接到多属性文本生成。在GPT-2的训练参数为0.08%的情况下,对11个属性特定生成任务的实验表明,Tailor在单属性和多属性CTG上都有很好的性能.
2022-04-28 cs.CL
A Comparative Analysis of Noise Reduction Methods in Sentiment Analysis on Noisy Bangla Texts
Ahsanullah University of Science and Technology(阿赫萨努拉科技大学)
该研究针对含噪孟加拉语文本情感分析研究匮乏的问题,构建了标注10类噪声的NC-SentNoB数据集,提出多标签噪声分类与基线降噪方法,实验发现现有降噪方法效果不佳,为后续研究提供了基准与数据支撑。
2024-01-29 cs.CL
A Comparative Study of Controlled Text Generation Systems Using Level-Playing-Field Evaluation Principles
Dublin City University(都柏林城市大学)
本文通过统一评估方法比较不同受控文本生成系统,发现其性能差异显著,强调标准化评估的重要性。
2026-05-12 cs.CL
An Invariant Learning Characterization of Controlled Text Generation
Columbia University(哥伦比亚大学);FAR AI(FAR AI研究院)
本文将分布偏移下的受控文本生成刻画为不变学习问题,提出跨文本环境保持不变的预测器及环境选择启发式,并通过合成与真实实验验证其潜力。
2023-05-31 cs.CL cs.LG
FUDGE: Controlled Text Generation With Future Discriminators
UC Berkeley(加州大学伯克利分校)
我们提出了未来的鉴别器生成(FUDGE),一个灵活的和模块化的方法控制的文本生成。给定用于从兴趣分布生成文本的预先存在的模型G,FUDGE使得能够对期望的属性a(例如,形式)进行调节,同时仅需要访问G的输出logits。FUDGE学习对部分序列进行操作的属性预测器,并使用该预测器的输出来调整G的原始概率。我们表明,FUDGE模型的条款对应的贝叶斯分解的条件分布的G给定属性a。此外,FUDGE可以很容易地组成多个所需的属性的预测。我们在三个任务上评估FUDGE--诗歌中的对联完成,语言生成中的主题控制,以及机器翻译中的形式变化--并观察所有三个任务的收益。
2021-08-15 cs.CL cs.LG
Fact-Controlled Diagnosis of Hallucinations in Medical Text Summarization
AmazonUSA(亚马逊公司)
本文针对医疗对话摘要中的幻觉问题,构建了事实控制与自然两类数据集,开发了基于事实计数且具可解释性的LLM检测器,有效泛化至真实临床幻觉检测。
2025-05-31 cs.CL
Controlled Text Generation using T5 based Encoder-Decoder Soft Prompt Tuning and Analysis of the Utility of Generated Text in AI
Queen Mary University of London(伦敦玛丽女王大学)
受控文本生成是自然语言处理领域的一个重要课题,具有广阔的应用前景。为了实现这一任务,我们主要介绍了新的软提示微调的方法,使用软提示在编码器和解码器的水平在T5模型和研究的性能作为一个额外的软提示的行为相关的T5模型的解码器在受控文本生成仍然是未知的。然后,我们还研究了在解码器级别引导这种扩展的软提示T5模型的输出的可行性,最后分析了生成的文本在AI相关任务中的实用性,例如通过对用合成文本训练的分类器进行可解释性分析来训练AI模型,因为缺乏对生成正确标记的数据的方法的适当分析,这些数据将用于AI任务。通过对该生成模型以及人工生成的数据进行深入的内在和外在评估,我们发现,与在编码器级别具有单个软提示的T5模型相比,该模型产生了更好的结果,并且使用该人工生成的数据训练的情感分类器可以产生与使用真实标记数据训练的分类器的结果相当的分类结果,并且分类器该决定相对于输入文本内容是可解释的。
2022-12-06 cs.CL cs.LG
ToTTo: A Controlled Table-To-Text Generation Dataset
Google Research(谷歌研究院);Carnegie Mellon University(卡内基梅隆大学);Georgia Tech(佐治亚理工学院)
我们提出了ToTTo,一个开放领域的英语表到文本数据集,有超过120,000个训练样本,提出了一个控制生成任务:给定一个维基百科表和一组突出显示的表单元格,产生一个句子的描述。为了获得生成的目标是自然的,但也忠实于源表,我们引入了一个数据集的建设过程中,注释者直接修改现有的候选句子从维基百科。我们对我们的数据集和注释过程进行了系统的分析,以及通过几个最先进的基线实现的结果。虽然通常很流畅,但现有的方法经常会出现表格不支持的短语,这表明该数据集可以作为高精度条件文本生成的有用研究基准。
2020-10-06 cs.CL cs.LG
CREATER: CTR-driven Advertising Text Generation with Controlled Pre-Training and Contrastive Fine-Tuning
Alibaba Group(阿里巴巴集团)
本文主要研究广告文本的自动生成,目标是使生成的文本能够捕捉用户的兴趣,从而获得更高的点击率。我们提出了CREATER,一个点击率驱动的广告文本生成方法,基于高质量的用户评论生成广告文本。为了融入CTR目标,我们的模型使用对比学习从在线A/B测试数据中学习,这鼓励模型生成获得更高CTR的广告文本。为了缓解低资源问题,我们设计了一个自定义的自监督目标,减少了预训练和微调之间的差距。在工业数据集上的实验表明,CREATER显著优于当前的方法。它已被部署在一个领先的广告平台上,并带来了核心在线指标的提升。
2022-05-18 cs.CL cs.IR
Efficient Reinforcement Learning for Unsupervised Controlled Text Generation
受控文本生成任务,如无监督文本风格转换,越来越多地采用强化学习(RL)。将RL应用于此类任务的一个主要挑战是稀疏奖励,只有在生成全文后才可用。稀疏的奖励,加上大的动作空间,使得RL训练样本效率低下,难以收敛。最近提出的旨在解决这一问题的奖励形成战略所取得的成果微不足道。相比之下,这项工作提出了一种新的方法,为每个生成的令牌提供密集的奖励。我们评估我们的方法在无监督的文本风格转移的使用。在数据集上平均,我们的风格转换系统在当前最先进的系统上提高了21%的人工评估和12%的自动评估。在与当前的奖励塑造方法(“推出策略”)进行消融比较后,基于人类评估,使用密集奖励将整体风格转移质量提高了22%。此外,RL训练是样本效率的2.5倍,速度快7倍。
2022-04-16 cs.AI cs.CL
PCFG-based Natural Language Interface Improves Generalization for Controlled Text Generation
Johns Hopkins University(约翰斯·霍普金斯大学);MIT(麻省理工学院);University of Washington(华盛顿大学)
现有的工作控制文本生成(CTG)假设一个控制接口的分类属性。在这项工作中,我们提出了一个自然语言(NL)的接口,我们工艺PCFG嵌入控制属性到自然语言命令,并提出了现有的CTG模型,以命令作为输入的变体。在我们的实验中,我们设计了定制的设置来测试模型的泛化能力。我们发现我们的基于PCFG的命令生成方法是有效的处理看不见的命令相比,固定设置的模板,我们提出的NL模型可以有效地推广到看不见的属性,NL接口启用的新功能,以及看不见的属性组合。有趣的是,我们发现,简单的条件生成方法,增强了我们提出的NL接口,是一个强大的基线,在这些具有挑战性的设置。
2022-10-14 cs.CL cs.LG
Fine-grained Sentiment Controlled Text Generation
IIT Kharagpur(印度理工学院卡拉格布尔分校)
受控文本生成技术旨在调节特定属性(例如情感),同时保留属性独立内容。最先进的方法将指定属性建模为结构化或离散表示,同时使内容表示独立于它以实现更好的控制。然而,将文本表示分解为单独的潜在空间忽略了内容和属性之间的复杂依赖关系,导致生成结构不良且没有意义的句子。此外,这种方法无法对属性变化的程度提供更精细的控制。为了解决这些问题的控制文本生成,在本文中,我们提出了DE-VAE,一个分层的框架,捕获信息丰富的纠缠表示和属性特定的解纠缠表示在不同的层次结构。DE-VAE实现了更好地控制情感作为一个属性,同时通过学习一个合适的无损转换网络从解纠缠的情感空间到所需的纠缠表示保留内容。DE-VAE通过对解纠缠表示的单个维度进行特征监督,将情感的变化映射到一个连续的空间,这有助于平滑地调节情感从积极到消极,反之亦然。在三个公开的评论数据集上的详细实验表明,DE-VAE优于最近的最先进的方法。
2020-06-17 cs.CL cs.LG
Detecting covariate drift in text data using document embeddings and dimensionality reduction
本文研究TF-IDF、Doc2Vec和BERT等文档嵌入结合LSA、PCA降维及KS、MMD检测方法在文本协变量漂移检测中的效果,发现特定组合表现更优,为提升文本分析模型可靠性提供依据。
2023-09-17 cs.CL cs.LG
STA: Self-controlled Text Augmentation for Improving Text Classifications
University College Dublin(都柏林大学);Huawei Ireland Research Centre(华为爱尔兰研究中心)
尽管最近在机器学习方面取得了进展,但许多任务仍然涉及在低数据状态下工作,这可能使解决自然语言问题变得困难。最近,在自然语言处理(NLP)领域出现了许多文本增强技术,这些技术可以用新的示例来丰富训练数据,尽管它们并非没有警告。例如,简单的基于规则的探试法是有效的,但缺乏相对于原始文本的语义内容和句法结构的变化。另一方面,更复杂的深度学习方法可能会导致文本内在含义的极端变化,并将不必要的噪声引入训练数据中。为了更可靠地控制增强示例的质量,我们引入了一种最先进的自控文本增强(STA)方法。我们的方法严格控制的生成过程中,通过引入一个自我检查的过程,以确保生成的例子保留原始文本的语义内容。多个基准测试数据集上的实验结果表明,STA大大优于现有的国家的最先进的技术,而定性分析表明,生成的例子都是词汇多样性和语义可靠。
2023-02-24 cs.AI cs.CL cs.LG
Controlled Text Generation for Data Augmentation in Intelligent Artificial Agents
Amazon Alexa AI(亚马逊Alexa AI)
数据可用性是智能人工代理新功能开发早期阶段的瓶颈。我们研究使用文本生成技术来增加训练数据的一个流行的商业人工代理跨类别的功能,以更快地开发新的功能的目标。我们探索了各种编码器-解码器生成模型的合成训练数据生成,并提出使用条件变分自动编码器。我们的方法只需要直接优化,工程以及有限的数据和显着优于以前的控制文本生成技术。此外,生成的数据被用作额外的训练样本在一个外在的意图分类任务,导致提高性能高达5\%的绝对f分数在低资源的情况下,验证我们的方法的有用性。
2019-10-04 cs.CL cs.LG stat.ML
C$^3$TG: Conflict-aware, Composite, and Collaborative Controlled Text Generation
针对现有可控文本生成方法多属性控制难、属性冲突无协调、缺迭代优化的问题,本文提出两阶段框架C$^3$TG,无需修改模型即可实现多维度精准文本控制,多项指标优于基线。
2025-11-16 cs.AI cs.CL
Controlled Text Generation with Hidden Representation Transformations
University of California, Los Angeles(加州大学洛杉矶分校);Amazon Alexa AI(亚马逊Alexa人工智能);University of Southern California(南加州大学)
本文提出 CHRT 框架,通过学习隐藏表示变换并结合对比学习实现多属性受控文本生成,在去毒化、情感引导和文本简化任务中优于七个基线,且推理延迟仅增加 0.01 秒。
2023-05-31 cs.AI cs.CL
Syntactic Complexity Identification, Measurement, and Reduction Through Controlled Syntactic Simplification
The Australian National University(澳大利亚国立大学)
本文提出基于句法依存和三元组事实信息的受控句法简化方法,用于识别、度量并降低复合句与复杂句的句法复杂度,同时保留原始措辞以避免知识图谱构建中的信息丢失。
2023-04-16 cs.CL cs.IR
Instruct-SCTG: Guiding Sequential Controlled Text Generation through Instructions
University of Cambridge(剑桥大学);Monash University(莫纳什大学)
针对大语言模型生成文本难维持类人语篇结构的问题,提出序列式框架Instruct-SCTG,通过自然语言指令逐节生成结构连贯的文本,还提出语篇差异模糊衡量指标,在多数据集上实现最优性能。
2023-12-19 cs.AI cs.CL
CoCon: A Self-Supervised Approach for Controlled Text Generation
Nanyang Technological University(南洋理工大学);Amazon AI(亚马逊人工智能);Mila(米拉研究所);Polytechnique Montreal(蒙特利尔理工学院)
预训练的基于transformer的语言模型(LM)显示出卓越的自然语言生成能力。由于其巨大的潜力,控制这种LM的文本生成越来越受到关注。虽然有一些研究试图控制生成文本的高级属性(如情感和主题),但仍然缺乏对单词和短语级别的内容进行更精确的控制。在这里,我们建议内容调节器(CoCon)控制LM的输出文本与内容输入,在细粒度的水平。在我们的自我监督方法中,CoCon块通过调节LM保留的内容输入来学习帮助LM完成部分观察到的文本序列。通过实验,我们表明,CoCon可以自然地将目标内容纳入生成的文本和控制高层次的文本属性在一个zero-shot的方式。
2022-06-10 cs.CL cs.LG cs.NE
Controlled Cue Generation for Play Scripts
Boğaziçi University(海峡大学)
在本文中,我们使用了一个大规模的剧本数据集,提出了一个新的任务,戏剧线索生成的对话。使用超过100万行的对话和线索,我们接近的问题,线索生成作为一个受控的文本生成任务,并显示如何线索可以用来提高对话的影响,使用一个语言模型的条件下的对话/线索转换。此外,我们还探讨了主题关键字和情感的使用控制文本生成。大量的定量和定性实验表明,语言模型可以成功地用于生成合理的和属性控制的文本在高度专业化的领域,如剧本。辅助材料可在https://catlab-team.github.io/cuegen上找到。
2021-12-13 cs.AI cs.CL cs.LG
A Distributional Approach to Controlled Text Generation
Cairo University(开罗大学);Naver Labs Europe(NAVER欧洲实验室)
我们提出了一个分布式的方法来解决控制文本生成从预先训练的语言模型(LM)。这种方法允许指定,在一个单一的正式框架中,“逐点”和“分布”的约束,在目标LM -据我们所知,第一个模型与这种一般性-同时最大限度地减少KL发散从初始LM分布。最佳的目标分布,然后唯一地确定为一个明确的EBM(基于能量的模型)表示。从该最佳表示,然后我们通过策略梯度的自适应分布变体来训练目标控制的自回归LM。我们进行了第一组实验,逐点约束显示我们的方法的优势,在一组基线,在获得控制LM平衡约束满足与初始LM的发散。然后,我们进行实验的分布约束,我们的方法的一个独特的功能,证明其潜力作为一个补救措施的偏差问题的语言模型。通过消融研究,我们表明我们的自适应技术的有效性,以获得更快的收敛。(Code网址:https://github.com/naver/gdc)
2021-05-06 cs.AI cs.CL cs.LG
Toward Controlled Generation of Text
Carnegie Mellon University(卡内基梅隆大学);Petuum, Inc.(Petuum公司)
文本的通用生成和操作是具有挑战性的,并且与最近在视觉领域中的深度生成建模相比,成功有限。本文旨在生成合理的自然语言句子,其属性是动态控制的学习解开潜在表示指定的语义。我们提出了一个新的神经生成模型,它结合了变分自动编码器和整体属性判别器,有效地施加语义结构。通过对离散文本样本的可微近似,对独立属性控制的明确约束以及生成器和判别器的高效协作学习,我们的模型甚至只从单词注释中学习高度可解释的表示,并生成具有所需属性的逼真句子。定量评估验证了句子和属性生成的准确性。
2018-09-13 cs.AI cs.CL cs.LG
Transforming Delete, Retrieve, Generate Approach for Controlled Text Style Transfer
Agara(阿加拉)
文本风格转换是指在保持文本内容或非风格信息的同时,转换具有一定风格属性的文本的风格。在这项工作中,我们介绍了生成风格Transformer(GST)-一种新的方法来重写句子的目标风格在没有平行的风格语料库。GST利用了大型无监督预训练语言模型和Transformer的强大功能。GST是一个更大的“删除样式生成”框架的一部分,在该框架中,我们还提出了一种新的方法,通过利用Transformer的内部工作原理从源语句中删除样式属性。我们的模型在情感,性别和政治倾向转移的5个数据集上优于最先进的系统。我们还建议使用GLEU指标作为评估风格转移的自动指标,我们发现它比主要使用的BLEU分数更好地与人类评级进行比较。
2019-08-25 cs.CL cs.LG
A Plug-and-Play Method for Controlled Text Generation
ETH Zürich(苏黎世联邦理工学院);University of Cambridge(剑桥大学)
大型预训练的语言模型已经多次显示出它们生成流畅文本的能力。然而,即使从一个提示开始,生成也可以朝着许多看似合理的方向继续。当前的解码方法的目标是控制生成,例如,为了确保包括特定的单词,或者需要额外的模型或微调,或者当手头的任务在语义上不受约束时工作不佳,例如,故事世代在这项工作中,我们提出了一种即插即用的解码方法,用于控制语言生成,这是如此简单和直观,它可以用一句话来描述:给定一个主题或关键字,我们增加了一个转移到概率分布在我们的词汇语义相似的话。我们展示了如何退火这种分布可以用来强加硬约束语言生成,没有其他的即插即用的方法是目前能够与SOTA语言生成器。尽管这种方法很简单,但我们看到它在实践中表现得非常好:从GPT-2解码可以产生多样化和流畅的句子,同时保证给定引导词的外观。我们进行了两项用户研究,结果表明:(1)我们的方法在人类评估中优于竞争方法;(2)强制引导词出现在生成的文本中对生成的文本的流畅性没有影响。
2021-09-20 cs.AI cs.CL
A Lightweight Multi Aspect Controlled Text Generation Solution For Large Language Models
Tongji University(同济大学)
本文提出基于数据增强的轻量级多属性可控文本生成流程,通过缓解传统数据集偏差与属性相关性,使大语言模型经指令微调后在MCTG任务上准确率提升20%。
2024-10-18 cs.AI cs.CL
Visual Spatial Description: Controlled Spatial-Oriented Image-to-Text Generation
Tianjin University(天津大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
图像到文本的任务,如开放式的图像描述和可控的图像描述,几十年来一直受到广泛的关注。在这里,我们进一步推进这一行的工作,提出视觉空间描述(VSD),一个新的角度,图像到文本的空间语义。给定一个图像和其中的两个对象,VSD的目标是产生一个描述,专注于两个对象之间的空间透视。因此,我们手动注释数据集,以方便新引入的任务的调查,并通过使用VL-BART和VL-T5作为骨干构建几个基准编码器-解码器模型。此外,我们调查管道和联合端到端架构,将视觉空间关系分类(VSRC)的信息到我们的模型。最后,我们在基准数据集上进行实验,以评估我们所有的模型。结果表明,我们的模型是令人印象深刻的,提供准确的和人性化的面向空间的文本描述。同时,VSRC对VSD也有很大的潜力,端到端的联合架构是它们集成的较好选择。我们将数据集和代码公开用于研究目的。
2022-10-26 cs.CL cs.CV
Controlled Generation for Private Synthetic Text
Johns Hopkins University(约翰霍普金斯大学)
针对高风险领域文本隐私保护需求,提出结合去标识化与HIPS理论、带实体感知控制码的可控合成文本生成方法,经法律和临床数据集验证,在隐私与效用间实现良好平衡。
2025-09-30 cs.AI cs.CL cs.LG
Isochrony-Controlled Speech-to-Text Translation: A study on translating from Sino-Tibetan to Indo-European Languages
本文提出一种等时性控制的端到端语音翻译方法,通过向解码器提供时间信息以预测语音和停顿时长,实现翻译时长与源音频的严格对齐,在CoVoST 2上取得了高语音重叠率且BLEU仅微降。
2024-11-11 cs.CL eess.AS
Attempto Controlled English (ACE)
尝试控制英语(ACE)允许领域专家交互式地制定领域概念中的需求规范。ACE可以被计算机准确和有效地处理,但表达力足以让自然使用。Attempto系统将ACE中的规范文本翻译成话语表示结构,并可选地翻译成Prolog。翻译后的规范文本被逐步添加到知识库中。该知识库可以在ACE中查询以进行验证,并且可以执行该知识库以进行仿真、原型设计和规范验证。
1996-03-13 cmp-lg cs.CL