The SelectGen Challenge: Finding the Best Training Samples for Few-Shot Neural Text Generation
Saarland University（萨尔兰大学）；Microsoft Corporation（微软公司）
我们提出了一个共享的任务训练实例选择Few-Shot神经文本生成。大规模的预训练语言模型在Few-Shot文本生成方面取得了巨大的进步。尽管如此，几乎所有以前的工作只是简单地应用随机采样来选择Few-Shot训练实例。很少或根本没有注意到选择策略以及它们如何影响模型性能。选择策略的研究可以帮助我们（1）在下游任务中充分利用我们的注释预算，（2）更好地基准测试Few-Shot文本生成模型。我们欢迎提交，介绍他们的选择策略和对一代质量的影响。
2021-08-14 cs.CL
Enhancing Biomedical Text Summarization and Question-Answering: On the Utility of Domain-Specific Pre-Training
University of Technology Sydney（悉尼科技大学）
本文研究生物医学摘要任务中的预训练策略，发现通用领域预训练加任务微调优于领域内预训练，并提出仅需千例样本的三步微调方法，证明无领域预训练的大语言模型在特定生物医学文本生成中更具优势。
2023-07-10 cs.CL
Unsupervised Pidgin Text Generation By Pivoting English Data and Self-Training
Saarland University（萨尔兰大学）；Saarland Informatics Campus（萨尔兰信息学园区）
西非洋泾浜英语（英语：West African Pidgin English）是一种在西非使用的语言，至少有7500万人使用。然而，实际上缺乏适当的机器翻译系统和洋泾浜英语的相关NLP数据集。在这项工作中，我们开发的技术，旨在弥合洋泾浜英语和英语之间的差距，在自然语言生成的背景下。%作为概念的证明，我们探讨了在数据到文本生成领域提出的技术。通过建立在以前发布的单语洋泾浜英语文本和平行的英语数据到文本语料库，我们希望建立一个系统，可以自动生成洋泾浜英语描述结构化数据。我们首先训练一个数据到英语的文本生成系统，然后采用无监督神经机器翻译和自训练技术来建立洋泾浜到英语的跨语言对齐。对生成的洋泾浜文本进行的人类评价表明，尽管离实际使用还很远，但旋转+自我训练技术提高了洋泾浜文本的流畅性和相关性。
2021-04-27 cs.CL
Self-supervised Graph Masking Pre-training for Graph-to-Text Generation
Monash University（莫纳什大学）
大规模预训练的语言模型（PLM）通过处理图的线性化版本而具有高级的图到文本（G2 T）生成。然而，已知线性化忽略结构信息。此外，PLM通常在自由文本上进行预训练，这会在预训练和下游G2 T生成任务之间引入域不匹配。为了解决这些缺点，我们提出了图掩蔽预训练策略，既不需要监督信号，也不需要调整底层预训练编码器-解码器模型的架构。当与预训练的T5一起使用时，我们的方法在WebNLG+2020和EventNarrative G2 T生成数据集上获得了最新的结果。我们的方法在低资源环境中也非常有效。
2022-10-19 cs.CL
Pre-training for Abstractive Document Summarization by Reinstating Source Text
StatNLP Research Group, Singapore University of Technology and Design（新加坡科技设计大学StatNLP研究组）；Microsoft Research Asia, Beijing, China（微软亚洲研究院，北京）
摘要文档摘要通常被建模为序列到序列（Seq 2Seq）学习问题。不幸的是，在有限的监督摘要数据上训练基于Seq 2Seq的大型摘要模型是具有挑战性的。本文提出了三个预训练目标，使我们能够在未标记文本上预训练基于Seq 2Seq的抽象摘要模型。其主要思想是，给定从文档人工构建的输入文本，预先训练模型以恢复原始文档。这些目标包括句子重排、下一句生成和屏蔽文档生成，这些目标与摘要文档摘要任务有着密切的关系。在两个基准摘要数据集上的实验（即，CNN/DailyMail和纽约时报）表明，所有这三个目标都可以提高基线的性能。与在大规模数据（超过160 GB）上预训练的模型相比，我们的方法仅用19 GB的文本进行预训练，就取得了相当的结果，这证明了它的有效性。
2020-10-11 cs.CL
Faithful Low-Resource Data-to-Text Generation through Cycle Training
Amazon（亚马逊）；Texas A&M University（得克萨斯农工大学）
本文提出用互为逆映射的数据到文本与文本到数据模型进行循环训练，仅以100个监督样本初始化，即可在多个基准上接近全监督性能并提升生成忠实性。
2023-07-11 cs.CL
Can Diffusion Model Achieve Better Performance in Text Generation? Bridging the Gap between Training and Inference!
Soochow University（苏州大学）
本文针对扩散模型在文本生成中训练与推理不一致的问题，提出距离惩罚和自适应衰减采样两种方法，在6个任务上实现100-200倍加速且性能更优。
2023-05-08 cs.CL
MOCHA: A Multi-Task Training Approach for Coherent Text Generation from Cognitive Perspective
Baidu Inc（百度公司）；University of Macau（澳门大学）；Virginia Tech（弗吉尼亚理工大学）
教神经模型生成叙事连贯文本是一个关键问题。最近的预训练语言模型已经取得了可喜的成果，但人类书面文本和机器生成的输出之间仍然存在差距。在这项工作中，我们提出了一种新的多任务训练策略，连贯的文本生成的认知理论的基础上，这使得该模型学习必要的写作所需的子技能，包括规划和审查，除了端到端的生成。我们广泛评估我们的模型上的三个开放式生成任务，包括故事生成，新闻文章写作和论点生成。实验表明，我们的模型在Few-Shot和全监督设置上都比强基线获得了更好的结果，人工评估证实我们的模型可以生成更连贯的输出。
2022-10-26 cs.CL
Neural Data-to-Text Generation with LM-based Text Augmentation
Saarland University（萨尔大学）；Amazon Alexa AI（亚马逊Alexa人工智能）；Tencent Inc（腾讯公司）
对于许多新的数据到文本生成的应用领域，训练神经模型的主要障碍包括缺乏训练数据。虽然数据端通常有大量的实例可用，但通常只有很少的文本样本可用。为了解决这个问题，我们在这里提出了一种新的Few-Shot方法。我们的方法通过以下方式自动增加可用于训练的数据：（i）基于将特定值替换为来自同一类别的替代值来生成新的文本样本，（ii）基于GPT-2生成新的文本样本，以及（iii）提出一种将新的文本样本与数据样本配对的自动方法。由于文本增强可能会将噪声引入到训练数据中，因此我们使用循环一致性作为目标，以确保给定的数据样本在被公式化为文本之后可以正确地重建（并且可以从数据重建文本样本）。在E2 E和WebNLG的基准测试中，我们证明了这种弱监督训练范式能够优于具有不到10%注释的完全监督seq 2seq模型。通过利用所有带注释的数据，我们的模型可以将标准seq 2seq模型的性能提高5个BLEU点以上，在两个数据集上建立新的最新技术水平。
2021-02-06 cs.CL
KEST: Kernel Distance Based Efficient Self-Training for Improving Controllable Text Generation
The University of British Columbia（不列颠哥伦比亚大学）；Microsoft Research Asia（微软亚洲研究院）
提出KEST自训练框架，采用基于核的损失和非自回归生成器，高效利用多样化伪文本，提升可控文本生成的控制精度并保持流畅性与多样性。
2023-06-17 cs.CL
FAST: Improving Controllability for Text Generation with Feedback Aware Self-Training
Microsoft Corporation（微软公司）
可控文本生成系统通常利用控制代码来指导输出的各种属性，如样式和长度。受NLP因果推理的启发，本文揭示了这些基于控制码的条件文本生成算法中以前被忽视的缺陷。训练数据中的虚假相关性会导致模型错误地依赖于输入的部分而不是控制代码来进行属性选择，从而显著破坏下游生成质量和可控性。我们通过一系列案例研究证明了这个问题的严重性，然后提出了两种简单的技术来减少训练集中的这些相关性。第一种技术是基于根据示例对每个语言属性（IPS）的倾向来重新排列数据。第二种方法产生每个例子的多个反事实版本，然后使用额外的反馈机制来去除噪声例子（反馈感知自我训练，FAST）。我们对3个任务进行了评估-新闻标题，元评论和搜索广告生成-并证明与最先进的可控文本生成方法相比，FAST可以显着提高生成输出的可控性和语言质量。
2022-10-06 cs.CL
ARAML: A Stable Adversarial Training Framework for Text Generation
Institute for Artificial Intelligence（人工智能研究院）；State Key Lab of Intelligent Technology and Systems（智能技术与系统国家重点实验室）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）
现有的用于文本生成的生成对抗网络（GAN）大多存在策略梯度等强化学习训练算法不稳定的问题，导致性能不稳定。为了解决这个问题，我们提出了一个新的框架，称为对抗性奖励增强最大似然（ARAML）。在对抗性训练期间，训练器将奖励分配给从数据附近的静态分布而不是生成器分布中获取的样本。该生成器是最优化的最大似然估计增强的最大似然的奖励，而不是策略梯度。实验表明，我们的模型可以比最先进的文本GANs具有更稳定的训练过程。
2019-08-20 cs.CL cs.LG
CREATER: CTR-driven Advertising Text Generation with Controlled Pre-Training and Contrastive Fine-Tuning
Alibaba Group（阿里巴巴集团）
本文主要研究广告文本的自动生成，目标是使生成的文本能够捕捉用户的兴趣，从而获得更高的点击率。我们提出了CREATER，一个点击率驱动的广告文本生成方法，基于高质量的用户评论生成广告文本。为了融入CTR目标，我们的模型使用对比学习从在线A/B测试数据中学习，这鼓励模型生成获得更高CTR的广告文本。为了缓解低资源问题，我们设计了一个自定义的自监督目标，减少了预训练和微调之间的差距。在工业数据集上的实验表明，CREATER显著优于当前的方法。它已被部署在一个领先的广告平台上，并带来了核心在线指标的提升。
2022-05-18 cs.CL cs.IR
VideoOFA: Two-Stage Pre-Training for Video-to-Text Generation
Meta AI
本研究提出新型两阶段预训练框架VideoOFA，先通过图文数据预训练学习基础视觉-语言概念，再经视频文本预训练适配视频专属技能，在多个视频字幕和问答基准上取得优于现有模型的性能，展现强泛化能力。
2023-05-04 cs.CL cs.CV
Table-To-Text generation and pre-training with TabT5
Google Research（谷歌研究院）
仅编码器的Transformer模型已经成功地应用于不同的表理解任务，如在TAPAS（Herzig等人，2020年）。这些架构的一个主要限制是，它们被约束到分类类任务，如细胞选择或蕴涵检测。我们提出了TABT 5，一个编码器-解码器模型，它根据表格和文本输入生成自然语言文本。TABT 5通过合并解码器组件克服了仅编码器的限制，并利用具有表特定嵌入和预训练的输入结构。TABT 5在多个领域取得了最新的成果，包括电子表格公式预测的序列准确性提高了15%，QA的序列准确性提高了2.5%，数据到文本的生成在BLEU中提高了2.5%。
2022-10-17 cs.CL cs.LG
On Training Instance Selection for Few-Shot Neural Text Generation
Saarland University（萨尔大学）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
大规模预训练的语言模型在文本生成方面取得了巨大的进步。通过仅对少量实例进行微调（Few-Shot设置），可以实现令人印象深刻的性能。尽管如此，几乎所有以前的工作只是简单地应用随机采样来选择Few-Shot训练实例。很少或根本没有注意到选择策略以及它们如何影响模型性能。在这项工作中，我们提出了一个在Few-Shot神经文本生成的训练实例选择的研究。选择决策仅基于未标记的数据，以便在一定的标记成本预算下识别最值得注释的数据点。基于Few-Shot训练样本应该具有多样性并代表整个数据分布的直觉，我们提出了一种简单的K均值聚类选择策略。我们表明，即使与天真的基于聚类的方法，生成模型始终优于随机抽样的三个文本生成任务：数据到文本生成，文档摘要和问题生成。我们希望，这项工作将呼吁更多地关注这一基本上未经探索的领域。
2021-07-07 cs.CL cs.LG
Collaborative Training of GANs in Continuous and Discrete Spaces for Text Generation
Seoul National University（首尔国立大学）；Adobe Research（奥多比研究院）
由于语言的离散性，将生成对抗网络（GANs）应用于文本相关任务具有挑战性。一系列研究通过采用强化学习（RL）并直接在离散动作空间中优化下一个词的采样策略来解决这个问题。这种方法从完整的句子中计算奖励，避免了由于暴露偏差而导致的错误积累。其他方法采用近似技术，将文本映射到连续表示，以规避不可微的离散过程。特别是，基于自动编码器的方法有效地产生鲁棒的表示，可以模拟复杂的离散结构。在本文中，我们提出了一种新的文本GAN架构，促进连续空间和离散空间方法的协同训练。我们的方法采用自动编码器来学习隐式数据流形，为连续空间中的对抗训练提供学习目标。此外，完整的文本输出直接评估和更新通过RL在离散空间。两种对抗训练之间的协作相互作用有效地规范了不同空间中的文本表示。在三个标准基准数据集上的实验结果表明，我们的模型在质量，多样性和全局一致性方面大大优于最先进的文本GANs。
2020-11-04 cs.AI cs.CL cs.LG
F10-SGD: Fast Training of Elastic-net Linear Models for Text Classification and Named-entity Recognition
Amazon（亚马逊）；Alexa Machine Learning（Alexa机器学习）
语音助理文本分类和命名实体识别（NER）模型是在数百万个示例话语上训练的。由于数据量大，训练时间长是发布改进模型的瓶颈之一。在这项工作中，我们开发了F10-SGD，这是一种用于文本分类和NER弹性网络线性模型的快速优化器。在内部数据集上，与OWL-QN优化器相比，F10-SGD提供了4倍的训练时间减少，而不会损失准确性或增加模型大小。此外，我们还采用了有偏采样，在训练结束时优先考虑较难的示例。因此，除了更快的训练外，我们还能够获得NER的统计学显着准确性提高。在公共数据集上，F10-SGD在文本分类方面的训练时间比FastText快22%。而且，与用于NER的CRFSuite OWL-QN相比，训练时间减少了4倍。
2019-02-27 cs.CL
Text-Centric Post-Training for Omni-Modal Reasoning
Shanghai Jiao Tong University（上海交通大学）
针对Omni大模型音视频推理成本高且感知与推理解耦的问题，提出以文本为中心的后训练范式：纯文本训练优化推理，减少数据的音视频RL细化感知，在显著降低算力与数据需求的同时，大幅提升推理并保持感知。
2026-10-05 cs.CL
Unified Speech-Text Pre-training for Speech Translation and Recognition
Meta AI
我们描述了一种方法，联合预训练语音和文本的编码器-解码器建模框架的语音翻译和识别。该方法结合了四个自我监督和监督的子任务的跨模态学习。自监督语音子任务利用未标记的语音数据，并且（自）监督文本到文本子任务利用丰富的文本训练数据。包括两个辅助监督语音任务，以统一语音和文本建模空间。我们的贡献在于将文本语料库中的语言信息整合到语音预训练中。详细的分析揭示了子任务之间的学习干扰。两个预训练配置的语音翻译和识别，分别，以减轻子任务的干扰。实验结果表明，该方法能有效地将语音和文本信息融合到一个模型中。它在Must-C语音翻译数据集上实现了1.7到2.3的BLEU改进，并且在Librispeech语音识别任务上与wav2vec 2.0相当。
2022-04-11 cs.CL
Improving Fine-grained Visual Understanding in VLMs through Text-Only Training
Yonsei University（延世大学）；Seoul National University（首尔大学）；Sejong University（世宗大学）；The University of Suwon（水原大学）；MODULABS
本研究探讨了通过纯文本训练提升视觉语言模型细粒度视觉理解能力的可行性，实验证明该方法效果媲美图文训练且大幅降低计算成本，为资源受限环境提供高效路径。
2024-12-17 cs.CL
Label Semantic Aware Pre-training for Few-shot Text Classification
Johns Hopkins University（约翰斯·霍普金斯大学）；Amazon Web Services AI Labs（亚马逊云服务人工智能实验室）；University of Pennsylvania（宾夕法尼亚大学）
在文本分类任务中，有用的信息被编码在标签名称中。标签语义感知系统已经利用这些信息在微调和预测期间提高了文本分类性能。然而，在预训练过程中使用标签语义还没有得到广泛的探讨。因此，我们提出标签语义感知预训练（LSAP），以提高文本分类系统的泛化和数据效率。LSAP通过对来自各种领域的标记句子进行二次预训练，将标签语义纳入预训练的生成模型（在我们的案例中为T5）。由于一般领域的预训练需要大量的数据，我们开发了一个过滤和标记管道，可以从未标记的文本中自动创建标记-标签对。我们对意图（ATIS，Snips，TOPv 2）和主题分类（AG News，Yahoo！答案）。LSAP在Few-Shot文本分类的最新模型上获得了显着的准确性改进，同时在高资源设置中保持与最新技术相当的性能。
2022-05-29 cs.CL
Delta-training: Simple Semi-Supervised Text Classification using Pretrained Word Embeddings
Seoul National University（首尔国立大学）
我们提出了一种新颖而简单的半监督文本分类方法。该方法源于这样的假设，即具有预训练的词嵌入的分类器总是优于具有随机初始化的词嵌入的相同分类器，正如在NLP任务中经验观察到的那样。我们的方法首先构建两组分类器作为模型集成的一种形式，然后以不同的方式嵌入它们的词嵌入：一个使用随机，另一个使用预训练的词嵌入。我们专注于两个分类器对未标记数据的不同预测，同时遵循自训练框架。我们还使用早期停止元时期，以提高我们的方法的性能。我们的方法Delta-training在4个不同的文本分类数据集中优于自训练和协同训练框架，显示出对错误积累的鲁棒性。
2019-09-28 cs.CL
Multitask Training with Text Data for End-to-End Speech Recognition
Google（谷歌）
提出了一种基于注意力的端到端语音识别模型的多任务训练方法。我们通过在音频文本和纯文本数据上进行多任务训练，将解码器正则化为收听，出席和拼写模型。在LibriSpeech的100小时子集上进行训练，所提出的方法在不需要额外的语言模型的情况下，相对于基线性能提高了11%，并且接近测试干净评估集上的语言模型浅融合的性能。我们在整个960小时的LibriSpeech训练集上观察到类似的趋势。对不同类型的错误和输出句子的分析表明，该方法可以结合语言水平的信息，表明其在现实世界中的应用的有效性。
2021-06-12 cs.CL
CLASS: Enhancing Cross-Modal Text-Molecule Retrieval Performance and Training Efficiency
College of Computer, National University of Defense Technology（国防科技大学计算机学院）；School of Computer Science and Technology, Guangdong University of Technology（广东工业大学计算机科学与技术学院）；School of Information Science and Technology, Guangdong University of Foreign Studies（广东外语外贸大学信息科学与技术学院）；School of Information Technology and Engineering, Guangzhou College of Commerce（广州商学院信息技术与工程学院）
针对跨模态文本-分子检索任务中现有方法忽略训练阶段学习状态调整及效率的问题，提出基于课程学习的CLASS框架，通过量化样本难度、设计调度器和自适应强度学习，提升性能并节省训练时间。
2025-02-17 cs.CL
Learning from Mistakes: Self-correct Adversarial Training for Chinese Unnatural Text Correction
Jinan University（暨南大学）；Chiba University（千叶大学）；Guangxi Key Laboratory of Trusted Software（广西可信软件重点实验室）
针对文本纠错中的暴露偏差问题，提出与任务和模型无关的自我纠正对抗训练框架LIMIT，利用推理阶段暴露的错误进行训练并设计解码干预策略保持语义一致，实验证明其优于现有方法且可作为即插即用模块扩展。
2024-12-23 cs.CL
SelfMix: Robust Learning Against Textual Label Noise with Self-Mixup Training
Soochow University（苏州大学）；Alibaba Group（阿里巴巴集团）
文本分类的传统成功依赖于注释数据，而预训练语言模型（PLM）的新范式仍然需要一些标记数据用于下游任务。然而，在实际应用中，训练数据中不可避免地存在标签噪声，从而损害了基于此类数据构建的模型的有效性、鲁棒性和泛化性。近年来，人们在视觉数据的处理上取得了显著的成就，而在文本数据的处理上却鲜有研究。为了填补这一空白，我们提出了SelfMix，一种简单而有效的方法，用于处理文本分类任务中的标签噪声。SelfMix使用高斯混合模型来分离样本，并利用半监督学习。与以前需要多个模型的工作不同，我们的方法利用单个模型上的辍学机制来减少自我训练中的确认偏差，并引入了文本级混合训练策略。在三个具有不同类型文本的文本分类基准上的实验结果表明，在不同的噪声比和噪声类型下，我们所提出的方法的性能优于这些针对文本和视觉数据设计的强基线。我们的代码可在https://github.com/noise-learning/SelfMix上获得。
2022-10-11 cs.CL
What do Models Learn From Training on More Than Text? Measuring Visual Commonsense Knowledge
Chalmers University of Technology（查尔姆斯理工大学）；University of Gothenburg（哥德堡大学）
单从课文中学习语言是有局限性的。因此，最近的重点是开发多模态模型。然而，很少有基准可以衡量语言模型从多模态训练中学习到的语言。我们假设，在视觉模态上的训练应该改善语言模型中的视觉常识知识。因此，我们引入了两个评估任务来测量语言模型中的视觉常识知识，并使用它们来评估不同的多模态模型和单峰基线。首先，我们发现，视觉常识知识之间的多模态模型和单峰基线模型的视觉文本数据训练没有显着差异。
2022-05-14 cs.CL
GP: Context-free Grammar Pre-training for Text-to-SQL Parsers
OneConnect Financial Technology Big Data Lab（平安金融科技大数据实验室）
提出了一种新的文本到SQL分析方法-语法预训练（GP），以解码问题和数据库之间的深层关系。首先，为了更好地利用数据库中的信息，在被识别为一列的问题词后面添加一个随机值，并将新句子作为模型输入。其次，在参考原编码的基础上，对解码器部分的向量初始化进行了优化，使其能够关注问题信息。最后，采用一种新的方法，称为洪水水平，以获得非零的训练损失，可以推广更好的结果。通过使用GRAPPA和RAT-SQL模型对句子进行编码，我们在跨DB Text-to-SQL数据集spider上实现了更好的性能（72.8 dev，69.8 test）。实验表明，该方法在训练过程中易于收敛，具有良好的鲁棒性。
2021-04-16 cs.CL
Language Models for German Text Simplification: Overcoming Parallel Data Scarcity through Style-specific Pre-training
Technical University of Munich（慕尼黑工业大学）
针对德语等非英语语言平行文本简化数据稀缺问题，提出先在德语简易语言语料上微调语言模型再用作序列到序列任务解码器的两步法，可减少可训练参数与所需平行数据，同时提升下游任务性能。
2023-05-22 cs.CL
Few-Shot Text Classification with Triplet Networks, Data Augmentation, and Curriculum Learning
ProtagoLabs；International Monetary Fund（国际货币基金组织）；Dartmouth College（达特茅斯学院）；Microsoft AI（微软人工智能研究院）
Few-Shot文本分类是一项基本的NLP任务，其中模型的目标是将文本分类为大量类别，每个类别只有几个训练样本。本文探讨了数据增强-一种特别适合于有限数据训练的技术-用于这种Few-Shot，高度多类文本分类设置。在四个不同的文本分类任务中，我们发现常见的数据增强技术可以将三元组网络的性能平均提高3.0%。为了进一步提高性能，我们提出了一种简单的训练策略，称为课程数据增强，它通过首先只在原始示例上进行训练，然后随着训练的进行引入增强数据来利用课程学习。我们探索了一个两阶段和一个渐进的时间表，并发现，与标准的单阶段训练相比，课程数据增强训练更快，提高了性能，并保持稳健的大量噪声增强。
2021-03-12 cs.CL
GATE: General Arabic Text Embedding for Enhanced Semantic Textual Similarity with Matryoshka Representation Learning and Hybrid Loss Training
Prince Sultan University（普森大学）；Alfaisal University（阿尔法赛尔大学）
本文提出通用阿拉伯语文本嵌入模型GATE，结合Matryoshka表示学习与混合损失训练，在MTEB基准STS任务上超越OpenAI等大模型，性能提升20-25%。
2025-05-30 cs.CL
VoteTRANS: Detecting Adversarial Text without Training by Voting on Hard Labels of Transformations
KDDI Research, Inc.（KDDI综合研究所）；National Institute of Informatics（国立信息学研究所）
针对现有对抗文本检测依赖训练数据的问题，提出无需训练的 VoteTRANS，通过比较输入文本及其变换预测的硬标签进行投票检测，并在多种攻击、模型和数据集上验证有效。
2023-06-02 cs.CL
Graph Pre-training for AMR Parsing and Generation
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
抽象意义表示（AMR）以图的形式突出文本的核心语义信息。最近，预训练的语言模型（PLM）分别具有AMR解析和AMR到文本生成的高级任务。然而，PLM通常是在文本数据上进行预训练的，因此对于建模结构知识来说是次优的。为此，我们研究了图自监督训练，以提高AMR图上PLM的结构意识。特别是，我们介绍了两个图形自动编码策略，用于图形到图形的预训练和四个任务，以在预训练期间整合文本和图形信息。我们进一步设计了一个统一的框架，以弥合预训练和微调任务之间的差距。AMR解析和AMR文本生成实验表明了该模型的优越性。据我们所知，我们是第一个考虑对语义图进行预训练的人。
2022-05-04 cs.CL
ReverseEOL: Improving Training-free Text Embeddings via Text Reversal in Decoder-only LLMs
Institute of Science Tokyo（东京科学研究所）；Tencent（腾讯）
提出ReverseEOL方法，通过反转输入文本生成互补嵌入，结合前向嵌入提升冻结解码器仅LLM的文本表示能力，在STS和MTEB基准上显著提升无训练基线性能。
2026-06-04 cs.CL
Pre-training Text Representations as Meta Learning
Microsoft Research Asia（微软亚洲研究院）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Science and Technology of China（中国科学技术大学）；Sun Yat-sen University（中山大学）；Microsoft Corporation（微软公司）
预训练文本表示最近被证明可以显着提高许多自然语言处理任务的最新水平。预训练的中心目标是学习对后续任务有用的文本表示。然而，现有的方法通过最小化代理目标来优化，例如语言建模的负对数似然。在这项工作中，我们引入了一个学习算法，它直接优化模型的学习能力，有效地学习下游任务的文本表示。我们证明了多任务预训练和模型不可知元学习之间存在内在联系，并具有一系列元训练步骤。BERT中采用的标准多任务学习目标是我们的学习算法的一个特例，其中元训练的深度为零。我们在两种情况下研究了该问题：无监督的预训练和有监督的预训练与不同的预训练对象，以验证我们的方法的通用性。实验结果表明，我们的算法带来了改进，学习更好的初始化各种下游任务。
2020-04-12 cs.CL
Multilingual Pre-training with Language and Task Adaptation for Multilingual Text Style Transfer
University of Groningen（格罗宁根大学）
我们利用预先训练的seq2seq模型mBART进行多语言文本样式传输。使用机器翻译的数据以及黄金对齐的英语句子在我们考虑的三种目标语言中产生了最先进的结果。此外，鉴于并行数据的普遍稀缺性，我们提出了一个模块化的方法，多语言正式迁移，其中包括两个培训策略，目标适应语言和任务。我们的方法实现了竞争力的表现，没有单语任务特定的并行数据，并可以应用到其他风格转移任务以及其他语言。
2022-03-16 cs.CL
Relative Position Prediction as Pre-training for Text Encoders
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
意义是由它所拥有的公司来定义的。然而，公司是双重的：它基于令牌的身份以及它们的位置（拓扑）。我们认为，一个位置为中心的角度是更普遍和有用的。NLP中经典的MLM和CLM目标很容易被表述为对整个词汇的位置预测。在NLP中采用相对位置编码范式来创建自监督学习的相对标签，我们试图通过下游任务的表现来显示优越的预训练。
2022-02-02 cs.CL
MarkupLM: Pre-training of Text and Markup Language for Visually-rich Document Understanding
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research Asia（微软亚洲研究院）
文本、布局和图像的多模态预训练在视觉丰富文档理解（VRDU）方面取得了重大进展，特别是对于固定布局的文档，如扫描文档图像。然而，仍然有大量的数字文档的布局信息是不固定的，需要交互式和动态渲染的可视化，使现有的基于布局的预训练方法不容易应用。在本文中，我们提出了MarkupLM的文档理解任务的置标语言为骨干，如HTML/XML为基础的文档，文本和标记信息是联合预训练。实验结果表明，预训练的MarkupLM在多个文档理解任务上的性能明显优于现有的强基线模型。预训练的模型和代码将在https://aka.ms/markuplm上公开。
2022-03-11 cs.CL
LayoutLM: Pre-training of Text and Layout for Document Image Understanding
Harbin Institute of Technology（哈尔滨工业大学）；Beihang University（北京航空航天大学）；Microsoft Research Asia（微软亚洲研究院）
近年来，预训练技术在各种NLP任务中得到了成功的验证。尽管NLP应用程序广泛使用预训练模型，但它们几乎只关注文本级操作，而忽略了对文档图像理解至关重要的布局和样式信息。在本文中，我们提出了\textbf{LayoutLM}，以联合模型之间的相互作用的文本和布局信息扫描文档图像，这是有益的大量的现实世界的文档图像理解任务，如信息抽取从扫描文档。此外，我们还利用图像特征将单词的视觉信息纳入LayoutLM。据我们所知，这是第一次在单个框架中联合学习文本和布局，以进行文档级预训练。它在几个下游任务中取得了新的最先进成果，包括表单理解（从70.72到79.27）、收据理解（从94.02到95.24）和文档图像分类（从93.07到94.42）。代码和预训练的LayoutLM模型可在\url{https://aka.ms/layoutlm}上公开获得。
2020-06-16 cs.CL
Rank-Aware Negative Training for Semi-Supervised Text Classification
Zhuiyi AI Lab（追一人工智能实验室）；Northwestern Polytechnical University（西北工业大学）
针对半监督文本分类中伪标签噪声影响性能的问题，提出排序感知负训练框架，结合不确定性排序与负训练策略，在多数基准数据集上超越现有最优方法。
2023-06-13 cs.CL
Training-free LLM-generated Text Detection by Mining Token Probability Sequences
Zhejiang University（浙江大学）；Zhejiang Gongshang University（浙江工商大学）；Georgia Institute of Technology（佐治亚理工学院）；Shanghai Jiao Tong University（上海交通大学）
针对现有无需训练的LLM生成文本检测方法忽略局部特征的问题，本研究提出融合局部与全局统计的Lastde检测器，首次引入时间序列分析捕捉词元概率序列动态，还推出实时版本Lastde++，在多场景实验中达SOTA且抗释义攻击鲁棒性更强。
2024-10-08 cs.CL
Self-supervised Text-to-SQL Learning with Header Alignment Training
KAIST（韩国科学技术院）；Kookmin Bank（国民银行）
由于我们可以在没有任何人为监督的情况下利用大量未标记的数据来训练模型并将知识转移到目标任务，因此自监督学习是深度学习最近在各个领域取得成功的事实上的组成部分。然而，在许多情况下，在自监督学习目标和任务特定目标之间存在差异。为了解决文本到SQL任务中的这种差异，我们提出了一种新颖的自监督学习框架。我们利用Text-to-SQL任务的特定属性和表内容的底层结构来训练模型，以从未标记的表数据中学习\textit{header-column}对齐任务的有用知识。我们能够将知识转移到带有注释样本的监督文本到SQL训练中，以便模型可以利用知识更好地执行\textit{header-span}对齐任务来预测SQL语句。实验结果表明，我们的自监督学习框架显着提高现有的强BERT为基础的模型，而不使用大型外部语料库的性能。特别是，我们的方法对于训练具有稀缺标记数据的模型是有效的。这项工作的源代码可以在GitHub上找到。
2021-03-11 cs.CL
Precision or Recall? An Analysis of Image Captions for Training Text-to-Image Generation Model
Arizona State University（亚利桑那州立大学）
本文分析标题精度与召回率对文本到图像模型训练的影响，发现精度更重要，并利用大型视觉语言模型生成合成标题进行训练，效果与人工标注相当。
2024-11-07 cs.CL cs.CV
mSLAM: Massively multilingual joint pre-training for speech and text
Google, USA（谷歌（美国））
我们提出了mSLAM，一种多语言语音和语言模型，它通过对多种语言中大量未标记的语音和文本进行联合预训练来学习语音和文本的跨语言跨模态表示。mSLAM将语音的w2 v-BERT预训练与字符级文本的SpanBERT预训练相结合，以及配对语音和转录数据的连接主义时间分类（CTC）损失，以学习能够在共享表示空间中学习和表示语音和文本信号的单个模型。我们在几个下游语音理解任务上评估了mSLAM，发现与仅语音预训练相比，与文本的联合预训练提高了语音翻译，语音意图分类和语音语言识别的质量，同时在多语言ASR上具有竞争力。我们的语音翻译模型演示了zero-shot文本翻译，而无需看到任何文本翻译数据，为表示的跨模态对齐提供了证据。mSLAM还受益于多模态微调，通过在微调过程中直接利用文本翻译数据，进一步提高语音翻译的质量。我们的实证分析强调了大规模多模式预培训带来的机遇和挑战，为未来的研究提出了方向。
2022-02-03 cs.CL cs.LG
Speech-Text Dialog Pre-training for Spoken Dialog Understanding with Explicit Cross-Modal Alignment
Alibaba Group（阿里巴巴集团）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）；University of Science and Technology of China（中国科学技术大学）
针对现有语音-文本预训练模型适配任务窄、未利用对话上下文的问题，提出首个语音-文本对话预训练模型SPECTRA，通过时序位置预测和回复选择任务实现对齐，在四项下游任务上表现更优。
2023-06-09 cs.AI cs.CL
Adversarial Training with Fast Gradient Projection Method against Synonym Substitution based Text Attacks
School of Computer Science and Technology, Huazhong University of Science and Technology（华中科技大学计算机科学与技术学院）；Computer Science Department, University of California, Los Angeles（加州大学洛杉矶分校计算机科学系）
对抗性训练是提高深度神经网络在图像分类中鲁棒性的最成功的方法。然而，对于文本分类，现有的基于同义词替换的对抗攻击是有效的，但不能有效地纳入实际的文本对抗性训练。基于同义词的攻击对图像非常有效，但由于词汇、语法和语义的限制以及文本输入空间的离散性，基于同义词替换的文本攻击很难实现。因此，本文提出了一种基于同义词替换的快速文本对抗攻击方法--快速梯度投影方法（FGPM），该方法在达到相似攻击性能的同时，比现有文本攻击方法的速度提高了约20倍。然后，我们将FGPM与对抗性训练相结合，并提出了一种文本防御方法，称为对抗性训练与Logit配对增强的FGPM（ATFL）。实验结果表明，ATFL能显著提高模型的鲁棒性，并能有效阻止对抗性样本的迁移。
2020-12-16 cs.CL cs.LG
Generalization algorithm of multimodal pre-training model based on graph-text self-supervised training
Shenzhen Technology University（深圳技术大学）；Shenzhen University（深圳大学）
近年来，大量研究表明，视觉信息的引入可以有效地提高神经机器翻译（NMT）的效果。其有效性在很大程度上取决于大量双语平行句对和人工图像标注的可用性。图像的缺乏和图像的有效性一直难以解决。本文提出了一种用于自监督训练的多模态预训练泛化算法，克服了NMT缺乏视觉信息和不准确性的缺点，从而扩展了图像在NMT上的适用性。具体来说，我们会通过搜索引擎从已有的句子中搜索出很多图片，然后通过视觉信息与文本的关系，做图形和文本的自监督训练任务，为文本获取更有效的视觉信息。我们表明，当过滤后的信息被用作多模态机器翻译进行微调时，全球语音数据集中的翻译效果比基线高0.5 BLEU。
2023-02-16 cs.AI cs.CL
SpeechUT: Bridging Speech and Text with Hidden-Unit for Encoder-Decoder Based Speech-Text Pre-training
University of Science and Technology of China（中国科学技术大学）；Microsoft（微软）；Microsoft Research Asia（微软亚洲研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
单通道预训练的快速发展促使研究者更加关注跨通道预训练方法。在本文中，我们提出了一个统一的模态语音单元文本预训练模型，SpeechUT，连接语音编码器和文本解码器的表示与共享的单元编码器。利用隐藏单元作为对齐语音和文本的接口，我们可以将语音到文本模型分解为语音到单元模型和单元到文本模型，它们可以分别使用未配对的语音和文本数据进行联合预训练。我们提出的SpeechUT是微调和自动语音识别（ASR）和语音翻译（ST）的任务进行评估。实验结果表明，SpeechUT在强基线上得到了实质性的改进，并在LibriSpeech ASR和MuST-C ST任务上实现了最先进的性能。为了更好地理解建议的演讲稿，进行了详细的分析。代码和预训练模型可在https://aka.ms/SpeechUT上获得。
2022-10-07 cs.CL eess.AS
A Sequential Algorithm for Training Text Classifiers
廉价训练文本分类器的能力对于它们在信息检索、内容分析、自然语言处理和涉及部分或全部文本数据的其他任务中的使用是至关重要的。在统计分类器的机器学习过程中的顺序采样算法的开发和测试的新闻通讯文本分类任务。这种方法，我们称之为不确定性采样，减少了多达500倍的训练数据量，必须手动分类，以达到给定的有效性水平。
1994-07-25 cmp-lg cs.CL
Unifying Adversarial Robustness and Training Across Text Scoring Models
uwaterloo（滑铁卢大学）
本文提出统一文本评分模型中对抗鲁棒性与训练的方法，通过引入多种对抗训练方法提升模型鲁棒性和任务效果，并展示其在RLHF中的应用价值。
2026-01-31 cs.CL cs.IR
PreSTU: Pre-Training for Scene-Text Understanding
The Ohio State University（俄亥俄州立大学）；Google Research（谷歌研究院）
本文提出 PreSTU 预训练方案，通过感知 OCR 的目标和含场景文本的大规模图文数据，提升 V&L 模型识别并推理图像文本的能力。
2023-08-20 cs.CL cs.CV
ERNIE-ViLG: Unified Generative Pre-training for Bidirectional Vision-Language Generation
Baidu Inc.（百度公司）
传统的图文生成方法主要是将自然双向生成任务分开处理，侧重于设计特定于任务的框架来提高生成样本的质量和保真度。近年来，视觉语言预训练模型极大地提高了图像到文本生成任务的性能，但针对文本到图像合成任务的大规模预训练模型仍处于开发阶段。在本文中，我们提出了ERNIE-ViLG，一个统一的生成预训练框架的双向图像-文本生成与Transformer模型。基于图像量化模型，我们制定了图像生成和文本生成的自回归生成任务的文本/图像输入的条件。双向图像-文本生成建模简化了视觉和语言之间的语义对齐。对于文本到图像的生成过程，我们进一步提出了一种端到端的训练方法来联合学习视觉序列生成器和图像重建器。为了探索双向文本-图像生成的大规模预训练前景，我们在1.45亿（中文）图像-文本对的大规模数据集上训练了100亿参数ERNIE-ViLG模型，该模型实现了文本到图像和图像到文本任务的最新性能，在MS-COCO上获得7.9的FID用于文本到图像合成，在COCO-CN和AIC-ICC上获得最佳结果用于图像描述。
2021-12-31 cs.CL cs.CV
WT5?! Training Text-to-Text Models to Explain their Predictions
Google Research（谷歌研究院）
神经网络最近在各种具有挑战性的自然语言处理（NLP）任务上取得了人类水平的性能，但众所周知，很难理解为什么神经网络会产生特定的预测。在本文中，我们利用文本到文本的框架提出的Raffel等人。（2019）来训练语言模型，以输出自然的文本解释以及它们的预测。至关重要的是，这不需要修改损失函数或训练和解码过程-我们只需训练模型，以便在生成（自然文本）预测后输出解释。我们表明，这种方法不仅获得了最先进的可解释性基准的结果，而且还允许从有限的一组标记的解释中学习，并在数据集之间转移合理化能力。为了促进可重复性和未来的工作，我们发布了我们的代码来训练模型。
2020-04-30 cs.CL cs.LG
