Improving Cross-Domain Low-Resource Text Generation through LLM Post-Editing: A Programmer-Interpreter Approach
提出神经程序员-解释器后编辑框架，保留LLM跨域泛化能力，设计专门编辑动作，显著提升GPT-3.5在逻辑形式转换和低资源机器翻译中的性能。
2024-02-07 cs.CL
Improving Abstractive Text Summarization with History Aggregation
School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
最近的神经序列到序列模型为抽象摘要提供了可行的解决方案。然而，这样的模型仍然很难解决长文本依赖的摘要任务。一个高质量的摘要系统通常依赖于强大的编码器，它可以从长输入文本中提炼重要信息，以便解码器可以从编码器的内存中生成显著的摘要。在本文中，我们提出了一个聚合机制的基础上的Transformer模型，以解决长文本表示的挑战。我们的模型可以回顾历史信息，使编码器持有更多的内存容量。从经验上讲，我们将我们的聚合机制应用于Transformer模型，并在CNN/DailyMail数据集上进行实验，以实现比ROUGE指标上的几个强基线模型更高质量的摘要。
2019-12-24 cs.CL
CAT-Gen: Improving Robustness in NLP Models via Controlled Adversarial Text Generation
University of Virginia（弗吉尼亚大学）；Google Research（谷歌研究院）
NLP模型被证明存在鲁棒性问题，即，模型的预测可以在对输入的小扰动下容易地改变。在这项工作中，我们提出了一个受控对抗文本生成（CAT-Gen）模型，该模型在给定输入文本的情况下，通过已知对任务标签不变的可控属性生成对抗文本。例如，为了攻击产品评论的情感分类模型，我们可以使用产品类别作为可控属性，这不会改变评论的情感。在真实世界的NLP数据集上的实验表明，与许多现有的对抗文本生成方法相比，我们的方法可以生成更多样化和流畅的对抗文本。我们进一步使用我们生成的对抗性示例通过对抗性训练来改进模型，并且我们证明了我们生成的攻击对模型重新训练和不同的模型架构更加强大。
2020-10-05 cs.CL
Improving Open-Ended Text Generation via Adaptive Decoding
Shanghai Jiao Tong University（上海交通大学）
本研究提出自适应解码机制，通过基于熵的置信度指标动态确定候选词元集，在平衡生成多样性与连贯性的同时提升了文本质量与模型推理能力。
2024-06-03 cs.CL
Improving Iterative Text Revision by Learning Where to Edit from Other Revision Tasks
University of Minnesota（明尼苏达大学）；University of Virginia（弗吉尼亚大学）；Grammarly
迭代文本修订通过修复语法错误、重新措辞以提高可读性或上下文适当性或重新组织整个文档中的句子结构来提高文本质量。最近的研究主要集中在理解和分类不同类型的编辑在迭代修订过程中从人类书写的文本，而不是建立准确和强大的系统迭代文本修订。在这项工作中，我们的目标是建立一个端到端的文本修订系统，可以迭代地生成有用的编辑显式检测可编辑的跨度（在哪里编辑）与其相应的编辑意图，然后指示修订模型修改检测到的编辑跨度。利用来自其他相关文本编辑NLP任务的数据集，结合可编辑跨度的规范，使我们的系统能够更准确地模拟迭代文本细化的过程，正如经验结果和人类评估所证明的那样。我们的系统在文本修订任务和其他标准文本修订任务上的表现明显优于以前的基线，包括语法错误纠正，文本简化，句子融合和风格转换。通过大量的定性和定量分析，我们在编辑意图和写作质量之间建立了重要的联系，并对迭代文本修订进行了更好的计算建模。
2022-12-02 cs.CL
Improving Abstraction in Text Summarization
KTH Royal Institute of Technology（瑞典皇家理工学院）；Salesforce Research（赛富时研究院）
摘要文本摘要旨在将长文本文档缩短为人类可读的形式，其中包含原始文档中最重要的事实。然而，在现有的方法中，通过不出现在源文档中的新颖短语来测量的实际抽象水平仍然很低。我们提出了两种技术来提高生成的摘要的抽象水平。首先，我们将解码器分解为一个上下文网络，用于检索源文档的相关部分，以及一个预先训练的语言模型，该模型包含有关语言生成的先验知识。其次，我们提出了一个新颖的度量，直接通过策略学习优化，以鼓励新短语的生成。我们的模型实现了与最先进的模型相当的结果，由ROUGE分数和人类评估确定，同时实现了显着更高的抽象级别，由与源文档的n-gram重叠测量。
2018-08-23 cs.CL
Improving Social Media Text Summarization by Learning Sentence Weight Distribution
MOE Key Laboratory of Computational Linguistics, Peking University（北京大学计算语言学教育部重点实验室）；School of Electronics Engineering and Computer Science, Peking University（北京大学电子工程与计算机科学学院）
最近，编码器-解码器模型被广泛用于社交媒体文本摘要。然而，这些模型有时会错误地选择不相关句子中的噪声词作为摘要的一部分，从而降低了性能。为了抑制不相关的句子，集中在关键信息，我们提出了一种有效的方法，通过学习句子的权重分布。在我们的模型中，我们构建了一个多层感知器来预测句子权重。在训练过程中，我们使用ROUGE得分作为估计的句子权重的替代方案，并尝试最小化估计权重和预测权重之间的差距。通过这种方式，我们鼓励我们的模型专注于与摘要具有高度相关性的关键句子。实验结果表明，我们的方法优于基线上的大规模社交媒体语料库。
2017-10-31 cs.CL
XFBoost: Improving Text Generation with Controllable Decoders
Georgia Institute of Technology（佐治亚理工学院）；Salesforce Einstein（Salesforce爱因斯坦）
基于transformer的自然语言模型中的多模态条件性在产品描述生成任务中表现出了最先进的性能。最近的方法使语言模型以一个或多个图像和其他文本元数据为条件，以实现用于描述来自电子商务商店的产品的接近人类的性能。然而，生成的描述可能会表现出一定程度的不准确性，甚至相对于给定产品的输入相互矛盾的声明。在本文中，我们提出了一个可控的语言生成框架，称为提取Finetune Boost（XFBoost），它解决了不准确的低质量推理的问题。通过在生成过程的解码阶段使用视觉语义属性作为约束条件，并使用策略梯度技术微调语言模型，发现XFBoost框架可以生成具有更高图像相关性的描述性文本，优于基线，并降低事实上不准确描述的频率。我们进一步展示了XFBoost在在线学习中的应用，其中人在回路中的批评者通过主动反馈改进语言模型。
2022-02-16 cs.CL
Extract, Denoise and Enforce: Evaluating and Improving Concept Preservation for Text-to-Text Generation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Southern California（南加州大学）；Tsinghua University（清华大学）
以前关于文本到文本生成的研究通常假设模型可以通过seq2seq学习来弄清楚输入中要注意什么以及输出中要包括什么，只有并行训练数据而没有额外的指导。然而，目前尚不清楚当前模型是否可以保留源输入中的重要概念，因为seq2seq学习没有明确关注概念，并且常用的评估指标也将概念视为与其他令牌同等重要。在本文中，我们提出了一个系统的分析，研究目前的seq2seq模型，特别是预训练的语言模型，是否足以保存重要的输入概念，并在何种程度上明确指导生成的概念作为词汇约束是有益的。我们回答上述问题进行广泛的分析实验上的四个代表性的文本到文本生成任务。根据观察，我们提出了一个简单而有效的框架，自动提取，去噪，并执行重要的输入概念作为词汇约束。这种新的方法比其不受约束的自动度量更好地执行，展示了更高的覆盖率的概念保存，并收到更好的评级，在人类的评价。我们的代码可在https://github.com/morningmoni/EDE上获得。
2021-09-03 cs.CL
Improving Diversity of Neural Text Generation via Inverse Probability Weighting
Central Conservatory of Music（中央音乐学院）；Tsinghua University（清华大学）
神经文本生成存在重复等文本退化问题。传统的随机抽样方法只关注截断分布中不可靠的“尾部”，而没有解决“头部”部分，我们发现这部分可能包含繁琐甚至重复的候选项，这些候选项有很高的概率导致重复循环。他们也没有考虑人类文本并不总是倾向于高概率词的问题。受此启发，在这项工作中，我们提出了一个启发式抽样方法。我们建议使用预测分布的四分位数范围来确定“头部”部分，然后用逆概率置换和重新缩放“头部”。这旨在降低具有较高概率的乏味且可能重复的候选项的概率，并增加具有较低概率的合理但更令人惊讶的候选项的概率。该算法提供了一个合理的排列的预测分布，提高了多样性，而不损害合理性的分布。我们使用预先训练好的语言模型来比较我们的算法和传统的方法。实验结果表明，该算法能有效地提高生成样本的多样性，同时达到与人类文本相似的效果。
2021-08-26 cs.CL
Improving Emotional Expression and Cohesion in Image-Based Playlist Description and Music Topics: A Continuous Parameterization Approach
针对图像平台音乐文本生成中风格控制不足和缺乏连续条件的问题，提出连续参数化受控文本生成方法（CPCTG），整合语义连贯性与情感表达比例，提升播放列表描述和音乐主题生成的ROUGE分数。
2023-10-12 cs.CL
Improving User Controlled Table-To-Text Generation Robustness
University of Edinburgh（爱丁堡大学）；The Hong Kong Polytechnic University（香港理工大学）
在这项工作中，我们研究了用户控制的表到文本的生成，用户探索的内容在一个表中选择单元格和阅读的自然语言描述自动产生的自然语言发生器。这样的生成模型通常从仔细选择的单元选中单元组合（干净单元选择）学习;然而，在实践中，用户可能选择意外的、冗余的或不相干的单元组合（有噪声的单元选择）。在实验中，我们发现，模型表现良好的测试集来自相同的分布作为训练数据，但其性能下降时，现实的嘈杂的用户输入进行评估。我们提出了一个微调制度，额外的用户模拟嘈杂的细胞选择。使用所提出的机制进行微调的模型在用户嘈杂的测试用例中获得4.85个BLEU点，在干净的测试用例中获得1.4个BLEU点;并在ToTTo数据集上实现了相当的最先进性能。
2023-02-20 cs.CL
Improving Citation Text Generation: Overcoming Limitations in Length Control
The university of Texas at Dallas（德克萨斯大学达拉斯分校）
本文针对引文文本生成中长度不匹配导致质量下降的问题，深入研究了预测科学引文文本长度的局限性，并探索了使用启发式方法估计所需长度。
2024-07-20 cs.CL cs.DL
FAST: Improving Controllability for Text Generation with Feedback Aware Self-Training
Microsoft Corporation（微软公司）
可控文本生成系统通常利用控制代码来指导输出的各种属性，如样式和长度。受NLP因果推理的启发，本文揭示了这些基于控制码的条件文本生成算法中以前被忽视的缺陷。训练数据中的虚假相关性会导致模型错误地依赖于输入的部分而不是控制代码来进行属性选择，从而显著破坏下游生成质量和可控性。我们通过一系列案例研究证明了这个问题的严重性，然后提出了两种简单的技术来减少训练集中的这些相关性。第一种技术是基于根据示例对每个语言属性（IPS）的倾向来重新排列数据。第二种方法产生每个例子的多个反事实版本，然后使用额外的反馈机制来去除噪声例子（反馈感知自我训练，FAST）。我们对3个任务进行了评估-新闻标题，元评论和搜索广告生成-并证明与最先进的可控文本生成方法相比，FAST可以显着提高生成输出的可控性和语言质量。
2022-10-06 cs.CL
Improving the Factual Accuracy of Abstractive Clinical Text Summarization using Multi-Objective Optimization
Wright State University（莱特州立大学）；University of Illinois, Chicago（伊利诺伊大学芝加哥分校）
虽然最近在应用于不同领域（包括新闻文章、科学文章和博客文章）的抽象摘要方面取得了进展，但这些技术在临床文本摘要中的应用受到限制。这主要是由于缺乏大规模的训练数据以及与大量训练数据以结构化或半结构化形式出现的其他领域相反的临床笔记的混乱/非结构化性质。此外，临床文本摘要的最少探索和关键组成部分之一是临床摘要的事实准确性。这在医疗保健领域尤其重要，特别是心脏病学，其中保留源注释中的事实的准确摘要生成对患者的健康至关重要。在这项研究中，我们提出了一个框架，提高临床文本的抽象摘要的事实准确性，使用知识引导的多目标优化。我们建议在训练过程中联合优化我们提出的架构中的三个成本函数：生成损失，实体损失和知识损失，并在1）我们为本研究收集的心力衰竭（HF）患者的临床记录上评估所提出的架构; 2）两个基准数据集，印第安纳大学胸部X射线收集（IU X射线）和MIMIC-CXR，这是公开的。我们用三种Transformer编码器-解码器架构进行了实验，并证明优化不同的损失函数可以提高实体级实际准确性方面的性能。
2022-04-02 cs.CL
A Hierarchical End-to-End Model for Jointly Improving Text Summarization and Sentiment Classification
Peking University（北京大学）
文本摘要和情感分类都旨在捕捉文本的主要思想，但在不同的层次上。文本摘要是在几个句子内描述文本，而情感分类可以被视为一种特殊类型的摘要，它将文本“概括”成更抽象的方式，即，情感课基于这一思想，我们提出了一个分层的端到端模型，用于文本摘要和情感分类的联合学习，其中情感分类标签被视为文本摘要输出的进一步“摘要”。因此，情感分类层放在文本摘要层上，并导出层次结构。在Amazon在线评论数据集上的实验结果表明，该模型在抽象摘要和情感分类方面都比强基线系统具有更好的性能。
2018-05-30 cs.CL cs.LG
Improving Adversarial Text Generation by Modeling the Distant Future
Duke University（杜克大学）；University at Buffalo（布法罗大学）；Microsoft Dynamics 365 AI（微软Dynamics 365 AI）；Citadel LLC（城堡投资有限责任公司）；DeepMind（深度思维）
自回归文本生成模型通常关注局部流畅性，在长文本生成中可能导致语义不一致。此外，自动生成具有相似语义的单词是具有挑战性的，并且手工制作的语言规则难以应用。我们考虑了一个文本规划方案，并提出了一个基于模型的模仿学习方法来缓解上述问题。具体来说，我们提出了一种新的引导器网络，专注于更长时间范围内的生成过程，它可以帮助下一个词的预测，并为生成器优化提供中间奖励。大量的实验表明，所提出的方法导致改善的性能。
2020-05-04 cs.CL cs.LG
Improving Variational Autoencoder for Text Modelling with Timestep-Wise Regularisation
University of Sheffield（谢菲尔德大学）；Utrecht University（乌得勒支大学）
变分自编码器（VAE）是一种流行的、功能强大的模型，用于文本建模以生成多样化的句子。然而，当VAE用于文本建模时，会发生称为后验崩溃（或KL损失消失）的问题，其中近似后验崩溃为先验，并且模型将完全忽略潜在变量，并且在文本生成期间退化为普通语言模型。当基于RNN的VAE模型用于文本建模时，这样的问题特别普遍。在本文中，我们提出了一种简单的通用架构，称为Timestep-Wise Regularisation VAE（TWR-VAE），它可以有效地避免后验崩溃，并可以应用于任何基于RNN的VAE模型。我们的模型的有效性和多功能性在不同的任务中得到了证明，包括语言建模和对话响应生成。
2020-11-03 cs.CL cs.LG
Improving Text Generation Evaluation with Batch Centering and Tempered Word Mover Distance
Harvard University（哈佛大学）；Google Research（谷歌研究院）
文本自动评估指标的最新进展表明，深度上下文化的单词表示（例如由BERT编码器生成的单词表示）有助于设计与人类判断良好相关的指标。与此同时，有人认为，语境化的单词表示表现出次优的统计特性，用于编码单词或句子之间的真实相似性。在本文中，我们提出了两种技术，用于改善编码表示的相似性度量：一个批量平均中心化策略，提高统计特性;和一个计算效率的回火词移动距离，更好地融合的信息在上下文的单词表示。我们进行了数值实验，证明了我们的技术的鲁棒性，报告结果在各种BERT骨干学习指标，并实现了最先进的相关性与人类评级的几个基准。
2020-10-13 cs.CL cs.LG
Improving Text Generation with Student-Forcing Optimal Transport
Duke University（杜克大学）；Amazon（亚马逊）；Microsoft Research（微软研究院）；Microsoft Dynamics 365 AI（微软Dynamics 365 AI（注：此处按机构含义直译，实际“Microsoft Dynamics 365 AI”是微软的一个业务部门，属于微软旗下，若严格按机构粒度要求，可能更适合保留原英文名称））
神经语言模型通常使用最大似然估计（MLE）进行训练，其中下一个单词是以地面真实单词标记为条件生成的。然而，在测试过程中，模型以先前生成的令牌为条件，导致所谓的暴露偏差。为了减少训练和测试之间的差距，我们建议使用最优传输（OT）来匹配这两种模式下生成的序列。基于文本序列的结构和上下文信息，进一步提出了一个扩展来改进OT学习。在机器翻译、文本摘要和文本生成任务上验证了该方法的有效性。
2020-10-12 cs.CL cs.LG
SDA: Improving Text Generation with Self Data Augmentation
The State University of New York at Buffalo（纽约州立大学布法罗分校）；Duke University（杜克大学）；Microsoft Research, Redmond（微软研究院（雷德蒙德））
数据增强已被广泛用于改进许多研究领域中的深度神经网络，例如计算机视觉。然而，较少的工作已经做了文本的上下文中，部分原因是其离散的性质和自然语言的复杂性。在本文中，我们提出了改进标准的最大似然估计（MLE）的范例，通过纳入一个自我模仿学习阶段的自动数据增强。与大多数现有的仅适用于特定模型的增强策略不同，我们的方法更通用，可以轻松地适应任何基于MLE的训练过程。此外，我们的框架允许设计特定于任务的评估指标，以灵活地控制生成的句子，例如，在控制词汇的使用和避免非平凡的重复。大量的实验结果表明，我们的方法在两个合成和几个标准的真实数据集上的优越性，显着改善相关基线。
2021-01-02 cs.CL cs.LG
Improving Compositional Generalization with Self-Training for Data-to-Text Generation
Carnegie Mellon University（卡内基梅隆大学）；Google（谷歌）；Google Research（谷歌研究院）
数据到文本生成的重点是从结构化的意义表示（MR）生成流畅的自然语言响应。这种表示是组成的，它是昂贵的收集原子意义图式的所有可能的组合的响应，从而需要Few-Shot概括到新的MR。在这项工作中，我们系统地研究了组成概括的国家的最先进的T5模型在Few-Shot数据到文本的任务。我们发现，T5模型无法推广到看不见的MR，我们提出了一个基于模板的输入表示，大大提高了模型的泛化能力。为了进一步提高模型的性能，我们提出了一种基于自训练的方法，使用微调BLEURT进行伪响应选择。在常用的SGD和天气基准测试中，所提出的自训练方法在Few-Shot设置中将树的准确性提高了46%+，并将时隙出错率降低了73%+。
2022-04-11 cs.AI cs.CL
EzSQL: An SQL intermediate representation for improving SQL-to-text Generation
Indian Institute of Information Technology（印度信息技术学院）；National Institute of Technology（印度国家理工学院）
本文提出SQL中间表示EzSQL，通过简化运算符和关键字使SQL更接近自然语言，并以其作为预训练生成模型输入，在WikiSQL和Spider上取得最先进的SQL到文本生成效果，同时可增强Text-to-SQL解析器性能。
2025-04-09 cs.AI cs.CL
Improving the Calibration of Confidence Scores in Text Generation Using the Output Distribution's Characteristics
Mila - Quebec AI Institute（魁北克人工智能研究所）；McGill University（麦吉尔大学）；Canada CIFAR AI Chair（加拿大CIFAR人工智能 chair）
针对文本生成中因多有效答案导致置信度校准不佳的问题，提出无需微调、仅基于输出概率的任务无关置信度指标，提升了BART、Flan-T5在多类任务上的校准效果。
2025-06-13 cs.AI cs.CL
ConTextual: Improving Clinical Text Summarization in LLMs with Context-preserving Token Filtering and Knowledge Graphs
University of Delaware（德雷塞尔大学）
本文提出ConTextual框架，通过上下文保留的令牌过滤与领域知识图谱增强临床文本摘要，在多个基准上一致优于基线，提升了语言连贯性与临床保真度。
2025-07-17 cs.AI cs.CL
InforME: Improving Informativeness of Abstractive Text Summarization With Informative Attention Guided by Named Entity Salience
University of Technology Sydney（悉尼技术大学）
本文提出InforME方法，结合最优传输的信息性注意力与命名实体累积联合熵缩减，提升抽象式摘要的信息量，在CNN/Daily Mail上取得更优ROUGE分数。
2025-10-07 cs.AI cs.CL
Improving Maximum Likelihood Training for Text Generation with Density Ratio Estimation
极大似然估计训练的自回归序列生成模型在实际有限样本情况下存在暴露偏差问题。问题的关键在于极大似然估计的训练样本数通常是有限的，而且在训练和推理阶段输入数据的分布是不同的。已经提出了许多方法来解决上述问题（Yu等人，2017; Lu等人，2018年），它依赖于非平稳模型分布的采样，并遭受高方差或有偏估计。在本文中，我们提出了一种新的自回归序列生成模型的训练方案，它是有效的和稳定的，当运行在文本生成中遇到的大样本空间。我们得到我们的算法从一个新的角度来看，自我增强和密度比估计引入偏差校正。在合成数据和真实文本生成任务上的大量实验结果表明，我们的方法在质量和多样性方面稳定地优于极大似然估计和其他最先进的序列生成模型。
2020-07-12 cs.CL cs.LG stat.ML
Improving Code-switching Language Modeling with Artificially Generated Texts using Cycle-consistent Adversarial Networks
Institute for Natural Language Processing (IMS), University of Stuttgart（斯图加特大学自然语言处理研究所（IMS））
本文介绍了我们的最新努力，改善代码转换语言模型，遭受数据稀缺。我们研究的方法来增加码转换训练文本数据，人工生成它们。具体地说，我们提出了一个基于循环一致对抗网络的框架，将单语文本转换为语码转换文本，将语码转换视为一种说话风格。SEAME语料库上的实验结果表明，利用人工生成的代码切换文本数据，提高了一致的语言模型，以及自动语音识别性能。
2021-12-12 cs.CL
Back Translation Survey for Improving Text Augmentation
PeopleTec, Inc（PeopleTec公司）；Auburn University（奥本大学）
自然语言处理（NLP）在很大程度上依赖于训练数据。随着Transformers变得越来越大，它们需要大量的训练数据。为了满足这个要求，文本扩充应该被看作是一种扩展当前数据集和泛化模型的方法。我们将研究的一个文本增强是翻译增强。我们把一个英语句子翻译成另一种语言，然后再翻译回英语。在本文中，我们研究了108种不同语言的反向翻译对各种指标和文本嵌入的影响。
2022-11-16 cs.CL
A Simple Post-Processing Technique for Improving Readability Assessment of Texts using Word Mover's Distance
National University（国立大学）；De La Salle University（德拉萨大学）
一般来说，评估阅读材料或文本的适当难度是有效理解和学习的第一步。在这项研究中，我们改进了传统的自动可读性评估方法，将排名文本的词移动者的距离（WMD）作为一个额外的后处理技术，以进一步地面模型给出的难度水平。我们在菲律宾语、德语和英语三种多语言数据集上的实验结果表明，后处理技术的性能优于之前使用SVM的普通模型和基于排名的模型。
2021-09-19 cs.CL
Evaluating, Understanding, and Improving Constrained Text Generation for Large Language Models
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Center for Data Science, Peking University（北京大学数据科学中心）；The MOE Key Laboratory of Computational Linguistics, Peking University（北京大学教育部计算语言学重点实验室）
本研究针对大型语言模型受约束文本生成问题，对主流开源模型在词汇、结构和关系约束下的生成能力进行了评估与改进，并发布相关基准与数据集以促进未来研究。
2024-03-21 cs.CL
Improving Sentiment Analysis By Emotion Lexicon Approach on Vietnamese Texts
University of Information Technology（信息技术大学）；Vietnam National University（越南国立大学）
情感分析任务在实践中具有各种应用。在情感分析任务中，代表积极和消极情绪的单词和短语很重要。从文本中找出代表情感的词可以提高分类模型用于情感分析任务的性能。在本文中，我们提出了一种方法，结合情感词汇的分类模型，以提高模型的准确性。实验结果表明，情感词典与分类模型的结合提高了模型的性能。
2022-12-04 cs.CL
Improving End-to-End Text Image Translation From the Auxiliary Text Translation Task
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Samsung Research China - Beijing（三星电子中国研究院（北京））；Zhongke Fanyu Technology Co., Ltd（中科凡语科技有限公司）
端到端文本图像翻译（TIT）是将图像中的源语言翻译成目标语言的一种翻译方法，近年来受到了广泛的关注。然而，数据稀疏性限制了端到端文本图像翻译的性能。多任务学习是通过从互补的相关任务中探索知识来缓解这个问题的一种重要方法。在本文中，我们提出了一种新的文本翻译增强文本图像翻译，它训练端到端模型与文本翻译作为辅助任务。通过共享模型参数和多任务训练，我们的模型能够充分利用容易获得的大规模文本平行语料库。大量的实验结果表明，我们提出的方法优于现有的端到端的方法，并与文本翻译和识别任务的联合多任务学习取得了更好的效果，证明翻译和识别辅助任务是互补的。
2022-10-08 cs.CL
Improving Text Auto-Completion with Next Phrase Prediction
University of Southern California（南加州大学）；Upstage AI Research（Upstage AI 研究院）；Singapore University of Technology and Design（新加坡科技设计大学）
语言模型，如GPT-2，在构建文本自动完成任务的句法健全的句子表现良好。然而，这样的模型通常需要相当大的训练努力来适应特定的写作领域（例如，医学）。在本文中，我们提出了一种中间训练策略，以提高预训练的语言模型在文本自动完成任务中的性能，并使其快速适应特定领域。我们的策略包括一个新的自监督训练目标，称为下一个短语预测（NPP），它鼓励语言模型完成部分查询与丰富的短语，并最终提高模型的文本自动完成性能。初步实验表明，我们的方法是能够超越基线的自动完成电子邮件和学术写作领域。
2021-09-15 cs.CL
Improving Text Normalization by Optimizing Nearest Neighbor Matching
文本规范化是以非正式写作为主的社交媒体处理和分析中的一项重要任务。它旨在将非正式词汇映射到其预期的标准形式。以前提出的文本规范化方法通常需要手动选择参数以提高性能。本文提出了一种基于自动优化的最近邻匹配文本规范化方法。这种方法的动机是观察，文本规范化本质上是一个匹配问题和最近邻匹配的自适应相似性函数是最直接的procedure.We相似性函数结合了上下文，字符串和语音相似性的加权贡献，和最近邻匹配涉及最小的相似性阈值。这四个参数使用网格搜索进行有效调整。我们在两个基准数据集上评估了我们的方法的性能。结果表明，在小尺寸标记数据集上的参数调整产生了最先进的文本规范化性能。因此，这种方法允许实际上容易地构建不断发展的领域特定的规范化词典
2017-12-27 cs.CL
Improving Text-to-SQL with Schema Dependency Learning
Alibaba Group（阿里巴巴集团）
Text-to-SQL旨在将自然语言问题映射到SQL查询。基于草图的方法结合执行引导（EG）解码策略在WikiSQL基准测试中表现出很强的性能。然而，执行引导解码依赖于数据库执行，这显著地减慢了推理过程，因此对于许多现实世界的应用是不令人满意的。在本文中，我们提出了模式依赖引导的多任务文本到SQL模型（SDSQL），以指导网络有效地捕捉问题和模式之间的相互作用。所提出的模型优于所有现有的方法在这两个设置与或没有EG。我们发现模式依赖学习部分覆盖了EG的好处，并证明了对它的需求。没有EG的SDSQL大大减少了推理过程中的时间消耗，只牺牲了少量的性能，并为下游应用程序提供了更大的灵活性。
2021-12-10 cs.CL
Improving Neural Text Simplification Model with Simplified Corpora
Yangzhou University（扬州大学）
文本简化（TS）可以被视为单语翻译任务，在一种语言中的文本变体之间进行翻译。最近的神经TS模型借鉴了神经机器翻译的见解，使用编码器-解码器模型来学习词汇简化和内容缩减。但与神经机器翻译不同的是，我们无法获得足够的普通和简化的句子对TS，这是昂贵的和耗时的建设。目标方简化句子在提高统计TS的流畅性方面起着重要作用，我们研究了使用简化句子进行训练，而不改变网络架构。我们建议通过反向翻译将简单的训练语句与合成的普通语句配对，并将该合成数据视为附加的训练数据。我们使用合成句子对和原始句子对来训练编码器-解码器模型，与现有的方法相比，该方法可以在可用的WikiLarge数据和WikiSmall数据上获得实质性的改进。
2018-10-10 cs.CL
Improving Text-based Early Prediction by Distillation from Privileged Time-Series Text
The University of Melbourne（墨尔本大学）；Australian e-Health Research Centre, CSIRO（澳大利亚联邦科学与工业研究组织澳大利亚电子健康研究中心）；RMIT（皇家墨尔本理工大学）
对基于文本的时间序列进行建模以预测未来事件或结果是一项具有广泛应用的重要任务。标准方法是使用相同的输入窗口来训练和测试模型，但是这种方法忽略了在预测时间和最终结果之间的较长输入窗口中收集的数据，这些数据通常在训练期间可用。在这项研究中，我们建议将这些被忽视的文本视为训练过程中可用的特权信息，以通过知识蒸馏来增强早期预测建模，即使用隐藏的时间序列文本进行学习（LuPIET）。我们评估了临床和社交媒体文本的方法，其中四个临床预测任务基于临床笔记，两个心理健康预测任务基于社交媒体帖子。我们的研究结果表明，LuPIET在增强基于文本的早期预测方面是有效的，尽管可能需要考虑为特权文本选择适当的文本表示和窗口以实现最佳性能。与使用迁移学习和混合训练的其他两种方法相比，LuPIET提供了比基线标准训练更稳定的改进。就我们而言，这是第一个研究在NLP背景下使用特权信息进行时间序列学习的研究。
2023-01-26 cs.CL
TECO: Improving Multimodal Intent Recognition with Text Enhancement through Commonsense Knowledge Extraction
Faculty of Information Technology（信息技术学院）；VNU University of Engineering and Technology（VNU工程技术大学）
针对多模态意图识别中文本语义利用及跨模态对齐融合的难题，提出TECO方法，通过提取生成与检索的常识知识增强文本特征，再融合视听模态，性能显著优于现有基线。
2024-12-11 cs.CL
Improving Factual Accuracy of Neural Table-to-Text Output by Addressing Input Problems in ToTTo
University of Aberdeen（阿伯丁大学）
本文针对神经表格到文本模型的事实幻觉问题，人工标注 ToTTo 政治领域的 1,837 条生成文本，证明修复输入缺陷可使事实错误降低 52%–76%。
2024-04-05 cs.CL
Improving text classification with vectors of reduced precision
Jagiellonian University（雅盖隆大学）；AGH University of Science and Technology（AGH科技大学）；Academic Computer Centre CYFRONET（学术计算机中心CYFRONET）
分析了浮点数精度降低对文本分类质量的影响。表示数据的向量的精度降低（例如，在我们的情况下，TF-IDF表示）允许减少专用硬件平台上的计算时间和内存占用。使用4种不同的分类器，在5个语料库上进行了精度降低对分类质量的影响。此外，降维考虑。结果表明，精度降低提高了分类精度的大多数情况下（高达25%的错误减少）。一般来说，从64位减少到4位给出了最佳分数，并确保结果不会比全浮点表示更差。
2017-06-20 cs.CL
Improving Medical Short Text Classification with Semantic Expansion Using Word-Cluster Embedding
Peking University（北京大学）；ShenZhen Institute of Information Technology（深圳信息职业技术学院）
自动文本分类（TC）研究可以用于现实世界的问题，如住院患者出院摘要和医疗文本报告的分类，这有利于使医生更容易理解医疗文档。然而，在电子病历（EMR）中，包含句子的文本比一般领域中的文本要短，这导致了语义特征的缺乏和语义的模糊。为了应对这一挑战，我们提出将词簇嵌入到深度神经网络中，以提高短文本分类。具体地说，我们首先使用层次凝聚聚类在语义空间中的词向量聚类。然后计算聚类中心向量，该向量代表聚类中词的隐含主题信息。最后，我们使用聚类中心向量扩展词向量，并分别使用CNN和LSTM实现分类器。为了评估我们提出的方法的性能，我们进行了实验上的公共数据集TREC和医疗短句数据集，这是我们构建和发布。实验结果表明，我们提出的方法优于国家的最先进的基线在医学领域和一般领域的短句分类。
2018-12-05 cs.CL
Improving Demonstration Diversity by Human-Free Fusing for Text-to-SQL
Harbin Institute of Technology（哈尔滨工业大学）
本文提出衡量文本到SQL演示多样性的指标，并设计无人工迭代融合方法Fused构建高多样性演示池，在多个数据集上平均提升3.2%至5.0%，降低标注成本。
2024-06-26 cs.CL
ReverseEOL: Improving Training-free Text Embeddings via Text Reversal in Decoder-only LLMs
Institute of Science Tokyo（东京科学研究所）；Tencent（腾讯）
提出ReverseEOL方法，通过反转输入文本生成互补嵌入，结合前向嵌入提升冻结解码器仅LLM的文本表示能力，在STS和MTEB基准上显著提升无训练基线性能。
2026-06-04 cs.CL
Improving Estonian Text Simplification through Pretrained Language Models and Custom Datasets
Institute of Computer Science（计算机科学研究所）；University of Tartu（塔尔图大学）
本文利用预训练语言模型和定制数据集，改进爱沙尼亚文本简化效果，验证了LLaMA在低资源语言中的优越性。
2026-01-23 cs.CL
Subtitles to Segmentation: Improving Low-Resource Speech-to-Text Translation Pipelines
Columbia University（哥伦比亚大学）；University of Edinburgh（爱丁堡大学）
在这项工作中，我们专注于改善ASR输出分割的背景下，低资源的语言语音到文本的翻译。ASR输出分段是至关重要的，因为ASR系统使用纯声学信息对输入音频进行分段，并且不能保证输出类似音乐的分段。由于大多数机器翻译系统都希望将句子作为输入，因此输入较长的未分段段落可能会导致次优性能。我们探讨了使用电视节目和电影的字幕数据集来训练更好的ASR分割模型的可行性。我们进一步将词性（POS）标签和依赖标签信息（来自未分割的ASR输出）纳入我们的分割模型。我们表明，这种嘈杂的句法信息可以提高模型的准确性。我们评估我们的模型内在的分割质量和extramination上下游MT性能，以及下游任务，包括跨语言信息检索（CLIR）任务和人类相关性评估。我们的模型显示立陶宛语和保加利亚语的下游任务性能有所提高。
2020-10-19 cs.CL
PHICON: Improving Generalization of Clinical Text De-identification Models via Data Augmentation
The Ohio State University（俄亥俄州立大学）；The Hong Kong Polytechnic University（香港理工大学）
去识别是识别临床文本中受保护的健康信息（PHI）的任务。现有的神经去识别模型通常无法推广到新的数据集。我们提出了一个简单而有效的数据增强方法PHICON，以减轻泛化问题。PHICON由PHI增强和上下文增强组成，其分别通过用从外部源采样的命名实体替换PHI实体以及通过同义词替换或随机词插入来改变背景上下文来创建增强的训练语料库。在i2b2 2006和2014去识别挑战数据集上的实验结果表明，PHICON可以帮助三个选定的去识别模型在交叉数据集测试设置上提高F1分数（最多8.6%）。我们还讨论了使用多少增强以及每种增强方法如何影响性能。
2020-10-11 cs.CL
VIRT: Improving Representation-based Models for Text Matching through Virtual Interaction
University of Science and Technology of China（中国科学技术大学）；Meituan（美团）；MetaAI（Meta人工智能研究院）
随着预训练的Transformers的蓬勃发展，基于Siamese Transformer编码器的基于表示的模型已经成为高效文本匹配的主流技术。然而，与基于交互的模型相比，这些模型由于文本对之间缺乏交互而遭受严重的性能下降。现有技术试图通过对连体编码表示执行额外的交互来解决这个问题，而编码期间的交互仍然被忽略。为了弥补这一点，我们提出了一个\textit{Virtual} InterRacTion机制（VIRT），通过注意力图蒸馏将交互式知识从基于交互的模型转移到暹罗编码器。VIRT作为一个仅训练时间的组件，完全保持了Siamese结构的高效率，并且在推理过程中不会带来额外的计算开销。为了充分利用所学的交互知识，我们进一步设计了一个适应VIRT的交互策略。在多个文本匹配数据集上的实验结果表明，我们的方法优于最先进的基于表示的模型。更重要的是，VIRT可以很容易地集成到现有的基于表示的方法，以实现进一步的改进。
2022-10-19 cs.CL
Improving Robustness of Neural Inverse Text Normalization via Data-Augmentation, Semi-Supervised Learning, and Post-Aligning Method
SK Telecom（SK电信）
本文针对ASR生成口语文本的域外问题，提出结合数据增强、大语言模型辅助的半监督学习及后对齐方法的直接训练策略，显著提升神经逆文本正则化在多种ASR场景下的鲁棒性。
2023-09-12 cs.CL
Improving Fine-grained Visual Understanding in VLMs through Text-Only Training
Yonsei University（延世大学）；Seoul National University（首尔大学）；Sejong University（世宗大学）；The University of Suwon（水原大学）；MODULABS
本研究探讨了通过纯文本训练提升视觉语言模型细粒度视觉理解能力的可行性，实验证明该方法效果媲美图文训练且大幅降低计算成本，为资源受限环境提供高效路径。
2024-12-17 cs.CL
Improving Sequence Tagging for Vietnamese Text Using Transformer-based Neural Models
FPT Technology Research Institute（FPT技术研究院）；FPT University（FPT大学）；Vietnam National University（越南国家大学）
本文介绍了我们的研究，使用多语言BERT嵌入和一些新的神经模型，以改善越南语的序列标记任务。我们提出了新的模型架构，并在VLSP 2016和VLSP 2018的两个命名实体识别数据集以及VLSP 2010和VLSP 2013的两个词性标注数据集上对其进行了广泛的评估。我们提出的模型优于现有的方法，并取得了新的国家的最先进的结果。特别是，我们已经将VLSP 2010语料库上的词性标注准确率提高到95.40%，VLSP 2013语料库上的准确率提高到96.77%; VLSP 2016语料库上的命名实体识别的F1得分提高到94.07%，VLSP 2018语料库上的F1得分提高到90.31%。我们的代码和预训练模型viBERT和vELECTRA作为开源发布，以促进采用和进一步研究。
2020-09-25 cs.CL
Improving LSTM-based Video Description with Linguistic Knowledge Mined from Text
UT Austin（得克萨斯大学奥斯汀分校）；UC Berkeley（加州大学伯克利分校）；Boston University（波士顿大学）
本文研究了如何从大型文本语料库中挖掘语言知识，以帮助生成视频的自然语言描述。具体来说，我们将神经语言模型和分布式语义训练的大型文本语料库到最近的LSTM为基础的架构的视频描述。我们评估我们的方法上收集的Youtube视频，以及两个大型电影描述数据集显示显着改善语法，同时适度提高描述质量。
2016-11-29 cs.CL cs.CV
Improving the Faithfulness of Attention-based Explanations with Task-specific Information for Text Classification
University of Sheffield（谢菲尔德大学）
自然语言处理中的神经网络架构通常使用注意力机制来产生输入令牌表示的概率分布。注意力已被经验证明可以提高各种任务的性能，而其权重已被广泛用作模型预测的解释。最近的研究（Jain和Wallace，2019; Serrano和Smith，2019; Wiegreffe和Pinter，2019）表明，它通常不能被认为是编码器和任务之间的忠实解释（Jacovi和Goldberg，2020）。在本文中，我们试图提高基于注意力的文本分类解释的可信度。我们通过提出一个新的任务缩放（TaSc）机制，学习特定于任务的非上下文信息来缩放原始的注意力权重。对解释忠实性的评估测试表明，TaSc的三个变体在两个注意力机制、五个编码器和五个文本分类数据集上提高了基于注意力的解释，而不牺牲预测性能。最后，我们证明，TaSc一贯提供更忠实的注意力为基础的解释相比，三个广泛使用的可解释性技术。
2021-05-07 cs.CL
Improving Text Embeddings for Smaller Language Models Using Contrastive Fine-tuning
Tsinghua University（清华大学）
本文针对较小语言模型嵌入质量不足的问题，对MiniCPM、Phi-2和Gemma在NLI数据集上进行对比微调，在多个基准上提升文本嵌入质量，其中MiniCPM平均性能提升56.33%。
2024-08-02 cs.CL
