Data-driven Natural Language Generation: Paving the Road to Success
Heriot-Watt University（赫瑞-瓦特大学）
我们认为，目前有两个主要的瓶颈，商业使用的统计机器学习方法的自然语言生成（NLG）：（a）缺乏可靠的自动评估指标的NLG，（b）缺乏高质量的领域内语料库。我们解决第一个问题，通过彻底分析当前的评估指标，并激发需要一个新的，更可靠的指标。第二个问题是通过提出一个新的框架来开发和评估一个高质量的语料库NLG培训。
2017-06-28 cs.CL
Themis: A Reference-free NLG Evaluation Language Model with Flexibility and Interpretability
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）
针对现有NLG评价方法依赖参考、灵活性不足的问题，本文构建了含人工和GPT-4标注的大规模语料库NLG-Eval，提出经多视角一致性验证与面向评分的偏好对齐训练的专用评价LLM Themis，实现无参考的灵活可解释评价，性能超越GPT-4等模型且泛化性好。
2024-10-08 cs.CL
Trie-NLG: Trie Context Augmentation to Improve Personalized Query Auto-Completion for Short and Unseen Prefixes
IIT Hyderabad（印度理工学院海得拉巴分校）；Microsoft India（微软印度）
针对查询自动补全中短前缀和未见前缀的挑战，提出Trie-NLG模型，联合利用trie的流行度信号和会话查询的个性化信号增强前缀上下文，在两个大型数据集上MRR显著优于基线方法。
2023-10-23 cs.CL
ETC-NLG: End-to-end Topic-Conditioned Natural Language Generation
Università degli Studi di Trieste（的里雅斯特大学）；SISSA（国际高等研究院）
提出ETC-NLG方法，利用主题建模标注在无标签文档集合上实现完全无监督的端到端主题条件自然语言生成，并在低资源场景下验证其有效性。
2021-06-22 cs.CL
A Study of Automatic Metrics for the Evaluation of Natural Language Explanations
Edinburgh Centre for Robotics（爱丁堡机器人中心）；Heriot-Watt University（赫瑞-瓦特大学）；University of Edinburgh（爱丁堡大学）
随着透明度成为机器人和人工智能的关键，有必要评估提供透明度的方法，包括自动生成的自然语言（NL）解释。在这里，我们探讨了这种解释的生成和自然语言生成（NLG）的评价研究领域之间的相似之处。具体来说，我们调查的NLG评估措施映射以及解释。我们提出了ExBAN语料库：贝叶斯网络的NL解释的众包语料库。我们运行相关性比较人类主观评级与NLG自动措施。我们发现，基于嵌入的自动NLG评估方法，如BERTScore和BLEURT，有更高的相关性与人类的评级相比，词重叠的指标，如BLEU和ROUGE。这项工作对可解释的人工智能和透明的机器人和自主系统具有影响。
2021-03-15 cs.AI cs.CL
Using DeepSpeed and Megatron to Train Megatron-Turing NLG 530B, A Large-Scale Generative Language Model
Brown University（布朗大学）；Microsoft（微软）；NVIDIA（英伟达）
预训练的通用语言模型可以通过zero-shot、Few-Shot和微调技术来适应下游任务，从而在各种自然语言处理领域实现最先进的准确度。由于它们的成功，这些模型的大小迅速增加，需要高性能的硬件，软件和算法技术来训练这样的大型模型。作为微软和NVIDIA之间的共同努力的结果，我们介绍了最大的单片Transformer的语言模型，Megatron-Turing NLG 530 B（MT-NLG），530亿参数的训练细节。在本文中，我们首先关注的基础设施，以及三维并行方法用于训练这个模型使用DeepSpeed和Megatron。接下来，我们将详细介绍训练过程、训练语料库的设计以及我们的数据整理技术，我们认为这是模型成功的关键因素。最后，我们讨论了各种评估结果，以及其他有趣的观察和MT-NLG表现出的新特性。我们证明MT-NLG在多个NLP基准测试中实现了出色的零次、一次和少样本学习准确性，并建立了新的最先进的结果。我们相信，我们的贡献将有助于进一步开发大规模的培训基础设施，大规模的语言模型和自然语言生成。
2022-02-04 cs.CL
MVP: Multi-task Supervised Pre-training for Natural Language Generation
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Université de Montréal（蒙特利尔大学）；School of Information, Renmin University of China（中国人民大学信息学院）
本文提出多任务监督预训练方法MVP，通过将11类NLG任务的77个数据集统一为文本到文本格式进行监督预训练，并结合任务特定软提示，在13/17个数据集上超越BART和Flan-T5，取得最先进性能。
2023-05-28 cs.CL
Few-shot Natural Language Generation for Task-Oriented Dialog
Microsoft Research（微软研究院）
自然语言生成（NLG）模块是面向任务的对话系统的重要组成部分，它将以语义形式表示的对话行为转换为自然语言的应答。传统的基于模板或统计模型的成功通常依赖于大量注释的数据，这对于新领域是不可行的。因此，在实际应用中，如何利用有限的标记数据进行良好的泛化是NLG系统的关键。为此，我们提出了FewShotWoz，第一个NLG基准测试，以模拟面向任务的对话系统中的少样本学习设置。在此基础上，我们建立了SC-GPT模型。该算法在大量标注的NLG语料库上进行预训练，获得可控的生成能力，并通过少量的领域特定标签进行微调，以适应新的领域。在FewShotWoz和大型Multi-Domain-WOZ数据集上的实验表明，通过各种自动度量和人工评估，所提出的SC-GPT显着优于现有方法。
2020-02-27 cs.CL
IndoNLG: Benchmark and Resources for Evaluating Indonesian Natural Language Generation
The Hong Kong University of Science and Technology（香港科技大学）；DeepMind；Gojek；Institut Teknologi Bandung（万隆理工学院）；Universitas Multimedia Nusantara（多媒体 nusantara 大学）
自然语言生成（NLG）基准为衡量进展和开发更好的NLG系统提供了重要途径。不幸的是，缺乏低资源语言的公开NLG基准，这对构建适用于数据量有限的语言的NLG系统构成了一个具有挑战性的障碍。在这里，我们介绍IndoNLG，第一个基准来衡量自然语言生成（NLG）的进展，在三个低资源-但广泛使用-印度尼西亚的语言：印度尼西亚语，爪哇语和巽他语。总的来说，这些语言有超过1亿的母语使用者，因此构成了当今NLG系统的重要用例。具体地说，IndoNLG涵盖了六个任务：摘要、问答、聊天和三对不同的机器翻译（MT）任务。我们整理了一个干净的印度尼西亚语，巽他语和爪哇语数据集的预训练语料库Indo 4 B-Plus，用于预训练我们的模型：IndoBART和IndoGPT。我们证明了IndoBART和IndoGPT在所有任务上都取得了有竞争力的性能-尽管只使用了更大的多语言模型mBART-LARGE的五分之一的参数（Liu et al.，2020年）。这一发现强调了对密切相关的本地语言进行预训练的重要性，以实现更有效的学习和更快的推理，例如爪哇语和巽他语等资源非常低的语言。
2021-10-09 cs.CL
A System for Automatic English Text Expansion
University of Vigo（维戈大学）；Defense University Center（国防大学中心）；University of Aberdeen（阿伯丁大学）
该系统结合语言规则与统计方法实现自动文本扩展，生成连贯英语句子，具有模块化和跨语言适应性，并通过AAC概念验证及英西对比评估了其有效性。
2024-05-28 cs.AI cs.CL
Modeling informational novelty in a conversational system with a hybrid statistical and grammar-based approach to natural language generation
我们提出了一个混合统计和基于语法的系统，表面自然语言生成（NLG），使用语法规则，使用这些语法规则的条件，和语料库统计，以确定词序。我们还描述了如何在一个原型会话系统中实现这个表面NLG模块，以及它如何试图通过改变词序来模拟信息新奇。使用规则和统计信息的组合，会话系统根据运行时对话状态以与给定信息不同的方式表达新信息。我们还讨论了我们的计划，评估发电战略。
2001-06-21 cs.CL
BanglaNLG and BanglaT5: Benchmarks and Resources for Evaluating Low-Resource Natural Language Generation in Bangla
Bangladesh University of Engineering Technology (BUET)（孟加拉国工程技术大学（BUET））；University of California Los Angeles（加州大学洛杉矶分校）
这项工作提出了BanglaNLG，一个全面的基准评估自然语言生成（NLG）模型在孟加拉国，一个广泛使用但资源不足的语言。我们在BanglaNLG基准下汇总了六个具有挑战性的条件文本生成任务，并在此过程中引入了一个新的对话生成数据集。此外，使用27.5 GB的孟加拉语数据的干净语料库，我们预训练BanglaT5，这是孟加拉语的序列到序列Transformer语言模型。BanglaT5在所有这些任务中都实现了最先进的性能，超过了几个多语言模型，绝对增益高达9%，相对增益高达32%。我们将在https://github.com/csebuetnlp/BanglaNLG上公开发布新的对话数据集和BanglaT5模型，希望能推动未来对Bangla NLG的研究。
2023-02-12 cs.CL
Knowledge Acquisition for Content Selection
构建自然语言生成（NLG）系统的一个重要部分是知识获取，即确定NLG系统中应使用的特定模式、计划、语法规则等。我们讨论了一些实验，我们已经进行了KA的内容选择规则，在建立一个NLG系统的背景下，产生健康相关的材料。这些实验表明，它是有用的补充语料库分析与KA技术开发的专家系统，如结构化的小组讨论和有声思维协议。他们还提出了一个观点，即KA问题可能会影响建筑设计问题，特别是关于是否使用规划方法进行内容选择的决定。我们怀疑，在某些情况下，KA可能会更容易，如果其他建设性的专家系统技术（如生产规则，或基于案例的推理）被用来确定生成的文本的内容。
1997-02-24 cmp-lg cs.CL
Unsupervised Pre-training for Natural Language Generation: A Literature Review
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
最近，无监督预训练在计算语言学领域越来越受欢迎，这要归功于其在推进自然语言理解（NLU）方面的惊人成功以及有效利用大规模未标记语料库的潜力。然而，尽管NLU取得了成功，但在自然语言生成（NLG）方面，无监督预训练的力量只得到了部分挖掘。主要的障碍源于NLG的特殊性质：文本通常是基于特定的上下文生成的，这可能会随目标应用而变化。因此，设计一个通用的预训练架构是很难的，就像在NLU场景中一样。此外，在学习目标任务时保留从预训练中学到的知识也是一个不平凡的问题。本文总结了最近通过无监督预训练来增强NLG系统的努力，特别关注将预训练模型整合到下游任务中的方法。根据它们处理上述障碍的方式，可以将它们分为基于架构的方法和基于策略的方法。讨论还提供了进一步了解这两条线的工作之间的关系，一些翔实的经验现象，以及一些可能的方向，未来的工作可以致力于。
2019-11-13 cs.CL
Protecting Intellectual Property of Language Generation APIs with Lexical Watermark
Monash University（蒙纳士大学）；The Australian National University（澳大利亚国立大学）；Sony AI（索尼人工智能）；Microsoft Research Asia（微软亚洲研究院）；UC Berkeley（加州大学伯克利分校）
如今，由于自然语言生成（NLG）的突破，包括机器翻译、文档摘要、图像描述等，NLG模型已封装在云API中，为全球超过5亿人提供服务，每天处理超过1000亿个单词生成。因此，NLG API已经成为许多商业公司必不可少的盈利服务。由于大量的财政和智力投资，服务提供商采取了按使用付费的政策，以促进可持续的市场增长。然而，最近的工作表明，云平台遭受模型窃取攻击造成的经济损失，这些攻击旨在模仿受害者服务的功能和实用性，从而侵犯了云API的知识产权（IP）。这项工作的目标是通过识别利用受害者NLG API的水印响应的攻击者来保护NLG API的IP。然而，大多数现有的水印技术不能直接适用于NLG API的IP保护。为了弥补这一差距，我们首先提出了一种新的水印方法，文本生成API进行词法修改的原始输出。与竞争基线相比，我们的水印方法在p值方面实现了更好的可识别性能，语义损失更少。此外，我们的水印比基线更容易理解和直观。最后，实验结果表明，该方法同样适用于不同领域的查询，并且对于在包含少于10%水印样本的混合语料库上训练的攻击者是有效的。
2021-12-05 cs.CL cs.CR
Jointly Improving Language Understanding and Generation with Quality-Weighted Weak Supervision of Automatic Labeling
Saarland University（萨尔大学）；Microsoft Corporation（微软公司）
神经自然语言生成（NLG）和理解（NLU）模型是数据饥渴型的，需要大量的注释数据才能具有竞争力。最近的框架通过生成模型解决了这一瓶颈，生成模型可以大规模合成弱标签，其中少量的训练标签是专家策划的，其余的数据是自动注释的。我们遵循这种方法，通过使用微调的GPT-2自动构建大规模弱标记数据，并采用半监督框架来联合训练NLG和NLU模型。该框架根据估计的标签质量来调整模型的参数更新。在E2 E和天气基准测试中，我们证明了这种弱监督训练范式在低资源场景下是一种有效的方法，并且当使用100%的训练数据时，在两个数据集上的性能优于基准系统。
2021-02-06 cs.AI cs.CL
On the interaction of automatic evaluation and task framing in headline style transfer
University of Pisa（比萨大学）；Istituto di Linguistica Computazionale “Antonio Zampolli”（“安东尼奥·赞波利”计算语言学研究所）；University of Groningen（格罗宁根大学）；University of Malta（马耳他大学）
NLG社区正在进行的一场辩论涉及评估系统的最佳方式，与基于语料库的指标相比，人类评估通常被认为是最可靠的方法。然而，涉及微妙的文本差异的任务，如风格转换，往往是人类难以执行的。在本文中，我们提出了一种评估方法，这项任务的基础上经过严格训练的分类器，它比传统的指标，如BLEU和ROUGE更好地反映系统的差异。
2021-01-05 cs.CL
MzansiText and MzansiLM: An Open Corpus and Decoder-Only Language Model for South African Languages
本文介绍MzansiText和MzansiLM，针对南非11种官方语言中的9种低资源语言，通过任务特定微调在自然语言理解与生成任务中取得显著成果，但小规模下少量推理仍具挑战性。
2026-03-21 cs.CL
CLSE: Corpus of Linguistically Significant Entities
Google（谷歌）；Predibase
针对NLG中命名实体处理导致的语法错误问题，构建了涵盖34种语言、74种语义类型的语言学显著实体语料库CLSE，并基于其生成SGD-CLSE基准，在法语、马拉地语和俄语上评估了神经、模板及混合NLG系统的质量基线。
2023-08-30 cs.CL
GreekBART: The First Pretrained Greek Sequence-to-Sequence Model
École Polytechnique（巴黎综合理工学院）；National Technical University of Athens（雅典国立技术大学）；Athens University of Economics and Business（雅典经济与商业大学）；KTH Royal Institute of Technology（KTH皇家理工学院）
本文提出了首个基于BART-base架构并在大规模希腊语语料库上预训练的Seq2Seq模型GreekBART，并在多种判别性任务和两项生成任务上验证了其性能。
2023-04-03 cs.CL
Unified Knowledge Prompt Pre-training for Customer Service Dialogues
Meituan Group（美团集团）
对话机器人已广泛应用于客户服务场景，以提供及时和用户友好的体验。这些机器人必须对对话的适当领域进行分类，理解用户的意图，并生成适当的响应。现有的对话预训练模型只针对多个对话任务，忽略了客户服务对话中弱监督的专家知识。在本文中，我们提出了一个新的统一的知识提示预训练框架，UFA（\textbf{U}任务模型\textbf{F}或\textbf{A} ll任务），为客户服务对话。我们制定的所有任务的客户服务对话作为一个统一的文本到文本的生成任务，并引入知识驱动的提示策略，共同学习不同的对话任务的混合物。我们在从实际场景中收集的大规模中文客户服务语料库上对UFA进行了预训练，并在自然语言理解（NLU）和自然语言生成（NLG）基准测试上得到了显著的改进。
2022-08-31 cs.CL
Comparing Computational Architectures for Automated Journalism
大多数NLG系统都是按照基于模板或基于流水线的架构设计的。最近提出的用于数据到文本生成的神经模型具有端到端的深度学习风格，它在没有显式中介表示的情况下处理自然语言中的非语言输入。本研究比较了最常用的方法，从结构化数据生成巴西葡萄牙语文本。结果表明，生成过程中明确的中间步骤比神经端到端架构生成的文本更好，避免了数据幻觉，同时更好地概括了看不见的输入。代码和语料库是公开的。
2022-10-08 cs.AI cs.CL
ADEQA: A Question Answer based approach for joint ADE-Suspect Extraction using Sequence-To-Sequence Transformers
AWS AI（AWS人工智能）
本文提出ADEQA，一种基于问答和序列到序列transformer的方法，利用准监督标注数据提取药物不良事件及嫌疑药物关系，在公开语料库上F1分数达94%，显著降低了标注门槛。
2024-12-20 cs.CL cs.IR
GPT-NL Public Corpus: A Permissively Licensed, Dutch-First Dataset for LLM Pre-training
本文介绍了GPT-NL公共语料库，这是最大的许可宽松的荷兰语资源语料库，包含21个纯荷兰语集合，总计360亿个预处理荷兰语标记，以及来自现有数据集的英语、代码和德语/丹麦语标记，旨在为合法、有用且无害的语言模型创造提供支持。
2026-04-01 cs.CL
Do Language Models Plagiarize?
Penn State University（宾夕法尼亚州立大学）；University of Mississippi（密西西比大学）
过去的文献已经表明，语言模型（LM）经常记住部分训练实例，并在自然语言生成（NLG）过程中再现它们。然而，目前还不清楚LM在多大程度上“重用”训练语料库。例如，模型可以生成与训练样本在上下文上相似的释义句子。因此，在这项工作中，我们研究了三种类型的剽窃（即，逐字、释义和想法）与其训练数据进行比较，并进一步分析了在实践中广泛使用的特定领域语料库中微调LM的剽窃模式。我们的研究结果表明：（1）三种类型的剽窃广泛存在于记忆之外的语言记忆中;（2）语言记忆的大小和解码方式与剽窃程度密切相关;（3）微调后的语言记忆的剽窃模式因其语料相似性和同质性而异。鉴于LM的大部分训练数据都是从网络上抓取的，而没有通知内容所有者，他们将单词、短语甚至核心思想从训练集中重复到生成的文本中具有伦理意义。随着LM的大小和它们的训练数据的增加，它们的模式可能会加剧，这引起了人们对不加区别地追求具有更大训练语料库的更大模型的担忧。剽窃内容还可能包含个人的个人信息和敏感信息。这些研究结果总体上对当前LM在关键任务写作任务中的实用性提出了质疑，并敦促围绕观察到的现象进行更多的讨论。数据和源代码可在https://github.com/Brit7777/LM-plagiarism上获得。
2023-02-13 cs.AI cs.CL
Controlling Personality Style in Dialogue with Zero-Shot Prompt-Based Learning
University of California, Santa Cruz（加州大学圣克鲁兹分校）
基于上下文的上下文学习在许多自然语言生成（NLG）任务上实现了高zero-shot性能。在这里，我们探讨的性能，同时控制的个性和语义准确性的NLG任务为导向的对话，基于任务的学习。我们在PERSONAGE餐厅推荐语料库上进行了基于语义的学习实验，以生成5种不同的Big-5人格类型的语义和风格控制文本：令人愉快的，不愉快的，认真的，不认真的和外向的。我们测试了两种不同类别的离散提示，以生成特定个性风格的话语：（1）提示，演示直接从包括个性规范的含义表示生成;（2）提示，依赖于首先将含义表示转换为文本伪引用，然后在文本风格转换（TST）提示中使用伪引用。在每种情况下，我们表明，我们可以大大提高性能，通过过度生成输出和排名，测试几个排名功能的基础上自动度量语义准确性，个性匹配，和流畅性。我们还测试是否NLG的个性演示从餐厅域可以使用的意义表示的视频游戏域生成个性风格化的话语有关的视频游戏。我们的研究结果表明，TST提示产生了最高的语义准确性（78.46%的餐厅和87.6%的视频游戏）和个性准确性（100%的餐厅和97%的视频游戏）。我们在将个性风格转移到视频游戏话语上的结果令人惊讶地好。据我们所知，有没有以前的工作测试的应用程序的基于语义的学习，同时控制风格和语义的准确性在NLG。
2023-02-08 cs.CL
Learning from Mistakes: Combining Ontologies via Self-Training for Dialogue Generation
University of California, Santa Cruz（加利福尼亚大学圣克鲁兹分校）；Amazon Alexa AI（亚马逊 Alexa 人工智能）
面向任务对话的自然语言生成器（NLG）通常将意义表示（MR）作为输入。它们通过MR/话语对的语料库进行端到端的训练，其中MR覆盖特定的对话行为和域属性集。创建这样的数据集是劳动密集型和耗时的。因此，新领域本体的对话系统将受益于使用预先存在的本体的数据。在这里，我们探索，第一次，是否有可能训练一个NLG的一个新的更大的本体使用现有的训练集的餐厅领域，其中每个集合是基于不同的本体。我们创建一个新的、更大的组合本体，然后训练NLG生成覆盖它的话语。例如，如果一个数据集具有家庭友好和评级信息的属性，另一个数据集具有装饰和服务的属性，我们的目标是组合本体的NLG可以生成实现家庭友好、评级、装饰和服务价值的话语。使用基线神经序列到序列模型的初步实验表明，这项任务具有惊人的挑战性。然后，我们开发了一种新的自训练方法，识别（错误的）模型输出，自动构建一个正确的MR输入，形成一个新的（MR，话语）训练对，然后重复添加这些新的实例回到训练数据。然后，我们在一个新的测试集上测试结果模型。结果是一个自我训练的模型，其性能比基线模型提高了75.4%。我们还报告了最终模型的人类定性评价，表明它实现了高度的自然性，语义连贯性和语法性
2020-09-30 cs.CL
Discourse Embellishment Using a Deep Encoder-Decoder Network
Institute of Cognitive Science（认知科学研究所）；University of Osnabrück（奥斯纳布吕克大学）；Radboud University（拉德堡德大学）
我们提出了一个新的NLG任务的背景下，话语生成管道的计算讲故事系统。这一任务，文本修饰，是通过将文本作为输入，并生成语义上等同的输出，增加词汇和句法复杂性来定义的。理想情况下，这将允许计算说书人的作者实现轻量级的NLG系统，并使用独立于域的修饰模块将其输出转换为更具文学性的文本。我们使用在WikiLarge数据集上训练的LSTM编码器-解码器网络，在这项任务上展示了有希望的第一个结果。此外，我们介绍了“编译的计算机故事”，计算生成的故事语料库，可用于测试的能力，修饰算法。
2018-10-18 cs.CL cs.LG
ManufactuBERT: Efficient Continual Pretraining for Manufacturing
本文提出ManufactuBERT，通过在制造业大规模去重语料库上持续预训练RoBERTa，在多项制造相关NLP任务上达到最先进水平，并将训练时间和计算成本降低33%。
2025-11-07 cs.CL
MBR and QE Finetuning: Training-time Distillation of the Best and Most Expensive Decoding Methods
Google（谷歌公司）
本文提出MBR微调与QE微调，通过在训练时蒸馏MBR解码和QE重排序的质量提升，在推理时保持高效解码，显著提升了NMT等NLG任务的模型质量。
2024-03-25 cs.CL
Trained on 100 million words and still in shape: BERT meets British National Corpus
University of Oslo（奥斯陆大学）
本文探索使用英国国家语料库进行预训练，证明其性能优于原始BERT，并提出优化架构LTG-BERT，为语言建模提供数据高效的基准。
2023-05-05 cs.CL
Get away with less: Need of source side data curation to build parallel corpus for low resource Machine Translation
Language Technologies Research Centre (LTRC)（语言技术研究中心（LTRC））
LALITA通过词汇和语言特征筛选源句，有效减少低资源机器翻译的数据需求，提升翻译质量。
2026-03-11 cs.CL
Training a Knowledge Base: Supervised Structure Learning for Agent-Curated Document Stores
University of Nebraska–Lincoln（内布拉斯加大学林肯分校）
该研究提出监督式结构学习方法训练知识库，以智能体策划文档存储，提升动作效率与准确率，其泛化性与键覆盖相关，欠训练的存储可通过增加训练问题进一步优化。
2026-08-26 cs.AI cs.CL cs.IR
The Copy Ceiling: An Input-Exposure Control for Ontology-Grounded Generation over Curated Corpora
DreamLab AI
本文提出暴露核算方法，通过复制上限基线评估基于图检索的语料库问答，区分暴露与恢复，揭示模型增益多源于上下文复制而非推理，并验证其作为评估控制的有效性。
2026-09-30 cs.CL cs.CY
Self-Diagnosis and Self-Debiasing: A Proposal for Reducing Corpus-Based Bias in NLP
Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心）；Institute of Social and Cultural Anthropology, LMU Munich（慕尼黑大学社会与文化人类学研究所）
当对来自互联网的大量未经过滤的爬行进行训练时，语言模型会拾取并复制数据中可以找到的各种不受欢迎的偏见：它们经常生成种族主义，性别歧视，暴力或其他有毒语言。由于大型模型需要数百万个训练样本来实现良好的性能，因此很难完全防止它们暴露于此类内容。在本文中，我们首先展示了一个令人惊讶的发现：预训练的语言模型在相当大的程度上识别出它们产生的不良偏见和内容的毒性。我们把这种能力称为自我诊断。基于这一发现，我们提出了一个解码算法，只给出一个文本描述的不希望的行为，降低了概率的语言模型产生问题的文本。我们把这种方法称为自我去偏。自去偏不依赖于手动策划的单词列表，也不需要任何训练数据或对模型参数的更改。虽然我们绝不能消除语言模型生成有偏见的文本的问题，但我们相信我们的方法是朝着这个方向迈出的重要一步。
2021-09-09 cs.CL
EMMA-500: Enhancing Massively Multilingual Adaptation of Large Language Models
EMMA-500通过持续预训练提升多语言性能，尤其改善低资源语言的覆盖与跨语言迁移能力。
2025-12-04 cs.CL
ReGen: Zero-Shot Text Classification via Training Data Generation with Progressive Dense Retrieval
Georgia Institute of Technology（佐治亚理工学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google Research（谷歌研究院）
提出检索增强框架ReGen，通过对比预训练和密集检索从无标签语料库生成训练数据，结合动词化器增强和自洽性过滤策略，在九个数据集上超越基线4.3%并节省约70%时间。
2023-05-18 cs.CL cs.IR cs.LG
A Hybrid Protocol for Large-Scale Semantic Dataset Generation in Low-Resource Languages: The Turkish Semantic Relations Corpus
本文提出一种混合方法生成低资源语言的大规模语义关系数据集，通过土耳其语语义关系语料库验证，实现了10倍规模增长，成本低且适用于其他低资源语言。
2026-01-19 cs.CL cs.LG
Fast and Light-Weight Answer Text Retrieval in Dialogue Systems
IBM Research AI（IBM研究院人工智能部门）；IBM Watson（IBM沃森）
对话系统可以受益于能够搜索整个文本语料库以找到与用户请求相关的信息，特别是当遇到没有手动策划的响应可用的请求时。神经稠密检索或重新排序的最新技术涉及具有数亿参数的深度学习模型。然而，让这样的模型在工业规模上运行是困难和昂贵的，特别是对于通常需要支持大量单独定制的对话系统的云服务，每个对话系统都有自己的文本语料库。我们报告了我们的工作，使先进的神经稠密检索系统有效地运行在规模相对便宜的硬件。我们与领先的替代工业解决方案进行比较，并表明我们可以提供有效，快速和具有成本效益的解决方案。
2022-05-31 cs.CL cs.IR
Impact of enriched meaning representations for language generation in dialogue tasks: A comprehensive exploration of the relevance of tasks, corpora and metrics
University of the Basque Country (UPV/EHU)（巴斯克大学（UPV/EHU））
本文研究了在对话任务中，通过提供任务示范器是否能提升微调模型的生成质量，分析了不同领域、语料特征和评估指标对生成质量的影响，发现意义增强输入在复杂任务和小数据集上效果显著，且语义指标比词汇指标更准确。
2026-03-31 cs.AI cs.CL
IHUBERT: Vector-Based Semantic Deduplication and Domain-Balanced Pretraining for Persian Resources
Department of Artificial Intelligence and Cognitive Science, Imam Hossein Comprehensive University（人工智能与认知科学系，伊玛目·侯赛因综合大学）
提出IHUBERT，一个基于RoBERTa-base的波斯语预训练模型，通过多阶段预处理（包括基于向量数据库的语义去重和领域平衡）在45GB语料上训练，在多项NLU任务上取得领先结果，尤其抽取式问答表现突出。
2026-06-19 cs.AI cs.CL
Chronoberg: A 250-Year Diachronic Corpus with Temporal Affective Lexicons for Language Model Analysis
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；Department of Computer Science and Mathematics, University of Bremen（不莱梅大学计算机科学与数学系）；Hessian Center for AI (hessian.AI)（黑森人工智能中心）；Department of Computer Science, TU Darmstadt（图宾根大学计算机科学系）；Centre for Cognitive Science, TU Darmstadt（图宾根大学认知科学中心）；CERTAIN
针对现有语料库缺乏时间结构的问题，提出CHRONOBERG，一个跨越250年的英语书籍时间语料库，用于量化词汇语义变化并构建历史情感词典，证明现代LLM需时间感知训练以捕捉历时意义变化。
2026-10-16 cs.AI cs.CL
Forecasting Future World Events with Neural Networks
UC Berkeley（加州大学伯克利分校）；MIT（麻省理工学院）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；University of Oxford（牛津大学）
预测未来世界事件是一项具有挑战性但有价值的任务。对气候、地缘政治冲突、流行病和经济指标的预测有助于制定政策和决策。在这些领域，专家的判断有助于做出最佳预测。鉴于语言建模的进步，这些预测可以自动化吗？为此，我们引入了Autocast，一个包含数千个预测问题和相应新闻语料库的数据集。问题来自预测比赛，确保高质量，现实世界的重要性和多样性。新闻语料库是按日期组织的，这使我们能够精确地模拟人类做出过去预测的条件（避免未来的泄漏）。由于难以预测数量级之间的数字（例如2022年的全球COVID-19病例），我们还策划了IntervalQA，这是一个数字问题和校准指标的数据集。我们在预测任务中测试了语言模型，发现其性能远低于人类专家的基线。然而，随着模型大小的增加和来自新闻语料库的相关信息的并入，性能提高。总之，Autocast对大语言模型提出了新的挑战，提高性能可以带来很大的实际好处。
2022-10-09 cs.CL cs.LG
Exploring the Limits of Domain-Adaptive Training for Detoxifying Large-Scale Language Models
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；NVIDIA（英伟达）；Arizona State University（亚利桑那州立大学）；California Institute of Technology（加州理工学院）
预先训练的语言模型（LM）很容易生成有毒语言。在这项工作中，我们系统地探索领域自适应训练，以减少语言模型的毒性。我们从训练语料、模型大小和参数效率三个维度进行研究。对于训练语料库，我们建议利用LM的生成能力，为领域自适应训练生成无毒数据集，这可以减轻暴露偏差，并且比使用策划的预训练语料库更有效。我们证明了自生成方法在自动和人工评估中始终优于各种模型大小的现有基线，即使它使用1/3较小的训练语料库。然后，我们全面研究了解毒LM，其参数大小从126 M到530 B（比GPT-3大3倍），这是以前从未研究过的规模。我们发现，i）在相同的预训练语料库中，大型LM与较小的LM具有相似的毒性水平，ii）大型LM需要更多的努力来解毒。我们还探索参数高效的戒毒培训方法。我们证明了在LM中添加和训练仅适配器层不仅节省了大量参数，而且比大规模模型的整个模型自适应在毒性和困惑之间实现了更好的权衡。
2022-10-21 cs.AI cs.CL cs.CY
An Explainable System for Offensive Content Detection in Nastaliq Urdu: Corpus Curation, Transformer Benchmarking, and Word-Level Attribution
School of Computing Sciences, Pak-Austria Fachhochschule, Institute of Applied Sciences and Technology（巴基斯坦-奥地利应用科学与技术学院计算科学学院）
本研究针对乌尔都语 Nastaliq 书写体的冒犯内容检测问题，整理公开含 7604 条评论的语料库，微调 MuRIL 等模型并开展基准测试，还计算适配从右到左渲染的词级 SHAP 归因，为该领域提供可解释的检测方案。
2026-10-14 cs.AI cs.CL
