TaylorGAN: Neighbor-Augmented Policy Update for Sample-Efficient Natural Language Generation
National Taiwan University(台湾大学)
基于评分函数的自然语言生成(NLG)方法(诸如REINFORCE)通常遭受低样本效率和训练不稳定性问题。这主要是由于离散空间采样的不可微性质,因此这些方法不得不将离散空间采样视为黑箱并忽略梯度信息。为了提高REINFORCE算法的样本效率和减小算法的方差,提出了一种新的算法TaylorGAN,该算法通过非策略更新和一阶泰勒展开来增强梯度估计。这种方法使我们能够以较小的批量从头开始训练NLG模型-无需最大似然预训练,并且在质量和多样性的多个指标上优于现有的基于GAN的方法。源代码和数据可在https://github.com/MiuLab/TaylorGAN上获得
2020-11-27 cs.CL cs.LG
PrahokBART: A Pre-trained Sequence-to-Sequence Model for Khmer Natural Language Generation
National Institute of Information and Communications Technology(日本信息与通信技术国家研究所)
PrahokBART是一种针对柬埔寨语言优化的预训练模型,通过改进语料库质量和引入语言组件,在机器翻译、文本摘要和标题生成任务中超越了现有多语言模型。
2025-12-15 cs.CL
Lexical Complexity Controlled Sentence Generation
Beijing Language and Culture University(北京语言大学);Shanghai University of Finance and Economics(上海财经大学)
文本生成很少考虑对词汇复杂度的控制,这限制了它更全面的实际应用。我们引入了一个新的任务词汇复杂度控制的句子生成,其目的是关键字的句子生成所需的复杂度水平。它在年级阅读、语言教学和语言习得等领域有着巨大的潜力。这项任务的挑战是只使用给定复杂程度的单词生成流利的句子。我们提出了一个简单而有效的方法,这项任务的基础上复杂性嵌入。与现有的解决方案相比,我们的方法将单词复杂度的表示融合到模型中,以更好地控制词汇复杂度。我们证明了这种方法对于从头开始训练模型和微调预训练模型的可行性。为了便于研究,我们分别开发了英文和中文两个数据集,并在其上进行了广泛的实验。结果表明,我们的方法更好地控制词汇的复杂性,并产生更高质量的句子比基线方法。
2022-11-26 cs.CL
Text Generation with Text-Editing Models
Google(谷歌);McGill University(麦吉尔大学);Mila(米拉研究所)
文本编辑模型最近已经成为seq 2seq模型的一个突出的替代品,用于单语文本生成任务,如语法错误纠正,简化和风格转换。这些任务有一个共同的特点-它们在源文本和目标文本之间表现出大量的文本重叠。文本编辑模型利用这种观察,并通过预测应用于源序列的编辑操作来学习生成输出。相比之下,seq 2seq模型从零开始逐字生成输出,从而使它们在推理时变慢。与seq 2seq模型相比,文本编辑模型提供了几个优点,包括更快的推理速度、更高的样本效率以及更好的输出控制和可解释性。本教程全面概述了文本编辑模型和当前最先进的方法,并分析了它们的优缺点。我们讨论了与生产化相关的挑战,以及如何使用这些模型来减轻幻觉和偏见,这两个都是文本生成领域的紧迫挑战。
2022-06-14 cs.CL
Natural Language Generation by Hierarchical Decoding with Linguistic Patterns
National Taiwan University(台湾大学)
自然语言生成(NLG)是口语对话系统中的一个重要组成部分。经典的NLG可以分为两个阶段:(1)句子规划:确定整体句子结构,(2)表面实现:确定特定的单词形式并将句子结构扁平化为一个字符串。许多简单的NLG模型基于递归神经网络(RNN)和序列到序列(seq 2seq)模型,基本上包含编码器-解码器结构;这些NLG模型通过使用简单的交叉熵损失训练标准联合优化句子规划和表面实现来从头开始生成句子。然而,简单的编码器-解码器体系结构通常会产生复杂的长句,因为解码器必须学习所有的语法和措辞知识。本文介绍了一种基于不同层次语言模式的分层解码NLG模型,并表明该方法比传统方法具有更小的模型规模。此外,分层解码的设计是灵活的,并且易于在各种NLG系统中扩展。
2018-08-09 cs.CL
Dual Supervised Learning for Natural Language Understanding and Generation
National Taiwan University(台湾大学)
自然语言理解(NLU)和自然语言生成(NLG)都是自然语言处理领域的重要研究课题。自然语言理解是从给定的话语中提取出核心语义,而自然语言生成则与之相反,其目标是根据给定的语义构造相应的句子。然而,这种双重关系在文献中还没有被研究。本文在双监督学习的基础上,提出了一种新的语言理解和生成的学习框架,提供了一种利用二元性的方法。初步实验表明,所提出的方法提高了这两个任务的性能。
2020-04-30 cs.CL
Semi-Supervised Neural Text Generation by Joint Learning of Natural Language Generation and Natural Language Understanding Models
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
在自然语言生成(NLG)中,通过深度学习训练的端到端(E2E)系统最近引起了人们的强烈兴趣。这种深度模型需要大量仔细注释的数据才能达到令人满意的性能。然而,为每个新的NLG应用程序获取这样的数据集是一项繁琐而耗时的任务。在本文中,我们提出了一种半监督深度学习方案,可以从未注释的数据和注释的数据中学习。它使用NLG和自然语言理解(NLU)序列到序列模型,这些模型是联合学习的,以弥补注释的不足。在两个基准数据集上的实验表明,在有限的标注数据量下,该方法可以在不使用任何预处理或重新评分技巧的情况下获得非常有竞争力的结果。这些发现为利用非注释数据集开辟了道路,这是E2E NLG系统开发新应用的当前瓶颈。
2019-09-29 cs.CL
ALTER: Auxiliary Text Rewriting Tool for Natural Language Generation
The Australian National University(澳大利亚国立大学);Data61 CSIRO(澳大利亚联邦科学与工业研究组织Data61);Monash University(莫纳什大学)
在本文中,我们描述了ALTER,一个辅助的文本重写工具,有利于重写过程中的自然语言生成任务,如释义,文本简化,公平意识的文本重写,和文本风格转移。我们的工具有两个特点,i)记录单词级的修订历史,ii)灵活的辅助编辑支持和对注释者的反馈。文本重写辅助和可追溯的重写历史对自然语言生成的未来研究具有潜在的意义。
2019-09-14 cs.CL
Natural Language Generation Challenges for Explainable AI
University of Aberdeen(阿伯丁大学)
人工智能(XAI)推理的高质量解释必须出于解释性目的编写(和评估),针对读者,具有良好的叙述和因果结构,并突出不确定性和数据质量影响AI输出的地方。我从自然语言生成(NLG)的角度讨论了这些挑战,并强调了XAI研究面临的四个具体NLG挑战。
2019-11-20 cs.CL
RoadWeaver: Large-Scale Lane-Level HD Map Generation from Scratch for Autonomous Driving Simulation
该研究提出RoadWeaver框架,以由粗到细的方式从零生成大规模车道级高清地图,其性能优于现有最优方法,生成的地图可直接用于自动驾驶仿真。
2026-08-13 cs.AI cs.RO
DeepRAG: Building a Custom Hindi Embedding Model for Retrieval Augmented Generation from Scratch
Deepmost Innovations(迪普莫斯特创新公司)
本文提出DeepRAG,从零构建印地语专用嵌入模型,通过270万样本、定制分词器、印地语特定注意力机制和对比学习,使检索精度比多语言模型提升23%,并集成LangChain构建完整印地语RAG系统。
2025-03-11 cs.AI cs.CL
NL2Scratch: An Executable Benchmark and Evaluation for Block-Based Programming
ETH Zurich(苏黎世联邦理工学院);ETH AI Center(ETH人工智能中心)
提出NL2Scratch基准,包含31万+解析验证的NL-Scratch程序对,并设计语义对齐一致性(SAC)指标评估语义匹配,实验发现词法相似度高但语义对齐不足,尤其在操作槽位。
2026-06-23 cs.AI cs.CL
E2E-SWE: Benchmarking LLMs on Building Working Codebases from Scratch
Meta Superintelligence Labs(元超级智能实验室)
该基准E2E-SWE通过186个跨11种语言的整仓库生成任务评估LLM智能体从零构建可用代码库的能力,发现pass@1在11.7%至67.7%间波动,凸显系统级推理需求。
2026-10-01 cs.AI cs.SE
LLM Agents Implement an NLG System from Scratch: Building Interpretable Rule-Based RDF-to-Text Generators
Charles University, Faculty of Mathematics and Physics(查理大学数学与物理系)
本文提出了一种基于 LLM agent 的神经符号框架,通过协作交互生成可解释的 RDF-to-Text 生成器,减少幻觉并提升生成效率。
2025-12-20 cs.AI cs.CL
Self-Evaluation Unlocks Any-Step Text-to-Image Generation
The University of Hong Kong(香港大学);Adobe Research(Adobe研究)
Self-E 是一种新颖的从头开始训练方法,通过自我评估机制实现任意步文本到图像生成,兼具高效与高质量生成能力。
2025-12-26 cs.AI cs.CV cs.LG
Ayn: A Tiny yet Competitive Indian Legal Language Model Pretrained from Scratch
本文提出Ayn,一个预训练的印度法律领域小型语言模型,在法律案例判断预测任务中超越80倍大的LLM,在摘要任务中与30倍大的LLM竞争,并在通用任务中与大模型竞争。
2026-03-16 cs.AI cs.CL cs.LG
MindLLM: Pre-training Lightweight Large Language Model from Scratch, Evaluations and Domain Applications
Beijing Institute of Technology(北京理工大学);Southeast Academy of Information Technology(东南信息技术研究院)
本文提出从零预训练的双语轻量级大语言模型MindLLM(13亿和30亿参数),通过系统总结数据构建、架构、评估及应用经验,并设计面向小模型的指令微调框架,在部分公开基准上达到或超越更大开源模型,同时验证其在法律和金融垂直领域的适用性。
2023-10-29 cs.AI cs.CL
Counterfactual Off-Policy Training for Neural Response Generation
Harbin Institute of Technology(哈尔滨工业大学);University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校)
开放域对话生成由于潜在响应的巨大规模而遭受数据不足的问题。在本文中,我们建议通过反事实推理来探索潜在的反应。给定观察到的响应,反事实推理模型自动推断可能已经采取的替代策略的结果。事后合成的反事实反应比从头开始合成的反应质量更高。对抗性学习框架下的反事实反应训练有助于探索潜在反应空间的高回报区域。对DailyDialog数据集的实证研究表明,我们的方法显著优于HRED模型和传统的对抗性学习方法。
2020-10-09 cs.AI cs.CL cs.LG
Tree Matching Networks for Natural Language Inference: Parameter-Efficient Semantic Understanding via Dependency Parse Trees
Eastern Washington University(东部华盛顿大学)
树匹配网络通过依赖解析树实现参数高效的自然语言推理,显著提升SNLI任务性能,同时减少内存和训练时间。
2025-12-16 cs.AI cs.CL cs.LG
Learning Language Games through Interaction
Stanford University(斯坦福大学)
我们介绍了一种新的语言学习设置相关的建设自适应自然语言接口。它的灵感来自维特根斯坦的语言游戏:一个人希望完成一些任务(例如,实现块的特定配置),但是只能与执行实际动作的计算机通信(例如,移除所有红色块)。计算机最初对语言一无所知,因此必须通过交互从头开始学习,而人类则适应计算机的能力。我们在一个积木世界中创建了一个游戏,并收集了100名参与者的互动。首先,我们分析了人类的策略,表明使用组合性和避免同义词与任务绩效呈正相关。其次,我们比较计算机策略,展示如何快速从头开始学习语义解析模型,以及建模语用学进一步加速成功玩家的学习。
2016-06-08 cs.AI cs.CL
Chatbot: A Conversational Agent employed with Named Entity Recognition Model using Artificial Neural Network
Quaid-i-Azam University(奎德阿扎姆大学)
聊天机器人是一种使用自然语言模仿人类行为的技术。有不同类型的聊天机器人,可以用作各种业务领域的会话代理,以提高客户服务和满意度。对于任何业务领域,它都需要为该领域建立一个知识库,并设计一个基于信息检索的系统,该系统可以用一段文档或生成的句子来响应用户。聊天机器人的核心组件是自然语言理解(NLU),它通过深度学习方法得到了令人印象深刻的改进。但是我们经常缺乏这样正确构建的NLU模块,并且需要更多的时间从头开始构建高质量的对话。这可能会鼓励新的学习者从头开始构建具有简单架构和使用小数据集的聊天机器人,尽管它可能具有减少的功能,而不是构建高质量的数据驱动方法。本研究的重点是命名实体识别(NER)和意图分类模型,可以集成到聊天机器人的NLU服务。命名实体将被手动插入知识库,并在给定的句子中自动检测。在所提出的架构中的NER模型是基于人工神经网络,人工神经网络是人工创建的实体进行训练,并使用CoNLL-2003数据集进行评估。
2020-06-19 cs.AI cs.CL
LLMOPT: Learning to Define and Solve General Optimization Problems from Scratch
East China Normal University(华东师范大学);Ant Group(蚂蚁集团);Nanjing University(南京大学)
本文提出统一学习框架LLMOPT,通过五元建模、多指令微调及模型对齐与自我纠正机制,从零自动定义并求解多种优化问题,在六大数据集上较SOTA平均提升11.08%求解准确率。
2025-03-03 cs.AI cs.LG
ZeroGen: Efficient Zero-shot Learning via Dataset Generation
The University of Hong Kong(香港大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Shanghai AI Laboratory(上海人工智能实验室);University of Washington(华盛顿大学)
由于大型预训练语言模型(PLM)的优越生成能力,最近对数据集生成的兴趣越来越大。本文研究了一种灵活高效的零短缺学习方法\textsc{ZeroGen}。给定一个zero-shot任务,我们首先以无监督的方式使用PLM从头开始生成数据集。然后,我们训练一个微小的任务模型(例如,LSTM)在合成数据集的监督下。该方法允许高效的推断,因为最终任务模型与PLM相比仅具有数量级更少的参数(例如,GPT2-XL)。除了是无注释和高效的,我们认为,\textsc{ZeroGen}也可以提供有用的见解,从数据的角度,无模型不可知的知识蒸馏,和未引用的文本生成评估。在文本分类、问答和自然语言推理等不同的自然语言处理任务上的实验和分析表明了\textsc{ZeroGen}的有效性。
2022-10-22 cs.AI cs.CL
Leveraging Grammar Induction for Language Understanding and Generation
Shanghai Jiao Tong University(上海交通大学)
本研究提出一种无监督语法归纳方法,将归纳的语法特征作为句法掩码融入Transformer引导自注意力,在机器翻译与自然语言理解任务上性能优于基线模型,且适用于从零训练和预训练场景。
2024-10-07 cs.AI cs.CL
Naturalness Evaluation of Natural Language Generation in Task-oriented Dialogues using BERT
Mercedes-Benz AG(梅赛德斯-奔驰股份公司);Ulm University(乌尔姆大学)
本文提出了一种自动评价对话系统中自然语言生成自然度的方法。虽然这个任务以前是通过昂贵和耗时的人工渲染,我们提出了这个新的任务生成的语言的自动自然度评估。通过微调的BERT模型,我们提出的自然度评价方法显示出强大的结果,并优于基线:支持向量机,双向LSTM,和BLEURT。此外,通过对质量和信息量较高的语言知识进行迁移学习,提高了自然度模型的训练速度和评价性能。
2021-11-26 cs.AI cs.CL
Conditional Image Generation by Conditioning Variational Auto-Encoders
University of British Columbia(不列颠哥伦比亚大学);Montréal Institute for Learning Algorithms(蒙特利尔学习算法研究所);Inverted AI
我们提出了一个条件变分自动编码器(VAE),为了避免从头开始训练的大量成本,使用能够以预训练的无条件VAE的形式利用基础模型的架构和训练目标。为了训练条件VAE,我们只需要训练一个工件,以执行摊销的推断在无条件VAE的潜变量给定的条件输入。我们在包括图像修补在内的任务上展示了我们的方法,在忠实地表示固有的不确定性方面,它优于最先进的基于GAN的方法。最后,我们描述了我们的修复模型,它是用来执行贝叶斯实验设计的目的,指导传感器的一个可能的应用。
2022-05-28 cs.AI cs.CV
Unifying Masked Diffusion Models with Various Generation Orders and Beyond
Graduate School of AI, KAIST, South Korea(韩国延世大学人工智能研究生院)
本文提出Order-Expressive Masked Diffusion Model (OeMDM)和Learnable-Order Masked Diffusion Model (LoMDM),统一了不同生成顺序的扩散生成过程,并通过单目标学习生成顺序和扩散骨干,提升了文本生成性能。
2026-05-21 cs.AI cs.CL cs.LG
Chemical Language Model Linker: blending text and molecules with modular adapters
Department of Computer Sciences, University of Wisconsin-Madison(威斯康星大学麦迪逊分校计算机科学系);Drug Development Core, Small Molecule Screening Facility, University of Wisconsin Carbone Cancer Center, University of Wisconsin-Madison(威斯康星大学卡本纳癌症中心药物开发核心、小分子筛选设施);Department of Biostatistics and Medical Informatics, University of Wisconsin-Madison(威斯康星大学麦迪逊分校生物统计学与医学信息学系)
本文提出ChemLML适配器方法,通过训练少量参数融合预训练文本模型与分子模型,实现从文本描述直接生成分子,并构建过滤版PubChem测试集验证其在抑制剂和膜渗透性分子生成中的实用性。
2025-06-13 cs.AI cs.LG q-bio.QM
Directed Beam Search: Plug-and-Play Lexically Constrained Language Generation
ETH Zurich(苏黎世联邦理工学院)
大型预训练语言模型能够生成逼真的文本。然而,控制这些模型使得生成的文本满足词汇约束,即,包含特定的单词,是一个具有挑战性的问题。考虑到最先进的语言模型太大而无法在可管理的时间内从头开始训练,因此希望在不重新训练它们的情况下控制这些模型。能够做到这一点的方法被称为即插即用。最近的即插即用方法已经成功地在具有受限搜索空间的任务中约束小的双向语言模型以及前向模型,机器翻译。然而,控制大型基于transformer的模型以满足词汇约束而不重新训练它们仍然是一个挑战。在这项工作中,我们提出了定向束搜索(DBS),即插即用的词汇约束语言生成的方法。该方法适用于任何语言模型,易于实现,可用于一般的语言生成。在我们的实验中,我们使用DBS来控制GPT-2。我们展示了它的性能上的关键字到短语的生成,我们获得了可比的结果作为一个国家的最先进的非即插即用模型的词汇约束的故事生成。
2020-12-31 cs.AI cs.CL cs.LG
Enabling Multimodal Generation on CLIP via Vision-Language Knowledge Distillation
Hong Kong University of Science and Technology(香港科技大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
最近的双流架构的大规模视觉语言预训练(VLP)(例如,CLIP)在大量的图像-文本对数据的情况下,在各种多模态对齐任务中显示出了其优越性。尽管取得了成功,但由于文本编码器较弱,所产生的模型无法执行多模态生成任务。为了解决这个问题,我们建议通过视觉语言知识蒸馏(VLKD)用文本预训练语言模型(PLM)来增强双流VLP模型,从而实现多模态生成的能力。与从头开始的预训练相比,VLKD的数据和计算效率非常高。实验结果表明,该模型在开放式视觉问答和图像描述等多模态生成任务上具有较强的zero-shot性能.例如,它在VQAv 2数据集上实现了44.5%的zero-shot精度,超过了之前最先进的zero-shot模型,$7\times$参数更少。此外,原始的文本语言理解和生成能力的PLM保持VLKD后,这使得我们的模型通用的多模态和单峰的任务。
2022-03-30 cs.AI cs.CL cs.CV
Deriving Neural Scaling Laws from the statistics of natural language
研究从自然语言统计推导神经缩放定律,分离出语言关键统计属性预测神经缩放指数,给出基于这些统计量的简单公式,与实验测量定律匹配。
2026-07-07 cs.AI cs.LG stat.ML
Don't Sweep your Learning Rate under the Rug: A Closer Look at Cross-modal Transfer of Pretrained Transformers
Facebook AI Research(脸书人工智能研究院);University of Washington(华盛顿大学);University College London(伦敦大学学院)
在文本语料库上对大规模Transformer模型进行自我监督预训练,然后进行微调,在许多自然语言处理任务上取得了最先进的水平。最近,Lu等人(2021,arXiv:2103.05247)声称,在一组转移任务中,冻结的预训练Transformers(FPT)匹配或优于从头开始的训练以及未冻结(微调)的预训练Transformers。在我们的工作中,我们发现这个结果实际上是没有调优学习率的结果。在仔细重新设计经验设置后,我们发现,当适当调整学习率时,预训练的Transformers在我们所有的任务中都优于或匹配从头开始的训练,但只有当整个模型被微调时。因此,虽然从预训练的语言模型转移到其他模态确实为未来的工作提供了令人兴奋的可能性,但正确调整超参数对于获得强大的发现非常重要。
2021-07-26 cs.AI cs.LG