Quantum Annealing Formulation for Binary Neural Networks
The University of Adelaide（阿德莱德大学）
量子退火是构建实用量子计算机的一个很有前途的范例。与其他方法相比，量子退火技术已经扩展到更大数量的量子位。另一方面，深度学习在推动人工智能的边界方面取得了巨大成功。因此，研究潜在的改变游戏规则的技术（如量子退火机）来增强深度学习的能力是很自然的。在这项工作中，我们探索二进制神经网络，这是轻量级但功能强大的模型，通常用于资源受限的设备。从目前的二进制网络，平滑/近似的激活函数，使网络可微的训练制度出发，我们设计了一个二次无约束二进制优化配方的训练问题。虽然这个问题很棘手，即，估计二进制权重的成本与网络大小成指数关系，我们展示了如何在量子退火机上直接优化该问题，从而打开了量子计算的潜在收益。我们通过在实际量子退火机（D-Wave Advantage）上的模拟和测试实验验证了我们的配方，后者在当前技术能力允许的范围内。
2021-07-05 cs.LG quant-ph
Recent Advances in Neural Text Generation: A Task-Agnostic Survey
University of Surrey（萨里大学）；The University of Sheffield（谢菲尔德大学）
本文是一篇任务无关的神经文本生成综述，从数据构建、神经框架等四大维度梳理最新进展，探讨未来研究方向，为该领域研发提供参考。
2023-06-12 cs.AI cs.CL
From Kernel Methods to Neural Networks: A Unifying Variational Formulation
École polytechnique fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
最小化的数据保真度项和添加剂正则化功能产生了一个强大的监督学习的框架。在本文中，我们提出了一个统一的正则化功能，取决于一个运营商和一个通用的Radon域规范。我们建立了一个极小的存在性，并给出了参数形式的解决方案（S）在非常温和的假设。当范数是希尔伯特时，所提出的公式产生涉及径向基函数的解决方案，并且与机器学习的经典方法兼容。相比之下，对于全变分范数，解采用具有由正则化算子确定的激活函数的两层神经网络的形式。特别是，我们通过让运算符是拉普拉斯算子来检索流行的ReLU网络。我们还刻画了中间正则化范数$\|\cdot\|=\|\cdot\|_{L_p}$与$p\in(1,2]$的解决方案。我们的框架为广泛的正则化算子族提供了通用近似的保证，或者等价地，为各种各样的浅层神经网络提供了通用近似的保证，包括激活函数多项式递增的情况（如ReLU）。它还解释了偏置和跳跃连接在神经结构中的有利作用。
2022-06-29 cs.LG math.FA math.OC
A Lifted Bregman Formulation for the Inversion of Deep Neural Networks
University of Cambridge（剑桥大学）；Queen Mary University of London（伦敦玛丽女王大学）；The Alan Turing Institute（艾伦·图灵研究所）
我们提出了一个新的框架，用于深度神经网络的正则化反演。该框架是基于作者最近的工作训练前馈神经网络没有分化的激活函数。该框架通过引入辅助变量将参数空间提升到一个更高维的空间，并通过定制的Bregman距离惩罚这些变量。我们提出了一个家庭的变分regulationations这些Bregman距离的基础上，目前的理论结果和支持其实际应用的数值例子。特别是，我们提出了第一个收敛结果（据我们所知）的正则化反演的单层感知器，只假设逆问题的解决方案是在正则化算子的范围内，并表明正则化逆证明收敛到真正的逆，如果测量误差收敛到零。
2023-03-01 cs.LG cs.NA math.NA
Fast and Geometrically Grounded Lorentz Neural Networks
University of Amsterdam（阿姆斯特丹大学）；Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系）
本文提出了一种新的 Lorentz 线性层，通过距离到超平面的公式，解决了双曲神经网络中输出范数随梯度步数增长的问题，从而实现了高效的双曲几何神经网络。
2026-01-29 cs.LG
A comparative analysis of a neural network with calculated weights and a neural network with random generation of weights based on the training dataset size
Institute of Control Systems, Azerbaijan National Academy of Sciences（阿塞拜疆国家科学院控制系统研究所）
本文对比了多层感知器在预计算权重与随机初始化权重下的表现，发现预计算权重能显著加快训练速度并提升对数据集缩减的鲁棒性。
2025-05-29 cs.AI cs.LG
Neighborhood-Aware Neural Architecture Search
Carnegie Mellon University（卡内基梅隆大学）
现有的神经架构搜索（NAS）方法通常返回一个具有良好搜索性能的架构，但推广到测试设置很差。为了实现更好的推广，我们提出了一种新的邻域感知NAS制定，以确定在搜索空间的平坦极小架构，与平坦的极小推广比尖锐的极小的假设。短语"平坦最小架构“是指在架构中的小扰动下性能稳定的架构（例如，用跳跃连接代替卷积）。我们的配方需要考虑到“平面度”的架构，通过聚合的性能超过该架构的邻域。我们展示了一个原则性的方式来应用我们的配方现有的搜索算法，包括基于采样的算法和基于梯度的算法。为了便于应用于基于梯度的算法，我们还提出了一个可微表示的邻域的架构。基于我们的公式，我们提出了邻域感知随机搜索（NA-RS）和邻域感知可微结构搜索（NA-DARTS）。值得注意的是，通过简单地使用我们的公式增强DARTS，NA-DARTS的性能优于DARTS，并在已建立的基准测试中实现了最先进的性能，包括CIFAR-10，CIFAR-100和ImageNet。
2021-10-29 cs.CV cs.LG
Lifted Bregman Training of Neural Networks
University of Cambridge（剑桥大学）；Queen Mary University of London（伦敦玛丽女王大学）
我们介绍了一种新的数学公式的前馈神经网络的训练（潜在的非光滑）邻近的地图作为激活函数。该公式基于Bregman距离，并且其关键优点是其相对于网络参数的偏导数不需要计算网络激活函数的导数。而不是估计的参数与一阶优化方法和反向传播的组合（如国家的最先进的），我们建议使用非光滑的一阶优化方法，利用新的配方的特定结构。我们提出了几个数值结果，表明这些训练方法可以同样好，甚至更好地适合于训练基于神经网络的分类器和（去噪）稀疏编码的自编码器相比，更传统的训练框架。
2022-08-18 cs.LG math.OC
Neural Text Generation: A Practical Guide
Stanford University（斯坦福大学）
深度学习方法最近在机器翻译、对话响应生成、摘要和其他文本生成任务上取得了巨大的经验成功。在高水平上，该技术已经训练端到端神经网络模型，该模型由编码器模型组成，以产生源文本的隐藏表示，随后是解码器模型以生成目标。虽然这样的模型比早期的系统具有更少的块，但仍然需要进行大量的调优以实现良好的性能。特别是对于文本生成模型，解码器可以以不期望的方式表现，例如通过生成截断或重复的输出，输出平淡和通用的响应，或者在某些情况下产生不合语法的胡言乱语。本文旨在作为解决文本生成模型中这种不期望的行为的实用指南，旨在帮助实现现实世界的应用程序。
2017-11-27 cs.CL cs.LG stat.ML
When to Finish? Optimal Beam Search for Neural Text Generation (modulo beam size)
Oregon State University（俄勒冈州立大学）
在诸如神经机器翻译、摘要和图像描述之类的神经文本生成中，束搜索被广泛用于提高输出文本质量。然而，在神经生成设置中，假设可以在不同的步骤中完成，这使得难以决定何时结束束搜索以确保最优性。我们提出了一种可证明的最优束搜索算法，该算法将始终返回最优分数完整假设（模束大小），并在建立最优性后立即完成（不晚于基线完成）。为了对抗神经生成对较短假设的倾向，我们还引入了一个有界长度奖励机制，该机制允许我们的束搜索算法的修改版本保持最优。神经机器翻译的实验表明，我们的原则性束搜索算法导致BLEU分数比以前提出的替代品的改善。
2018-08-31 cs.CL
CoNT: Contrastive Neural Text Generation
Fudan University（复旦大学）；Shanghai AI Laboratory（上海人工智能实验室）；The University of Hong Kong（香港大学）；Shanghai Collaborative Innovation Center of Intelligent Visual Computing（上海智能视觉计算协同创新中心）
近年来，对比学习作为一种新的解决暴露偏差问题的方法，在神经文本生成领域引起了越来越多的关注。它引入了序列级训练信号，这对于始终依赖于自回归解码的生成任务至关重要。然而，以前的方法使用对比学习在神经文本生成通常会导致性能较差。在本文中，我们分析了潜在的原因，并提出了一个新的对比神经文本生成框架，CoNT。CoNT从三个方面解决了阻碍对比学习在生成任务中广泛应用的瓶颈--对比实例的构建、对比损失的选择和解码策略。我们用10个基准测试对CoNT在5个生成任务上进行了验证，包括机器翻译、摘要、代码注释生成、数据到文本生成和常识生成。实验结果表明，CoNT明显优于传统的训练框架上的所有十个基准具有令人信服的利润。特别是，CoNT超过了以前最有竞争力的文本生成对比学习方法，分别在机器翻译和摘要上分别有1.50 BLEU和1.77 ROUGE-1。它在摘要、代码注释生成（无外部数据）和数据到文本生成方面达到了最新水平。
2023-02-03 cs.CL
Neural Networks and (Virtual) Extended Formulations
Georg Loho\ Universität Berlin \& University of Twente
通过将神经网络表示能力与多面体的扩展复杂度关联，证明单调或输入凸神经网络规模的下界，并引入虚拟扩展复杂度以推广到一般神经网络。
2026-05-28 cs.CC cs.DM cs.LG
Straight to the Gradient: Learning to Use Novel Tokens for Neural Text Generation
Nanyang Technological University（南洋理工大学）；Salesforce Research Asia（赛富时亚洲研究院）
先进的大规模神经语言模型在许多语言生成任务中取得了重大成功。然而，最常用的训练目标，最大似然估计（MLE），已经被证明是有问题的，其中训练的模型更喜欢使用枯燥和重复的短语。在这项工作中，我们引入ScaleGrad，直接修改的梯度的损失函数，以弥补退化问题的标准MLE目标。通过直接操纵梯度信息，ScaleGrad使模型学习使用新的令牌。实验结果表明，我们的方法不仅在开放式生成的有效性，而且在定向生成任务。由于架构简单，我们的方法可以作为一个通用的训练目标，适用于大多数神经文本生成任务。
2021-06-14 cs.CL
Controllable Text Generation with Neurally-Decomposed Oracle
University of California, Los Angeles（加州大学洛杉矶分校）
我们提出了一个通用的和有效的框架来控制自回归生成模型与神经元分解Oracle（NADO）。给定一个预训练的基础语言模型和一个序列级布尔oracle函数，我们建议将oracle函数分解为令牌级指导，以在文本生成中引导基础模型。具体而言，令牌级指导由一个神经模型近似，该神经模型使用从基础模型中采样的示例进行训练，不需要额外的辅助标记数据。基于后验正则化，我们提出了封闭形式的最优解，将令牌级指导纳入可控生成的基础模型。我们进一步提供了一个理论分析NADO的近似质量如何影响可控生成的结果。在两个应用程序上进行的实验：（1）具有词法约束的文本生成和（2）具有形式控制的机器翻译表明，我们的框架有效地引导基础模型向给定的Oracle，同时保持高的生成质量。
2022-10-20 cs.CL
Improving Quality and Efficiency in Plan-based Neural Data-to-Text Generation
Bar Ilan University（巴伊兰大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
我们遵循我们在Moryossef et al（2019）中提出的神经数据到文本生成的分步方法，其中生成过程分为文本规划阶段和规划实现阶段。我们对该框架提出了四个扩展：（1）我们引入了一个可训练的神经规划组件，它可以比原始规划器快几个数量级地生成有效的计划;（2）我们引入了输入提示，提高了模型处理不可见关系和实体的能力;（3）我们引入了一个通过重新排序进行验证的阶段，大大提高了结果文本的忠实性;（4）引入了一个简单有效的指称表达式生成模块。这些扩展导致生成过程更快、更流畅和更准确。
2019-09-22 cs.CL
Controlling Linguistic Style Aspects in Neural Language Generation
Bar-Ilan University（巴伊兰大学）
神经自然语言生成（NNLG）的大部分工作都集中在控制生成文本的内容上。我们尝试控制生成的文本的几个风格方面，除了它的内容。该方法基于条件RNN语言模型，其中所需的内容以及风格参数作为条件上下文。我们展示了电影评论域的方法，并表明它是成功的生成连贯的句子对应所需的语言风格和内容。
2017-07-09 cs.CL
Neural Rule-Execution Tracking Machine For Transformer-Based Text Generation
Macquarie University（麦考瑞大学）；Microsoft STCA（微软（亚洲）互联网工程院）；CSIRO Data61（澳大利亚联邦科学与工业研究组织数据61所）
序列到序列（S2S）神经文本生成模型，特别是预先训练的模型（例如，BART和T5）在各种自然语言生成任务上表现出令人信服的性能。然而，这些模型的黑盒性质限制了它们在特定规则（例如，可控约束、先验知识）。以前的工作要么设计特定的模型结构（例如，对应于规则“生成的输出应该包括源输入中的某些词”的复制机制）或实现专门的推理算法（例如，受约束的束搜索）以通过文本生成执行特定规则。这些方法需要逐个案例地仔细设计，并且难以并发地支持多个规则。在本文中，我们提出了一种名为神经规则执行跟踪机的新模块，该模块可以配备到各种基于变压器的生成器中，以同时利用多个规则来指导神经生成模型，以统一和可扩展的方式实现卓越的生成性能。多个基准测试的实验结果验证了该模型在可控文本生成和一般文本生成方面的有效性。
2021-07-27 cs.CL
Positioning yourself in the maze of Neural Text Generation: A Task-Agnostic Survey
Carnegie Mellon University（卡内基梅隆大学）
神经文本生成演变成几个关键的自然语言应用，从文本完成到自由形式的叙事生成。为了推进文本生成的研究，吸收现有的研究成果，并在这个巨大的增长领域中定位是至关重要的。具体来说，本文调查了建模方法的基本组成部分，这些建模方法在各种生成任务（如讲故事、总结、翻译等）中传递任务不可知论的影响，在这种情况下，我们提出了一个抽象的必要技术方面的学习范式，预训练，建模方法，解码和关键的挑战，在每个领域突出。因此，我们为该领域的研究人员提供了一站式目的地，以便于了解在哪里重新设计他们的工作以及它如何影响其他密切相关的生成任务。
2021-03-26 cs.CL
Neural Text Generation from Structured Data with Application to the Biography Domain
EPFL（洛桑联邦理工学院）；Facebook AI Research（Facebook人工智能研究院）
本文介绍了一种用于概念到文本生成的神经模型，该模型可扩展到大型，丰富的领域。我们使用维基百科上的一个新的传记数据集进行实验，该数据集比现有资源大一个数量级，样本超过70万。该数据集也更加多样化，拥有40万词汇，而Weathergov或Robocup只有几百个单词。我们的模型建立在最近的工作条件神经语言模型的文本生成。为了处理大词汇量，我们扩展了这些模型，将固定词汇与复制动作混合，将特定于样本的单词从输入数据库转移到生成的输出句子。我们的神经模型显著优于经典Kneser-Ney语言模型，适应于此任务近15 BLEU。
2016-09-23 cs.CL
Semantic Noise Matters for Neural Natural Language Generation
Charles University（查理大学）；Faculty of Mathematics and Physics（数学与物理学院）；Heriot-Watt University（赫瑞-瓦特大学）
神经自然语言生成（NNLG）系统以其病态输出而闻名，即生成与输入规范无关的文本。在本文中，我们展示了语义噪声对最先进的NNLG模型的影响，这些模型实现了不同的语义控制机制。我们发现，清理后的数据可以提高语义正确性高达97%，同时保持流畅性。我们还发现，最常见的错误是遗漏信息，而不是幻觉。
2019-11-10 cs.CL
On-the-Fly Attention Modulation for Neural Generation
Mila / McGill University（米拉实验室/麦吉尔大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Paul G. Allen School of CSE, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；Stanford University（斯坦福大学）
尽管深度神经语言模型（LM）取得了相当大的进步，但神经文本生成仍然存在退化问题：生成的文本重复、通用、自相矛盾，而且往往缺乏常识。我们对LMs的注意模式的分析表明，神经退化可能与注意力机制对特定任务特征的学习不足有关。这一发现激发了即时注意力调节-一种简单但有效的方法，可以在推理过程中将先验知识注入注意力计算。三个文本生成基准的自动和人工评估结果表明，注意力调制有助于LM生成具有增强的流畅性，创造力和常识推理的文本，除了显着减少重复水平。
2021-10-13 cs.CL
On Integer Programming for the Binarized Neural Network Verification Problem
针对二值化神经网络验证的整数规划因大M约束整数间隙难求解的问题，提出多分类线性目标构造与利用网络递归结构生成有效不等式两种技术，可在有限时间内验证更大范围输入扰动下的BNN鲁棒性。
2025-10-01 cs.LG math.OC
DRAW: A Recurrent Neural Network For Image Generation
Google DeepMind（谷歌DeepMind）
本文介绍了用于图像生成的深度递归注意书写（DRAW）神经网络架构。DRAW网络结合了一种新的空间注意力机制，模仿人眼的视觉中心凹，与顺序变分自动编码框架，允许复杂图像的迭代构建。该系统大大改进了MNIST上生成模型的最新技术水平，并且当在街景房屋号码数据集上进行训练时，它生成的图像无法用肉眼与真实数据区分开来。
2015-05-20 cs.CV cs.LG cs.NE
Online Personalizing White-box LLMs Generation with Neural Bandits
J.P. Morgan Chase（摩根大通）
研究提出基于神经老虎机的在线方法，通过用户反馈动态优化软指令嵌入，提升白盒LLM个性化文本生成效果，在新闻标题生成任务中ROUGE分数提升达62.9%。
2024-04-24 cs.AI cs.CL cs.LG
Flexible and Creative Chinese Poetry Generation Using Neural Memory
Tsinghua University（清华大学）；Peking University（北京大学）；Huilan Limited（慧联（北京）有限公司）；Beijing University of Posts and Telecommunications（北京邮电大学）
研究表明，序列到序列神经模型可以成功地生成中文诗歌，特别是在注意力机制的作用下。然而，这种方法的一个潜在问题是，神经模型只能学习抽象的规则，而诗歌生成是一个高度创造性的过程，不仅涉及规则，还涉及纯统计模型原则上不适用的创新。本文提出了一种用于中文诗歌生成的记忆增强神经模型，其中神经模型和增强记忆一起工作，以平衡语言一致性和美学创新的要求，从而产生仍然符合规则的创新一代。此外，还发现记忆机制提供了有趣的灵活性，可用于生成不同风格的诗歌。
2017-05-10 cs.AI cs.CL
Neural Headline Generation with Sentence-wise Optimization
Tsinghua University（清华大学）
最近，已经提出了用于标题生成的神经模型，通过学习使用递归神经网络将文档映射到标题。然而，由于传统的神经网络使用最大似然估计进行参数优化，它本质上将预期的训练目标限制在单词级别而不是句子级别。此外，模型预测的性能显著依赖于训练数据分布。为了克服这些缺点，本文采用最小风险训练策略，直接优化模型参数在句子级别的评价指标，并导致显着改善的标题生成。实验结果表明，我们的模型优于国家的最先进的系统在英文和中文标题生成任务。
2016-10-09 cs.CL
Neural Models for Key Phrase Detection and Question Generation
Microsoft Research（微软研究院）；MILA, Université de Montréal（蒙特利尔大学米拉研究所）
我们提出了一个两阶段的神经模型来解决从文档中生成问题。首先，我们的模型通过在问答语料库中的答案上训练神经关键短语提取器来估计文档中的单词序列是人类在选择候选答案时会选择的单词序列的概率。预测的关键短语，然后作为目标答案和条件的序列到序列的问题生成模型与复制机制。从经验上讲，我们的关键短语提取模型显着优于实体标记基线和现有的基于规则的方法。我们进一步证明，我们的问题生成系统制定流畅，回答问题的关键短语。这个两阶段系统可用于增强或生成阅读理解数据集，这些数据集可用于改善机器阅读系统或教育环境。
2018-05-30 cs.AI cs.CL cs.NE
Select, Extract and Generate: Neural Keyphrase Generation with Layer-wise Coverage Attention
University of California, Los Angeles（加州大学洛杉矶分校）；Yahoo Research（雅虎研究院）
自然语言处理技术在关键短语生成方面已经显示出有希望的结果。然而，\emph{neural}关键短语生成的主要挑战之一是使用深度神经网络处理长文档。通常，文档在作为神经网络的输入之前被截断。因此，模型可能会错过目标文档中传达的要点。为了克服这一限制，我们提出了\emph{SEG-Net}，神经关键短语生成模型，它由两个主要组成部分，（1）选择器，选择文档中的突出句子和（2）提取器生成器，共同提取和生成关键短语从选定的句子。SEG-Net使用Transformer（一种自我关注的架构）作为基本构建块，并使用新颖的\emph{layer-wise}覆盖关注来总结文档中讨论的大多数要点。在科学和网络文档的七个关键词生成基准上的实验结果表明，SEG-Net的性能大大优于最先进的神经生成方法。
2021-06-04 cs.CL
Decoding Methods for Neural Narrative Generation
Johns Hopkins University（约翰斯·霍普金斯大学）；Stanford University（斯坦福大学）；New York University（纽约大学）
叙事生成是一个开放式的NLP任务，其中模型在给定提示的情况下生成故事。该任务类似于聊天机器人的神经反应生成;然而，响应生成的创新通常不适用于叙事生成，尽管这些任务之间存在相似性。我们的目标是通过应用和评估神经反应生成到神经叙事生成的解码方法的进展来弥合这一差距。特别是，我们采用GPT-2并在细胞核采样阈值和不同的解码超参数（特别是最大互信息）之间执行消融，通过自动和人工评估的多个标准分析结果。我们发现：（1）核采样通常是最好的阈值之间的0.7和0.9;（2）最大的互信息目标可以提高生成的故事的质量;（3）建立自动度量不相关以及与人类判断的叙事质量的任何定性指标。
2021-07-08 cs.CL
Recent Advances in Neural Question Generation
National University of Singapore（新加坡国立大学）
神经问题生成（NQG）的新兴研究已经开始整合更多种类的输入，并生成需要更高认知水平的问题。这些趋势表明NQG是NLP的领头羊，关于人类智能如何体现好奇心和整合的技能。我们提出了一个全面的调查神经问题生成，检查语料库，方法和评价方法。从这一点上，我们阐述了我们所看到的新兴的NQG的趋势：在学习范式，输入方式和认知水平的NQG考虑。最后，我们指出了未来的潜在方向。
2019-06-04 cs.CL
Self-Attention-Based Message-Relevant Response Generation for Neural Conversation Model
Pohang University of Science and Technology (POSTECH)（浦项科技大学）
使用序列到序列框架，许多用于聊天的神经会话模型成功地实现了响应的自然性。然而，神经会话模型往往会给出通用的反应，而不是特定于给定的消息，这仍然是一个挑战。为了缓解这种倾向，我们提出了一种方法，以促进消息相关的和多样化的反应，神经会话模型，通过使用自我注意，这是时间效率和有效的。此外，我们提出了一个调查，为什么以及如何有效的自我注意是在深入的比较与标准的对话生成。实验结果表明，该方法提高了标准的对话生成在各种评价指标。
2018-05-23 cs.CL
Low-Resource Neural Headline Generation
Tallinn University of Technology（塔林理工大学）
最近的神经标题生成模型已经显示出很好的结果，但通常是在非常大的数据集上训练的。我们专注于通过预训练来提高较小数据集上的标题质量。我们提出了新的方法，可以预先训练模型的所有参数，并利用所有可用的文本，从而使困惑度相对提高了32.4%，ROUGE提高了2.84点。
2017-07-31 cs.CL
Rhythm, Chord and Melody Generation for Lead Sheets using Recurrent Neural Networks
Ghent University（根特大学）；imec（比利时微电子研究中心）
由循环神经网络生成的音乐通常缺乏方向感和连贯性。因此，我们提出了一个两阶段的LSTM为基础的模型，铅表生成，其中的谐波和节奏的模板的歌曲产生的第一，之后，在第二阶段，一个序列的旋律音符产生的条件下，这些模板。主观听力测试表明，我们的方法优于基线，并增加了感知的音乐连贯性。
2020-02-21 cs.CL cs.LG cs.SD
NeuralREG: An end-to-end approach to referring expression generation
Tilburg University（蒂尔堡大学）；University of Leipzig（莱比锡大学）；University of Paderborn（帕德博恩大学）
传统的指称表达生成（REG）模型首先决定文本中对话语实体的指称的形式，然后决定指称的内容，通常依赖于诸如显著性和语法功能之类的特征。在本文中，我们提出了一种新方法（NeuralREG），它依赖于深度神经网络，可以在没有显式特征提取的情况下一次性做出关于形式和内容的决定。使用WebNLG语料库的去词汇化版本，我们证明了神经模型在两个强基线上有了实质性的改进。数据和模型是公开的。
2018-05-21 cs.CL
nBIIG: A Neural BI Insights Generation System for Table Reporting
IBM Research（IBM研究院）
我们提出了nBIIG，一个神经商业智能（BI）洞察生成系统。给定一个表格，我们的系统应用各种分析来创建相应的RDF表示，然后使用神经模型从这些表示中生成流畅的文本见解。分析师可以通过人在环范例使用生成的见解来增强创建引人注目的表格报告的任务。底层的生成神经模型是在大量精心提取的数据上训练的，这些数据来自多个BI领域。因此，该系统可以在开放域表上生成忠实和流畅的见解，使其实用和有用。
2022-11-08 cs.CL
Improving Neural Question Generation using World Knowledge
Indian Institute of Technology Patna（印度帕纳布理工大学）；Microsoft Research Montreal（微软蒙特利尔研究院）
本文提出一种利用世界知识增强神经问题生成模型，通过引入链接实体和细粒度实体类型，提升生成问题的质量，在SQuAD和MS MARCO测试集上取得显著提升。
2025-12-24 cs.CL
Steering Output Style and Topic in Neural Response Generation
Microsoft Research（微软研究院）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了简单而灵活的训练和解码方法，以影响基于神经编码器-解码器的语言生成的输出风格和主题。这种能力在各种应用中都是理想的，包括会话系统，成功的代理需要以特定的风格产生语言，并生成由人类操纵者或外部知识操纵的响应。我们将神经生成过程分解为经验上更容易的子问题：忠诚度模型和基于选择性采样的解码方法。我们还描述了训练和采样算法，这些算法使用特定的语言风格限制或主题限制来偏置生成过程。人工评估结果表明，我们提出的方法能够限制风格和主题，而不会降低输出质量的会话任务。
2017-09-09 cs.CL
A Simple, Fast Diverse Decoding Algorithm for Neural Generation
Stanford University（斯坦福大学）
在本文中，我们提出了一个简单，快速的解码算法，促进多样性的神经生成。该算法通过增加兄弟姐妹间的排序惩罚来修改标准的束搜索算法，有利于从不同的父母中选择假设。我们评估所提出的模型的对话响应生成，摘要摘要和机器翻译的任务。我们发现，不同的解码有助于所有的任务，特别是那些需要重新排序。我们进一步提出了一种变体，该变体能够使用强化学习（RL）针对不同输入自动调整其多样性解码率。我们观察到这种RL技术的进一步性能提升。本文包括来自未发表脚本“互信息和多样解码改善神经机器翻译“（Li和Jurafsky，2016）的材料。
2016-12-22 cs.CL
N-best Response-based Analysis of Contradiction-awareness in Neural Response Generation Models
Tohoku University（东北大学）；RIKEN（理化学研究所）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
避免生成与前面的上下文相矛盾的响应是对话响应生成中的一个重大挑战。一种可行的方法是后处理，例如从产生的n-最佳响应列表中过滤掉矛盾的响应。在这种情况下，n-best列表的质量会显著影响矛盾的发生，因为最终响应是从这个n-best列表中选择的。本文利用n-最佳列表的一致性定量分析了神经反应生成模型的语境矛盾意识。特别是，我们使用极性问题作为刺激输入，进行简明和定量分析。我们的测试说明了最近的神经反应生成模型和方法的矛盾意识，其次是它们的属性和局限性的讨论。
2022-08-04 cs.CL
Powerset multi-class cross entropy loss for neural speaker diarization
IRIT（图卢兹计算机科学研究所）；Université de Toulouse（图卢兹大学）；CNRS（法国国家科学研究中心）；Toulouse INP（图卢兹国立理工学院）；UT3（图卢兹第三大学）
提出将神经说话人日志从多标签分类切换为幂集多类分类，在9个基准上实验表明该方法显著提升了重叠语音性能与域鲁棒性，并消除了检测阈值超参数。
2023-10-19 cs.AI cs.CL cs.NE
Learning to Predict Explainable Plots for Neural Story Generation
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
故事生成是自然语言处理的一项重要任务，旨在自动生成连贯的故事。虽然神经网络的使用已被证明在改善故事生成方面是有效的，但如何学习生成可解释的高级情节仍然是一个主要挑战。在这项工作中，我们提出了一个潜变量模型的神经故事生成。该模型将大纲（可解释给人类的自然语言句子）视为潜在变量，以表示连接输入和输出的高级图。我们采用一个外部的摘要模型来指导潜变量模型学习如何从训练数据中生成轮廓。实验表明，我们的方法在自动和人工评估方面都比最先进的方法有了显着的改进。
2019-12-06 cs.CL
Decomposable Neural Paraphrase Generation
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
释义存在于不同的粒度层次，如词汇层次、短语层次和句子层次。本文提出了可分解神经释义生成器（DNPG），一个基于transformer的模型，可以学习和生成一个句子的释义在不同的粒度级别在一个松散的方式。具体来说，该模型由多个不同结构的编码器和解码器组成，每个编码器和解码器对应一个特定的粒度。实证研究表明，DNPG的分解机制使释义生成更具可解释性和可控性。在DNPG的基础上，我们进一步发展了一种无监督的领域自适应方法来生成释义。实验结果表明，该模型实现了竞争力的领域内的性能相比，国家的最先进的神经模型，并显着更好的性能时，适应一个新的领域。
2019-06-24 cs.CL
Entity-Conditioned Question Generation for Robust Attention Distribution in Neural Information Retrieval
UIUC（伊利诺伊大学厄巴纳-香槟分校）；IBM Research AI（IBM研究院人工智能部门）
我们发现，监督神经信息检索（IR）模型很容易学习稀疏的注意力模式通过令牌，这可能会导致关键短语，包括命名实体接收低注意力权重，最终导致模型性能不佳。使用一种新的有针对性的合成数据生成方法，识别不良出席的实体和条件的生成情节上，我们教神经IR出席更均匀，更强大的所有实体在一个给定的通道。在两个公共IR基准测试中，我们实证表明，所提出的方法有助于提高模型的注意力模式和检索性能，包括在zero-shot设置。
2022-04-24 cs.CL cs.IR
A Syntactic Neural Model for General-Purpose Code Generation
Carnegie Mellon University（卡内基梅隆大学）
我们考虑将自然语言描述解析成用通用程序设计语言（如Python）编写的源代码的问题。现有的数据驱动方法将此问题视为语言生成任务，而不考虑目标程序设计语言的底层语法。在语义解析的工作通知，在本文中，我们提出了一种新的神经架构的语法模型，明确地捕捉目标语法作为先验知识。实验发现，这是一种有效的方法，以扩大到从自然语言描述的复杂程序的生成，实现国家的最先进的结果，以及优于以前的代码生成和语义解析方法。
2017-04-06 cs.CL cs.PL cs.SE
Audio Dequantization for High Fidelity Audio Generation in Flow-based Neural Vocoder
Korea University（高丽大学）；Netmarble Corporation（网石公司）
在最近的工作中，基于流的神经声码器在实时语音生成任务中表现出显着的改善。可逆流操作的序列允许模型将样本从简单分布转换为音频样本。然而，在离散音频数据上训练连续密度模型会由于潜在分布和实际分布之间的拓扑差异而降低模型性能。为了解决这个问题，我们提出了音频去量化方法在基于流的神经声码器高保真音频生成。数据去量化是图像生成中众所周知的方法，但尚未在音频域中进行研究。为此，我们在基于流的神经声码器中实现了各种音频去量化方法，并研究了其对生成音频的影响。我们进行了各种客观的性能评估和主观评价，以表明音频去量化可以提高音频生成质量。从我们的实验中，使用音频去量化产生波形音频具有更好的谐波结构和更少的数字伪影。
2020-08-16 cs.CL cs.SD eess.AS
