Explain Images with Multimodal Recurrent Neural Networks
Baidu Research(百度研究院);University of California, Los Angeles(加州大学洛杉矶分校)
在本文中,我们提出了一个多模态递归神经网络(m-RNN)模型,用于生成新的句子描述来解释图像的内容。它直接对给定先前单词和图像的生成单词的概率分布进行建模。图像描述通过从该分布中采样来生成。该模型由两个子网络组成:用于句子的深度递归神经网络和用于图像的深度卷积网络。这两个子网络在多模态层中相互作用,形成整个m-RNN模型。在三个基准数据集(IAPR TC-12,Flickr 8 K和Flickr 30 K)上验证了我们模型的有效性。我们的模型优于最先进的生成方法。此外,m-RNN模型可以应用于检索图像或句子的检索任务,并且与直接优化检索排名目标函数的最新方法相比,实现了显着的性能改进。
2014-10-04 cs.CL cs.CV cs.LG
A Sequential Neural Encoder with Latent Structured Description for Modeling Sentences
University of Science and Technology of China(中国科学技术大学)
在本文中,我们提出了一个序列神经编码器与潜在结构化描述(SNELSD)建模的句子。该模型将潜在的块级表示引入到传统的顺序神经编码器中,即,具有长短期记忆(LSTM)单元的递归神经网络(RNN),以在语义建模中考虑语言的组合性。SNELSD模型具有包括检测层和描述层的分层结构。检测层预测输入句子中潜在词块的边界,并为每个词导出块级向量。描述层利用修改后的LSTM单元以递归方式处理这些块级向量,并产生顺序编码输出。这些输出向量进一步与词向量或链式LSTM编码器的输出连接,以获得最终的句子表示。所有的模型参数都是以端到端的方式学习的,而不依赖于额外的文本分块或语法解析。一个自然语言推理(NLI)任务和一个情感分析(SA)任务被用来评估我们提出的模型的性能。实验结果表明,所提出的SNELSD模型的有效性,探索任务相关的组块模式在语义建模的句子。此外,所提出的方法实现了更好的性能比传统的链LSTM和树结构的LSTM在这两个任务。
2017-11-15 cs.CL
Learning to Generate Compositional Color Descriptions
Stanford University(斯坦福大学)
色彩语言的产生是扎根语言生成的关键。颜色描述具有许多具有挑战性的特性:它们可能是模糊的,成分复杂的,并且外延丰富。我们提出了一种有效的方法来生成颜色描述使用递归神经网络和傅立叶变换的颜色表示。我们的模型优于以前的工作,在一个大型语料库的自然色彩描述的条件语言建模任务。此外,探测模型的输出表明,它不仅可以准确地产生基本的颜色术语,而且还可以产生具有非凸表示(“绿色”),裸露修饰符(“明亮”,“暗淡”)和组成短语(“褪色的青色”)的描述符。
2016-10-18 cs.CL
CRUR: Coupled-Recurrent Unit for Unification, Conceptualization and Context Capture for Language Representation -- A Generalization of Bi Directional LSTM
University of Florida(佛罗里达大学)
在这项工作中,我们分析了一个新的概念,顺序绑定为基础的学习能力网络的基础上耦合的递归单元与贝叶斯先验定义。耦合结构编码以生成有效的张量表示,该张量表示可以被解码以生成有效的句子并且可以描述某些事件。这些描述来自图像和媒体视觉特征的结构表征。对不同类型的耦合递归结构进行了详细的研究,并对其性能进行了一些分析。自然语言处理的监督学习性能是基于统计评估来判断的,然而,事实是透视的,在这种情况下,定性评估揭示了不同架构强度和变化的真实能力。不同嵌入的贝叶斯先验定义有助于更好地表征基于与词性相关的自然语言结构的句子和其他语义级别的分类,其形式是机器可解释的,并且继承了基于相互正交的张量表示绑定和解绑定的特性。我们的方法已经超越了一些现有的基本工作有关的图像描述。
2019-11-22 cs.CL
Minimum Description Length Hopfield Networks
Tel Aviv University(特拉维夫大学);Ecole Normale Supérieure(巴黎高等师范学院)
针对现代 Hopfield 网络记忆容量与泛化的权衡问题,提出基于最小描述长度(MDL)在训练中决定存储哪些及多少记忆的解决方案。
2023-11-11 cs.CL cs.LG
Minimum Description Length and Compositionality
我们提出了一个非空洞的组合性的定义。它基于最小描述长度原则与组合性的原始定义(即整体的意义是部分意义的函数)相结合的思想。新的定义是直观的,并允许我们区分组合和非组合语义,以及惯用和非惯用表达式。它不是特别的,因为它没有对意义函数的非内在属性(如多项式)进行任何引用。此外,它允许我们比较不同的意义功能,就如何组成它们。它将语言学和基于语料库的统计方法与自然语言理解联系起来。
2000-01-04 cs.AI cs.CL
Accelerating recurrent neural network language model based online speech recognition system
DMC R&D Center, Samsung Electronics(三星电子DMC研发中心)
提出了一种基于循环神经网络的在线语音识别语言模型的加速方法。首先,为了减少LM查询的数量,引入了对过去的隐藏层输出(历史向量)进行有损压缩并进行缓存。接下来,RNNLM计算以CPU-GPU混合方式部署,在更有利的平台上计算模型的每一层。CPU和GPU之间的数据交换所增加的开销通过逐帧优化策略来补偿。LibriSpeech测试集上的性能评估表明,历史向量精度的降低提高了平均识别速度的1.23倍,精度下降最小。另一方面,CPU-GPU混合并行化使基于RNNLM的实时识别速度提高了四倍。
2018-01-30 cs.CL cs.LG
Learning a bidirectional mapping between human whole-body motion and natural language using deep recurrent neural networks
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
将人的全身运动和自然语言联系起来对于生成观察到的人类行为的语义表示以及基于自然语言输入的机器人行为的生成具有极大的兴趣。虽然在这一领域已经有大量的研究,但目前存在的大多数方法都需要运动的符号表示(例如,以运动基元的形式),这必须先验定义或需要复杂的分割算法。相比之下,神经网络领域的最新进展,特别是深度学习,表明可以端到端学习的子符号表示通常优于更传统的方法,例如机器翻译。在本文中,我们提出了一种生成模型,该模型使用深度循环神经网络(RNN)和序列到序列学习来学习人体全身运动和自然语言之间的双向映射。我们的方法不需要任何分割或手动特征工程,并学习分布式表示,这是共享的所有运动和描述。我们评估我们的方法对2,846人全身运动和6,187自然语言的描述,从KIT运动语言数据集。我们的研究结果清楚地表明了所提出的模型的有效性:我们表明,我们的模型生成各种各样的现实运动,只有从其描述的形式,一个单一的句子。相反,我们的模型也能够生成正确的和详细的自然语言的描述,从人类的运动。
2018-08-02 cs.CL cs.LG cs.RO
Bridging the Empirical-Theoretical Gap in Neural Network Formal Language Learning Using Minimum Description Length
Ecole Normale Supérieure(巴黎高等师范学院);Tel Aviv University(特拉维夫大学);EHESS(高等研究实践学院);CNRS(法国国家科学研究中心)
本文通过一种简单形式语言学习任务证明理论正确解并非常用目标的最优解,并提出以最小描述长度目标替代标准目标可使正确解成为最优解。
2024-06-06 cs.CL cs.FL
Noise-Robust ASR for the third 'CHiME' Challenge Exploiting Time-Frequency Masking based Multi-Channel Speech Enhancement and Recurrent Neural Network
Lingban Technology Co., Ltd.(灵伴科技有限公司)
本文介绍了第三届“CHiME”语音分离与识别挑战赛的Lingban参赛情况。提出了一种基于时频掩蔽的语音增强前端,利用多通道相干性和空间信息抑制环境噪声。最先进的语音识别技术,即基于循环神经网络的声学和语言建模、基于状态空间最小贝叶斯风险的判别声学建模和基于i向量的声学条件建模,被仔细地集成到语音识别后端中。为了充分发挥不同技术的优势,进一步提高系统性能,通过格点合并和重评分得到最终的识别结果。在官方数据集上进行的评估证明了所提出的系统的有效性。与最佳基线结果相比,该系统在真实数据测试集上获得了超过57%的相对字出错率降低的一致改进。
2015-09-24 cs.CL cs.SD
A Minimum Description Length Approach to Regularization in Neural Networks
Tel Aviv University(特拉维夫大学);École Normale Supérieure(法兰西综合理工学院)
本文提出用最小描述长度(MDL)原理作为神经网络正则化方法,在形式语言任务中优于L1、L2或无正则化,能选择完美解而非近似解,有效对抗过拟合并促进泛化。
2025-09-08 cs.CL cs.LG
Noisy Parallel Approximate Decoding for Conditional Recurrent Language Model
New York University(纽约大学)
条件递归语言建模的最新进展主要集中在网络架构(例如,注意力机制),学习算法(例如,调度采样和序列级训练)和新颖的应用(例如,图像/视频描述生成、语音识别等)另一方面,我们注意到解码算法/策略还没有被研究得那么多,并且使用贪婪或束搜索已经成为标准。在本文中,我们提出了一种新的解码策略,其动机是早期的观察,即深度神经网络的非线性隐藏层拉伸数据流形。该策略在不增加通信开销的情况下具有良好的并行性,同时改进了现有的译码算法。我们用基于注意力的神经机器翻译对En->Cz翻译任务进行了广泛的评估。
2016-05-12 cs.CL cs.LG stat.ML
Translating Videos to Natural Language Using Deep Recurrent Neural Networks
UT Austin(德克萨斯大学奥斯汀分校);UMass Lowell(马萨诸塞大学洛厄尔分校);UC Berkeley(加州大学伯克利分校);ICSI(国际计算机科学研究所)
解决视觉符号接地问题一直是人工智能的目标。随着最近在静态图像中自然语言深度学习方面的突破,该领域似乎正在向这一目标迈进。在本文中,我们提出使用具有卷积和递归结构的统一深度神经网络将视频直接翻译为句子。描述的视频数据集是稀缺的,大多数现有的方法已被应用到玩具领域与一个小词汇的可能的话。通过从120万多张带有类别标签的图像和10万多张带有标题的图像中转移知识,我们的方法能够创建具有大词汇量的开放域视频的句子描述。我们比较我们的方法与最近的工作,使用语言生成指标,主语,动词和宾语的预测准确性,和人的评价。
2015-04-30 cs.CL cs.CV
On Architectures for Including Visual Information in Neural Language Models for Image Description
Institute of Linguistics and Language Technology(语言学与语言技术研究所);University of Malta(马耳他大学)
神经语言模型可以通过提供除了句子前缀之外的视觉信息来调节为图像生成描述。该视觉信息可以通过不同的入口点被包括到语言模型中,从而导致不同的神经架构。我们确定了四个主要的架构,我们称之为初始化注入,预注入,部分注入和合并。我们分析了这四种架构,并得出结论,性能最好的架构是init-inject,即将视觉信息注入递归神经网络的初始状态。我们使用自动评估措施和人类注释来证实这一点。然后我们分析图像对每个建筑的影响有多大。这是通过测量当一个部分句子与一个完全不同的图像组合时,模型的输出概率有多大的不同来完成的。我们发现,随着生成的单词越来越多,init-inject往往会很快受到图像的影响。另一种不同的架构称为合并,即在输出之前将视觉信息与递归神经网络的隐藏状态向量合并,失去视觉影响的速度要慢得多,这表明它可以更好地生成较长的句子。我们还观察到,合并架构可以在纯文本语言模型(迁移学习)中对其递归神经网络进行预训练,而不是像往常一样随机初始化。如果源语言模型在语言建模方面不太好,或者在图像描述生成方面过于专业化并且效率较低,则这会导致比其他架构更好的性能。我们的工作为神经架构、可解释人工智能和迁移学习的研究开辟了新的途径。
2019-11-09 cs.CL cs.NE
MIDGARD: Self-Consistency Using Minimum Description Length for Structured Commonsense Reasoning
University of Michigan(密歇根大学)
本文提出MIDGARD方法,利用最小描述长度(MDL)公式聚合LLM生成的多样图样本,解决结构化推理中自回归解码导致的错误传播和单样本遗漏问题,在多项任务上取得更优性能。
2024-06-02 cs.AI cs.CL
Encoding of phonology in a recurrent neural model of grounded speech
Tilburg University(蒂尔堡大学)
我们研究的代表性和编码的音素在一个循环的神经网络模型接地语音。我们使用的模型,处理图像和他们的口头描述,并项目的视觉和听觉表示到相同的语义空间。我们进行了一些分析,如何在从语音信号中提取的MFCC特征中编码有关单个音素的信息,以及模型的层的激活。通过音素解码和音素歧视的实验,我们表明,音素表示是最显着的模型,低级别的信号处理在细粒度的水平,虽然大量的语音信息保留在顶部的递归层的较低层。我们进一步发现,在最高递归层之后的注意力机制显著地减弱了语音编码,使得话语嵌入对同义词更加不变性。此外,通过网络学习的音素表示的层次聚类显示了与语言学中提出的音素类似的音素组织结构。
2017-06-16 cs.CL cs.LG cs.SD
Improving Sequence Modeling Ability of Recurrent Neural Networks via Sememes
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Beijing University of Posts and Telecommunications(北京邮电大学)
义素是人类语言的最小语义单位,在各种自然语言处理应用中得到了成功的应用。然而,大多数现有的研究都是在特定的任务中使用义位,很少有人从根本上利用义位。在本文中,我们提出将语义纳入循环神经网络(RNN),以提高其序列建模能力,这有利于各种下游任务。我们设计了三种不同的义素合并方法,并将它们应用于典型的RNN,包括LSTM,GRU及其双向变体。在评估中,我们使用了几个基准数据集,包括PTB和WikiText-2用于语言建模,SNLI用于自然语言推理,另外两个数据集用于情感分析和释义检测。实验结果表明,与普通RNN相比,我们的义素合并模型有明显的一致性改善,这证明了我们的义素合并方法的有效性。此外,我们还发现,结合语义的模型具有更高的鲁棒性,在防御对抗攻击方面优于对抗训练。本工作的所有代码和数据可以在https://github.com/thunlp/SememeRNN上获得。
2020-08-19 cs.CL cs.LG eess.AS
Generate Image Descriptions based on Deep RNN and Memory Cells for Images Features
Stanford University(斯坦福大学)
为图像生成自然语言描述是一项具有挑战性的任务。传统的方法是使用卷积神经网络(CNN)提取图像特征,然后使用循环神经网络(RNN)生成句子。在本文中,我们提出了一个新的模型,增加了存储单元门图像特征的馈送到深层神经网络。直觉使我们的模型能够记住在RNN的每个阶段应该输入多少图像信息。在Flickr8K和Flickr30K数据集上的实验表明,我们的模型比其他最先进的模型具有更高的BLEU分数。
2016-02-05 cs.CL cs.CV cs.LG