3D-RPE: Enhancing Long-Context Modeling Through 3D Rotary Position Encoding
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；Beijing Wenge Technology Co. Ltd.（北京文阁科技有限公司）
本文受 Bloch Sphere 启发提出三维旋转位置编码 3D-RPE，通过可控长期衰减和更高位置分辨率增强长上下文建模，并在长上下文 NLU 与长序列 LM 任务上验证其优于 RoPE。
2024-06-14 cs.CL
FastTrees: Parallel Latent Tree-Induction for Faster Sequence Encoding
Nanyang Technological University（南洋理工大学）
从序列数据中诱导潜在树结构是当今NLP研究领域的一个新兴趋势，主要是通过最近的方法，如Gumbel LSTM和有序神经元（ON-LSTM）推广。本文提出了FASTTREES，一个新的通用神经模块的快速序列编码。与以前大多数认为递归是树归纳所必需的工作不同，我们的工作探索了并行树归纳的概念，即，以一种可并行的、非自回归的方式，将我们的模型与分层归纳偏差相结合。为此，我们提出的FASTTREES在四个成熟的序列建模任务上实现了与ON-LSTM竞争或优越的性能，即，语言建模、逻辑推理、情感分析和自然语言推理。此外，我们表明，FASTTREES模块可以应用于增强Transformer模型，实现三个序列转导任务（机器翻译，主谓一致性和数学语言理解）的性能增益，铺平了道路，模块化树归纳模块。总体而言，我们在逻辑推理任务上的表现优于现有的最先进模型+4%，在数学语言理解上的表现优于现有的最先进模型+8%。
2021-11-28 cs.CL cs.LG
Diverse Pretrained Context Encodings Improve Document Translation
DeepMind（深度思维）
我们提出了一种新的架构，通过合并多个预训练的文档上下文信号来适应并行级序列到序列转换器Transformer，并评估（1）用于生成这些信号的不同预训练方法对翻译性能的影响，（2）文档上下文可用的并行数据的数量，以及（3）对源，目标或源和目标上下文的调节。在NIST中文-英文、IWIEF和WMT英文-德文任务上的实验支持四个一般性结论：使用预训练的上下文表示显著地提高了样本效率，足够的并行数据资源对于学习使用文档上下文是至关重要的，联合调节多个上下文表示优于任何单个表示，并且源上下文比目标侧上下文对翻译性能更有价值。我们最好的多上下文模型始终优于现有的最好的上下文感知Transformers。
2021-06-07 cs.CL
TableFormer: Robust Transformer Modeling for Table-Text Encoding
Georgia Institute of Technology（佐治亚理工学院）；Google Assistant（谷歌助手）
表格理解是自然语言理解的一个重要方面。现有的表格理解模型需要表格结构的线性化，其中行或列顺序被编码为不必要的偏差。这种虚假的偏见使模型容易受到行和列顺序扰动。此外，以前的工作没有彻底建模的表结构或表文本对齐，阻碍了表文本的理解能力。在这项工作中，我们提出了一个强大的和结构感知的表格文本编码架构TableFormer，表格结构偏见完全通过学习的注意力偏见。TableFormer（1）严格不改变行和列的顺序，（2）由于其表格归纳偏差，可以更好地理解表格。我们的评估表明，TableFormer在SQA，WTQ和TabFact表推理数据集的所有设置中均优于强基线，并在SQA上实现了最先进的性能，特别是在面对答案不变的行和列顺序扰动时（比最佳基线提高6%），因为以前的SOTA模型在面对此类扰动时性能下降4% - 6%，而TableFormer不受影响。
2022-05-03 cs.CL
TranSentence: Speech-to-speech Translation via Language-agnostic Sentence-level Speech Encoding without Language-parallel Data
Korea University（高丽大学）
提出无需语言平行数据的语音到语音翻译模型 TranSentence，通过语言无关句子级语音编码和单语数据训练实现跨语言语音生成，并扩展至多语言翻译且性能优于其他模型。
2024-01-17 cs.CL cs.SD eess.AS
Modeling the Complexity and Descriptive Adequacy of Construction Grammars
Illinois Institute of Technology（伊利诺伊理工学院）
本文使用的最小描述长度范例CxGs的复杂性建模（操作的编码大小的语法）旁边的描述充分性（操作的编码大小的语料库给定的语法）。这两个数量相结合，以衡量潜在的CxGs的质量对未注释的语料库，支持发现设备CxGs的英语，西班牙语，法语，德语和意大利语。结果表明：（i）这些语法提供了显着的概括使用压缩和（ii）更复杂的CxGs访问多个级别的表示提供更大的概括比单表示CxGs。
2019-04-11 cs.CL
Pronunciation-aware unique character encoding for RNN Transducer-based Mandarin speech recognition
National Institute of Information and Communications Technology (NICT)（日本国立信息与通信技术研究所）
对于普通话端到端（E2 E）自动语音识别（ASR）任务，与基于字符的建模单元相比，基于发音的建模单元可以提高模型训练中建模单元的共享性，但会遇到同音异义词问题。在这项研究中，我们提出使用一种新的发音感知的独特字符编码来构建基于E2 E RNN-T的普通话ASR系统。所提出的编码是一个发音基音节和字符索引（CI）的组合。通过引入CI，RNN-T模型可以克服同音异义词问题，同时利用发音信息提取建模单元。利用所提出的编码，模型输出可以通过一对一的映射转换为最终的识别结果。在Aishell和MagicData数据集上进行了实验，实验结果表明了该方法的有效性。
2022-07-29 cs.CL cs.SD eess.AS
Deep encoding of etymological information in TEI
OEAW（奥地利科学院）；Inria（法国国家信息与自动化研究所）；BBAW（柏林-勃兰登堡科学院）；CMB（柏林马克·布洛赫中心）
本文旨在提供一个全面的建模和数字词典中的词源数据表示。其目的是在一个连贯的框架中集成传统词典的数字表示，以及手动或半自动构建的数字词汇数据库。我们希望为各种词源现象提出一套系统和连贯的建模原则，这些原则可能有助于在现有和未来的词汇结构之间建立一个连续体，任何对追踪单词及其含义的历史感兴趣的人都能够无缝地查询词汇资源。我们将集中于识别TEI指南为词汇信息的表示提供的所有可能性。
2016-11-30 cs.CL
CONFLATOR: Incorporating Switching Point based Rotatory Positional Encodings for Code-Mixed Language Modeling
San Diego State University（圣地亚哥州立大学）；San Jose State University（圣何塞州立大学）；Wipro AI Labs（威普罗人工智能实验室）；University of California Los Angeles（加利福尼亚大学洛杉矶分校）；Stanford University（斯坦福大学）；University of South Carolina（南卡罗来纳大学）；Amazon AI（亚马逊人工智能）
针对代码混合语言建模中语言切换点的挑战，提出CONFLATOR方法，通过结合旋转位置编码与切换点信息，在情感分析和机器翻译任务上超越现有技术。
2023-10-18 cs.CL cs.LG
Generic Dependency Modeling for Multi-Party Conversation
Sun Yat-sen University（中山大学）
为了对多方会话中的话语间依赖关系进行建模，我们提出了一个基于话语的依存句法分析结果的简单通用框架。特别地，我们提出了一种以相对依赖编码（ReDE）的形式对依赖进行编码的方法，并通过修改自注意的计算来说明如何在Transformers中实现它。在4个多方会话基准测试上的实验结果表明，该框架成功地提高了两种基于transformer的语言模型的总体性能，与现有方法相比，性能相当甚至更优。这些代码可在https://github.com/shenwzh3/ReDE上获得。
2023-02-21 cs.CL
Fake Sentence Detection as a Training Task for Sentence Encoding
Stony Brook University（石溪大学）
句子编码器通常在具有大型未标记数据集的语言建模任务上进行训练。虽然这些编码器在许多高级任务上实现了最先进的结果，但它们很难用长的训练周期进行训练。我们引入假句检测作为学习句子编码器的新训练任务。我们通过从源集合中破坏原始句子来自动生成假句子，并训练编码器以产生有效检测假句子的表示。这种二进制分类任务对于训练句子编码器来说非常有效。我们将在此任务上训练的基本BiLSTM编码器与在语言建模任务上训练的强句子编码模型（Skipthought和FastSent）进行了比较。我们发现，BiLSTM在使用少量数据（1M而不是64M句子）进行假句子检测时的训练速度要快得多（20小时而不是几周）。进一步的分析表明，学习的表征捕捉到了许多句法和语义属性，期望从良好的句子表征。
2018-08-24 cs.CL
Fused Acoustic and Text Encoding for Multimodal Bilingual Pretraining and Speech Translation
Baidu Research（百度研究院）；Oregon State University（俄勒冈州立大学）
近年来，文本和语音的表示学习已经成功地改善了许多与语言相关的任务。然而，所有现有的方法都受到两个限制：（a）它们仅从一种输入模态学习，而诸如端到端语音翻译的任务需要语音和文本的统一表示，并且因此，（b）它们不能利用各种大规模文本和语音数据，并且它们的性能受到并行语音翻译数据的稀缺性的限制。我们提出了一种融合的声学和文本掩蔽语言模型（FAT-MLM），其从各种类型的语料库（包括用于语音识别和机器翻译的并行数据，甚至纯语音和文本数据）联合学习声学和文本输入的统一表示。在此跨模态表示学习框架内，我们进一步提出了一个融合声学和文本语音翻译（FAT-ST）的端到端模型。三个翻译方向的实验表明，通过FAT-MLM的微调，我们提出的语音翻译模型大大提高了翻译质量，最高可达+5.9 BLEU。
2021-09-14 cs.CL
Modeling Speaker-Listener Interaction for Backchannel Prediction
University of Stuttgart（斯图加特大学）
本文提出一种基于神经网络的声学反馈信道分类器，通过提取说话者语音特征并编码说话者-听话者动态交互，在Switchboard和GECO数据集上结合双方行为嵌入实现了最佳F1分数的预测性能。
2023-04-10 cs.CL
MYTE: Morphology-Driven Byte Encoding for Better and Fairer Multilingual Language Modeling
Paul G. Allen School of Computer Science and Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；Faculty of Mathematics and Physics, Charles University in Prague（布拉格查理大学数学与物理学院）
本文提出基于语素的字节编码MYTE，通过一致片段长度编码多语言文本，缩短99种语言的编码并提升多语言模型性能，减少困惑度差距。
2024-11-11 cs.AI cs.CL cs.LG
Modeling Global and Local Node Contexts for Text Generation from Knowledge Graphs
Westlake University（西湖大学）；CNRS（法国国家科学研究中心）；LORIA（洛林计算机科学及其应用实验室）；Technische Universität Darmstadt（达姆施塔特工业大学）
最近的图形到文本模型使用全局或局部聚合来学习节点表示，从基于图形的数据生成文本。全局节点编码允许两个远程节点之间的显式通信，从而忽略了所有节点直接连接的图形拓扑。相比之下，局部节点编码考虑了捕获图结构的相邻节点之间的关系，但它可能无法捕获远程关系。在这项工作中，我们收集了两种编码策略，提出了新的神经模型，它结合全局和局部节点上下文对输入图进行编码，以便学习更好的上下文化节点嵌入。在我们的实验中，我们证明了我们的方法在两个图形到文本数据集上实现了显着的改进，在AGENDA数据集上实现了18.01的BLEU得分，在WebNLG数据集上实现了63.69的可见类别，分别比最先进的模型高出3.7和3.1分。
2020-06-22 cs.CL
Language Modeling with Deep Transformers
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek公司）
我们探索深度自回归Transformer模型在语音识别语言建模中的应用。我们重点关注两个方面。首先，我们回顾专门用于语言建模的Transformer模型配置。我们发现，基于LSTM递归神经网络层的浅栈，配置良好的Transformer模型优于我们的基线模型。我们在开源LibriSpeech 960 hr任务上进行了实验，用于200 K词汇单词级和10 K字节对编码子单词级语言建模。我们应用我们的词级模型，传统的混合语音识别的格重评分，和子词级模型的注意基于编码器-解码器模型的浅层融合。其次，我们证明了深度Transformer语言模型不需要位置编码。位置编码是自我注意力机制的一种重要的增强机制，它对序列排序是不变的。然而，在自回归设置中，就像语言建模的情况一样，信息量沿着位置维度增加，这本身就是一个位置信号。对注意权重的分析表明，深度自回归自注意模型可以自动利用这种位置信息。我们发现，删除位置编码，甚至略有改善这些模型的性能。
2019-07-11 cs.CL cs.LG
VCDM: Leveraging Variational Bi-encoding and Deep Contextualized Word Representations for Improved Definition Modeling
Graduate School of Engineering（工程研究生院）；The University of Tokyo（东京大学）
在本文中，我们解决了定义建模的任务，其目标是学习生成单词和短语的定义。现有的方法，这一任务是歧视性的，结合分布和词汇语义在一个隐含的，而不是直接的方式。为了解决这个问题，我们提出了一个生成模型的任务，引入了一个连续的潜在变量，明确建模上下文中使用的短语和它的定义之间的潜在关系。我们依靠变分推理进行估计，并利用上下文化的词嵌入来提高性能。我们的方法是评估现有的四个具有挑战性的基准，增加了两个新的数据集，“剑桥”和第一个非英语语料库“罗伯特”，我们发布，以补充我们的实证研究。我们的变分上下文定义建模器（VCDM）在自动和人工评估指标方面实现了最先进的性能，证明了我们方法的有效性。
2020-10-07 cs.CL cs.LG
Auto-Encoding Variational Bayes for Inferring Topics and Visualization
Department of Computer Science（计算机科学系）；New Mexico State University（新墨西哥州立大学）
可视化和主题建模是文本分析中广泛使用的方法。传统的可视化方法在可视化空间（通常为2D或3D）中找到文档的低维表示，可以使用散点图显示。相比之下，主题建模旨在从文本中发现主题，但对于可视化，需要使用降维方法执行事后嵌入。最近的方法提出使用生成模型来共同寻找主题和可视化，允许语义注入到可视化空间中进行有意义的解释。阻止这些方法实际使用的一个主要挑战是它们的推理算法的可扩展性。我们目前，据我们所知，第一个快速的自动编码变分贝叶斯推理方法，共同推断主题和可视化。由于我们的方法是黑盒，它可以有效地处理模型的变化，很少的数学重新推导的努力。我们在真实世界的大型数据集上证明了我们的方法的效率和有效性，并将其与现有的基线进行了比较。
2020-10-25 cs.CL
Hierarchical Encoders for Modeling and Interpreting Screenplays
Bloomberg L.P.（彭博有限合伙企业）；Netflix（奈飞）
虽然长格式文档的自然语言理解仍然是一个开放的挑战，但此类文档通常包含结构信息，可以为编码它们的模型的设计提供信息。电影剧本就是这种结构丰富的文本的一个例子-剧本被分割成场景，场景被进一步分解成对话和描述性成分。在这项工作中，我们提出了一种用于编码这种结构的神经架构，它在一对多标签标签分类数据集上表现出色，而不需要手工制作的功能。我们通过在编码器中增强无监督的“可解释性”模块来添加一层洞察力，从而允许提取和可视化叙事轨迹。虽然这项工作专门处理剧本，我们讨论了如何将基本的方法可以推广到一系列的结构化文件。
2020-04-30 cs.CL
Modeling speech recognition and synthesis simultaneously: Encoding and decoding lexical and sublexical semantic information into speech with no direct access to speech data
University of California, Berkeley（加州大学伯克利分校）
人类说话者将信息编码成原始语音，然后由听者解码。编码（产生）和解码（感知）之间的这种复杂关系通常是单独建模的。在这里，我们测试了词汇语义信息的编码和解码如何在无监督生成深度卷积网络中从原始语音中自动出现，该网络结合了语音的产生和感知原理。据我们所知，我们介绍了无监督词汇学习中最具挑战性的目标：一个网络，必须学习词汇项的唯一表示，没有直接存取训练数据。我们训练了几个模型（ciwGAN和fiwGAN arXiv：2006.02951），并测试了网络如何在未观察到的测试数据中对声学词汇项进行分类。有力的证据支持词汇学习和潜在代码和有意义的亚词汇单位之间的因果关系出现。因此，组合产生和感知原理的架构能够学习从原始声学数据解码唯一信息，而无需直接访问真实的训练数据。我们提出了一种技术，探索词汇（整体）和词汇（特征）学习表示的分类器网络。这些结果对无监督语音技术以及无监督语义建模具有重要意义，因为语言模型越来越多地绕过文本并从原始声学进行操作。
2022-06-29 cs.CL cs.SD eess.AS
FormNet: Structural Encoding beyond Sequential Modeling in Form Document Information Extraction
Google Cloud AI Research（谷歌云人工智能研究院）；Google Research（谷歌研究院）
序列建模在自然语言和文档理解任务上表现出了最先进的性能。然而，由于表单文档的布局模式多种多样，在实践中正确序列化表单文档中的标记是一个挑战。我们提出了FormNet，一个结构感知的序列模型，以减轻次优序列化的形式。首先，我们设计了Rich Attention，它利用表单中标记之间的空间关系来进行更精确的注意力分数计算。其次，我们通过图形卷积嵌入来自相邻令牌的表示来为每个单词构建超级令牌。因此，FormNet显式地恢复可能在序列化过程中丢失的本地语法信息。在实验中，FormNet优于现有的方法，具有更紧凑的模型大小和更少的预训练数据，在CORD，FUNSD和Payment基准上建立了新的最先进的性能。
2022-03-24 cs.CL cs.CV cs.LG
Romanization Encoding For Multilingual ASR
NVIDIA Corporation（英伟达公司）
提出罗马化编码结合平衡拼接分词器与Roman2Char模块，在FastConformer-RNNT框架中显著降低词汇量并提升中英及多语言ASR性能。
2024-12-17 cs.CL cs.SD eess.AS
Multi-Document Scientific Summarization from a Knowledge Graph-Centric View
National University of Defense Technology（国防科技大学）
多文档科学摘要（MDSS）旨在为主题相关的科学论文集群生成连贯和简洁的摘要。这项任务需要精确理解论文内容并准确建模跨论文关系。知识图谱为文档传递了紧凑且可解释的结构化信息，这使它们成为内容建模和关系建模的理想选择。在本文中，我们提出了KGSum，MDSS模型在编码和解码过程中的知识图谱为中心。具体而言，在编码过程中，提出了两个基于图的模块，将知识图谱信息融入到论文编码中;在解码过程中，提出了两级解码器，首先生成以描述性语句形式表示的摘要的知识图谱信息，然后生成最终摘要。实证结果表明，与Multi-Xscience数据集的基线相比，拟议的架构带来了实质性改进。
2022-09-09 cs.AI cs.CL
Gated Associative Memory: A Parallel O(N) Architecture for Efficient Sequence Modeling
Independent Researcher（独立研究者）
针对Transformer自注意力O(N²)复杂度的长序列处理瓶颈，提出具有线性复杂度的门控联想记忆（GAM）架构，通过因果卷积与联想记忆并行通路加门控融合实现序列建模，实验验证其训练速度更快，困惑度表现优异。
2025-08-30 cs.CL cs.LG
Relative Positional Encoding for Speech Recognition and Direct Translation
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Johns Hopkins University（约翰斯·霍普金斯大学）；Maastricht University（马斯特里赫特大学）；Carnegie Mellon University（卡内基梅隆大学）
Transformer模型是功能强大的序列到序列架构，能够直接将语音输入映射到transformer或翻译。然而，该模型中用于对位置进行建模的机制是针对文本建模而定制的，因此对于声学输入来说不太理想。在这项工作中，我们适应的相对位置编码方案的语音Transformer，其中的关键除了在自注意网络中的输入状态之间的相对距离。因此，网络可以更好地适应语音数据中存在的可变分布。实验结果表明，该模型在非增强条件下的Switchboard测试中取得了最好的识别效果，在Must-C语音翻译测试中取得了最好的识别效果。我们还表明，该模型是能够更好地利用合成数据比Transformer，并适应更好地为语音翻译的变量句子分割质量。
2020-05-20 cs.CL cs.SD eess.AS
