ByT5: Towards a token-free future with pre-trained byte-to-byte models
Google Research(谷歌研究院)
大多数广泛使用的预先训练的语言模型对与单词或子单词单元相对应的标记序列进行操作。相比之下,直接对原始文本(字节或字符)进行操作的无令牌模型有很多好处:它们可以开箱即用地处理任何语言的文本,它们对噪音更鲁棒,并且通过消除复杂和容易出错的文本预处理管道来最大限度地减少技术债务。由于字节或字符序列比令牌序列长,因此过去在无令牌模型上的工作经常引入新的模型架构,旨在分摊直接在原始文本上操作的成本。在本文中,我们表明,一个标准的Transformer架构,可以使用最小的修改,以处理字节序列。我们在参数计数,训练FLOPs和推理速度方面进行了权衡,并表明字节级模型与令牌级模型相比具有竞争力。我们还证明了字节级模型对噪声的鲁棒性更强,并且在对拼写和发音敏感的任务上表现得更好。作为我们贡献的一部分,我们发布了一组新的基于T5架构的预训练字节级Transformer模型,以及我们实验中使用的所有代码和数据。
2022-03-08 cs.CL
ByteFlow: Language Modeling through Adaptive Byte Compression without a Tokenizer
Rice University(里士德大学);Amazon Science(亚马逊科学)
ByteFlow通过自适应字节压缩实现无分词器的语言建模,提升模型性能与适应性。
2026-03-03 cs.CL cs.LG
A Pilot Study of Autocompleting Tokenizers
Williams College(威廉姆斯学院)
该研究受自动补全书写系统启发,提出用轻量级自回归字节语言模型压缩Transformer输入的方案,在多语言机器翻译任务上验证其可减少序列长度且不降低翻译质量,适用于不同书写系统。
2026-08-18 cs.CL
Toppling the Hierarchy in Byte-level Language Modeling
School of Computation, Information and Technology, TU Munich(慕尼黑工业大学计算、信息与技术学院);Munich Center for Machine Learning(慕尼黑机器学习中心);Munich Data Science Institute(慕尼黑数据科学研究所)
本研究针对当前最优字节级语言模型的层级结构缺陷,通过消融实验发现纯字节级模型在字符操控任务上更优,明确了计算效率与细粒度字符理解的权衡关系。
2026-09-02 cs.CL
Byte Pair Encoding is Suboptimal for Language Model Pretraining
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Department of Computer Science(计算机科学系)
预训练的Transformer语言模型(LM)在自然语言处理中的成功导致了广泛的预训练设置。特别地,这些模型采用各种子字标记化方法,最显著的是字节对编码(BPE)(Sennrich等人,2016; Gage,1994),WordPiece方法(Schuster和Nakajima,2012)和unigram语言建模(Kudo,2018),以分割文本。然而,据我们所知,文献中并没有直接评估标记化对语言模型预训练的影响。我们分析了BPE和单字LM标记化之间的差异,发现后一种方法恢复了与形态学更紧密对齐的子字单元,并避免了BPE贪婪构造过程中产生的问题。然后,我们比较了使用这些标记化预训练的相同Transformer掩码语言模型的微调任务性能。在下游任务和两种语言(英语和日语)中,我们发现unigram LM标记化方法匹配或优于BPE。我们希望未来预训练LM的开发人员将考虑采用单字LM方法,而不是更流行的BPE。
2020-10-05 cs.CL
Latent Concept Disentanglement in Transformer-based Language Models
Purdue University(普渡大学);University of Southern California(南加州大学);Google(谷歌)
本研究通过机制可解释性实验,证明Transformer模型在上下文学习中能解耦并利用潜在概念,包括离散概念的逐步组合和数值概念的低维几何表示。
2025-09-26 cs.AI cs.CL cs.LG
Transformer-based Conditional Variational Autoencoder for Controllable Story Generation
University at Buffalo(布法罗大学);JD Finance America Corporation(京东金融美国公司)
我们研究了用于神经故事生成的大规模潜变量模型(LVMs)-开放域长文本的一个未充分开发的应用程序-目标有两个线程:生成有效性和可控性。LVMs,特别是变分自编码器(VAE),通过利用灵活的分布式潜在表示实现了有效和可控的生成。近年来,Transformers及其变体在没有显式潜在表示学习的情况下取得了显著的效果,因此在生成过程中缺乏令人满意的可控性。在本文中,我们主张在Transformers时代恢复潜变量建模,本质上是表示学习的力量,以增强可控性,而不损害最先进的发电效率。具体来说,我们将潜在表示向量与基于transformer的预训练架构相结合,以构建条件变分自编码器(CVAE)。模型的组成部分,如编码器,解码器和变分后验都建立在预先训练的语言模型-GPT 2在本文中具体。实验证明了我们的模型的最先进的条件生成能力,以及其优秀的表示学习能力和可控性。
2021-07-08 cs.AI cs.CL cs.LG
Enhancing Latent Computation in Transformers with Latent Tokens
Alibaba Group(阿里巴巴集团)
本研究提出潜Token轻量方法,可参数高效地集成到预训练Transformer中调控解码,经合成任务验证,其在分布外泛化等场景显著优于基线,有望提升大语言模型适配性。
2025-05-19 cs.CL cs.LG
State Stream Transformer (SST) : Emergent Metacognitive Behaviours Through Latent State Persistence
Fifth Dimension(第五维度)
本文提出 State Stream Transformer (SST) 架构,通过引入带加权衰减的滑动窗口潜在状态缓存,解决传统 Transformer 缺乏潜在计算连续性的局限,使模型涌现出元认知行为并在 GSM-8K 和 ARC Challenge 基准上显著提升推理性能。
2025-01-30 cs.AI cs.CL cs.LG
When the next byte's type is fixed: why entropy patching skips computed values under tight budgets
该研究针对字节级模型在严格补丁预算下对数学计算结果准确率下降的问题,提出新颖性补丁策略,在不同参数规模下显著提升数学任务的计算结果与最终答案准确率,且在数学外场景有适配性。
2026-11-10 cs.CL cs.LG
Latent Chain-of-Thought? Decoding the Depth-Recurrent Transformer
Brown University(布朗大学);Harvard University(哈佛大学)
本文借助 Logit Lens 与 Coda Lens 探测 Huginn-3.5B 的算术推理过程,发现其缺乏清晰可解释的潜在 CoT,增加循环深度也仅有边际收益。
2025-09-28 cs.AI cs.CL cs.LG
Bridging the Gap Between Latent and Explicit Reasoning with Looped Transformers
UW-Madison(威斯康星大学麦迪逊分校);Microsoft Research(微软研究院);ETH Zürich(苏黎世联邦理工学院);KRAFTON(魁匠团);Ludo Robotics
提出LOTUS方法,利用循环Transformer在潜在空间进行多步推理,通过并行监督潜在块上的CoT令牌,首次在3B规模弥合与显式CoT的差距,并将推理延迟降低2.5-6.9倍。
2026-07-14 cs.CL cs.LG
N-Grammer: Augmenting Transformers with latent n-grams
Google Research(谷歌研究院)
Transformer模型最近已经成为自然语言处理中的基础模型之一,并且作为副产品,最近对缩放这些模型有很大的兴趣和投资。然而,这些大型Transformer语言模型的训练和推理成本是令人望而却步的,因此需要更多的研究来识别更有效的变体。在这项工作中,我们提出了一个简单而有效的修改Transformer架构的启发,在统计语言建模的文献中,通过增强模型与n-gram,从离散的潜在表示的文本序列。我们评估了我们的模型,N-Grammer在C4数据集上的语言建模以及在SuperGLUE数据集上的文本分类,发现它优于几个强大的基线,如Transformer和Primer。我们在Jax中开源了我们的模型以实现可重复性。
2022-07-13 cs.CL cs.LG
Transformers as Graph-to-Graph Models
Idiap Research Institute(Idiap研究所);EPFL(洛桑联邦理工学院);University of Zurich(苏黎世大学)
本文提出 Graph-to-Graph Transformer 架构,将显式图边融入注意力计算并迭代细化图结构,实现非自回归的完整图预测,在多种语言结构建模上取得最先进准确率。
2023-10-27 cs.AI cs.CL cs.LG
Deep Transformers with Latent Depth
Facebook AI;University of Edinburgh(爱丁堡大学)
在许多序列建模任务中,Transformer模型已经达到了最先进的性能。然而,如何利用具有大或可变深度的模型容量仍然是一个开放的挑战。我们提出了一个概率框架,通过学习层选择的后验分布来自动学习要使用的层。作为该框架的扩展,我们提出了一种新的方法来训练一个共享的Transformer网络的多语言机器翻译与不同的层选择后验的每一个语言对。所提出的方法消除了消失梯度问题,并且实现了深度Transformers(例如,100层)的稳定训练。我们评估WMT英语-德语机器翻译和掩蔽语言建模任务,其中我们的方法优于现有的方法,用于训练更深的Transformers。在多语言机器翻译上的实验表明,该方法可以有效地利用模型容量的增加,并为不同语言对的多对一和一对多翻译带来普遍的改进。
2020-10-16 cs.CL cs.LG
Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior
Microsoft(微软公司);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of Washington(华盛顿大学)
提出潜在循环Transformer(LRT),通过跨层循环潜在路径重用前一token的高层隐藏状态作为记忆,在不增加暂停token或额外深度循环的情况下,以约2倍基线计算实现并行训练,在匹配有效计算下提升语言建模损失和上下文学习能力,仅增加0.3%参数。
2026-09-02 cs.CL cs.LG
State Stream Transformer (SST) V2: Parallel Training of Nonlinear Recurrence for Latent Space Reasoning
Fifth Dimension(第五维度)
SST V2通过在解码器层中引入FFN驱动的非线性递归,实现连续潜在空间中的参数高效推理,利用学习融合在完整序列中水平流式传输潜在状态,并通过双阶段并行训练解决递归的序列依赖性,提升推理能力。
2026-10-09 cs.CL cs.LG
Style Transformer: Unpaired Text Style Transfer without Disentangled Latent Representation
Fudan University(复旦大学)
在不成对的文本风格迁移中,普遍存在着在潜空间中将内容与风格分离的现象。然而,目前大多数神经模型存在两个主要问题。1)很难从句子的语义中完全剥离样式信息。2)基于递归神经网络(RNN)的编码器和解码器以潜在表示为中介,不能很好地处理长期依赖性问题,导致非风格语义内容的保存较差。本文提出了风格转换器Transformer,它不需要对源语句的潜在表征做任何假设,而是在Transformer中加入了注意力机制,以实现更好的风格转换和更好的内容保持。
2019-08-20 cs.CL
Exploring the Impact of a Transformer's Latent Space Geometry on Downstream Task Performance
University of Montana(蒙大拿大学);College of Business, University of Montana(蒙大拿大学商学院);R. Ken Coit College of Pharmacy, University of Arizona(亚利桑那大学R. Ken Coit药学院)
本研究探究Transformer潜空间几何特征与下游任务性能的关联,发现量化单元密度与GLUE平均性能强相关,可用于预测非标准BERT类模型性能,为降低预训练需求提供新思路。
2024-06-18 cs.CL cs.LG
Do LLMs dream of elephants (when told not to)? Latent concept association and associative memory in transformers
University of Chicago(芝加哥大学);Carnegie Mellon University(卡内基梅隆大学)
本文通过实验发现LLMs的事实检索能力易受上下文操纵,提出其类似联想记忆模型的观点,还通过数学分析单层Transformer,从理论和实证上证明其用自注意力收集信息、价值矩阵实现联想记忆的特性。
2024-11-27 cs.CL cs.LG stat.ML
Thinking into the Future: Latent Lookahead Training for Transformers
Apple(苹果公司)
本文提出潜在前瞻训练方法,使模型在生成前进行多步前瞻,提升规划任务表现。
2026-03-03 cs.CL cs.LG
A Systematic Benchmark of Machine Transliteration Models for the Tajik-Farsi Language Pair: A Comparative Study from Rule-Based to Transformer Architectures
Institute of Computational Mathematics and Information Technologies(计算数学与信息科技学院);Kazan Federal University(卡兹安联邦大学)
本文通过构建多源平行语料库,系统比较了从基于规则到Transformer的六类模型,发现字节级ByT5在塔吉克-波斯语音译任务中表现最优(chrF++ 87.4/80.1),而基于子词的分词模型完全失败。
2026-06-01 cs.CL
Exploiting Inductive Bias in Transformers for Unsupervised Disentanglement of Syntax and Semantics with VAEs
LIPN(巴黎第十三大学信息与通信科学实验室);Université Sorbonne Paris Nord(巴黎第十三大学);CNRS(法国国家科学研究中心);INRIA Paris(巴黎法国国家信息与自动化研究所)
我们提出了一个生成模型的文本生成,表现出解开潜在的语法和语义表示。与以前的工作相反,该模型不需要句法信息,如选区分析,或语义信息,如释义对。我们的模型完全依赖于在基于注意力的架构(如Transformers)中发现的感应偏差。在Transformers的注意中,键处理信息选择,而值指定传达什么信息。我们的模型,被称为QKVAE,在其解码器中使用注意力来读取潜变量,其中一个潜变量推断密钥,而另一个潜变量推断值。我们运行的实验,潜在的代表性和实验的语法/语义转移表明,QKVAE显示出清晰的迹象,解开语法和语义。我们还表明,与监督模型相比,我们的模型显示出具有竞争力的语法传输能力,并且可比的监督模型需要相当大量的数据(超过50 K个样本)才能在语法和语义传输方面表现出色。我们实验的代码是公开的。
2022-05-19 cs.CL cs.LG
Language Modeling with Deep Transformers
RWTH Aachen University(亚琛工业大学);AppTek GmbH(AppTek公司)
我们探索深度自回归Transformer模型在语音识别语言建模中的应用。我们重点关注两个方面。首先,我们回顾专门用于语言建模的Transformer模型配置。我们发现,基于LSTM递归神经网络层的浅栈,配置良好的Transformer模型优于我们的基线模型。我们在开源LibriSpeech 960 hr任务上进行了实验,用于200 K词汇单词级和10 K字节对编码子单词级语言建模。我们应用我们的词级模型,传统的混合语音识别的格重评分,和子词级模型的注意基于编码器-解码器模型的浅层融合。其次,我们证明了深度Transformer语言模型不需要位置编码。位置编码是自我注意力机制的一种重要的增强机制,它对序列排序是不变的。然而,在自回归设置中,就像语言建模的情况一样,信息量沿着位置维度增加,这本身就是一个位置信号。对注意权重的分析表明,深度自回归自注意模型可以自动利用这种位置信息。我们发现,删除位置编码,甚至略有改善这些模型的性能。
2019-07-11 cs.CL cs.LG
Towards Diverse, Relevant and Coherent Open-Domain Dialogue Generation via Hybrid Latent Variables
Beijing Institute of Technology(北京理工大学);Huawei Technologies Ltd.(华为技术有限公司)
条件变分模型,使用连续或离散的潜变量,是强大的开放域对话响应生成。然而,以前的工作表明,连续的潜变量往往会减少生成的响应的一致性。在本文中,我们还发现,离散的潜变量很难捕捉到更多样化的表达。为了解决这些问题,我们结合了连续和离散潜变量的优点,提出了一种混合潜变量(HLV)方法。具体而言,HLV通过离散潜变量约束响应的全局语义,并使用连续潜变量丰富响应。因此,我们在保持相关性和一致性的同时,使所产生的反应多样化。此外,我们提出了条件混合变分Transformer(CHVT)的建设和利用HLV与Transformers的对话生成。通过细粒度的符号级语义信息和加性高斯混合,我们构建了连续变量的分布,促使生成多样化的表达式。同时,通过自分离训练对离散潜变量进行优化,以保持关联性和连贯性。在两个对话生成数据集(DailyDialog和Opensubtitles)上的实验结果表明,CHVT优于传统的基于transformer的变分机制.多样性、相关性和一致性指标。此外,我们还展示了应用HLV微调两个预训练对话模型(PLATO和BART-base)的好处。
2022-12-02 cs.AI cs.CL
Recurrence Boosts Diversity! Revisiting Recurrent Latent Variable in Transformer-Based Variational AutoEncoder for Diverse Text Generation
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京国家信息科学与技术研究中心);Institute for Artificial Intelligence, Tsinghua University(清华大学人工智能研究院);Microsoft Research Asia(微软亚洲研究院);Jiangsu Normal University(江苏师范大学);Jiangsu Collaborative Innovation Center for Language Ability(江苏省语言能力协同创新中心)
变分自动编码器(VAE)在文本生成中得到了广泛的应用。在许多变体中,递归VAE学习令牌式潜变量,每个潜变量都以前面的潜变量为条件,这在RNN时代更好地捕捉了序列变异性。然而,目前还不清楚如何将这种经常性的动态到最近占主导地位的Transformer,由于其并行性。在这项工作中,我们提出了TRACE,一个基于transformer的递归VAE结构。TRACE对具有任意分离的文本段的逐段潜变量施加递归,并构造具有残差参数化的后验分布。此外,我们设计了一个加速方法,通过近似幂等矩阵,允许并行性,同时保持条件依赖的潜在变量。我们证明了TRACE可以增强每段和前一个潜变量的纠缠度,并推导出KL项的非零下界,为世代多样性提供了理论保证。两个无条件和一个条件生成任务的实验表明,TRACE实现了显着提高多样性,同时保持令人满意的生成质量。
2022-11-23 cs.CL
Fuse It More Deeply! A Variational Transformer with Layer-Wise Latent Variable Inference for Text Generation
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Microsoft Research Asia(微软亚洲研究院)
在过去的几年里,我们已经见证了变分自动编码器在各种文本生成任务中的优越性。然而,由于文本的顺序性质,自回归解码器倾向于忽略潜在变量,然后简化为简单的语言模型,称为KL消失问题,当VAE与基于转换器的结构相结合时,这将进一步恶化。为了改善这个问题,我们提出了DELLA,一个新的变分Transformer框架。DELLA学习一系列逐层潜变量,每个潜变量都是从较低层的潜变量中推断出来的,并通过低秩张量积与隐藏状态紧密耦合。通过这种方式,DELLA迫使这些后验潜变量与整个计算路径深度融合,从而包含更多的信息。我们从理论上证明,我们的方法可以被视为纠缠潜变量,以避免通过层后验信息减少,使DELLA得到更高的非零KL值,即使没有任何退火或阈值技巧。四个无条件和三个条件生成任务的实验表明,DELLA可以更好地缓解KL消失,提高质量和多样性相比,几个强基线。
2022-10-21 cs.CL
Latent Positional Information is in the Self-Attention Variance of Transformer Language Models Without Positional Embeddings
Carnegie Mellon University(卡内基梅隆大学);Princeton University(普林斯顿大学)
本文证明无位置嵌入的Transformer语言模型通过自注意力方差收缩编码位置信息,该效应在预训练后依然存在,为放弃位置嵌入以提升预训练效率提供了依据。
2023-05-23 cs.CL
Learning Robust Latent Representations for Controllable Speech Synthesis
University of Toronto(多伦多大学);Vanguard Center for Analytics and Insights(先锋分析与洞察中心)
最先进的变分自动编码器(VAE)用于学习解开的潜在表示,在发现语音数据中的音高、停顿持续时间和重音等特征方面取得了令人印象深刻的结果,从而实现了高度可控的文本到语音(TTS)合成。然而,这些基于LSTM的VAE在有限或嘈杂的数据集上训练时无法学习说话者属性的潜在聚类。此外,不同的潜变量开始编码相同的特征,限制了语音合成期间的控制和表达能力。为了解决这些问题,我们提出了RTI-VAE(重排序的Transformer与信息减少VAE),我们最大限度地减少不同的潜在变量之间的互信息,并设计了一个修改后的Transformer架构与层重新排序,以学习语音数据中的可控潜在表示。我们表明,RTI-VAE减少了至少30%的LSTM-VAE和至少7%的香草transformer-VAE的扬声器属性的集群重叠。
2021-05-10 cs.CL cs.LG cs.SD
LoopMTP: A looped transformer guided by latent multi-token prediction
LoopMTP针对循环Transformer的潜在过度思考问题,通过潜在多令牌预测实现软对齐与轻量门控,使平均准确率提升最高8.1%,15次循环内训练稳定。
2026-08-05 cs.CL
Easy to anticipate, hard to compute: boundary dependence finds the computed outputs that entropy patching misses
该研究发现字节级语言模型的熵触发补丁布局遗漏了需计算的关键位置,提出边界依赖信号结合熵的方法,在GSM8K等任务上显著提升了计算结果的准确率。
2026-11-11 cs.CL
LoopFormer: Elastic-Depth Looped Transformers for Latent Reasoning via Shortcut Modulation
University of Toronto(多伦多大学);Vector Institute(向量研究所);University Health Network(大学健康网络)
LoopFormer通过弹性深度循环变换器实现基于快捷键调制的潜在推理,具备适应不同计算预算的鲁棒性与扩展性。
2026-02-11 cs.CL
Latent-Condensed Transformer for Efficient Long Context Modeling
South China University of Technology(南方科技大学);Pengcheng Laboratory(鹏城实验室);AIGCode;Harbin Institute of Technology(哈尔滨工业大学);Pazhou Laboratory(琶洲实验室)
本文提出Latent-Condensed Attention,通过在MLA的潜在空间内压缩上下文,减少计算成本和KV缓存,同时保持性能。
2026-11-04 cs.CL
Grounding latent algorithm routing in transformer reasoning
Georgia Institute of Technology(佐治亚理工学院)
研究变压器能否围绕不同归纳偏差族组织情节级适应,通过潜在算法路由及ROUTEBENCH基准实验,发现从零训练的密集仅解码器变压器能开发类似路由的内部变量,缩小最优路由差距,但未建立通用路由。
2026-07-28 cs.CL
Variational Transformers for Diverse Response Generation
Center for Artificial Intelligence Research (CAiRE)(人工智能研究中心(CAiRE));The Hong Kong University of Science and Technology(香港科技大学)
尽管Transformers在许多序列建模任务中有很大的前景(例如,机器翻译),它们的确定性本质阻碍了它们推广到诸如对话响应生成之类的高熵任务。以前的工作提出了捕捉对话响应的变化与递归神经网络(RNN)为基础的条件变分自编码器(CVAE)。然而,RNN的自回归计算限制了训练效率。因此,我们提出了变分Transformer(VT),变分自关注前馈序列模型。VT通过将随机潜变量纳入Transformers中,将Transformer的并行性和全局感受野与CVAE的变分性质相结合。我们探索两种类型的VT:1)建模的话语级的多样性与全球的潜变量;和2)增强的Transformer解码器与一系列细粒度的潜变量。然后,在三个会话数据集上对所提出的模型进行自动度量和人工评估。实验结果表明,我们的模型提高了标准Transformers和其他基线的多样性,语义相关性和人类的判断。
2020-03-28 cs.CL
Character-level Transformer-based Neural Machine Translation
University of Antwerp(安特卫普大学);Computational Linguistics and Psycholinguistics Research Center(计算语言学与心理语言学研究中心);Antwerp Centre for Digital Humanities and Literary Criticism(安特卫普数字人文与文学批评中心)
神经机器翻译(NMT)现在通常应用于子字级别,使用字节对编码。一种有前途的替代方法专注于字符级翻译,这大大简化了NMT中的处理管道。然而,这种方法必须考虑相对较长的序列,使得训练过程过于昂贵。在本文中,我们讨论了一种新的,基于变压器的方法,我们比较,无论是在速度和质量的Transformer在子字和字符级别,以及以前开发的字符级模型。我们在WMT'15的4个语言对上评估了我们的模型:DE-EN,CS-EN,FI-EN和RU-EN。该模型可以在单个GPU上训练,比字符级的Transformer快34%,但其结果至少与之相当。此外,该模型在FI-EN中的性能优于子字级模型,在CS-EN中的性能接近。为了促进这一领域的进一步研究并缩小与子字级NMT的差距,我们公开了所有的代码和模型。
2020-05-22 cs.CL
Improving Semantic Control in Discrete Latent Spaces with Transformer Quantized Variational Autoencoders
University of Manchester(曼彻斯特大学);National Biomarker Centre, CRUK-MI, Univ. of Manchester(英国癌症研究中心曼彻斯特研究所国家生物标志物中心);Idiap Research Institute(Idiap研究所)
针对VAE变分瓶颈语义损失、解码控制不足的问题,提出T5VQVAE模型,利用VQVAE离散潜在空间在token级引导T5自注意力,在多项任务上性能超越现有最优模型,具备更强推理能力。
2024-02-01 cs.CL
Pretraining Latent Information Feedback Transformers with Teacher Supervision
Blavatnik School of Computer Science and AI, Tel Aviv University(特拉维夫大学布拉瓦特尼克计算机科学与人工智能学院);The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本研究提出LIFT架构,通过教师监督将循环状态学习转为预测问题,使Transformer在预训练时实现深层到浅层反馈,在多项任务上优于标准模型。
2026-09-30 cs.CL
Low Rank Fusion based Transformers for Multimodal Sequences
Intel Labs(英特尔实验室)
我们的感官以协调的方式单独工作,以表达我们的情感意图。在这项工作中,我们的实验与建模模态特定的感官信号出席我们潜在的多模态情感意图,反之亦然,通过低秩多模态融合和多模态Transformers表示。模态之间的多模态融合的低秩因式分解有助于表示近似乘法潜在信号交互。受~ \cite{tsai2019MULT}和~ \cite{Liu_2018}工作的启发,我们提出了我们的基于transformer的交叉融合架构,而没有对模型进行任何过度参数化。低秩融合有助于表示潜在的信号交互,而特定于模态的注意力有助于集中在信号的相关部分。我们提出了CMU-MOSEI,CMU-MOSI和IEMOCAP数据集上的多模态情感和情感识别结果的两种方法,并表明我们的模型具有更少的参数,训练更快,并对许多更大的基于融合的架构进行了验证。
2020-07-04 cs.CL
Efficient Speech Translation with Dynamic Latent Perceivers
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Meta AI
Transformers是近年来语音翻译的主流架构,在翻译质量方面取得了显著的进步。由于语音信号比其文本对应物长,并且由于Transformer的二次复杂性,下采样步骤对于其在语音翻译中的采用是必不可少的。相反,在这项研究中,我们建议使用感知器编码器映射的语音输入到一个固定长度的潜在表示,以减轻复杂性。此外,我们引入了一种新的训练感知器的方法,使用动态潜在访问(DLA),在没有任何额外计算开销的情况下解锁更大的潜在空间。具有DLA的语音转文本感知器可以在MuST-C中的三种语言对上匹配Transformer基线的性能。最后,DLA训练的模型在推理时很容易适应DLA,并且可以灵活地部署各种计算预算,而不会显着降低翻译质量。
2023-03-14 cs.CL cs.SD eess.AS
Polling Latent Opinions: A Method for Computational Sociolinguistics Using Transformer Language Models
ASRC Federal(ASRC联邦公司);UMBC(马里兰大学巴尔的摩郡分校)
用于情感、主题分析和其他分析的社交媒体文本分析最初取决于将用于创建研究语料库的关键词和短语的选择。然而,研究人员选择的关键词可能不经常出现,导致使用小样本时出现错误。在本文中,我们使用的记忆能力,插值和外推的Transformer语言模型,如GPT系列学习的语言行为的一个小组内较大的语料库的Yelp评论。然后,我们使用基于语义的查询来生成合成文本,可以对这些文本进行分析,以深入了解模型所训练的人群所持有的特定观点。一旦学习,与传统的关键字搜索相比,模型可以以更高的准确度进行更具体的情感查询。我们表明,即使在训练语料库中特定关键短语有限或根本不存在的情况下,GPT也能够准确地生成大量具有正确情感的文本。
2022-04-19 cs.CL cs.CY