Post-hoc analysis of Arabic transformer models
Qatar Computing Research Institute(卡塔尔计算研究所);Hamad Bin Khalifa University(哈马德·本·哈利法大学);Dalhousie University(达尔豪斯大学)
阿拉伯语是一种闪米特语言,广泛使用,有许多方言。鉴于预先训练的语言模型的成功,许多在阿拉伯语及其方言上训练的Transformer模型已经浮出水面。虽然已经有一个外部评估这些模型相对于下游NLP任务,没有工作已经进行了分析和比较其内部表示。我们探讨如何在Transformer模型中编码语言信息,并在不同的阿拉伯方言上进行训练。我们进行了一个层次和神经元分析的模型,使用形态标记任务,不同的方言的阿拉伯语和方言识别任务。我们的分析启发了有趣的发现,例如:i)单词形态是在较低和中间层学习的,ii)虽然句法依赖性主要在较高层捕获,iii)尽管它们的词汇有很大的重叠,但基于MSA的模型未能捕获阿拉伯方言的细微差别,iv)我们发现嵌入层中的神经元本质上是多义的,而中间层的神经元对特定的属性是专有的,
2022-10-18 cs.CL
When Models Examine Themselves: Vocabulary-Activation Correspondence in Self-Referential Processing
Independent Researcher(独立研究者)
研究通过拉取方法论揭示了自我参照处理中词汇与激活动态的对应关系,展示了模型自我反省能力与内部计算状态的关联。
2026-02-18 cs.AI cs.CL cs.LG
Transformer Feed-Forward Layers Build Predictions by Promoting Concepts in the Vocabulary Space
Allen Institute for AI(艾伦人工智能研究所);Bar-Ilan University(巴伊兰大学)
基于transformer的语言模型(LM)是现代NLP的核心,但其内部预测构建过程是不透明的,并且在很大程度上不被理解。在这项工作中,我们通过对前馈网络(FFN)层(Transformer模型的构建块之一)的操作进行逆向工程,向揭示这种潜在的预测过程迈出了实质性的一步。我们将令牌表示视为词汇表上不断变化的分布,并且每个FFN层的输出都是对该分布的附加更新。然后,我们分析了词汇空间中的FFN更新,表明每个更新都可以分解为与单个FFN参数向量对应的子更新,每个更新都促进了通常人类可解释的概念。然后,我们利用这些发现来控制LM预测,将GPT2的毒性降低了近50%,并通过简单的提前退出规则提高了计算效率,平均节省了20%的计算。
2022-10-12 cs.CL
Interpreting Arabic Transformer Models
阿拉伯语是一种闪米特语言,广泛使用,有许多方言。鉴于预先训练的语言模型的成功,许多在阿拉伯语及其方言上训练的Transformer模型已经浮出水面。虽然这些模型已经与下游NLP任务进行了比较,但没有进行直接比较内部表示的评估。我们探讨了语言信息是如何在阿拉伯语预训练模型中编码的,这些模型是在不同种类的阿拉伯语上训练的。我们使用三个内在任务对模型进行层和神经元分析:基于MSA(现代标准阿拉伯语)和方言POS标记的两个形态标记任务和方言识别任务。我们的分析启发了有趣的发现,例如:i)单词形态在较低层和中间层学习,ii)方言识别需要更多的知识,因此即使在最后一层也会保留,iii)尽管它们的词汇有很大的重叠,但基于MSA的模型无法捕捉阿拉伯方言的细微差别,iv)我们发现嵌入层中的神经元本质上是多义的,而中间层中的神经元专用于特定属性。
2022-10-19 cs.CL
Structure-aware Fine-tuning of Sequence-to-sequence Transformers for Transition-based AMR Parsing
Harvard University(哈佛大学);IBM Research(IBM研究院)
使用预训练的序列到序列Transformer模型预测线性化的抽象意义表示(AMR)图最近导致AMR解析基准的大幅改进。这些解析器很简单,避免了显式的结构建模,但缺乏理想的属性,如图形格式良好的保证或内置的图形句子对齐。在这项工作中,我们探讨了一般的预训练序列到序列的语言模型和结构感知的过渡为基础的方法的集成。我们从基于指针的转换系统出发,提出了一个简化的转换集,旨在更好地利用预先训练的语言模型进行结构化微调。我们还探索了在预训练的编码器-解码器架构内对解析器状态进行建模,以及出于相同目的的不同词汇策略。我们提供了一个详细的比较与AMR解析的最新进展,并表明,建议的解析器保留了以前的过渡为基础的方法所需的属性,同时更简单,达到新的解析状态的AMR 2.0,而不需要图重新分类。
2021-10-29 cs.CL
The Geometry of Semantic Space: A Continuous Geometric Framework for the Transformer Architecture
INFN, Sezione di Cagliari(意大利国家核物理研究所,卡利亚里分部)
该研究提出连续几何框架,将Transformer架构运算建模为积分 - 微分方程,从几何公理出发转化其核心组件。通过实验验证,此框架能为大语言模型的稳定性、上下文及优化动态提供预测性描述词汇。
2026-07-21 cond-mat.dis-nn cs.CL cs.LG
Which transformer architecture fits my data? A vocabulary bottleneck in self-attention
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
Transformer体系结构在自然语言处理领域取得成功后,现已成为许多领域的事实标准。它们在新模态上部署的障碍是架构配置:最佳深度与宽度比已被证明在数据类型之间变化很大(例如,$10$ x在图像上大于在语言上)。我们从理论上预测存在嵌入秩瓶颈,限制了自注意力宽度对Transformer表达的贡献。因此,我们直接将输入词汇的大小和等级与最佳的深宽比联系起来,因为小的词汇大小或等级决定了深度比宽度的额外优势。我们经验证明了这个瓶颈的存在及其对Transformer架构的深度到宽度相互作用的影响,将跨域的架构可变性与不同领域中不同词汇大小或嵌入等级的使用联系起来。作为一个额外的好处,我们的排名检查框架允许我们识别$25\%-50\%$在领先的NLP模型(如ALBERT和T5)中的大小冗余。
2021-06-09 cs.CL cs.LG
How Different Tokenization Algorithms Impact LLMs and Transformer Models for Binary Code Analysis
Ahmed Mostafa, 1Raisul Arefin, Samuel Mulder(未知)
本文系统评估了不同分词算法及参数对汇编代码分析的影响,通过内在指标和基于 Llama 3.2、BERT、BART 的下游任务实验,揭示了分词器选择与性能之间的复杂权衡,为优化底层二进制分析流程提供依据。
2025-11-05 cs.AI cs.CL cs.CR
Barriers to Universal Reasoning With Transformers (And How to Overcome Them)
Saarland University(萨尔兰大学);Ohio State University(俄亥俄州立大学)
研究探讨了Transformer在长CoT轨迹上的泛化能力限制,并提出通过动态词汇增长和符号标记实现长度可扩展性。
2026-08-11 cs.CL cs.LG
Fine-Tuning Transformers: Vocabulary Transfer
Yandex;Higher School of Economics(高等经济大学);Facebook UK(英国脸书);Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学与科学研究所);University of Lisbon(里斯本大学);CEMAPRE
本文研究微调时使用语料专属分词对Transformer模型性能的影响,提出结合词汇token初始化与微调策略的词汇迁移方法,可加快迁移速度并提升微调后模型性能。
2022-12-12 cs.AI cs.CL cs.LG
How BPE Affects Memorization in Transformers
Facebook AI;ICREA(加泰罗尼亚研究与高级研究院)
NLP中的训练数据记忆都是有益的(例如,不公开的QA)和不受欢迎的(个人数据提取)。在任何情况下,成功的模型训练都需要大量的记忆来存储单词拼写,各种语言特性和常识。然而,很少有人知道是什么影响了NLP模型的记忆行为,因为该领域倾向于关注同样重要的泛化问题。在这项工作中,我们证明了字节对编码(BPE)学习的子词词汇的大小极大地影响了标准Transformer模型记忆训练数据的能力和趋势,即使我们控制学习参数的数量。我们发现,与一个大的子词词汇量的大小,Transformer模型适合随机映射更容易,更容易受到成员推断攻击。类似地,在给定提示的情况下,具有大型子词词汇表的基于transformer的语言模型更频繁地再现训练数据。我们推测这种效应是由于BPE词汇量增加时序列长度减少造成的。我们的研究结果可以允许更明智地选择超参数,这是更好地为特定的用例量身定制。
2021-12-02 cs.CL
Experiments with LVT and FRE for Transformer model
在本文中,我们尝试将大词汇量技巧和丰富的词汇编码应用于文本摘要的Transformer模型。我们无法获得比类似的基于RNN的序列到序列模型更好的结果,所以我们尝试了更多的模型来找出是什么改善了结果,是什么恶化了结果。
2020-04-26 cs.CL
EEG2TEXT: Open Vocabulary EEG-to-Text Decoding with EEG Pre-Training and Multi-View Transformer
Virginia Tech(弗吉尼亚理工大学)
本文提出EEG2TEXT方法,通过EEG预训练和多视角Transformer建模不同脑区信号,显著提升开放词汇EEG到文本解码准确率,在BLEU和ROUGE上超越基线达5%。
2024-05-03 cs.AI cs.CL
Region-Aware Pretraining for Open-Vocabulary Object Detection with Vision Transformers
Google Research(谷歌研究院)
该研究提出区域感知开放词汇视觉Transformer(RO-ViT),通过区域位置嵌入裁剪、focal loss对比学习及新型目标提议优化,在开放词汇检测和图文检索任务上均取得SOTA表现。
2023-08-28 cs.AI cs.CL cs.CV
CharacterBERT: Reconciling ELMo and BERT for Word-Level Open-Vocabulary Representations From Characters
Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);LIMSI(LIMSI实验室);CEA(法国原子能和替代能源委员会);List(List研究所);Artificial Intelligence Research Center (AIRC)(人工智能研究中心);AIST(日本产业技术综合研究所)
由于BERT带来的引人注目的改进,许多最近的表示模型采用Transformer架构作为其主要构建块,因此继承了单词标记化系统,尽管它与Transformers的概念没有内在联系。虽然该系统被认为在字符的灵活性和完整单词的效率之间实现了良好的平衡,但是使用来自一般领域的预定义的词段词汇表并不总是合适的,特别是当为专门领域(例如,医学领域)。此外,采用词段标记化将焦点从单词级别转移到子单词级别,使模型在概念上更加复杂,并且可以说在实践中不太方便。出于这些原因,我们提出了一种新的变体BERT,即Chester-BERT BERT,它完全放弃了单词系统,而是使用Chester-CNN模块来通过查询字符来表示整个单词。我们表明,这种新的模型提高了性能的BERT在各种医疗领域的任务,而在同一时间产生强大的,词级和开放的词汇表表示。
2020-10-31 cs.CL
Real-time Transformer-based Open-Vocabulary Detection with Efficient Fusion Head
Binjiang Institute of Zhejiang University(浙江大学滨江研究院);Linker Technology Research(领科技术研究院)
针对DETR类开放词汇检测器计算开销高、难以实时部署的问题,本文提出OmDet-Turbo,通过高效融合头EFH实现100.2 FPS,并在多个OVD基准上达到最先进性能。
2024-12-02 cs.CL cs.CV
Knowledge Distillation of Russian Language Models with Reduction of Vocabulary
MIPT(莫斯科物理技术学院);AIRI
如今,Transformer语言模型作为大多数自然语言处理任务的核心组件。这种模型的工业应用需要最小化计算时间和内存占用。知识蒸馏是实现这一目标的途径之一。该领域中的现有方法主要集中在减少嵌入/隐藏表示的层数或维数上。另一种选择是减少词汇表中的标记数量,从而减少学生模型的嵌入矩阵。词汇量最小化的主要问题是输入序列与教师和学生模型的输出类分布之间的不匹配。因此,不可能直接应用基于KL的知识蒸馏。我们提出两个简单而有效的对齐技术,使知识蒸馏的学生减少词汇。对俄罗斯的一些常见基准,如俄罗斯SuperGLUE,SberQuAD,RuSentiment,ParaPhaser,Collection-3的蒸馏模型的评估表明,我们的技术允许实现从$17\times$到$49\times$的压缩,同时保持$1.7\times$压缩学生与全尺寸词汇的质量,但只减少了Transformer层的数量。我们提供我们的代码和提炼模型。
2022-05-04 cs.CL cs.LG
Transferring BERT Capabilities from High-Resource to Low-Resource Languages Using Vocabulary Matching
Institute of Computer Science, Polish Academy of Sciences(波兰科学院计算机科学研究所)
本文提出通过词汇匹配将BERT能力从高资源语言迁移到低资源语言,并在西里西亚语和卡舒比语上验证了该方法在训练数据极少时仍能有效提升模型性能。
2024-02-22 cs.CL
History-Aware Hierarchical Transformer for Multi-session Open-domain Dialogue System
Nanyang Technological University(南洋理工大学);Alibaba-NTU Singapore Joint Research Institute(阿里巴巴-新加坡南洋理工大学联合研究院);Joint NTU-UBC LILY Research Centre(南洋理工大学-不列颠哥伦比亚大学LILY联合研究中心);Alibaba Group(阿里巴巴集团);Shandong University(山东大学)
随着预先训练的语言模型的发展,当前的开放域对话系统在进行单会话会话方面取得了很大的进步。相比之下,多会话对话(MSC),它由同一用户长期的多个会话组成,研究不足。在本文中,我们提出了历史感知的分层Transformer(HAHT)的多会话开放域对话。HAHT保持历史会话的长期记忆,并利用历史信息来理解当前会话上下文,并生成消息灵通和上下文相关的响应。具体地,HAHT首先将历史会话分层地编码到历史存储器中。然后,HAHT利用历史信息,以促进当前会话上下文的理解,通过编码的历史记忆与当前上下文的注意力为基础的机制。最后,为了明确地利用历史信息,HAHT使用了一个历史感知响应生成器,它可以在通用词汇表和历史感知词汇表之间切换。大规模MSC数据集上的实验结果表明,所提出的HAHT模型始终优于基线模型。人类评估结果支持HAHT比基线模型产生更多的人性化,上下文相关和历史相关的响应。
2023-02-02 cs.CL
Fast Vocabulary Projection Method via Clustering for Multilingual Machine Translation on GPU
Microsoft(微软)
多语言神经机器翻译使用Transformer模型已经取得了巨大的成功。部署这些模型具有挑战性,因为它们通常需要各种语言的大词汇量。这限制了预测最后一个词汇投影层中的输出标记的速度。为了缓解这些挑战,本文提出了一种快速的词汇投影方法,通过聚类,可用于多语言Transformers器上的GPU。首先,我们离线分割词汇搜索空间到不相交的集群给定的隐藏上下文向量的解码器输出,这导致在更小的词汇列的词汇投影。第二,在推理时,该方法预测的聚类和候选活动令牌的隐藏上下文向量的词汇投影。本文还分析了在多语言环境中构建这些集群的不同方法。我们的结果显示,float16 GPU推理的端到端速度提升高达25%,同时保持BLEU分数并略微增加内存成本。所提出的方法将词汇投影步骤本身的速度提高了2.6倍。我们还进行了广泛的人工评估,以验证所提出的方法保留了原始模型的翻译质量。
2022-08-14 cs.CL cs.LG
Grounding and Distinguishing Conceptual Vocabulary Through Similarity Learning in Embodied Simulations
Colorado State University(科罗拉多州立大学)
提出一种利用具身仿真中智能体经验,通过相似性学习和仿射变换将上下文化词向量对齐到对象表示的方法,揭示了不同Transformer模型嵌入空间属性并验证了对齐对象token向量比对齐动词和属性更有帮助。
2023-05-23 cs.CL cs.LG
VASAE: Naming SAE Dictionary Directions with Vocabulary-Aligned Anchoring
Intelligent Systems Laboratory, University of Bristol(布里斯托大学智能系统实验室);University of Bristol(布里斯托大学)
提出词汇对齐稀疏自编码器(VASAE),通过词汇对齐锚定训练SAE特征,为每个特征分配内在令牌名称,在不降低重构质量的前提下实现约90%的特征对齐。
2026-06-29 cs.AI cs.CL cs.LG
Evaluating Biomedical BERT Models for Vocabulary Alignment at Scale in the UMLS Metathesaurus
The Ohio State University(俄亥俄州立大学);National Library of Medicine(美国国家医学图书馆);AI Institute, University of South Carolina(南卡罗来纳大学人工智能研究所);George Washington University(乔治华盛顿大学)
目前的UMLS(统一医学语言系统)元词库建设过程中,集成超过200个生物医学源词汇是昂贵的,容易出错,因为它依赖于词汇算法和人类编辑来决定是否两个生物医学术语是同义的。自然语言处理的最新进展,例如Transformer模型(如BERT)及其具有上下文化词嵌入的生物医学变体,已经在下游任务上实现了最先进的(SOTA)性能。我们的目标是验证这些方法使用的BERT模型实际上可以优于现有的方法来预测同义词在UMLS元词库。在现有的具有LSTM和BioWordVec嵌入的Siamese网络中,我们使用不同的提取方式从每个BERT模型中提取的生物医学BERT嵌入替换BioWordVec嵌入。在Transformer架构中,我们评估了使用不同数据集和任务进行预训练的不同生物医学BERT模型的使用。考虑到这些BERT模型在其他下游任务中的SOTA性能,我们的实验产生了令人惊讶的有趣结果:(1)在两种模型架构中,采用这些基于生物医学BERT的模型的方法并不优于使用具有BioWordVec嵌入的Siamese网络用于UMLS同义词预测任务的现有方法,(2)未使用UMLS预训练的原始BioBERT大模型优于已使用UMLS预训练的SapBERT模型,和(3)当与使用生物医学BERT模型相比时,使用Siamese网络产生更好的同义词预测性能。
2021-10-15 cs.CL
Learning to Look Inside: Augmenting Token-Based Encoders with Character-Level Information
Georgia Institute of Technology(佐治亚理工学院);Bloomberg(彭博);Johns Hopkins University(约翰斯·霍普金斯大学);Google Research(谷歌研究院)
常用的Transformer语言模型依赖于标记化模式,该标记化模式在预训练之前设置不可改变的子词词汇表,该子词词汇表注定被应用于所有下游任务,而不管域转移、新颖的单词构成或词汇表不匹配的其他来源。最近的工作表明,“无令牌”模型可以直接在字符或字节上训练,但从头开始训练这些模型需要大量的计算资源,这意味着要丢弃许多在令牌上训练的特定于域的模型。在本文中,我们提出了XRayEmb,改造现有的基于令牌的模型与字符级信息的方法。XRayEmb由一个计算字符序列的矢量表示的字符级“编码器”和一个从内部表示解码为字符序列的生成组件组成。我们表明,将XRayEmb的学习向量结合到预先训练的令牌嵌入序列中有助于自回归和掩蔽的预先训练的Transformer架构以及序列级和序列标记任务的性能,特别是在非标准英语文本上。
2021-08-01 cs.CL
UGen: Unified Autoregressive Multimodal Model with Progressive Vocabulary Learning
Baidu Inc.(百度公司)
UGen是一个统一自回归多模态模型,通过将文本和图像转化为离散标记序列并用单一Transformer生成,采用渐进式词汇学习训练,在文本和图像任务上整体性能提升13.3%,并达到与任务专用模型竞争的水平。
2025-03-27 cs.CL cs.CV
Analyzing Transformers in Embedding Space
The Blavatnik School of Computer Science, Tel-Aviv University(特拉维夫大学布拉瓦特尼克计算机科学学院);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
本文提出一种理论框架,通过将Transformer所有参数投影到嵌入空间进行解释,无需前向/后向传递,并展示了跨模型参数对齐及免训练分类器构建两个应用。
2023-12-24 cs.CL cs.LG
Deriving Contextualised Semantic Features from BERT (and Other Transformer Model) Embeddings
UCL(伦敦大学学院)
基于Transformer架构的模型,如BERT,标志着自然语言处理领域向前迈出了关键的一步。重要的是,它们允许创建词嵌入,这些词嵌入在上下文中捕获关于词的重要语义信息。然而,作为单个实体,这些嵌入很难解释,并且用于创建它们的模型被描述为不透明的。Binder及其同事提出了一个直观的嵌入空间,其中每个维度都基于65个核心语义特征之一。不幸的是,空间只存在于535个单词的小数据集,限制了它的使用。以前的工作(Utsumi,2018年,2020年,Turton,Vinson & Smith,2020年)表明,Binder功能可以从静态嵌入中导出,并成功地外推到一个大型的新词汇表。下一步,本文证明了Binder特征可以从BERT嵌入空间中导出。这提供了上下文化的绑定器嵌入,这可以帮助理解上下文中单词之间的语义差异。它还提供了如何在BERT模型的不同层中表示语义特征的见解。
2020-12-30 cs.CL
Radio2Text: Streaming Speech Recognition Using mmWave Radio Signals
The University of Hong Kong(香港大学);Shanghai Qi Zhi Institute(上海期智研究院);Tsinghua University(清华大学)
本文提出首个基于毫米波信号的大词汇量流式 ASR 系统 Radio2Text,通过 Guidance Initialization 和 cross-modal KD 提升识别性能,在逾13,000词词汇上达到5.7%字符错误率与9.4%词错误率。
2023-08-16 cs.CL cs.HC cs.SD
LUNA: Language Understanding with Number Augmentations on Transformers via Number Plugins and Pre-training
Tsinghua University(清华大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft Research(微软研究院);Peking University(北京大学)
Transformers广泛用于NLP任务。然而,目前利用Transformers来理解语言的方法暴露了一个弱点:数字理解。在某些情况下,数字经常出现,特别是在半结构化数据(如表)中。但是,目前使用基于transformer的语言模型来处理富数任务的方法放弃或丢失了一些计算信息-例如,将数字分解为子单词标记-这会导致许多与数字相关的错误。在本文中,我们提出了LUNA框架,提高了基于transformer的语言模型的数值推理和计算能力。通过NumTok和NumBed的数字插件,LUNA将每个数字作为一个整体来表示以模型输入。通过数字预训练,包括回归损失和模型蒸馏,LUNA弥合了数字和词汇嵌入之间的差距。据我们所知,这是第一个工作,显式地注入到语言模型使用数字插件的计算能力。除了在玩具任务上评估玩具模型外,我们还在三个大规模Transformer模型(RoBERTa,BERT,TabBERT)上评估LUNA在三个不同下游任务(TATQA,TabFact,CrediTrans)上的性能,并观察到LUNA不断提高语言模型的性能。增强模型还提高了TAT-QA的官方基线(EM:50.15 -> 59.58),并在CrediTrans上实现了SOTA性能(F1 = 86.17)。
2023-03-16 cs.CL
Transformer-based approaches to Sentiment Detection
本文比较了BERT、RoBERTa、DistilBERT和XLNet四种Transformer模型在情感检测任务中的表现,发现RoBERTa以82.6%的准确率最优,并指出预处理、词汇性质、标签不平衡和模型参数会影响性能。
2023-03-13 cs.CL
Detecting COVID-19 Conspiracy Theories with Transformers and TF-IDF
University of California, Berkeley(加州大学伯克利分校)
在社交媒体上分享假新闻和阴谋论会产生广泛的负面影响。通过设计和应用不同的机器学习模型,研究人员在从文本中检测假新闻方面取得了进展。然而,现有的研究非常重视一般的、常识性的假新闻,而在现实中,假新闻往往涉及快速变化的话题和特定领域的词汇。在本文中,我们介绍了MediaEval基准测试2021中三个假新闻检测任务的方法和结果,这些任务具体涉及COVID-19相关主题。我们实验了一组基于文本的模型,包括支持向量机,随机森林,BERT,和ROBERTa。我们发现,一个预先训练的Transformer产生最好的验证结果,但一个随机初始化的Transformer与智能设计也可以训练,以达到接近的精度,预先训练的Transformer。
2022-05-01 cs.CL cs.LG
Multi-Domain Dialogue State Tracking based on State Graph
DIRO, Université de Montréal(蒙特利尔大学DIRO学院(DIRO, Université de Montréal));iro.umontreal.ca((注:iro.umontreal.ca为邮箱域名,非机构,此处原数据中该部分可能为笔误或无关信息,根据规则不应提取))
本文研究了开放式词汇表下的多领域对话状态跟踪问题,旨在从对话中提取对话状态。现有的方法通常将先前的对话状态与对话历史连接起来作为双向Transformer编码器的输入。它们依赖于Transformer的自我注意力机制来连接它们中的令牌。然而,注意力可能会放在虚假的联系上,从而导致错误的推断。在本文中,我们建议构建一个对话状态图,其中域,槽和值从以前的对话状态连接正确。通过训练,图节点和边嵌入可以编码域-域、槽-槽和域-槽之间的同现关系,反映一般对话中的强转移路径。用关系GCN编码的状态图被融合到Transformer编码器中。实验结果表明,我们的方法实现了一个新的艺术状态的任务,同时保持效率。它优于现有的开放词汇DST方法。
2020-10-21 cs.AI cs.CL cs.HC
VIVO: Visual Vocabulary Pre-Training for Novel Object Captioning
Microsoft Corporation(微软公司)
生成能够描述在字幕标记的训练数据中不可见的新对象的图像字幕是非常期望但又具有挑战性的,这是在新对象字幕挑战(nocaps)中评估的能力。在此挑战中,除了COCO Captions之外,不允许用于模型训练的其他图像标题训练数据。因此,传统的视觉语言预训练(VLP)方法不能被应用。本文介绍了可视化语音预训练(VIVO),在没有字幕注释的情况下执行预训练。通过打破VLP中成对图像-标题训练数据的依赖性,VIVO可以利用大量成对图像-标签数据来学习视觉词汇。这是通过预训练多层Transformer模型来完成的,该模型学习将图像级标签与其对应的图像区域特征对齐。为了解决图像标签的无序性,VIVO使用匈牙利匹配损失和掩码标签预测来进行预训练。我们通过微调用于图像描述的预训练模型来验证VIVO的有效性。此外,我们执行的视觉文本对齐推断我们的模型的分析。结果表明,我们的模型不仅可以生成流畅的图像字幕,描述新的对象,但也确定这些对象的位置。我们的单一模型在nocaps上取得了新的最先进的结果,并超过了人类的CIDEr评分。
2021-03-04 cs.CL cs.CV cs.LG
DEPT: Decoupled Embeddings for Pre-training Language Models
Flower Labs;Beijing University of Posts and Telecommunications(北京邮电大学)
DEPT 通过将嵌入与 Transformer 主体解耦,在无需共享词表的条件下实现多数据源高效预训练,显著降低通信成本并提升模型泛化能力。
2025-04-07 cs.CL cs.LG
Squeezing More from Limited Data with Recursive Transformers
Technical University of Munich(慕尼黑工业大学)
该研究针对有限数据预训练场景,提出递归Transformer结合因式分解词嵌入的方法,在10M和100M词预算下性能优于标准Transformer,且与2025年BabyLM挑战赛优胜者表现相当。
2026-08-28 cs.CL cs.LG
Team Ryu's Submission to SIGMORPHON 2024 Shared Task on Subword Tokenization
University of Colorado, Boulder(科罗拉多大学博尔德分校)
本文探索将Morfessor和Transformer seq2seq形态学分割方法用于子词分词,发现其效果可与常用分词器相当,并证明均衡词元频率分布的分词器能提升语言模型性能。
2024-10-19 cs.AI cs.CL
RiLM: Parameter-Efficient Language Modeling via Geodesic Decoding
Oklahoma Christian University(俄克拉荷马基督大学)
针对小参数语言模型中输出矩阵占用容量大的问题,提出基于黎曼流形测地线距离解码的RiLM框架,移除输出层,在WikiText-2上以29万参数实现54.2的困惑度,较最强基线提升约2倍。
2026-09-10 cs.AI cs.CL
Supernova: Achieving More with Less in Transformer Architectures
Faculty of Mathematics and Computer Science(数学与计算机科学学院)
本文提出6.5亿参数解码器Transformer模型Supernova,通过RoPE、GQA、RMSNorm、SwiGLU及128K词表BPE分词器等设计,以更少参数和训练token达到10亿参数模型90%的性能,挑战了主流扩展范式。
2025-07-22 cs.AI cs.CL cs.LG
MultiHashFormer: Hash-based Generative Language Models
School of Computer Science, University of Sheffield, United Kingdom(谢菲尔德大学计算机科学学院,英国)
提出MultiHashFormer框架,通过多哈希签名表示令牌,实现参数高效的因果语言建模,在多个规模上优于标准Transformer。
2026-09-01 cs.AI cs.CL cs.LG
MambaCount: Efficient Text-guided Open-vocabulary Object Counting with Spatial Sparse State Space Duality Block
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院)
提出MambaCount框架,通过空间稀疏状态空间对偶块解决Mamba在非因果视觉任务中的双向依赖限制和空间token高熵问题,实现线性复杂度的开放词汇目标计数,在FSC-147上取得12.23的测试MAE。
2026-06-17 cs.CL cs.CV
Parameter-Efficient Transformer Embeddings
Cactus Compute, Inc.(Cactus Compute公司);Department of Computing, Imperial College London(帝国理工学院计算机系)
本文提出用傅里叶展开加轻量MLP从词元ID确定性生成嵌入,以替代传统嵌入层,在SNLI、MNLI和STS-B上以更少参数实现有竞争力的性能,并验证了无需dropout的可行性。
2025-05-04 cs.AI cs.CL cs.LG
Variational Quantum Transformer Architecture for Synthetic Language Generation
Institute of Informatics, LMU Munich(慕尼黑大学信息学院 (LMU Munich 信息学院))
本文提出一种NISQ兼容的变分量子Transformer架构用于合成语言生成,通过量子编码器和解码器块实现自回归建模,在语法生成任务上验证了可训练性,但性能不及经典基线,不声称量子优势。
2026-09-17 cs.CL cs.LG quant-ph