Bracketing Encodings for 2-Planar Dependency Parsing
Universidade da Coruña(拉科鲁尼亚大学);CITIC;FASTPARSE Lab(FASTPARSE实验室);LyS Research Group(LyS研究组);Departamento de Ciencias de la Computación y Tecnologías de la Información(计算机科学与信息技术系)
我们提出了一个括号为基础的编码,可用于表示任何2平面依赖树在一个句子的长度为n的n个标签的序列,从而提供几乎全部覆盖的交叉弧序列标签解析。首先,我们表明,现有的括号编码解析标签只能处理一个非常温和的扩展投影树。其次,我们通过考虑众所周知的2-平面性的性质来克服这个限制,2-平面性存在于树库中的绝大多数依赖句法结构中,即,依赖关系树的弧可以被分成两个平面,使得给定平面中的弧不交叉。我们利用这个属性来设计一种方法,该方法平衡括号,并编码属于每个平面的弧,允许几乎不受限制的非投影(圆99.9%的覆盖率)在序列标签解析。实验表明,我们的线性化提高了高度非投影树库中原始括号编码的准确性(平均0.4 LAS),同时实现了类似的速度。此外,当PoS标签不用作模型的输入参数时,它们特别适合。
2021-03-22 cs.CL
Multipath parsing in the brain
University of Georgia(佐治亚大学);Google DeepMind(谷歌DeepMind);University of Cape Town(开普敦大学)
本文通过将增量依存解析器的句法意外性与fMRI数据关联,在英汉双语中证明人脑逐词理解时采用多路径句法解析,相关脑区为双侧颞上回。
2024-06-06 cs.CL
Assessment of Pre-Trained Models Across Languages and Grammars
Universidade da Coruña(拉科鲁尼亚大学);CITIC(信息与通信技术研究中心)
本文通过将解析转化为序列标注,在13个UD树库和10个成分树库上评估多语言大语言模型恢复依存与成分结构的能力,发现预训练数据中语言的出现比任务数据量更关键。
2023-09-20 cs.CL
A Syllable-Structured, Contextually-Based Conditionally Generation of Chinese Lyrics
Ping An Technology (Shenzhen) Co., Ltd(平安科技(深圳)有限公司)
本文提出了一种新颖的,音节结构的中文歌词生成模型给定一个原始的旋律。大多数以前报道的歌词生成模型未能包括歌词和旋律之间的关系。在这项工作中,我们建议解释歌词旋律对齐音节结构信息,并使用多通道序列到序列模型,同时考虑短语结构和语义。两种不同的RNN编码器被应用,其中一种用于编码音节结构,而另一种用于上下文句子或输入关键字的语义编码。此外,一个大型的中文歌词语料库模型训练的杠杆。通过自动和人工评估,结果证明了我们提出的歌词生成模型的有效性。据我们所知,很少有以前的报告,歌词生成考虑到音乐和语言的角度。
2019-06-15 cs.AI cs.CL cs.SD
Soft Language Clustering for Multilingual Model Pre-training
Tencent Inc(腾讯公司);Tencent Cloud Xiaowei(腾讯云小微);Westlake University(西湖大学);Northeastern University(东北大学)
针对多语言预训练模型在语言类型差异大、预训练数据不足时性能受限的问题,提出XLM-P方法,通过上下文条件检索提示引导编码,实现轻量级跨语言知识建模与易集成性,在XTREME基准多任务上提升性能,尤其利好低资源与类型差异大的目标语言。
2023-06-13 cs.CL
Generic Dependency Modeling for Multi-Party Conversation
Sun Yat-sen University(中山大学)
为了对多方会话中的话语间依赖关系进行建模,我们提出了一个基于话语的依存句法分析结果的简单通用框架。特别地,我们提出了一种以相对依赖编码(ReDE)的形式对依赖进行编码的方法,并通过修改自注意的计算来说明如何在Transformers中实现它。在4个多方会话基准测试上的实验结果表明,该框架成功地提高了两种基于transformer的语言模型的总体性能,与现有方法相比,性能相当甚至更优。这些代码可在https://github.com/shenwzh3/ReDE上获得。
2023-02-21 cs.CL
Probing LLMs for Joint Encoding of Linguistic Categories
Institute for Logic, Language and Computation, University of Amsterdam(阿姆斯特丹大学逻辑、语言与计算研究所)
本文提出检验大语言模型中语言范畴联合编码的框架,发现词性类别之间及其与句法依存关系之间存在共享表示,且该模式在多语言模型中跨语言一致。
2023-10-28 cs.AI cs.CL cs.LG
Cluster-Former: Clustering-based Sparse Transformer for Long-Range Dependency Encoding
Microsoft Corporation(微软公司)
Transformer在深度学习领域已经变得无处不在。决定其成功的关键因素之一是自我注意力机制,它允许在输入标记上进行完全连接的上下文编码。然而,尽管它在建模短序列时有效,但当处理具有极长范围依赖性的输入时,自我注意力会受到影响,因为其复杂性相对于序列长度呈二次增长。因此,长序列通常由Transformer使用滑动窗口以块的形式编码。在本文中,我们提出了一种新的基于聚类的稀疏Transformer,以执行跨块序列的注意力。该框架基于两种独特的Transformer层:滑动窗口层和前处理层,它们联合迭代地编码局部序列信息和全局上下文。这种新设计允许在本地窗口之外进行信息集成,这对于依赖于远程依赖关系的问答(QA)任务尤其有益。实验表明,在几个主要的QA基准测试中,该算法达到了最先进的性能。
2021-06-07 cs.CL
Round and Round We Go! What makes Rotary Positional Encodings useful?
University of Oxford(牛津大学);Google DeepMind(谷歌DeepMind)
本文通过分析 Gemma 7B 内部机制并结合数学证明,揭示 RoPE 主要利用高频形成位置注意力、低频承载语义,进而提出改进 RoPE 以修复问题并提升性能。
2025-05-13 cs.CL cs.LG
Counting and Min-Cost Encoding for Tokenization in Large Language Models
Mashang Consumer Finance Co., Ltd.(马上消费金融股份有限公司);National-Mathematics Artificial Intelligence Institute in Chongqing (NMAII)(重庆国家数学人工智能研究院)
提出CNF分词器训练与MCE最小成本编码算法,通过全局优化分割和计数过滤构建词表,相比BPE在压缩率、词元效率和词表利用率上显著提升,且下游性能相当。
2026-10-02 cs.CL
Encoded but Not Decoded: Layer-Localized Evidence for a Three-Level Gap in LLM Syntax
College of International Studies(国际研究学院);National University of Defense Technology(国防科技大学)
本文提出三级评估框架,发现LLM在句法任务中编码能力优于实际部署,差距源于解码偏好表面捷径,且该差距具有分层定位特征。
2026-09-25 cs.CL
Crosslinguistic word order variation reflects evolutionary pressures of dependency and information locality
Stanford University(斯坦福大学);Saarland University(萨尔大学);University of Toronto(多伦多大学)
语言在句法结构上有很大的差异。世界上大约40%的语言有主语-动词-宾语顺序,大约40%的语言有主语-宾语-动词顺序。大量的工作试图解释这种语序在不同语言中的变化。然而,现有的方法无法连贯地解释词序在语言中的频率分布和演变。我们建议,词序的变化反映了不同的方式来平衡依赖局部性和信息局部性的竞争压力,从而语言倾向于将元素放在一起时,他们是句法相关或上下文信息彼此。使用来自17个语系中的80种语言的数据和系统发育模型,我们证明了语言的发展,以平衡这些压力,例如词序的变化是伴随着变化的频率分布的句法结构的扬声器通信,以保持整体效率。因此,语序的变化反映了语言解决这些进化压力的不同方式。我们确定了相关的特点,结果从这个联合优化,特别是频率与主题和对象一起表示为同一个动词。我们的研究结果表明,跨语言的句法结构和用法共同适应,以支持在有限的认知资源下的有效沟通。
2022-06-09 cs.CL
Generic Axiomatization of Families of Noncrossing Graphs in Dependency Parsing
University of Helsinki(赫尔辛基大学)
我们提出了一个简单的编码未标记的非交叉图,并显示其潜在的对应物如何帮助我们代表几个家庭的有向和无向图中使用的语法和语义解析的自然语言作为上下文无关的语言。在潜在编码中,纯粹基于禁止模式来分离这些族,从而消除了在推理算法中区分非交叉图族的需要:当搜索空间可以在解析器输入中控制时,一个算法适用于所有族。
2017-06-11 cs.CL cs.FL
Modeling Claim Dependency Structure for Patent Litigation Prediction with Graph Attention Networks
Graduate School of Information Science(信息科学研究生院);University of Hyogo(兵库县立大学);Center for Computational Science, RIKEN(理化学研究所计算科学中心)
本研究针对专利诉讼预测中现有模型丢失权利要求依赖结构的问题,提出图注意力网络模型ClaimGAT,在USPTO专利数据集上取得0.818的AUC-ROC和4.89倍提升率,可有效识别高风险专利。
2026-08-25 cs.CL
4 and 7-bit Labeling for Projective and Non-Projective Dependency Trees
Universidade da Coruña(拉科鲁尼亚大学);CITIC
本文提出将依存句法分析转化为序列标注,用 4 比特标签线性时间编码投射树,并扩展 7 比特以覆盖超 99.9% 的非投射弧,在多树库上准确率显著提升。
2023-10-22 cs.CL cs.FL
Effective Representation for Easy-First Dependency Parsing
Shanghai Jiao Tong University(上海交通大学)
简单优先解析依赖于子树重排序来构建完整的解析树。而解析处理的中间状态是由各种子树,其内部结构信息是后来的解析动作决策的关键线索,我们探索一个更好的表示这样的子树。详细地说,这项工作介绍了一种基于子和树LSTM的自底向上子树编码方法。从一个简单的第一依赖解析器没有其他手工功能,我们表明,有效的子树编码器促进解析过程,并可以使贪婪搜索简单的第一解析器实现有前途的结果基准树库相比,国家的最先进的基线。此外,在当前预训练语言模型的帮助下,我们进一步改进了easy-first方法的最新结果。
2019-06-11 cs.CL
Structured Sentiment Analysis Using Sequence Labeling as Dependency Graph Parsing
Universidade da Coruña(拉科鲁尼亚大学);Graz University of Technology(格拉茨工业大学);University of Copenhagen(哥本哈根大学)
本研究将结构化情感分析转化为依存图解析任务,利用线性化图编码的序列标注方法,在五种语言七个数据集上取得与领先复杂单模型相当的性能。
2026-10-09 cs.CL
Cross-lingual Dependency Parsing with Unlabeled Auxiliary Languages
University of Southern California(南加州大学);University of California Los Angeles(加州大学洛杉矶分校);Carnegie Mellon University(卡内基梅隆大学)
跨语言迁移学习已经成为解决低资源语言注释资源不足问题的重要武器。跨语言传输的基本技术之一是学习\emph{language-agnostic}表示,其形式为词嵌入或上下文编码。在这项工作中,我们建议利用辅助语言中未注释的句子来帮助学习与语言无关的表示。具体来说,我们探索了学习上下文编码器的对抗性训练,这些编码器产生跨语言的不变表示,以促进跨语言迁移。我们进行跨语言依存句法分析,我们训练依赖分析器上的源语言和转移到广泛的目标语言的实验。在28种目标语言上的实验表明,对抗性训练显著提高了几种不同设置下的整体迁移性能。我们进行了仔细的分析,以评估对抗训练产生的语言不可知论表示。
2019-09-20 cs.CL
Parsing as Reduction
Universidade de Vigo(维戈大学);Instituto de Telecomunicações(电信研究所);Instituto Superior Técnico(高等技术学院);Priberam Labs(Priberam实验室)
我们把短语表示句法分析归结为依存句法分析。我们的减少是基于一个新的中间表示,“头有序依赖树”,表现出同构的组成树。通过编码顺序信息的依赖标签,我们表明,任何现成的,可训练的依赖分析器可以用来产生成分。当这个解析器是非投射的时候,我们可以以一种非常自然的方式执行不连续的解析。尽管我们的方法很简单,但实验表明,所得到的解析器与强大的基线相当,例如伯克利英语解析器和SPMRL-2014共享任务中的最佳单个系统。结果是特别引人注目的不连续解析的德国,我们超越了目前的艺术水平的一个很大的差距。
2015-02-27 cs.CL
Encoding Sentences with Graph Convolutional Networks for Semantic Role Labeling
University of Amsterdam(阿姆斯特丹大学);University of Edinburgh(爱丁堡大学)
语义角色标注是识别句子的谓元-论元结构的任务。它通常被认为是标准NLP管道中的重要一步。由于语义表征与句法表征密切相关,我们在模型中充分利用了句法信息。我们提出了一个版本的图卷积网络(GCN),最近的一类神经网络操作的图形,适合建模语法依赖图。句法依赖树上的GCN被用作句子编码器,产生句子中单词的潜在特征表示。我们观察到GCN层与LSTM层是互补的:当我们堆叠GCN和LSTM层时,我们获得了比现有最先进的LSTM SRL模型更大的改进,从而在标准基准测试(CoNLL-2009)中获得了中文和英文的最佳报告分数。
2017-07-30 cs.CL cs.LG
Dependency Transformer Grammars: Integrating Dependency Structures into Transformer Language Models
School of Information Science and Technology, ShanghaiTech University(上海科技大学信息科学与技术学院);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉与成像工程技术研究中心)
本文提出依存Transformer文法(DTGs),通过修改注意力掩码、相对位置编码和嵌入组合将依存结构集成到Transformer语言模型中,实验表明DTGs在保持相当困惑度的同时实现了更好的泛化并优于基于成分的模型。
2024-07-24 cs.AI cs.CL
PESTO: Switching Point based Dynamic and Relative Positional Encoding for Code-Mixed Languages
IIIT Sri City(印度信息技术学院斯里城);UCLA(加州大学洛杉矶分校);Wipro AI Labs(威普罗人工智能实验室);AI Institute, University of South Carolina(南卡罗来纳大学人工智能研究所)
代码混合(CM)或混合语言文本的NLP应用最近获得了显著的发展势头,主要原因是在印度,墨西哥,欧洲,美国部分地区等多语言社会的社交媒体通信中语言混合的流行。词嵌入是当今任何NLP系统的基本构建块,然而,CM语言的词嵌入是一个未开发的领域。CM词嵌入的主要瓶颈是切换点,即语言切换的地方。这些位置缺乏上下文,并且由于所见示例中的高方差,统计系统无法对这种现象进行建模。在本文中,我们提出了我们的初步观察应用切换点为基础的位置编码技术的CM语言,特别是印度式英语(印地语-英语)。结果仅略好于SOTA,但很明显,位置编码可以是训练CM文本的位置敏感语言模型的有效方法。
2021-11-12 cs.AI cs.CL cs.LG
An Aspect Extraction Framework using Different Embedding Types, Learning Models, and Dependency Structure
Boğaziçi University(博加齐大学)
本文提出一种结合多种词嵌入与学习模型、并引入基于依存分析的树位置编码的方面抽取框架,构建了新土耳其语数据集,实验证明其性能优于现有方法。
2025-03-05 cs.CL cs.LG
CSSL: Contrastive Self-Supervised Learning for Dependency Parsing on Relatively Free Word Ordered and Morphologically Rich Low Resource Languages
IIT Kharagpur(印度克哈格普大学);IIT Dharwad(印度达尔瓦德大学);Independent Researcher(独立研究者)
本文针对词序相对自由且形态丰富的低资源语言,提出对比自监督学习方法CSSL,通过数据增强和移除位置编码等修改增强图式依存句法分析模型对词序变化的鲁棒性,在7种语言上UAS/LAS平均提升3.03/2.95点。
2025-07-19 cs.CL
Investigating Typed Syntactic Dependencies for Targeted Sentiment Classification Using Graph Attention Neural Network
Zhejiang University(浙江大学);Westlake University(西湖大学);Harbin Institute of Technology(哈尔滨工业大学);Westlake Institute for Advanced Study(西湖高等研究院)
目标情感分类预测输入文本中给定目标提及的情感极性。主要的方法采用神经网络对输入的句子进行编码,并提取目标提及与其上下文之间的关系。最近,图神经网络已经被研究用于集成任务的依赖语法,实现了最先进的结果。然而,现有的方法不考虑依赖性标签信息,这可能是直观有用的。为了解决这个问题,我们研究了一种新的关系图注意力网络,它集成了类型化的句法依赖信息。标准基准测试的结果表明,我们的方法可以有效地利用标签信息,以提高有针对性的情感分类性能。我们的最终模型显著优于最先进的基于语法的方法。
2020-12-17 cs.CL
Self-Attention with Structural Position Representations
Tencent AI Lab(腾讯人工智能实验室)
虽然自我注意网络(SAN)已经在各种NLP任务上发展了最先进的技术,但是对SAN的一个批评是它们对输入单词的位置进行编码的能力(Shaw等人,2018年)。在这项工作中,我们建议增加SAN与结构位置表示模型的潜在结构的输入句子,这是补充标准的顺序位置表示。具体来说,我们使用依存树来表示句子的语法结构,并提出了两种策略来编码依存树中的词之间的位置关系。NIST中文到英文和WMT14英文到德文翻译任务的实验结果表明,所提出的方法一致提高性能的绝对和相对顺序位置表示。
2019-09-01 cs.CL
Towards Instance-Level Parser Selection for Cross-Lingual Transfer of Dependency Parsers
University of Mannheim(曼海姆大学);University of Cambridge(剑桥大学);Corti
目前的跨语言解析器迁移方法主要集中在全局预测低资源目标语言的最佳解析器,即“在树库级别”。在这项工作中,我们提出并主张一种新的跨语言迁移范式:实例级解析器选择(ILPS),并提出了一个概念验证的研究集中在实例级选择的框架下的非词汇化解析器迁移。我们从经验观察开始,不同的源解析器是目标语言中不同通用POS序列的最佳选择。然后,我们建议在实例级预测最佳解析器。为此,我们训练一个监督回归模型,基于Transformer架构,预测解析器的准确性为个人POS序列。我们比较ILPS与两个强大的单一最佳解析器选择基线(SBPS):(1)一个模型,比较源和目标语言(KL)之间的POS n-gram分布和(2)的模型,选择源之间的相似性手动创建的语言向量编码的语言(L2 V)的语法属性。从我们广泛的评估,耦合42源解析器和20个不同的低资源测试语言的结果表明,ILPS优于KL和L2 V的13/20和14/20测试语言,分别。此外,我们表明,通过预测最好的解析器“在树库级别”(SBPS),使用我们的实例级模型的预测聚合,我们在17/20和16/20测试语言上的表现优于相同的基线。
2020-04-16 cs.CL
Strategic resource allocation in memory encoding: An efficiency principle shaping language processing
University of California, Irvine(加州大学尔湾分校)
本文提出策略性资源分配(SRA)原则,主张工作记忆优先高精度编码意外信息,并通过自然语料的产出与理解证据解释依存局部性效应及跨语言差异。
2025-08-29 cs.CL
Multilingual Dialogue Generation and Localization with Dialogue Act Scripting
Nara Institute of Science and Technology(那拉科学与技术研究所)
本文提出对话行为脚本DAS,以结构化意图表示替代直接翻译,实现多语言对话的本地化生成,并在意、德、中三种语言上验证其优于机器与人工翻译。
2025-09-26 cs.CL
Directional Contextual Representations for Dependency Relations: Why Cross-Direction Pairing Fails
Institute for Artificial Intelligence and Data Science (IAD)(人工智能与数据科学研究院(IAD));University at Buffalo(布法罗大学)
本研究针对双向LSTM拆分为正向、反向状态的方法,发现跨方向配对表现逊于同方向配对且差距随标记距离增大,通过冻结主干等诊断揭示方向信息的存储与传播特性,解释了跨方向配对失效的部分机制。
2026-08-24 cs.CL
RoFormer: Enhanced Transformer with Rotary Position Embedding
Zhuiyi Technology Co., Ltd.(追一科技有限公司)
本文提出 RoPE 旋转位置嵌入,用旋转矩阵编码绝对位置并在自注意力中融入相对位置依赖,由此构建的 RoFormer 在长文本分类任务上持续优于对比方法。
2023-11-08 cs.AI cs.CL cs.LG
Type-Aware Retrieval-Augmented Generation with Dependency Closure for Solver-Executable Industrial Optimization Modeling
School of Petroleum, China University of Petroleum (Beijing) at Karamay(中国石油大学(北京)克拉玛依校区石油学院)
本文提出一种类型感知检索增强生成方法,通过强制依赖闭合确保工业优化建模的可执行性,有效解决大型语言模型在复杂工程优化中的执行难题。
2026-03-03 cs.AI cs.CL cs.SE
Improving Tree-LSTM with Tree Attention
University of Western Ontario(西安大略大学)
在自然语言处理中,经常需要从树的拓扑结构中提取信息。句子结构可以通过依赖树或选区树结构来表示。出于这个原因,LSTM的一个变体,名为Tree-LSTM,被提出来处理树拓扑。在本文中,我们通过在Tree-LSTM单元中编码可分解注意力的变体,为依赖树和选区树设计了一个广义注意力框架。我们在语义相关性任务上评估了我们的模型,与基于Tree-LSTM的方法相比,取得了显着的结果,没有注意力,以及其他神经和非神经方法,与基于Tree-LSTM的方法相比,注意力效果良好。
2019-01-01 cs.CL cs.LG
Syntax-Enhanced Self-Attention-Based Semantic Role Labeling
Alibaba Group(阿里巴巴集团)
语义角色标注(SRL)是自然语言处理的一项基本任务,旨在发现句子中每个谓词的语义角色。本文探讨了如何将句法知识有效地融入自主学习任务。我们提出了不同的方法编码的句法信息来自不同的质量和表示的依赖树,我们提出了一个语法增强的自我注意力模型,并将其与其他两个强基线方法进行比较,我们进行实验,以及新出版的深语境单词表示。实验结果表明,在CoNLL-2009数据集上,通过适当地引入高质量的句法信息,我们的模型在中文SRL任务上取得了新的性能。
2019-10-24 cs.CL
Improved Transition-Based Parsing by Modeling Characters instead of Words with LSTMs
University of Washington(华盛顿大学);Pompeu Fabra University(庞培法布拉大学);Carnegie Mellon University(卡内基梅隆大学);Marianas Labs(马里亚纳实验室)
我们提出了一个连续状态的依存句法分析方法,使其适用于形态丰富的语言扩展。从一个使用长短期记忆(LSTM)递归神经网络来学习解析器状态表示的高性能基于转换的解析器开始,我们将基于查找的单词表示替换为从单词的正字法表示构建的表示,也使用LSTM。这允许在表面上相似的单词形式之间进行统计共享。形态丰富的语言的实验表明,解析模型的好处,将基于字符的编码的话。
2015-08-11 cs.CL
Contextualized word senses: from attention to compositionality
Centro Singular de Investigación en Tecnoloxías Intelixentes (CiTIUS)(智能技术卓越研究中心(CiTIUS));Universidade de Santiago de Compostela(圣地亚哥德孔波斯特拉大学)
本文提出一种基于语义组合性、依存关系和选择偏好的透明可解释词义编码策略,并在词义相似度任务上与Transformer对比,证明语言学驱动模型可达到有竞争力的效果。
2023-12-01 cs.CL
Sentence Encoding with Tree-constrained Relation Networks
DeepMind(深度思维);Google(谷歌)
一个句子的意义是它的词与词之间的关系的函数。我们在一系列基于关系网络(RN)变体的神经模型中实例化这种语义的关系视图,这些关系网络表示一组对象(对我们来说,形成句子的单词)。我们提出了两个扩展的基本RN模型的自然语言。首先,建立在直觉上,不是所有的词对都是同样的信息的意义,一个句子,我们使用基于监督和无监督依赖语法的约束来控制哪些关系影响的表示。其次,由于高阶关系很难被成对关系的总和捕获,我们使用RN的递归扩展来传播信息,从而形成高阶关系的表示。句子分类,句子对分类,和机器翻译的实验表明,虽然基本的RNs只是适度有效的句子表示,经常性RNs与潜在的语法是一个可靠的强大的代表性设备。
2018-11-26 cs.AI cs.CL cs.LG
Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context
Carnegie Mellon University(卡内基梅隆大学);Google Brain(谷歌大脑)
Transformers具有学习长期依赖的潜力,但在语言建模的设置中受到固定长度上下文的限制。我们提出了一种新的神经架构transformer-XL,使学习的依赖性超过一个固定的长度,而不会破坏时间的连贯性。它包括一个段级递归机制和一个新的位置编码方案。我们的方法不仅能够捕获长期依赖,而且还解决了上下文碎片问题。因此,Transformer-XL学习的依赖性比RNN长80%,比vanilla Transformers长450%,在短序列和长序列上都实现了更好的性能,并且在评估过程中比vanilla Transformers快1,800多倍。值得注意的是,我们将bpc/困惑度的最新结果提高到enwiki 8上的0.99,text 8上的1.08,WikiText-103上的18.3,One Billion Word上的21.8,以及Penn Treebank上的54.5(没有微调)。当只在WikiText-103上训练时,Transformer-XL设法生成具有数千个令牌的合理连贯,新颖的文本文章。我们的代码、预训练模型和超参数在Tensorflow和PyTorch中都可用。
2019-06-02 cs.CL cs.LG stat.ML
DuConTE: Dual-Granularity Text Encoder with Topology-Constrained Attention for Text-attributed Graphs
School of Computer Science and Engineering(计算机科学与工程学院)
DuConTE通过双粒度编码和拓扑约束注意力,提升带文本图的语义表示,实现文本和结构信息的融合,实验表明其在多个基准数据集上表现优异。
2026-04-19 cs.AI cs.CL
Byte Pair Encoding Is All You Need For Automatic Bengali Speech Recognition
University of Groningen(格罗宁根大学);University of Malta(马耳他大学)
本研究针对孟加拉语形态复杂的特点,实证确定BPE分词的最优词元数量,对比多种分词方法后发现,引入BPE可显著降低孟加拉语分布外ASR任务的词错率。
2024-01-28 cs.CL cs.SD eess.AS