Enhancing Character-Level Understanding in LLMs through Token Internal Structure Learning
School of Computer Science and Technology, Chongqing University of Posts and Telecommunications(重庆邮电大学计算机科学与技术学院);Baidu AI Platform & Ecosystem(百度AI平台与生态系统)
本文提出 TIPA 方法,通过基于分词器词表的反向字符预测训练增强 LLM 对 token 内部字符位置的感知,实验证明其可提升位置预测及多类字符级下游任务性能。
2025-06-09 cs.CL
Word Recovery in Large Language Models Enables Character-Level Tokenization Robustness
Zhipeng Yang(杨志鹏);Shu Yang(杨舒);Lijie Hu(胡丽杰);Di Wang(王迪)
本研究通过机制可解释性发现词恢复是大语言模型处理字符级输入的关键机制,增强了分词鲁棒性。
2026-08-05 cs.CL
CharBench: Evaluating the Role of Tokenization in Character-Level Tasks
CharBench通过大规模字符级任务评估,揭示了分词对字符级任务性能的影响,发现tokenization与正确性弱相关,而词长和字符数更关键,且长token会掩盖字符位置信息。
2026-04-06 cs.CL
Stochasticity in Tokenisation Improves Robustness
Institute of Signal Processing;Speech Communication, Graz University of Technology, Graz, Austria;ELLIS Institute Finland \& Aalto University, Espoo, Finland;King AI Labs, Microsoft Gaming;University of Oxford, Oxford, United Kingdom;KTH Royal Institute of Technology, Stockholm, Sweden
本文研究了随机分词对对抗攻击和随机扰动鲁棒性的影响,发现预训练和微调时使用均匀采样随机分词可提升模型鲁棒性,且不增加推理成本。
2026-04-17 cs.CL
From Characters to Tokens: Dynamic Grouping with Hierarchical BPE
University College London(伦敦大学学院);UiPath
本文提出一种无需额外模型的动态字符分组方法,利用现有BPE结构并引入第二级压缩,实现高效、灵活且语言无关的表示,性能达到或超过现有补丁策略。
2025-10-17 cs.CL
SDSAT: Accelerating LLM Inference through Speculative Decoding with Semantic Adaptive Tokens
Thundersoft(Thunder Software)
本文提出SDSAT方法,通过引入语义自适应令牌和两步草稿-验证策略实现大语言模型推测解码加速,在CodeLlama-13B和7B上分别获得超过3.5倍和3.0倍的速度提升。
2024-04-01 cs.CL
Late Attention Layers Alone Can Copy Entity Tokens, but Not Without Attending to Their Context
Drexel University(德雷塞尔大学);University of Pennsylvania(宾夕法尼亚大学)
本研究通过两种新方法在Qwen3-8B上揭示,模型后半部分的两组层在上下文标记引导下对实体复制既必要又充分,且上下文标记的注意力不可或缺,确立了后期层的关键作用。
2026-10-27 cs.CL
Improving Korean NLP Tasks with Linguistically Informed Subword Tokenization and Sub-character Decomposition
Korea University(高丽大学);Prediction(Prediction 公司);Korea Institute of Science and Technology (KIST)(韩国科学技术研究院)
针对韩语形态丰富、书写系统独特导致BPE分词效果不佳的问题,提出结合子字分解的词素感知子词分词法,在PLMs中平衡语言准确性与效率,在NIKL-CoLA等任务上表现提升,证明语言学信息可增强韩语NLP效果。
2023-11-07 cs.CL
Tokenization is Sensitive to Language Variation
Utrecht University(乌特勒支大学);University of Michigan(密歇根大学)
本文通过预训练BERT base模型研究分词设计选择对下游任务的影响,发现最佳分词器因任务类型而异且预分词器影响最大,并提出一种优于Rényi效率的分词器影响估计新方法。
2025-07-04 cs.CL
One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院)
针对现有RAG微调方法会损害大语言模型通用生成能力的问题,提出学习可扩展可插拔虚拟Token的方法,仅微调Token嵌入保留原模型参数,搭配训练策略提升性能,在12个问答任务上表现更优。
2024-12-11 cs.CL
The Strawberry Problem: Emergence of Character-level Understanding in Tokenized Language Models
National University of Science and Technology POLITEHNICA Bucharest(布加勒斯特理工大学国立科学技术大学);Dalle Molle Institute for Artificial Intelligence Research (IDSIA)(达勒·莫尔人工智能研究所)
本文将分词导致的字符级任务缺陷构建为低互信息问题,发现字符级推理能力在训练后期突然涌现,并提出轻量级架构修改方法以提升字符级理解并保留子词模型优势。
2025-09-15 cs.CL
Continuous Adversarial Text Representation Learning for Affective Recognition
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
提出一种连续效价-唤醒度标注与动态令牌扰动机制,增强Transformer模型的情感嵌入,在情感分类基准上提升15.5%。
2025-02-28 cs.AI cs.CL
Broken Tokens? Your Language Model can Secretly Handle Non-Canonical Tokenizations
University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所);Stanford University(斯坦福大学)
研究发现语言模型在面对非标准标记化时表现出意外的鲁棒性,通过指令训练可提升特定任务性能,揭示模型对标记化的依赖程度较低。
2026-02-02 cs.CL
Instructions Shape Production of Language, not Processing
Department of Linguistics, University of Tübingen(图宾根大学语言学系);IBM Research, MIT, and MIT-IBM Watson AI Lab(IBM研究院、麻省理工学院和麻省理工-IBM沃森人工智能实验室);Interdisciplinary Transformation University of Austria(奥地利跨学科转型大学);IBM Research(IBM研究院)
研究揭示指令通过影响语言模型生成阶段的信息 asymmetry,而非处理阶段,通过五种二元判断任务层析任务特定信息,发现输出 tokens 的信息变化与行为强相关,而输入 tokens 的信息变化弱相关。
2026-05-13 cs.CL
ByT5: Towards a token-free future with pre-trained byte-to-byte models
Google Research(谷歌研究院)
大多数广泛使用的预先训练的语言模型对与单词或子单词单元相对应的标记序列进行操作。相比之下,直接对原始文本(字节或字符)进行操作的无令牌模型有很多好处:它们可以开箱即用地处理任何语言的文本,它们对噪音更鲁棒,并且通过消除复杂和容易出错的文本预处理管道来最大限度地减少技术债务。由于字节或字符序列比令牌序列长,因此过去在无令牌模型上的工作经常引入新的模型架构,旨在分摊直接在原始文本上操作的成本。在本文中,我们表明,一个标准的Transformer架构,可以使用最小的修改,以处理字节序列。我们在参数计数,训练FLOPs和推理速度方面进行了权衡,并表明字节级模型与令牌级模型相比具有竞争力。我们还证明了字节级模型对噪声的鲁棒性更强,并且在对拼写和发音敏感的任务上表现得更好。作为我们贡献的一部分,我们发布了一组新的基于T5架构的预训练字节级Transformer模型,以及我们实验中使用的所有代码和数据。
2022-03-08 cs.CL
A Scaling Law for Token Efficiency in LLM Fine-Tuning Under Fixed Compute Budgets
University of Connecticut Storrs(康涅狄格大学斯托尔斯分校)
本文提出一种考虑数据组成(样本数量与平均令牌长度)的LLM微调缩放定律,并通过BRICC和MMLU实验证明数据组成显著影响令牌效率,为资源受限场景提供更精细的缩放指导。
2025-06-02 cs.AI cs.CL
EXECUTE: A Multilingual Benchmark for LLM Token Understanding
School of Computation, Information and Technology, TU Munich(技术学院,慕尼黑技术大学);Center for Information and Language Processing, LMU Munich(信息与语言处理中心,慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心);Munich Data Science Institute(慕尼黑数据科学研究所)
针对大语言模型在多语言中的令牌理解能力,提出EXECUTE基准,扩展CUTE至多种文字系统,发现字符或词级问题因语言而异,并评估中日韩子字符理解。
2025-05-23 cs.CL
State over Tokens: Characterizing the Role of Reasoning Tokens
Bar-Ilan University(巴伊兰大学);University of Haifa(海法大学);New York University(纽约大学);Allen Institute for AI(人工智能研究院)
本文提出SoT框架,将LLM的推理令牌视为外部化计算状态,而非文本叙述,以揭示其实际推理机制及未被关注的研究问题。
2025-12-14 cs.AI cs.CL
Less Is More: Reducing Token Counts Without Compromising Performance
Graduate School of Data Science, Seoul National University(数据科学研究生院,首尔国立大学);Department of Computer Science, Seoul National University(计算机科学系,首尔国立大学)
研究如何在不影响大语言模型性能的前提下减少词元数量,提出Thunder-Tok子词元分词器,先构建种子词汇表并过滤不完整候选词元,再用基于似然的词元分数修剪,实验证明该方法能有效降低词元生成率并保持性能。
2026-07-10 cs.AI cs.CL
Models In a Spelling Bee: Language Models Implicitly Learn the Character Composition of Tokens
Tel Aviv University(特拉维夫大学)
标准的预训练语言模型对子字标记序列进行操作,而不直接存取组成每个标记的字符串表示的字符。我们探测了预训练的语言模型的嵌入层,并表明模型在令人惊讶的程度上学习了整个单词和子单词标记的内部字符组成,而从未看到与标记相结合的字符。我们的研究结果表明,RoBERTa的嵌入层拥有足够的信息,可以准确拼写多达三分之一的词汇,并在所有标记类型上达到高平均字符ngram重叠。我们进一步测试了用额外的字符信息丰富子词模型是否可以改善语言建模,并观察到这种方法具有与没有基于拼写的丰富训练几乎相同的学习曲线。总的来说,我们的研究结果表明,语言建模目标激励模型隐式地学习一些拼写的概念,而明确地教模型如何拼写似乎并不能提高其在这些任务上的表现。
2022-06-08 cs.AI cs.CL cs.LG
Token-Level Supervised Contrastive Learning for Punctuation Restoration
Southern University of Science and Technology(南方科技大学);University of Surrey(萨里大学);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室)
标点符号对于理解自然语言文本至关重要。当前,大多数自动语音识别(ASR)系统不生成标点,这影响了下游任务(诸如意图检测和槽填充)的性能。这就需要恢复标点符号。最近的标点符号恢复工作大量利用预训练的语言模型,而不考虑预测标点符号类时的数据不平衡。在这项工作中,我们解决这个问题,提出了一个令牌级监督对比学习方法,旨在最大限度地提高不同的标点符号在嵌入空间中的表示的距离。结果表明,使用标记级监督对比学习的训练在测试集上获得了高达3.2%的绝对F1改进。
2023-03-03 cs.CL cs.LG
TREX: Tokenizer Regression for Optimal Data Mixture
KAIST CT(韩国科学技术院CT);Seoul National University of Science and Technology(首尔科学技术大学);Upstage AI;KAIST InnoCORE PRISM-AI Center(韩国科学技术院InnoCORE PRISM-AI中心)
TREX通过回归方法高效预测最优数据混合,提升多语言分词器的压缩效率和实用性。
2026-01-20 cs.AI cs.CL
How Much Does Tokenization Affect Neural Machine Translation?
Universitat Politècnica de València(瓦伦西亚理工大学);Pangeanic / B.I Europa
标记化或分割是一个广泛的概念,它涵盖了简单的过程,如将标点符号从单词中分离出来,或更复杂的过程,如应用形态学知识。神经机器翻译(NMT)需要有限大小的词汇表来计算成本,并需要足够的示例来估计词嵌入。将标点符号分离并将标记拆分为单词或子单词已被证明有助于减少词汇量并增加每个单词的示例数量,从而提高翻译质量。当处理单词之间没有分隔符的语言时,标记化更具挑战性。为了评估标记化对NMT最终翻译质量的影响,我们对十种语言对的五个标记化器进行了实验。我们得出的结论是,分词显着影响最终的翻译质量,最好的分词器不同的语言对。
2019-06-11 cs.CL
Tokenization Constraints in LLMs: A Study of Symbolic and Arithmetic Reasoning Limits
University of British Columbia(不列颠哥伦比亚大学);Zhejiang University(浙江大学);Cisco(思科);Stony Brook University(石溪大学)
该研究揭示大语言模型的符号推理能力受分词结构约束,提出分词感知概念形式化其影响,实验证实原子对齐的分词格式可让小模型在结构化推理中超越大模型。
2025-05-20 cs.AI cs.CL
Chain-of-Thought Tokens are Computer Program Variables
School of Computer Science, State Key Laboratory of Multimedia Information Processing, Peking University(计算机科学学院、多媒体信息处理国家重点实验室、北京大学)
本文通过多位数乘法和动态规划实验发现思维链令牌在LLMs中起到类似计算机程序变量的作用,仅保留存储中间结果的令牌即可维持性能,但该机制存在非预期捷径和计算复杂度限制等潜在缺陷。
2025-05-08 cs.AI cs.CL
PACUTE: Phonology-, Affix-, and Character-level Understanding of Tokens for Filipino
AI Singapore(AI新加坡);Nanyang Technological University(南洋理工大学);UK AI Security Institute(英国人工智能安全研究所);Ateneo de Manila University(马尼拉雅典耀大学);University of Birmingham(伯明翰大学)
提出PACUTE基准,包含4600个任务,通过六层诊断框架评估大语言模型在菲律宾语中的形态理解,发现开放权重模型在语素分解上接近随机,前沿模型在组合任务上远低于字符级上限。
2026-06-16 cs.AI cs.CL
SubTokenTest: A Practical Benchmark for Real-World Sub-token Understanding
Institute for Artificial Intelligence, Peking University(人工智能研究院,北京大学)
SubTokenTest通过实用任务评估大语言模型在子token理解上的能力,揭示分词过程对性能的影响,并分析字符级信息的编码方式。
2026-01-14 cs.AI cs.CL
AnchorKV: Anchor-Residual KV Cache Compression
针对长上下文LLM推理的KV缓存内存瓶颈,提出AnchorKV压缩方案,不丢令牌且压缩20倍,70B规模下保留99%全缓存精度,大幅降低上下文成本。
2026-08-05 cs.CL cs.LG
TokEval: A Tokenizer Evaluation Suite
EPFL(洛桑联邦理工学院)
本研究推出TokEval框架,通过信息论、结构敏感等指标评估分词器,经实验验证其可预测下游模型性能,助力更原则性的分词器评估。
2026-09-10 cs.CL cs.LG
Broken-Token: Filtering Obfuscated Prompts by Counting Characters-Per-Token
JFrog
提出CPT-Filtering技术,通过计算文本每Token平均字符数(CPT)利用BPE分词器特性,以极低成本和高准确率识别并过滤利用密码和字符编码的越狱攻击,为LLMs提供可即时部署的防御层。
2025-10-30 cs.AI cs.CL cs.CR
Weak Ties, Strong Signals: Efficient Training Data Detection in Diffusion LLMs via Independent Token Sampling
Tsinghua University(清华大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
针对扩散大语言模型训练数据检测,提出独立令牌采样(ITS)框架,通过弱依赖令牌选择降低近似误差,显著提升检测性能。
2026-09-22 cs.CL cs.LG
Tokenization Matters: Navigating Data-Scarce Tokenization for Gender Inclusive Language Technologies
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Amazon AGI Foundations(亚马逊AGI基金会);Ben-Gurion University of the Negev(内盖夫本-古里安大学)
本文揭示BPE因数据稀缺过度切分英语新代词并导致LLM性别错称,提出代词分词对等与利用已有代词知识两种方法,将准确率从14.1%提升至58.4%。
2024-04-06 cs.AI cs.CL cs.LG
Compressed code: the hidden effects of quantization and distillation on programming tokens
National Sun Yat-Sen University(国立中山大学);DataSpike;aglabx;Neapolis University(尼apolis大学)
本文研究了量化和知识蒸馏对编程令牌的影响,通过分析令牌表示揭示了代码生成质量的优化方法和关键因素。
2026-02-08 cs.CL cs.LG cs.PL
Measuring the Tokenization Premium: A Cost Audit for Underserved Language Communities
John Jay College of Criminal Justice, City University of New York(纽约城市大学约翰杰刑事司法学院);The City College of New York, City University of New York(纽约城市大学城市学院);University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
本研究通过构建标记化公平审计(TEA)基准,测量了孟加拉语、印地语等5种语言的标记化溢价,发现标记化会给服务不足语言社区带来经济和功能障碍,凸显需重视标记化的公平性。
2026-08-11 cs.CL cs.CY
How Does A Text Preprocessing Pipeline Affect Ontology Matching?
Australian National University(澳大利亚国立大学);Monash University(莫纳什大学)
本文研究了文本预处理流程对本体匹配的影响,发现阶段1的分词和标准化比阶段2的停用词去除和词干提取更有效,并提出两种修复虚假映射的新方法。
2026-05-07 cs.CL cs.IR
FoNE: Precise Single-Token Number Embeddings via Fourier Features
Department of Computer Science, University of Southern California(南加州大学计算机科学系)
FoNE通过傅里叶特征直接将数字映射到嵌入空间,以单token和两维嵌入维度表示数字,提升训练和推理效率,同时在加减乘等数值任务中实现更高准确率。
2026-04-21 cs.CL cs.LG
TokTier: Exact Stateful CPU+GPU Tokenization for Agentic LLM Serving
Arizona State University(亚利桑那州立大学)
本研究提出TokTier,一种面向智能体LLM服务的精确有状态分词方案,通过增量修复、GPU加速分词等技术,将首次令牌生成时间降低16%-34%,饱和请求速率提升至1821次/秒,性能远超现有方案。
2026-08-10 cs.CL cs.DC cs.PF
TokenSkip: Controllable Chain-of-Thought Compression in LLMs
Department of Computing, The Hong Kong Polytechnic University(计算学系,香港理工大学)
为解决长思维链导致推理延迟增加的问题,提出 TokenSkip 方法,通过让模型选择性跳过不重要的 token 实现可控的 CoT 压缩,在大幅减少 token 使用的同时保持推理性能。
2025-09-16 cs.AI cs.CL
A Text is Worth Several Tokens: Text Embedding from LLMs Secretly Aligns Well with The Key Tokens
CCSE, School of Computer Science and Engineering, Beihang University, Beijing, China(计算机科学与工程学院,北京航空航天大学);Zhongguancun Laboratory, Beijing, China(中关村实验室);Shen Yuan Honors College, Beihang University, Beijing, China(神元荣誉学院,北京航空航天大学)
本文发现基于 LLM 的文本嵌入会与输入文本中的关键 token 对齐,并揭示其关键在于第一主成分的变化,进而提出一种可达到稠密检索 80% 效果且计算量显著降低的稀疏检索方法。
2025-07-07 cs.CL cs.IR
Let's Think Dot by Dot: Hidden Computation in Transformer Language Models
Center for Data Science(数据科学中心);New York University(纽约大学)
本文研究了语言模型思维链性能提升是否源于额外计算量,发现Transformer可利用无意义填充词元解决复杂算法任务,但需密集监督,并揭示了中间词元可能引发无法审计的隐藏计算风险。
2024-04-24 cs.AI cs.CL
Information-Aware KV Cache Compression for Long Reasoning
Shanghai Jiao Tong University(上海交通大学)
提出InfoKV框架,通过结合预测不确定性与注意力分数进行KV缓存压缩,在长上下文推理中优于现有方法。
2026-06-26 cs.AI cs.CL
Derailing Non-Answers via Logit Suppression at Output Subspace Boundaries in RLHF-Aligned Language Models
University of Utah(犹他大学);NVIDIA(英伟达)
本文提出一种无需修改模型权重或提示词的方法,通过在生成过程中抑制特定词元(如后的序列结束词元)的概率,降低LLM在敏感内容上的拒绝率,同时保持标准基准性能。
2025-05-28 cs.CL cs.LG
Enhancing LLM Character-Level Manipulation via Divide and Conquer
University of Southern California(南加州大学);The University of Queensland(昆士兰大学);National University of Singapore(新加坡国立大学);University of California, Los Angeles(加州大学洛杉矶分校);University of California, San Diego(加州大学圣迭戈分校);University of California, Merced(加州大学默塞德分校)
针对LLM在字符级操作上的弱点,提出基于分治法的字符级操作框架,通过分解子任务与受控token重建,无需训练即显著提升删除、插入和替换任务的准确率。
2025-03-27 cs.AI cs.CL
Tokenization-Invariant Watermarking: A Byte-Local Method for LLM Text
本研究提出TI-WM,一种基于规范化UTF-8字节的LLM文本水印方法,其在5%单词编辑预算下的攻击AUC优于Unigram方法,但不具备通用鲁棒性或低误报率部署保证。
2026-10-14 cs.CL cs.CR
When Is Noise Response Universal? Tokenization as the Hidden Variable in Language Models
Amazon(亚马逊)
该研究发现语言模型对噪声的响应一致性取决于噪声规模,核心是训练目标而非架构,追溯到分词机制,可用于预测和提升模型抗噪声能力。
2026-08-28 cs.CL cs.LG
Beyond Next-Token Prediction: A Performance Characterization of Diffusion versus Autoregressive Language Models
Seoul National University(首尔国立大学);University of California, Berkeley(加州大学伯克利分校);ICSI;LBNL(劳伦斯伯克利国家实验室);University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文比较了扩散模型与自回归语言模型在性能上的差异,发现DLMs在算术强度上占优但难以扩展,而ARMs在批量推理中表现更优。
2025-12-15 cs.AI cs.CL cs.LG
CharPoet: A Chinese Classical Poetry Generation System Based on Token-free LLM
Ant Group(蚂蚁集团)
提出基于无token LLM的中文古典诗歌生成系统CharPoet,通过逐字符生成实现格式与内容精确控制,格式准确率超0.96,优于现有系统。
2024-03-20 cs.AI cs.CL cs.LG
Token Inflation: How Dishonest Providers Can Overcharge for Large Language Model Usage
University of Tennessee, Knoxville(田纳西大学,基洛纳分校);University of California, Los Angeles(加州大学洛杉矶分校)
研究揭示了基于每token计费的大型语言模型商业服务中,提供商利用审计信任悖论系统性地虚报token数量,导致用户费用大幅增加的问题。
2026-11-10 cs.AI cs.CL cs.CR
SpaceByte: Towards Deleting Tokenization from Large Language Modeling
Rice University(莱斯大学)
针对大语言模型分词技术存在的性能偏差等缺陷,提出新型字节级解码器架构SpaceByte,通过在词边界字节后插入更大Transformer块,在固定计算预算下达到与带分词Transformer相当的性能。
2024-10-06 cs.AI cs.CL cs.LG
Is Sanskrit the most token-efficient language? A quantitative study using GPT, Gemini, and SentencePiece
本研究通过GPT、Gemini和SentencePiece验证梵语在token效率上的优势,发现其在无偏分词下比英语/印地语更紧凑,但最新模型仍无法完全捕捉其紧凑性。
2026-01-05 cs.AI cs.CL cs.LG
When Tokenization is Secretly Output Supervision
German Research Center for AI (DFKI)(德国人工智能研究中心);Saarland University(萨尔大学);Center for European Research in Trusted AI (CERTAIN)(欧洲可信人工智能研究中心)
本文提出分词化应被视为输出监督,通过解耦输入与输出分词化的实验验证其影响,调查120篇CL论文发现多数未报告数值分词化,为分词化影响模型性能提供了原则性解释。
2026-09-02 cs.CL
Unify and Conquer: How Phonetic Feature Representation Affects Polyglot Text-To-Speech (TTS)
Alexa AI, Amazon(亚马逊Alexa人工智能部门)
多语言神经文本转语音(NTTS)系统的一个重要设计决策是如何在模型中表示输入语言特征。纵观文献中各种各样的方法,出现了两种主要的范式,统一和单独的表示。前者使用跨语言的共享语音标记集,而后者使用每种语言的唯一语音标记。在本文中,我们进行了一项全面的研究,比较了两种表示训练的多语言NTTS系统模型。我们的研究结果表明,统一的方法始终实现更好的跨语言合成的自然度和口音。单独的表示往往比统一的表示具有多一个数量级的标记,这可能会影响模型容量。出于这个原因,我们进行了消融研究,以了解表征类型与令牌嵌入大小的相互作用。我们发现,这两种范式之间的差异只出现在一定的阈值嵌入大小。这项研究提供了强有力的证据表明,统一的表示应该是首选的范式时,建立多语言NTTS系统。
2022-07-04 cs.CL eess.AS
To lemmatize or not to lemmatize: how word normalisation affects ELMo performance in word sense disambiguation
University of Oslo(奥斯陆大学);University of Trento(特伦托大学)
我们批判性地评估了深度学习NLP模型不需要词元化输入的广泛假设。为了测试这一点,我们在原始标记化语料库和用词元替换词标记的语料库上训练了上下文化词嵌入ELMo模型的版本。然后,在词义消歧任务中对这些模型进行了评价。这是对英文和俄文所做的。实验表明,虽然词形还原对英语来说确实没有必要,但对俄语来说情况就不同了。看起来,对于富形态语言,使用词形化的训练和测试数据会产生小但一致的改进:至少在词义消歧方面。这意味着在训练ELMo之前,关于文本预处理的决定应该考虑所讨论语言的语言性质。
2019-09-06 cs.CL
Learning to Look Inside: Augmenting Token-Based Encoders with Character-Level Information
Georgia Institute of Technology(佐治亚理工学院);Bloomberg(彭博);Johns Hopkins University(约翰斯·霍普金斯大学);Google Research(谷歌研究院)
常用的Transformer语言模型依赖于标记化模式,该标记化模式在预训练之前设置不可改变的子词词汇表,该子词词汇表注定被应用于所有下游任务,而不管域转移、新颖的单词构成或词汇表不匹配的其他来源。最近的工作表明,“无令牌”模型可以直接在字符或字节上训练,但从头开始训练这些模型需要大量的计算资源,这意味着要丢弃许多在令牌上训练的特定于域的模型。在本文中,我们提出了XRayEmb,改造现有的基于令牌的模型与字符级信息的方法。XRayEmb由一个计算字符序列的矢量表示的字符级“编码器”和一个从内部表示解码为字符序列的生成组件组成。我们表明,将XRayEmb的学习向量结合到预先训练的令牌嵌入序列中有助于自回归和掩蔽的预先训练的Transformer架构以及序列级和序列标记任务的性能,特别是在非标准英语文本上。
2021-08-01 cs.CL