DC-Spin: A Speaker-invariant Speech Tokenizer for Spoken Language Models
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Meta AI
本文提出面向口语语言模型的双码本说话人不变聚类语音分词器DC-Spin，可提取鲁棒的说话人不变词元，结合分块方法实现无重训练流式处理，实验验证了词元特性对性能的影响，为相关分词器设计提供参考。
2024-10-31 cs.CL cs.LG cs.SD
Phonetic Perturbations Reveal Tokenizer-Rooted Safety Gaps in LLMs
Université Paris-Saclay（巴黎-萨克雷大学）；IIT Kharagpur（印度理工学院卡哈拉格普尔分校）
研究通过CMP-RT探测器揭示LLMs因分词机制导致的安全漏洞，发现语音扰动使安全关键token分裂为无害子词，导致安全机制失效，且该漏洞能绕过标准防御并扩展至多种模型。
2026-04-07 cs.AI cs.CL
Low-Resource English-Tigrinya MT: Leveraging Multilingual Models, Custom Tokenizers, and Clean Evaluation Benchmarks
L3S Research Center（L3S 研究中心）；Leibniz University Hannover（汉诺威莱布尼茨大学）；Aksum University（阿克苏姆大学）
本文针对低资源英语-提格里尼亚语翻译，提出结合自定义分词器、嵌入初始化和领域自适应微调的迁移学习方法，并构建人工对齐评估集，实验证明其显著优于零样本基线，强调了语言感知建模和可复现基准的重要性。
2025-09-24 cs.AI cs.CL
A Multi-dimensional Evaluation of Tokenizer-free Multilingual Pretrained Models
Carnegie Mellon University（卡内基梅隆大学）；Kakao Enterprise（Kakao企业）
最近关于无标记器的多语言预训练模型的工作在改善跨语言迁移和减少工程开销方面显示出有希望的结果（Clark等人，2022年; Xue等人，2022年）。然而，这些工作主要集中在报告有限的任务和数据设置的准确性上，在实际调整和部署模型时，对其他重要因素的重视程度较低，例如内存使用，推理速度和微调数据鲁棒性。我们试图通过对考虑这些不同维度的多语言无标记化和基于子词的模型进行全面的实证比较来填补这一空白。令人惊讶的是，我们发现基于子字的模型在许多设置中仍然是最实用的选择，可以实现更好的性能，降低推理延迟和内存使用。基于这些结果，我们鼓励未来的无标记方法在设计和评估新模型时考虑这些因素。
2022-10-13 cs.AI cs.CL
Bridging the Gap Between Semantics and Reconstruction:Unifying Sign Language Translation and Production
State Key Laboratory of Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
该研究提出统一框架Uni-SLTP，解决手语翻译与生成的模态映射反向难题，在公共数据集上实现手语生成更优运动精度且保持翻译竞争力。
2026-08-11 cs.AI cs.CL cs.CV
Say Anything but This: When Tokenizer Betrays Reasoning in LLMs
University of Houston（休斯顿大学）
本研究发现分词器的不一致导致LLM推理错误，通过一致性探针揭示了分词引起的表征缺陷，并提出分词层面的修复方法。
2026-01-21 cs.AI cs.CL
One Tokenizer To Rule Them All: Emergent Language Plasticity via Multilingual Tokenizers
针对多语言大模型预训练的资源约束与新语言适配难题，提出用覆盖更多语言的通用分词器提升语言可塑性，实验证明其能显著提升新语言适配胜率且对原有语言性能影响极小。
2025-06-12 cs.CL
How Good is Your Tokenizer? On the Monolingual Performance of Multilingual Language Models
Technical University of Darmstadt（达姆施塔特工业大学）；University of Cambridge（剑桥大学）；DeepMind（深度思维）；University of Copenhagen（哥本哈根大学）
在这项工作中，我们提供了一个系统的和全面的经验比较预训练的多语言语言模型与单语对应的单语任务性能。我们研究了一组九种类型不同的语言与现成的预训练单语模型上的一组五个不同的单语下游任务。我们的目标首先是建立，通过公平和受控的比较，如果该语言的多语言和相应的单语表示之间存在差距，随后调查的原因，任何性能差异。为了解开混淆因素，我们在相同的数据上训练新的单语言模型，使用单语言和多语言训练的标记器。我们发现，虽然预训练数据大小是一个重要因素，但指定的单语标记器在下游性能中起着同样重要的作用。我们的研究结果表明，在多语言模型的词汇表中充分表示的语言表现出可以忽略不计的性能下降，比单语同行。我们进一步发现，用专门的单语分词器替换原始的多语言分词器可以提高几乎所有任务和语言的多语言模型的下游性能。
2021-06-01 cs.CL
Specialised or Generic? Tokenization Choices for Radiology Language Models
Department of Engineering Science, University of Oxford, Oxford, UK（牛津大学工程科学系）；Department of Oncology, University of Oxford, UK（牛津大学肿瘤学系）；Department of Medical Physics and Clinical Engineering, Oxford University Hospitals NHS FT, Oxford, UK（牛津大学医院医学物理与临床工程系）；Department of Computing, Imperial College London, London, UK（伦敦帝国理工学院计算机系）；School of Computer Science, University of Birmingham, Birmingham, UK（伯明翰大学计算机科学学院）
本研究系统比较了通用、医学和领域专用分词器在放射学报告摘要任务中的表现，发现领域专用分词器在提升性能和降低内存需求方面具有显著优势。
2025-08-13 cs.AI cs.CL cs.LG
Zero-Shot Tokenizer Transfer
University of Cambridge（剑桥大学）；University of Edinburgh（爱丁堡大学）
本研究提出零样本分词器迁移问题ZeTT，通过训练预测词元嵌入的超网络实现分词器即插即用，在跨语言、编程任务接近原模型性能且缩短序列长度，还可适配微调模型，推动LM与分词器解耦。
2025-10-28 cs.CL
ReCoRD: Bridging the Gap between Human and Machine Commonsense Reading Comprehension
Johns Hopkins University（约翰斯·霍普金斯大学）；Microsoft Research（微软研究院）
我们提出了一个大规模的数据集，ReCoRD，机器阅读理解需要常识推理。在这个数据集上的实验表明，最先进的MRC系统的性能远远落后于人类的性能。ReCoRD代表了未来研究的一个挑战，即弥合人类和机器常识阅读理解之间的差距。ReCoRD可在http://nlp.jhu.edu/record上获得。
2018-10-30 cs.CL
Bridging the Gap: Attending to Discontinuity in Identification of Multiword Expressions
University of Wolverhampton（伍尔弗汉普顿大学）；University of Oxford（牛津大学）
我们介绍了一种新的方法来标记多词表达式（MWE）使用语言可解释的语言独立的深度学习架构。我们专门针对不连续性，一个未充分探索的方面，构成了一个重大的挑战，计算处理的MWE。研究了两种神经网络结构：图卷积网络和多头自注意。GCN利用依赖关系解析信息，自我关注关注长距离关系。最后，我们提出了一个组合模型，通过门控机制，整合互补信息。在一个标准的多语言数据集上进行的实验表明，我们的模型不仅在不连续的MWE的情况下，而且在整体F分数上都优于基线。
2019-04-25 cs.AI cs.CL
Chat, Shift and Perform: Bridging the Gap between Task-oriented and Non-task-oriented Dialog Systems
Keio University（庆应义塾大学）
我们提出了CASPER（ChAt，Shift和PERform），一个新的对话系统，包括三种类型的对话模型：颤振，移位器，和表演者。Shifter是专为主题切换而设计的，它可以实现从开放域聊天到面向任务的对话的无缝对话流。在一项用户研究中，CASPER在响应的自然性、缺乏强迫话题切换和满意度方面给人留下了更好的印象，而与以端到端方式训练的基线对话系统相比。在消融研究中，我们发现，自然的反应，对话满意度和任务引出率提高时，移位器被删除CASPER相比，表明主题转移与移位器支持自然的任务导向对话的介绍。
2022-06-05 cs.AI cs.CL
Bridging Language Gaps with Adaptive RAG: Improving Indonesian Language Question Answering
Computer Science Department（计算机科学系）；School of Computer Science（计算机科学学院）；Bina Nusantara University（宾厄斯大学）
本研究将自适应RAG系统应用于印度尼西亚语问答，通过机器翻译增强数据，利用复杂度分类器选择回答策略，实验发现多检索策略存在不一致性，揭示了低资源语言问答的潜力与挑战。
2025-10-24 cs.AI cs.CL
Multilingual Auxiliary Tasks Training: Bridging the Gap between Languages for Zero-Shot Transfer of Hate Speech Detection Models
INRIA（法国国家信息与自动化研究所）
零次跨语言迁移学习已经被证明对于涉及大量语言特性的任务或当语言之间存在文化差异时（例如在仇恨言论检测中）具有高度挑战性。在本文中，我们强调了这种限制仇恨言论检测在几个领域和语言使用严格的实验设置。然后，我们建议对多语言辅助任务进行训练-情感分析，命名实体识别和依赖句法信息的任务-以提高仇恨语音检测模型跨语言的zero-shot传输。我们展示了仇恨言论检测模型如何受益于辅助任务微调带来的跨语言知识代理，并强调了这些任务对弥合语言之间仇恨言论语言和文化差距的积极影响。
2022-10-25 cs.CL
DeepResearch-Slice: Bridging the Retrieval-Utilization Gap via Explicit Text Slicing
NLPR & MAIS CASIA（CASIA NLPR与MAIS）；School of AI UCAS（UCAS人工智能学院）；Meituan Inc.（美团公司）
DeepResearch-Slice通过显式文本切片技术，有效解决检索与利用之间的差距问题，提升模型在嘈杂环境中的鲁棒性。
2025-12-16 cs.AI cs.CL
Bridging Information Gaps with Comprehensive Answers: Improving the Diversity and Informativeness of Follow-Up Questions
University of British Columbia（不列颠哥伦比亚大学）；Vector Insitute（向量研究所）
本文提出一种信息鸿沟驱动的知识蒸馏流程，利用教师模型生成全面回答并识别缺失信息，扩充数据集十倍，微调小模型以提升后续问题的多样性与信息量，实验验证其有效性。
2025-09-23 cs.AI cs.CL cs.HC
When the Same Coefficients Reach Different Places: Asymmetric Realizability in Transplanting Tokenizers across Large Language Models
Purdue University（普渡大学）；Carnegie Mellon University（卡内基梅隆大学）
本文发现跨词汇模型组合中分词器移植的几何结构非对称性，并构造了“破坏令牌”以利用该漏洞，通过实验验证其在多个模型对中的存在性及对微调、谱滤波等防御措施的鲁棒性。
2026-05-28 cs.CL cs.CR cs.LG
Equity with Efficiency: An Empirical Study of Tokenizers for Multilingual Large Language Models
National University of Singapore（新加坡国立大学）；Carnegie Mellon University（卡内基梅隆大学）；SAP
本文系统比较了11种东南亚语言上的公平分词器，发现Parity-aware BPE在效率与公平的权衡中处于帕累托前沿，而Morphology-Driven Byte Encoding在语义推理上表现最佳。
2026-06-16 cs.CL
When Tokenizers Fail: Byte-Level Chunking for Zero-Shot Transfer to Low-Resource Languages
IIT Bombay（印度理工学院孟买分校）；University of Sheffield（谢菲尔德大学）
本文针对低资源语言处理中字节级模型的粒度不匹配问题，提出适配的分层网络框架，通过初始化字节嵌入、分块对齐损失及词性监督，在六种语言的词性标注任务上实现最高13.3%的性能提升。
2026-08-31 cs.CL
Bridging the Language Gap: Synthetic Voice Diversity via Latent Mixup for Equitable Speech Recognition
University of California Los Angeles, Department of Statistics（加州大学洛杉矶分校统计学系）
本文提出了一种通过潜在混合提升合成语音多样性的方法，以改善低资源语言的语音识别性能。
2025-11-25 cs.CL
DTW-Align: Bridging the Modality Gap in End-to-End Speech Translation with Dynamic Time Warping Alignment
Department of Advanced Computing Sciences（高级计算科学系）
本文提出DTW-Align方法，在训练期间利用动态时间规整对齐语音与文本嵌入，以更准确、更快速地弥合端到端语音翻译中的模态鸿沟，并在低资源场景下多数语言方向上优于现有方法。
2025-09-23 cs.CL
Bridging the Knowledge Gap: Enhancing Question Answering with World and Domain Knowledge
Lister Hill National Center for Biomedical Communications（利斯特·希尔国家生物医学交流中心）；U.S. National Library of Medicine（美国国家医学图书馆）
在本文中，我们提出了OSCAR（基于本体的语义组合增强正则化），一种方法注入任务无关的知识从本体或知识图谱到神经网络在预训练。我们评估了在使用维基百科文章预训练BERT时包含OSCAR的影响，通过测量两个涉及世界知识和因果推理的问答任务和一个需要领域（医疗保健）知识的问答任务的微调性能，与没有OSCAR的预训练BERT相比，准确率提高了33：3%，18：6%和4%，并在其中两个任务上获得了新的最先进的结果。
2019-10-16 cs.CL
Bridging the Data Gap between Training and Inference for Unsupervised Neural Machine Translation
Shanghai Jiao Tong University（上海交通大学）；Tencent AI Lab（腾讯人工智能实验室）
反向翻译是无监督神经机器翻译（UNMT）的一个关键组成部分，它从目标单语数据生成伪并行数据。UNMT模型在具有翻译源的伪并行数据上训练，并在推理中翻译自然源语句。训练和推理之间的源差异阻碍了UNMT模型的翻译性能。通过精心设计的实验，我们确定了源数据缺口的两个代表性特征：（1）风格缺口（即，翻译文本风格与自然文本风格），这导致泛化能力差;（2）内容差距，这导致模型产生偏向于目标语言的幻觉内容。为了缩小数据差距，我们提出了一种在线自训练方法，该方法同时使用伪并行数据{自然源，翻译目标}来模拟推理场景。几个广泛使用的语言对的实验结果表明，我们的方法优于两个强基线（XLM和MASS）通过弥补风格和内容的差距。
2022-03-23 cs.CL
Tokenization of Gaze Data
University of Hamburg（汉堡大学）；University of Münster（明斯特大学）；Canterbury University（坎特伯雷大学）
本文首次系统比较五种凝视数据tokenizer，发现分位数tokenizer在预测凝视位置最优，k-means在预测凝视速度最佳，填补了该领域研究空白。
2025-03-28 cs.CL cs.CV cs.HC
Bridging the Gap between Pre-Training and Fine-Tuning for End-to-End Speech Translation
Nankai University（南开大学）
端到端语音翻译是近年来的一个热门话题，其目的是通过端到端的模式将一段音频翻译成一种特定的语言。传统的方法采用多任务学习和预训练方法来完成这项任务，但它们受到预训练和微调之间的巨大差距的影响。为了解决这些问题，我们提出了一个串联连接编码网络（TCEN），它通过在微调中重复使用所有连接，保持连接的角色一致，并预先训练注意力模块来弥合差距。此外，我们提出了两个简单而有效的方法来保证语音编码器的输出和MT编码器的输入是一致的语义表示和序列长度。实验结果表明，我们的模型在大型基准数据集上的性能优于基线2.2 BLEU。
2019-11-18 cs.CL eess.AS
Bridging the domain gap in cross-lingual document classification
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI（Facebook人工智能）
标记的训练数据的稀缺性通常阻碍了NLP模型到多种语言的国际化。跨语言理解（XLU）的最新发展在这一领域取得了进展，试图使用语言通用表示来弥合语言障碍。然而，即使语言问题得到解决，由于跨语言和文化的自然领域漂移，用一种语言训练的模型也不会完美地转移到另一种语言。我们考虑半监督跨语言理解的设置，其中标记的数据在源语言（英语）中可用，但只有未标记的数据在目标语言中可用。我们将最先进的跨语言方法与最近提出的弱监督学习方法（如无监督预训练和无监督数据增强）相结合，以同时缩小XLU中的语言差距和领域差距。我们表明，解决域的差距是至关重要的。我们在强大的基线上进行了改进，并实现了跨语言文档分类的新的最先进技术。
2019-09-20 cs.CL
Bridging Semantic Gaps in RAG through Generated Context Knowledge Fusion
Beijing Wanlian Zhilian Technology Corporation Limited（北京万联智联科技有限公司）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；Sunshine Digital Intelligence Tech Co., Ltd.（阳光数字智能科技有限公司）
针对RAG中查询与检索上下文语义不匹配的问题，提出KASB框架，通过智能知识融合对齐语义空间，提升段落选择质量，并在三个开放域问答数据集上验证有效性。
2026-09-30 cs.CL
Bridging the prosody GAP: Genetic Algorithm with People to efficiently sample emotional prosody
Max Planck Institute for Empirical Aesthetics（马克斯·普朗克经验美学研究所）；Max Planck Institute for Human Cognitive and Brain Sciences（马克斯·普朗克人类认知与脑科学研究所）
人类的声音有效地传达了一系列的情感，声学上有细微的变化。现有的情感语音语料库是有限的，因为它们要么（a）高度策划，以诱导特定的情感与预定义的类别，可能无法捕捉情感体验的全部范围，或（b）纠缠在他们的语义和韵律线索，限制了单独研究这些线索的能力。为了克服这一挑战，我们提出了一种新的方法称为"遗传算法与人"（GAP），它集成了人类的决策和生产到一个遗传算法。在我们的设计中，我们允许创作者和评分者共同优化几代人的情感韵律。我们证明了GAP可以有效地从情感语音空间中采样，并捕获广泛的情感，并显示出与最先进的情感语音语料库相当的结果。GAP是独立于语言的，支持大规模的众包，因此可以支持未来的大规模跨文化研究。
2022-05-10 cs.CL
Bridging the Knowledge-Prediction Gap in LLMs on Multiple-Choice Questions
KAIST（韩国科学技术院）
通过分析隐藏表示中的知识子空间和预测子空间，提出轻量级推理时干预方法KAPPA来对齐两者，从而减少LLM在多项选择题上的知识-预测差距。
2026-06-01 cs.CL
Gender Lost In Translation: How Bridging The Gap Between Languages Affects Gender Bias in Zero-Shot Multilingual Translation
Maastricht University（马斯特里赫特大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文研究零样本多语言神经机器翻译中的性别偏见，发现语言无关表示可减轻男性偏见，且桥接语言性别屈折程度越高，枢轴翻译在性别保留公平性上越优于零样本翻译。
2023-05-26 cs.CL
Bridging The Gap: Entailment Fused-T5 for Open-retrieval Conversational Machine Reading Comprehension
Beijing Institute of Technology（北京理工大学）；Southeast Academy of Information Technology（东南信息技术研究院）
开放检索会话式机器阅读理解（OCMRC）模拟了现实生活中的会话交互场景。机器需要根据检索到的规则文本、用户场景、用户问题和对话历史，做出“是/否/查询”的决定，或在决定为“查询”时生成后续问题。最近的研究探索了如何减少决策和问题生成之间的信息差距，从而提高生成性能的方法。然而，信息鸿沟仍然存在，因为这些管道结构仍然是有限的决策，跨度提取和问题改写三个阶段。决策和生成是分开进行推理的，决策中使用的蕴涵推理很难在所有阶段共享。为了解决上述问题，我们提出了一个新的一阶段的端到端的框架，称为蕴涵融合T5（EFT），在全球理解的方式弥合决策和生成之间的信息差距。广泛的实验结果表明，我们提出的框架实现了新的国家的最先进的性能的OR-ShARC基准。
2022-12-19 cs.CL
From Awareness to Adherence: Bridging the Context Gap in Spoken Dialogue Systems via Context-Aware Decoding
ECE, Seoul National University（首尔大学电气与计算机工程系）；IPAI, Seoul National University（首尔大学IPAI研究所）；Department of AI, University of Seoul（首尔市立大学人工智能系）
提出音频适配的上下文感知解码方法，通过对比有无关键上下文的输出分布，放大多模态上下文信号，解决口语对话系统中上下文遵循问题。
2026-06-16 cs.CL
Bridging the Gap Between Monaural Speech Enhancement and Recognition with Distortion-Independent Acoustic Modeling
The Ohio State University（俄亥俄州立大学）
自几年前引入深度学习以来，单耳语音增强已经取得了巨大的进步。虽然增强语音已被证明具有更好的可理解性和质量的人类听众，它直接馈送到自动语音识别（ASR）系统训练与嘈杂的语音没有产生预期的改善ASR性能。在识别上缺乏增强益处，或者单耳语音增强和识别之间的差距，通常归因于在增强过程中引入的语音失真。在这项研究中，我们分析了失真的问题，比较不同的声学模型，并探讨了失真无关的单耳语音识别的训练计划。实验结果表明，与失真无关的声学建模能够克服失真问题。这样的声学模型还可以与不同于在训练期间使用的语音增强模型一起工作。此外，在CHiME-2语料库上，本文研究的模型优于以前最好的系统。
2019-03-13 cs.CL cs.SD eess.AS
Bridging the Empirical-Theoretical Gap in Neural Network Formal Language Learning Using Minimum Description Length
Ecole Normale Supérieure（巴黎高等师范学院）；Tel Aviv University（特拉维夫大学）；EHESS（高等研究实践学院）；CNRS（法国国家科学研究中心）
本文通过一种简单形式语言学习任务证明理论正确解并非常用目标的最优解，并提出以最小描述长度目标替代标准目标可使正确解成为最优解。
2024-06-06 cs.CL cs.FL
