Small Vocabularies, Big Gains: Pretraining and Tokenization in Time Series Models
本文针对时间序列预测基础模型,系统研究分词器设计与预训练的影响,发现小词表搭配预训练权重优势显著,为相关设计提供了实操指导。
2025-11-06 cs.AI cs.CL cs.LG
Tokenization Tradeoffs in Structured EHR Foundation Models
Child Health Evaluative Sciences(儿童健康评估科学);The Hospital for Sick Children(圣迈克尔医院);University Health Network(大学健康网络);Department of Medicine(医学部);Division of Computational Medicine, Department of Medicine(计算医学科,医学部);Stanford University(斯坦福大学)
本文研究了结构化电子健康记录基础模型中分词设计对性能和效率的影响,通过实验发现联合事件编码和时间位置编码在多个临床预测任务中表现更优,且计算效率更高。
2026-03-03 cs.CL cs.LG
How Important Is Tokenization in French Medical Masked Language Models?
LIA, Avignon University(阿维尼翁大学计算机科学与人工智能实验室);Zenidoc(Zenidoc公司);Nantes Université(南特大学);École Centrale Nantes(南特中央理工学院);CNRS(法国国家科学研究中心);LS2N, UMR 6004(南特数字科学实验室)
本文研究法语生物医学领域中子词分词对掩码语言模型的影响,分析 BPE 和 SentencePiece 的不足,并提出融合语素信息的原创分词策略以改进下游 NLP 任务表现。
2024-06-09 cs.AI cs.CL cs.LG
Date Fragments: A Hidden Bottleneck of Tokenization for Temporal Reasoning
University of Aberdeen(阿伯丁大学);Université Grenoble Alpes & CNRS(格勒诺布尔阿尔卑斯大学及CNRS)
本文提出日期碎片率指标并发布DateAugBench基准,揭示分词器过度拆分日期导致时间推理准确率下降,且大型语言模型通过新兴的日期抽象机制(年→月→日路径)修复碎片。
2025-09-24 cs.AI cs.CL
Tokenization Disparities as Infrastructure Bias: How Subword Systems Create Inequities in LLM Access and Efficiency
L3S Research Center(L3S研究所以);Leibniz University Hannover(莱比锡大学汉诺威分校)
本研究通过评估200多种语言的分词效率,发现非拉丁及形态复杂语言面临3-5倍词元膨胀,造成计算不平等,提出需开发语言学知情分词策略以促进多语言AI公平性。
2025-10-14 cs.AI cs.CL
Contextual Morphogenesis in Large Language Models: A Novel Approach to Self-Organizing Token Representations
针对传统词元化边界僵化的问题,提出语境形态发生机制,通过自组织方式基于语境依赖动态重构词元边界,有效降低了困惑度并保持表示稳定性,为优化语言模型预测准确率和推理效率提供了可行替代方案。
2025-08-08 cs.CL
xVal: A Continuous Numerical Tokenization for Scientific Language Models
Flatiron Institute(弗莱蒂伦研究所);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);University of Cambridge(剑桥大学);Université Paris-Saclay(巴黎萨克雷大学);Université Paris Cité(巴黎西岱大学);CEA(法国原子能和替代能源委员会);CNRS(法国国家科学研究中心);University of Colorado Boulder(科罗拉多大学博尔德分校);New York University(纽约大学);Prescient Design;Genentech(基因泰克公司);Princeton University(普林斯顿大学)
xVal提出连续数值分词策略,改善语言模型对科学数据的处理,在分布外泛化和计算效率上优于现有方法。
2024-12-15 cs.AI cs.CL cs.LG
Video-LaVIT: Unified Video-Language Pre-training with Decoupled Visual-Motional Tokenization
Peking University(北京大学);Kuaishou Technology(快手科技)
本文提出Video-LaVIT框架,通过将视频解耦为关键帧和时间运动并离散化为少量token,实现视频、图像与文本的统一生成式预训练,在13个多模态基准上表现优异。
2024-06-03 cs.CL cs.CV
Discrete Tokenization for Multimodal LLMs: A Comprehensive Survey
Jilin University(吉林大学);Nanjing University(南京大学);University of California at Merced(加州大学默塞德分校)
该综述首次系统分类并分析面向大语言模型的离散标记化方法,涵盖8种VQ变体,探讨其算法原理、训练动态及在单模态与多模态系统中的集成,指出码本崩溃等挑战并展望动态量化等方向。
2026-09-22 cs.AI cs.CL
DateLogicQA: Benchmarking Temporal Biases in Large Language Models
University of Aberdeen(阿伯丁大学)
该研究提出包含190个问题的DateLogicQA时间推理基准,设计语义完整性指标评估分词质量,分析大语言模型的表示层与逻辑层两类时间偏差,全面揭示其时间推理的能力与局限。
2025-05-19 cs.AI cs.CL
Qtok: A Comprehensive Framework for Evaluating Multilingual Tokenizer Quality in Large Language Models
Neapolis University Pafos(帕福斯那不勒斯大学)
本文提出Qtok框架,通过语言覆盖率、token完整性和分布等指标评估多语言分词器质量,分析了58个模型的13个分词器,为多语言LLM分词策略的评估与改进提供了系统方法和实用工具。
2024-10-16 cs.AI cs.CL
Evaluating Tokenizer Performance of Large Language Models Across Official Indian Languages
The Assam Kaziranga University(阿萨姆卡齐兰加大学)
本文针对印度22种官方语言,评估12个大型语言模型的分词器性能,发现SUTRA分词器在14种语言中表现最优,强调需开发针对性分词策略以提升多语言模型效率。
2024-11-26 cs.AI cs.CL
HeartLLM: Discretized ECG Tokenization for LLM-Based Diagnostic Reasoning
HeartLLM通过离散化ECG信号生成令牌,使LLM能处理心电图与自然语言输入,实现医疗诊断推理。
2026-01-24 cs.AI cs.CL
Tokenization Strategies for Low-Resource Agglutinative Languages in Word2Vec: Case Study on Turkish and Finnish
Phillips Academy Andover(菲利普斯安多佛学院)
针对土耳其语和芬兰语,本文在低资源维基百科语料上比较Word2Vec的多种分词策略,并通过NER评估发现词级分词稳定优于子词方法。
2025-08-27 cs.CL
Subword Tokenization Strategies for Kurdish Word Embeddings
Department of Linguistics, University at Buffalo, Buffalo NY, USA(语言学系,布法罗大学,布法罗纽约州)
针对库尔德语低资源词嵌入任务,对比三类分词策略,发现BPE存在评估偏差,基于语素的分词综合表现更优,为低资源语言分词评估与方法选择提供参考。
2025-11-18 cs.CL
From Characters to Tokens: Dynamic Grouping with Hierarchical BPE
University College London(伦敦大学学院);UiPath
本文提出一种无需额外模型的动态字符分组方法,利用现有BPE结构并引入第二级压缩,实现高效、灵活且语言无关的表示,性能达到或超过现有补丁策略。
2025-10-17 cs.CL
An Empirical Study of Tokenization Strategies for Various Korean NLP Tasks
Kakao Brain;Pingpong AI Research, Scatter Lab(平乓人工智能研究院,斯卡特实验室);Pohang University of Science and Technology(浦项科技大学)
通常,标记化是大多数文本处理工作的第一步。作为嵌入文本上下文信息的原子单位,标记的定义对模型的性能起着决定性的作用,尽管字节对编码(BPE)因其简单性和通用性而被认为是事实标准,但BPE是否适用于所有语言和任务仍不清楚。在本文中,我们测试了几个标记化策略,以回答我们的主要研究问题,即“什么是最好的标记化策略,韩国NLP任务?“实验结果表明,形态分割后的BPE混合方法在韩语到英语的机器翻译和自然语言理解任务(如KorNLI、KorSTS、NSMC和PAWS-X)中效果最好。作为一个例外,对于KorQuAD,SQuAD的韩国扩展,BPE分割是最有效的。
2020-10-06 cs.CL
How Surprising Is Historical Italian to Language Models? Tokenization Tax, Comprehension Tax, and a Simple Mitigation
University of Bologna(博洛尼亚大学)
本文提出一个诊断框架,将历史语言难度分解为分词成本、预测不确定性、语义鲁棒性和上下文敏感性四个维度,通过17世纪意大利语等数据集评估,发现历史文本存在分词税但语义表示鲁棒,并证明简单的时间上下文提示可将历史意外性降低约60%。
2026-06-26 cs.CL cs.DL
Speculative Decoding for Verilog: Speed and Quality, All in One
The Chinese University of Hong Kong(香港中文大学);Shanghai Jiao Tong University(上海交通大学);National Technology Innovation Center for EDA(国家EDA技术创新中心)
针对Verilog等专用编程语言代码生成的分词与质量难题,提出将推测解码应用于Verilog代码生成,通过对齐解码停止位与语法词元,同时实现最高5.05倍生成加速与17.19%的pass@10准确率提升。
2025-03-18 cs.AR cs.CL cs.LG
When Meaning Stays the Same, but Models Drift: Evaluating Quality of Service under Token-Level Behavioral Instability in LLMs
Electrical and Computer Engineering, Vanderbilt University(维珍尼亚大学电气与计算机工程系);Radiology and Radiological Sciences, Vanderbilt University(维珍尼亚大学放射学与放射科学系)
该研究针对大语言模型在语义等价但令牌级实现不同的提示下的行为漂移问题,提出PBSS诊断框架,在十项受限任务中发现模型特有的响应偏移规律,揭示了令牌化与解码对训练后服务质量稳定性的影响。
2025-06-11 cs.CL
DS@GT at CheckThat! 2025: Evaluating Context and Tokenization Strategies for Numerical Fact Verification
Georgia Institute of Technology(佐治亚理工学院)
本研究使用QuanTemp数据集评估数值事实核查的建模策略,发现R2L分词和更长上下文窗口均无提升,证据质量是瓶颈,最佳系统宏平均F1达0.57,位列CheckThat! 2025任务3前四。
2025-07-08 cs.CL
The Lookahead Limitation: Why Multi-Operand Addition is Hard for LLMs
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);Centre for European Research in Trusted AI (CERTAIN)(欧洲可信人工智能研究中心);Saarland University(萨尔大学)
本研究揭示大型语言模型因依赖单数字前瞻启发式而在多操作数加法中失败,通过探测实验和逐位评估证实其固有限制,阻碍了复杂数值推理的泛化。
2025-02-27 cs.CL
Exploring Tokenization Strategies and Vocabulary Sizes for Enhanced Arabic Language Models
Egypt University of Informatics(埃及信息学大学);AAST College of Artificial Intelligence(AAST人工智能学院)
本研究系统评估四种分词器及不同词汇表大小对阿拉伯语下游任务的影响,发现带Farasa的BPE在多数任务中表现最佳,且词汇表大小影响有限,为优化阿拉伯语模型提供指导。
2024-09-20 cs.CL
The Art of Breaking Words: Rethinking Multilingual Tokenizer Design
BharatGen Team(BharatGen团队)
本文系统研究了多语言分词器设计中词汇表大小、预分词规则和训练语料组成对效率与模型质量的影响,提出一种平衡多语言数据的组成算法,在印度系文字上显著降低了词元与单词比率并提升了推理速度。
2025-08-03 cs.AI cs.CL
DNABERT-2: Efficient Foundation Model and Benchmark For Multi-Species Genome
Northwestern University(西北大学);Stony Brook University(石溪大学)
针对k-mer标记化低效问题,提出用BPE替代并构建DNABERT-2基因组基础模型,同时推出多物种基准GUE,以21倍更少参数和92倍更少GPU时间达到最先进性能。
2024-03-18 cs.AI cs.CE cs.CL
Can Perplexity Predict Fine-tuning Performance? An Investigation of Tokenization Effects on Sequential Language Models for Nepali
Tribhuvan University(特里布万大学)
本研究针对非拉丁语系语言,评估了六种分词策略对尼泊尔语序列transformer模型微调性能的影响,发现SentencePiece在理解任务上优于字节级BPE,强调分词选择不应仅依据困惑度。
2025-06-09 cs.CL cs.LG
FuseCodec: Semantic-Contextual Fusion and Supervision for Neural Codecs
Center for Computational & Data Sciences, Independent University, Bangladesh(计算与数据科学中心,独立大学,孟加拉国);Amazon GenAI(亚马逊生成人工智能);Qatar Computing Research Institute(卡塔尔计算研究所);University of Virginia(弗吉尼亚大学)
本文提出 FuseCodec,通过潜在表示融合、全局语义-上下文监督和时间对齐上下文监督统一声学、语义与上下文信息,在 LibriSpeech 多项指标上取得最优,并支持零样本 TTS。
2025-09-29 cs.AI cs.CL cs.SD
MUTANT: A Recipe for Multilingual Tokenizer Design
Krutrim AI
本文提出MUTANT多语言分词方法,通过精心设计词汇和训练数据、语言感知预分词和子词多词感知训练,提升多语言LLM的分词效果,MUTANT-Indic在22种印度语言上实现SOTA性能。
2026-03-22 cs.CL
Tokenization Standards for Linguistic Integrity: Turkish as a Benchmark
Yıldız Technical University(伊兹密尔技术大学);Yeditepe University(耶迪特佩大学);University of Chicago(芝加哥大学);Istanbul Bilgi University(伊斯坦布尔比金大学)
本文提出一个以土耳其语为基准的分词评估框架,通过词汇量、token数量、处理时间、%TR和token纯度五个指标系统评估分词器,发现%TR与下游性能相关性更强,且更大模型参数并不必然带来更好分词质量,为形态复杂和低资源语言的分词优化提供了新标准。
2025-07-21 cs.CL
Modelling the Morphology of Verbal Paradigms: A Case Study in the Tokenization of Turkish and Hebrew
Idiap Research Institute(IDIAP研究机构);University of Geneva(日内瓦大学)
本研究探讨了transformer模型在土耳其和希伯来语动词词形处理中的表现,发现词化策略对模型效果有显著影响,尤其在希伯来语中,形态学意识的词化方法更有效。
2026-02-05 cs.CL
End-to-End Models for Chemical-Protein Interaction Extraction: Better Tokenization and Span-Based Pipeline Strategies
University of Kentucky(肯塔基大学)
本文提出一种基于跨度的流水线方法结合细粒度分词方案,在ChemProt数据集上实现了端到端关系抽取的新最优性能,F1分数提升超4%,并分析了关键失败模式。
2023-04-03 cs.CL
Tokenization and Morphology in Multilingual Language Models: A Comparative Analysis of mT5 and ByT5
MPI for Psycholinguistics(马克斯·普朗克心理语言学研究所);Radboud University(拉德堡德大学);Utrecht University(乌得勒支大学);University of Glasgow(格拉斯哥大学);University of Southern Denmark(南丹麦大学)
本文通过对比 mT5 与 ByT5 在 17 种语言上的形态学探测任务,分析分词策略对多语言模型形态知识编码的影响,发现形态信息集中于中后期层,且不规则语言更受益于更多预训练数据。
2024-10-21 cs.CL
Linguistically Informed Tokenization Improves ASR for Underresourced Languages
Department of Mathematics(数学系);Department of Linguistics(语言学系)
本研究在Yan-nhangu语上微调wav2vec2模型,证明语言学信息音素分词显著优于正字法分词,且ASR输出人工校正比手动转写更快,验证了ASR对低资源语言的适用性。
2025-10-07 cs.CL
Entropy-Driven Pre-Tokenization for Byte-Pair Encoding
Harvard University, Cambridge, MA(哈佛大学);Kempner Institute, Allston, MA(凯姆纳研究所);Kensho Technologies, Cambridge, MA(Kensho技术公司)
针对BPE在中文分词中忽视语言边界的问题,提出两种基于熵的预分词策略,利用互信息、左右熵或GPT-2预测熵指导分割,在PKU数据集上显著提升精确率、召回率和F1分数。
2025-06-18 cs.CL
Incorporating Domain Knowledge into Materials Tokenization
Department of Artificial Intelligence, Korea University(韩国大学人工智能系);Division of Language & AI, Hankuk University of Foreign Studies(汉克大学外语学院);Department of Computer Science and Engineering, Korea University(韩国大学计算机科学与工程系)
针对现有材料科学领域语言模型常用分词方法存在的过度碎片化和语义损失问题,提出融合材料知识的MATTER分词方法,通过材料概念检测与重排序保障概念完整性,在生成和分类任务上分别提升4%和2%的性能。
2025-06-09 cs.AI cs.CL
Multilingual Tokenization through the Lens of Indian Languages: Challenges and Insights
Department of CSE, Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校计算机科学与工程系);Department of CSE, Indian Institute of Technology Bombay(印度理工学院孟买分校计算机科学与工程系);SCEE, Indian Institute of Technology Mandi(印度理工学院曼迪分校软件工程系);Adobe Research(Adobe研究)
本研究针对17种印度语言,系统评估了子词算法、标准化方法、词汇量及词汇构建策略对多语言分词的影响,发现脚本特定标准化、Unigram LM保留形态边界及聚类词汇构建可提升性能。
2026-06-23 cs.CL
Linguistic Laws Meet Protein Sequences: A Comparative Analysis of Subword Tokenization Methods
Boğaziçi University(博阿齐奇大学)
本研究比较分析BPE、WordPiece和SentencePiece三种子词分词方法在不同词汇量下处理蛋白质序列的效果,发现其在结构域保留和语言定律遵循上存在差异,强调需开发蛋白质专用分词策略。
2024-11-26 cs.CL q-bio.QM
When Every Token Counts: Optimal Segmentation for Low-Resource Language Models
Sprinklr AI
针对低资源语言模型分词问题,本文通过实验证明最优BPE配置相比贪心分词能显著减少词元数量并提升性能,尤其在小型模型上效果明显,为多语言和低资源NLP应用提供了优化方向。
2025-05-01 cs.AI cs.CL cs.LG
Tokenization Matters: Improving Zero-Shot NER for Indic Languages
University of Washington(华盛顿大学);New York University(纽约大学);Liverpool John Moores University(利物浦约翰·莫尔斯大学)
本研究系统比较了BPE、SentencePiece和字符级分词策略,发现SentencePiece在低资源印度语言的零样本NER中优于BPE,因其更好地保留实体一致性和语言结构,尤其适用于形态丰富的极低资源语言。
2025-04-23 cs.AI cs.CL
PairAlign: A Framework for Autoregressive Tokenization via Self-Alignment with Applications to Audio Tokenization
Department of Electrical Engineering, Indian Institute of Technology, Kanpur(电子工程系,印度理工学院,坎浦尔)
PairAlign通过序列级自对齐实现紧凑音频标记化,利用条件序列生成方法,提升标记一致性、长度控制和编辑相似性。
2026-09-01 cs.CL cs.LG cs.SD
Beyond Two Bytes per Letter: Tokenization Overhead in Cyrillic AI Systems
该研究量化了多语言分词器对西里尔字母语言的分词开销,评估了LLMLingua-2、平衡字节级BPE等缓解策略,指出训练数据分配是开销成因且可在两阶段缓解。
2026-08-25 cs.AI cs.CL
VocalNet-M2: Advancing Low-Latency Spoken Language Modeling via Integrated Multi-Codebook Tokenization and Multi-Token Prediction
Shanghai Jiao Tong University(上海交通大学);Ant Group(蚂蚁集团)
针对端到端口语语言模型响应延迟问题,提出VocalNet-M2,集成多码本分词器和多token预测策略,直接生成多码本语音token以消除流匹配模型延迟,大幅降低首块延迟并保持性能,还为SLM开发提供码本策略见解。
2025-11-13 cs.AI cs.CL cs.SD
Kathleen: Oscillator-Based Byte-Level Text Classification Without Tokenization or Attention
Department of Computer Engineering & Informatics(计算机工程与信息学系)
Kathleen通过频域处理直接在原始UTF-8字节上进行文本分类,无需分词或注意力机制,参数少于47万,引入了多种创新组件,提升了分类准确率。
2026-05-13 cs.CL
Optimal Turkish Subword Strategies at Scale: Systematic Evaluation of Data, Vocabulary, Morphology Interplay
Independent Researcher(独立研究者)
本文系统评估了土耳其语子词分词策略,通过数据、词汇和形态交互的深入分析,提出统一的评估框架,并开源了相关工具和模型,为形态丰富语言的分词研究提供指导。
2026-02-06 cs.AI cs.CL
T5lephone: Bridging Speech and Text Self-supervised Models for Spoken Language Understanding via Phoneme level T5
MediaTek Research(联发科研究院);National Taiwan University(台湾大学);Academia Sinica(中央研究院)
在口语语言理解(SLU)中,一种自然的解决方案是将预训练的语音模型(例如HuBERT)和预训练的语言模型(PLM,例如T5)连接起来。大多数以前的作品使用预训练的语言模型与基于子词的标记。然而,输入设备的粒度影响语音模型输出和语言模型输入的对齐,并且具有基于字符的标记化的PLM未被充分探索。在这项工作中,我们进行了广泛的研究如何PLMs与不同的标记化策略影响口语语言理解任务,包括口语问答(SQA)和语音翻译(ST)。我们进一步扩展了这个想法,创建了T5lephone(发音为电话),这是T5的一个变体,使用音素化文本进行预训练。我们使用现有的PLM初始化T5lephone,使用相对轻量级的计算资源对其进行预训练。我们在NMSQA上达到了最先进的水平,T5lephone型号超过了T5,在端到端SQA和ST上有其他类型的设备。
2022-11-01 cs.CL cs.SD eess.AS
LM-SPT: LM-Aligned Semantic Distillation for Speech Tokenization
Department of Artificial Intelligence, Korea University(韩国大学人工智能系);Multi-modal Model Training, Kakao Corp(Kakao公司多模态模型训练部)
提出LM-SPT方法,通过语义语音重合成蒸馏,在不降低帧率的情况下生成与语言模型更对齐的离散语音标记,在ASR和TTS任务中优于现有方法。
2026-06-16 cs.AI cs.CL cs.SD
Duluth at SemEval-2025 Task 7: TF-IDF with Optimized Vector Dimensions for Multilingual Fact-Checked Claim Retrieval
Department of Computer Science University of Minnesota(计算机科学系明尼苏达大学)
本研究针对SemEval-2025任务7的多语言事实核查声明检索任务,提出优化向量维度与分词策略的TF-IDF检索系统,验证了传统方法在有限资源场景下的竞争力。
2025-05-19 cs.CL
A Study of Temporal Fusion Strategies for Named Entity Recognition in Historical Texts
Digital Humanities Laboratory, EPFL, Lausanne, Switzerland(瑞士洛桑联邦理工学院数字人文实验室)
针对历史文本中实体随时间漂移的问题,系统研究了将时间元数据嵌入NER模型的轻量级融合策略,实验表明后期融合在早期和噪声时期表现更鲁棒。
2026-06-29 cs.AI cs.CL
Text Rendering Strategies for Pixel Language Models
University of Copenhagen(哥本哈根大学);ROCKWOOL Foundation Research Unit(洛克伍德基金会研究单位);Johns Hopkins University(约翰斯·霍普金斯大学)
本文针对像素语言模型提出字符二元组渲染策略,在句子级任务上提升性能且不损害词元级与多语言任务,并可用22M参数模型达到原86M参数模型的效果。
2023-11-01 cs.CL
QuechuaTok: Morphological Boundary Accuracy as a Necessary Metric for Tokenizer Evaluation in Agglutinative Low-Resource Languages
Universidad Peruana de Ciencias Aplicadas (UPC)(秘鲁应用科技大学)
针对黏着型低资源语言,提出形态边界准确性(MorphAcc)作为分词器评估的关键指标,并在南克丘亚语上比较四种分词策略,证明仅靠生育率不足。
2026-10-30 cs.CL
Evaluating Answer Reranking Strategies in Time-sensitive Question Answering
University of Innsbruck(因斯布鲁克大学)
本文研究了时间敏感问答中答案时间特征的影响,通过探索多种简单的答案选择技术,发现时间特征在从历时性文档集合中选择最相关答案中起关键作用,并揭示了显式与隐式时间问题间的差异。
2025-03-06 cs.CL cs.IR
Towards Debiasing Temporal Sentence Grounding in Video
Nanyang Technological University(南洋理工大学);Institute of High Performance Computing, A*STAR(A*STAR高性能计算研究所);Alibaba DAMO Academy(阿里巴巴达摩院)
视频中的时间句子基础(TSGV)任务是从未修剪的视频中定位时间时刻,以匹配语言查询,即,一句话在不考虑矩注释中的偏差的情况下(例如,视频中的开始和结束位置),但是许多模型倾向于捕获时刻注释的统计信息,并且不能很好地学习视频和语言查询之间的跨模态推理。在本文中,我们提出了两个去偏置策略,数据去偏置和模型去偏置,“迫使”TSGV模型捕捉跨模态的相互作用。数据去偏通过视频截断实现数据过采样,以平衡训练集中的时刻时间分布。模型去偏置利用仅视频和仅查询模型来捕获分布偏置,并迫使模型学习跨模态交互。使用VSLNet作为基础模型,我们评估了这两种策略对包含分布外测试实例的两个数据集的影响。实验结果表明,这两种策略都能有效地提高模型的泛化能力.配备了两种去偏策略,VSLNet在两个数据集上都获得了最佳结果。
2021-11-08 cs.CL cs.CV
GigaChat Audio: Time-aware Large Audio Language Model
SaluteDevices, Russia(SaluteDevices)
研究音频条件语言模型长录音时间定位难题,提出时间感知音频语言模型,利用合成监督交织时间标记与音频令牌,在多基准测试中实现高精度,支持相关描述与总结,通过消融实验明确多因素影响,并发布模型权重和数据集。
2026-07-14 cs.CL eess.AS
Low-Resource English-Tigrinya MT: Leveraging Multilingual Models, Custom Tokenizers, and Clean Evaluation Benchmarks
L3S Research Center(L3S 研究中心);Leibniz University Hannover(汉诺威莱布尼茨大学);Aksum University(阿克苏姆大学)
本文针对低资源英语-提格里尼亚语翻译,提出结合自定义分词器、嵌入初始化和领域自适应微调的迁移学习方法,并构建人工对齐评估集,实验证明其显著优于零样本基线,强调了语言感知建模和可复现基准的重要性。
2025-09-24 cs.AI cs.CL