Fine-Tuning Transformers: Vocabulary Transfer
Yandex;Higher School of Economics(高等经济大学);Facebook UK(英国脸书);Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学与科学研究所);University of Lisbon(里斯本大学);CEMAPRE
本文研究微调时使用语料专属分词对Transformer模型性能的影响,提出结合词汇token初始化与微调策略的词汇迁移方法,可加快迁移速度并提升微调后模型性能。
2022-12-12 cs.AI cs.CL cs.LG
The Ups and Downs of Large Language Model Inference with Vocabulary Trimming by Language Heuristics
School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
本研究探讨通过基于 Unicode 脚本过滤和语料库选择的语言启发式方法对 LLM 进行词表裁剪,以提升内存与时间效率,发现其在小模型中显著优化但存在大模型收益递减及语言表现不一致的局限。
2024-04-28 cs.CL
Constructing Long Short-Term Memory based Deep Recurrent Neural Networks for Large Vocabulary Speech Recognition
Peking University(北京大学)
基于长短期记忆(LSTM)的声学建模方法最近已被证明在某些语音识别任务上具有最先进的性能。为了进一步提高性能,在这项研究中,考虑到深层层次模型比浅层模型更有效,研究了LSTM的深层扩展。受先前关于构建深度循环神经网络(RNN)的研究的启发,提出了替代的深度LSTM架构,并在大词汇量会话电话语音识别任务上进行了经验评估。同时,对于多GPU设备,介绍并讨论了LSTM网络的训练过程。实验结果表明,深度LSTM网络受益于深度,并在此任务上产生最先进的性能。
2015-05-11 cs.CL cs.NE
AVocaDo: Strategy for Adapting Vocabulary to Downstream Domain
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
在迁移学习的微调阶段,预训练的词汇保持不变,而模型参数更新。当存在领域差异时,基于预训练数据生成的词汇表对于下游数据是次优的。我们建议将词汇表视为一个可优化的参数,允许我们通过基于标记化统计的特定于域的词汇表来扩展词汇表。此外,我们通过利用从具有正则化项的预训练语言模型中学习的知识,将添加的单词的嵌入从过度拟合到下游数据中。我们的方法在不同的域上实现了一致的性能改进(即,生物医学、计算机科学、新闻和评论)。
2021-10-26 cs.CL
VocabTailor: Dynamic Vocabulary Selection for Downstream Tasks in Small Language Models
The Chinese University of Hong Kong(香港中文大学);Infinigence AI;Tsinghua University(清华大学);SLAI;Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
VocabTailor通过动态词汇选择框架减少小语言模型词汇相关组件的内存使用,结合静态与动态策略,实现高达99%的内存节省且不影响性能。
2026-04-18 cs.AI cs.CL cs.LG
Syllable Subword Tokens for Open Vocabulary Speech Recognition in Malayalam
在混合自动语音识别(ASR)系统中,发音词典(PL)和语言模型(LM)对于正确地检索口语单词序列是必不可少的。作为一种形态复杂的语言,马拉雅拉姆语的词汇量非常庞大,不可能建立一个涵盖所有不同单词形式的PL和LM。使用子字标记来构建PL和LM,并在解码后将它们组合成单词,使得能够恢复许多词汇表外的单词。在这项工作中,我们调查的影响,而不是在马拉雅拉姆语ASR的话,使用音节作为子字令牌,并评估相对改善的词典大小,模型内存的要求和字出错率。
2023-01-17 cs.CL
Extremely Small BERT Models from Mixed-Vocabulary Training
University of Pittsburgh(匹兹堡大学);Google Research(谷歌研究院);Kuaishou Technology(快手科技);Google Brain(谷歌大脑)
像BERT这样的预训练语言模型在NLP任务上取得了很好的效果,但由于内存占用,在资源有限的设备上是不切实际的。这种占用的很大一部分来自具有大输入词汇表和嵌入维度的输入嵌入。现有的用于模型压缩的知识蒸馏方法不能直接应用于训练词汇量减少的学生模型。为此,我们提出了一种蒸馏方法,通过混合词汇训练来调整教师和学生的嵌入。我们的方法将BERT-LARGE压缩为具有较小词汇量和隐藏维度的任务不可知模型,该模型比其他蒸馏BERT模型小一个数量级,并且在语言理解基准测试以及实际对话任务上提供了更好的大小准确性权衡。
2021-02-06 cs.CL
Generating Fine-Grained Open Vocabulary Entity Type Descriptions
Rutgers University – New Brunswick(罗格斯大学新布朗斯维克分校)
虽然大规模知识图谱提供了大量关于实体的结构化事实,但简短的文本描述通常有助于简洁地表征实体及其类型。不幸的是,许多知识图谱实体缺乏这样的文本描述。在本文中,我们介绍了一个动态的基于内存的网络,生成一个简短的开放的词汇描述的实体,通过联合利用诱导的事实嵌入以及动态上下文生成的单词序列。我们证明了我们的架构的能力,以识别相关信息,更准确地生成类型描述的点蚀系统对几个强大的基线。
2018-05-27 cs.CL
Efficient Multilingual Neural Machine Translation via Corpus-Driven Vocabulary Pruning: An English-Arabic Case Study
本文针对多语言神经机器翻译的高内存消耗问题,提出语料驱动词汇剪枝结合定向微调的框架,在英语-阿拉伯语对实验中实现60%内存节省且性能无损失,优化模型表现优于专用双语基线。
2026-08-05 cs.CL
Long Short-Term Memory Based Recurrent Neural Network Architectures for Large Vocabulary Speech Recognition
Google(谷歌)
长短期记忆(LSTM)是一种循环神经网络(RNN)架构,旨在解决传统RNN的消失和爆炸梯度问题。与前馈神经网络不同,RNN具有循环连接,这使得它们在序列建模方面非常强大。它们已成功地用于序列标记和序列预测任务,如手写识别,语言建模,声学帧的语音标记。然而,与深度神经网络相比,RNN在语音识别中的使用仅限于小规模任务中的电话识别。在本文中,我们提出了新的基于LSTM的RNN架构,它可以更有效地利用模型参数来训练用于大词汇量语音识别的声学模型。我们训练和比较LSTM,RNN和DNN模型在不同数量的参数和配置。我们表明,LSTM模型收敛速度很快,并为相对较小的模型提供了最先进的语音识别性能。
2014-02-05 cs.CL cs.LG cs.NE
Cut Your Losses in Large-Vocabulary Language Models
Apple(苹果公司)
本文提出Cut Cross-Entropy(CCE)方法,通过仅计算正确token的logit并利用闪存进行log-sum-exp归约,大幅降低大词汇量语言模型训练中交叉熵损失的内存占用,同时保持训练速度和收敛性。
2025-03-10 cs.CL cs.LG
Look Before You Select: Rethinking Vocabulary Sparsification in On-Policy Distillation
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Carnegie Mellon University(卡内基梅隆大学);New Jersey Institute of Technology(新泽西理工学院);Kuaishou(快手)
提出SparseOPD,通过全词汇教师纠正选择重要标记进行稀疏反向传播,在降低内存的同时保持甚至提升在线策略蒸馏性能。
2026-09-29 cs.CL cs.LG
Long Short-Term Memory based Convolutional Recurrent Neural Networks for Large Vocabulary Speech Recognition
Peking University(北京大学)
长短期记忆(LSTM)循环神经网络(RNN)已被证明在许多语音识别任务上具有最先进的性能,因为它们能够提供所有序列历史的学习动态变化的上下文窗口。另一方面,卷积神经网络(CNN)为深度前馈神经网络(FFNN)带来了显著的改进,因为它们能够更好地减少输入信号中的频谱变化。结合CNN和LSTM RNN提出了一种称为卷积递归神经网络(CRNN)的网络结构。在提出的CRNN中,没有相邻上下文帧的每个语音帧被组织为沿频率轴的许多局部特征块,然后对沿时间轴的每个特征块执行LSTM网络。我们训练和比较FFNN,LSTM RNN和建议的LSTM CRNN在不同数量的配置。实验结果表明,LSTM CRNN可以超过最先进的语音识别性能。
2016-10-11 cs.CL cs.NE
LLM Vocabulary Compression for Low-Compute Environments
IIIT Hyderabad(印度信息技术研究所海得拉巴分校)
本文提出一种基于BPE合并分组token以压缩语言模型最终线性层的方法,在TinyStories数据集上性能与GPT-Neo和GPT2相当,内存降低3.4倍、吞吐量提升3倍,适用于低算力环境。
2024-11-10 cs.CL cs.LG
Prune or Retrain: Optimizing the Vocabulary of Multilingual Models for Estonian
本文面向爱沙尼亚语比较重训练 tokenizer 与剪枝未使用 token 两种多语言编码器词表适配方法,发现剪枝不损害 NER 性能,而重训练会降低性能。
2025-01-05 cs.CL
How Vocabulary Sharing Facilitates Multilingualism in LLaMA?
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Hong Kong University of Science and Technology(香港科技大学);Carnegie Mellon University(卡内基梅隆大学)
本研究从词汇共享角度分析LLaMA在101种语言中的多语言能力,通过嵌入微调前后的性能差距划分四个象限,并据此提供高效的调优指南,显著提升了模型的多语言性能。
2024-06-03 cs.AI cs.CL
Latent Thoughts Tuning: Bridging Context and Reasoning with Fused Information in Latent Tokens
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
研究提出潜在思维调整(LT-Tuning)框架,通过重新定义潜在思维构建与部署方式,引入上下文预测融合机制,结合三阶段课程学习,实现潜在与显式思维模式动态切换,优于现有潜在推理基线,有效缓解特征崩溃并提升推理精度。
2026-07-13 cs.CL
Now It Sounds Like You: Learning Personalized Vocabulary On Device
Meta Reality Labs(元现实实验室);FAIR, Meta(元研究院)
本文提出一种名为OOV expansion的新技术,通过引入个性化OOV adapter从中心模型转移知识并学习个性化词汇嵌入,有效解决了设备端闭集词汇语言模型无法处理用户特定词表外词汇的问题,在最小化内存和延迟影响下显著提升了模型准确率。
2024-02-13 cs.AI cs.CL
OpenPI-C: A Better Benchmark and Stronger Baseline for Open-Vocabulary State Tracking
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对开放词汇状态跟踪,构建了更干净的数据集 OpenPI-C,提出基于聚类的评估指标,并增强 seq2seq 基线以建模时间依赖性和实体感知,显著提升性能。
2023-06-20 cs.CL
Impact of Tokenization on LLaMa Russian Adaptation
Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学)
本文研究 LLaMa 俄语适配中的分词瓶颈,比较三种词表替换方案,证明其可提升俄语质量与用户偏好,并显著加速微调、推理且降低内存消耗。
2023-12-05 cs.AI cs.CL
Grounded Token Initialization for New Vocabulary in LMs for Generative Recommendation
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);LinkedIn Corporation(领英公司);Northeastern University(东北大学);University of California, Davis(加州大学戴维斯分校)
本文提出GTI方法,通过在预训练嵌入空间中语义地初始化新词汇,提升生成推荐系统性能,优于传统均值初始化和辅助任务适应方法。
2026-08-28 cs.AI cs.CL cs.LG
Efficient Dialogue State Tracking by Selectively Overwriting Memory
Clova AI, NAVER Corp.(NAVER公司Clova AI)
最近的作品在对话状态跟踪(DST)集中在一个开放的基于词汇的设置,以解决可扩展性和泛化问题的预定义的基于本体的方法。然而,它们是低效的,因为它们从头开始预测每一个回合的对话状态。在这里,我们认为对话状态作为一个显式的固定大小的内存,并提出了一个选择性的存储机制,更有效的DST。该机制由两个步骤组成:(1)预测每个存储器槽上的状态操作,以及(2)用新的值来存储存储器,其中只有少数是根据预测的状态操作生成的。该方法将DST分解为两个子任务,并引导解码器只关注其中一个任务,从而减轻了解码器的负担。这提高了培训和DST性能的有效性。我们的SOM-DST(Selectively Overwriting Memory for Dialogue State Tracking)模型在基于开放词汇的DST设置中实现了最先进的联合目标准确率,MultiWOZ 2.0为51.72%,MultiWOZ 2.1为53.01%。此外,我们分析了当前和地面真值给定情况之间的准确性差距,并建议改善状态操作预测以提高DST性能是一个有前途的方向。
2020-05-04 cs.CL
AdaptiVocab: Enhancing LLM Efficiency in Focused Domains through Lightweight Vocabulary Adaptation
Technion - IIT(以色列理工学院);Habana Labs(Habana实验室)
针对大语言模型在特定领域计算开销高的问题,提出轻量级端到端词表适配方法AdaptiVocab,通过替换领域n元词元、指数加权初始化嵌入与单GPU微调,在不损失性能的前提下降低25%以上词元用量。
2025-08-01 cs.CL
Adaptive BPE Tokenization for Enhanced Vocabulary Adaptation in Finetuning Pretrained Language Models
Indian Institute of Technology Kharagpur(印度理工学院卡拉格浦分校)
针对BPE词表自适应在PLM微调中因简单追加词表导致次优tokenization的问题,提出AdaptBPE方法,通过在初始化阶段优先对目标词表进行最长字符串匹配,显著提升了分类与摘要任务的性能。
2024-10-04 cs.CL
Small-Footprint Open-Vocabulary Keyword Spotting with Quantized LSTM Networks
Sonos Inc.(Sonos公司);Paris(巴黎(注:巴黎是城市名,非机构,此处可能原数据格式问题,若严格按原文仅提取机构,原数据中“Paris, France”可能是地址,仅保留“Sonos Inc.”为机构)}]}注:经仔细核对,原数据中“Affiliation: Sonos Inc., Paris, France”,其中“Paris, France”是城市和国家,非机构,因此仅保留“Sonos Inc.”为机构。正确输出应为:{)
我们探讨了一个基于关键字的口语语言理解系统,在该系统中,用户的意图可以直接从查询中的关键字序列的检测。在本文中,我们专注于一个开放的词汇表关键字定位方法,允许用户定义自己的关键字,而不必重新训练整个模型。我们描述了不同的设计选择,导致一个快速和占用空间小的系统,能够运行在微小的设备上,对于任何任意一组用户定义的关键字,没有特定于这些关键字的训练数据。该模型基于量化的长短期记忆(LSTM)神经网络,使用连接主义时间分类(CTC)进行训练,重量小于500 KB。我们的方法利用CTC训练的网络的预测的一些属性来校准置信度分数并实现快速检测算法。所提出的系统优于标准的关键字填充模型的方法。
2020-02-25 cs.CL
Dissecting vocabulary biases datasets through statistical testing and automated data augmentation for artifact mitigation in Natural Language Inference
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本研究针对自然语言推理众包数据集的词汇偏差伪影问题,提出统计检验方法发现词汇与蕴涵类别的关联,并设计字符到词级的自动数据增强策略,经ELECTRA模型实验验证可提升准确率并降低偏差。
2023-12-14 cs.CL
Deep-FSMN for Large Vocabulary Continuous Speech Recognition
Alibaba Inc.(阿里巴巴公司);NELSLIP, USTC(中国科学技术大学NELSLIP)
在本文中,我们提出了一种改进的前馈顺序存储网络(FSMN)的结构,即深FSMN(DFSMN),通过在相邻层的存储块之间引入跳跃连接。这些跳跃连接使信息能够在不同的层之间流动,从而减轻了构建非常深的结构时的梯度消失问题。因此,DFSMN显著受益于这些跳跃连接和深结构。我们比较了DFSMN和BLSTM在有和没有较低帧速率(LFR)的情况下在几个大型语音识别任务(包括英语和汉语)上的性能。实验结果表明,DFSMN可以始终优于BLSTM与戏剧性的增益,特别是与LFR使用CD-Phone作为建模单元训练。在2000小时的Fisher(FSH)任务中,所提出的DFSMN可以通过纯粹使用交叉熵准则和使用3-gram语言模型解码来实现9.4%的字错误率,与BLSTM相比,其实现了1.5%的绝对改善。在一个20000小时的汉语识别任务中,LFR训练的DFSMN与LFR训练的BLSTM相比,可以实现超过20%的相对提高。此外,我们可以很容易地设计的前瞻滤波器顺序的DFSMN中的存储器块来控制实时应用的延迟。
2018-03-04 cs.CL cs.NE
VOCABTRIM: Vocabulary Pruning for Efficient Speculative Decoding in LLMs
Qualcomm AI Research(高通人工智能研究)
针对大词表导致基于草拟器的推测解码草拟开销过高的问题,本文提出免训练的 VocabTrim,通过重构草拟器 LM head 仅保留高频 token,在 Spec-Bench 上将 Llama-3.2-3B-Instruct 的 MBSU 提升 16%。
2025-07-03 cs.CL cs.LG
A Factorized Recurrent Neural Network based architecture for medium to large vocabulary Language Modelling
JNResearch
统计语言模型是许多使用语义的应用程序的核心。众所周知,递归神经网络(RNN)可以为语言建模产生最先进的结果,在许多情况下优于传统的n-gram。为了生成词汇表的概率分布,这些模型需要一个softmax输出层,其大小随词汇表的大小线性增加。大型词汇表需要非常大的softmax层,在典型的笔记本电脑/PC上训练它们需要大量的时间和机器资源。在本文中,我们提出了一种新的技术,用于实现基于RNN的大词汇量语言模型,大大加快计算,同时最佳地使用有限的内存资源。我们的技术,同时建立在通过具有多个输出层来分解输出层的概念上,通过大幅优化单个输出层大小并消除对多步预测过程的需要来改进早期工作。
2016-02-04 cs.AI cs.CL
To Each Language Its Tokenizer: Modular Tokenizers for Efficient Multilingual LLMs
Kyutai;Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Institute of Intelligent Systems and Robotics(智能系统与机器人研究所);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Grenoble INP(格勒诺布尔国立理工学院);LIG(格勒诺布尔信息学实验室)
针对多语言大模型共享词汇表导致压缩不均、内存占用高和推理慢的问题,提出模块化分词器框架,通过可提取子分词器及采样预训练策略,实现高效训练与推理,不牺牲性能。
2026-09-15 cs.CL
Rethinking Token Prediction: Tree-Structured Diffusion Language Model
本文提出树结构扩散语言模型,通过利用标记间的内在结构,减少参数和内存使用,实现在有限资源下提升性能。
2026-04-04 cs.CL cs.LG
Adapters for Altering LLM Vocabularies: What Languages Benefit the Most?
University of Maryland(马里兰大学);Microsoft(微软公司);Amazon(亚马逊公司)
本文提出 VocADT,用固定模型权重下的适配器学习现有嵌入的最优线性组合以扩展 LLM 词汇表;11 种语言实验表明其在多语言理解和翻译任务上优于 Mistral 等基线。
2025-03-16 cs.CL
DisaggKD: Efficient Knowledge Distillation through Teacher-Student Disaggregation and a Fused Loss
The University of Tokyo(东京大学);SB Intuitions Corp.(SB Intuitions公司)
DisaggKD将知识蒸馏的教师与学生跨节点解耦,通过行窗口词汇分片损失与预取环优化,在Qwen模型对上实现同置部署的损失与速度优势,且大模型对下解耦部署可避免同置的内存不足问题。
2026-10-14 cs.CL cs.DC cs.LG
Knowledge Distillation of Russian Language Models with Reduction of Vocabulary
MIPT(莫斯科物理技术学院);AIRI
如今,Transformer语言模型作为大多数自然语言处理任务的核心组件。这种模型的工业应用需要最小化计算时间和内存占用。知识蒸馏是实现这一目标的途径之一。该领域中的现有方法主要集中在减少嵌入/隐藏表示的层数或维数上。另一种选择是减少词汇表中的标记数量,从而减少学生模型的嵌入矩阵。词汇量最小化的主要问题是输入序列与教师和学生模型的输出类分布之间的不匹配。因此,不可能直接应用基于KL的知识蒸馏。我们提出两个简单而有效的对齐技术,使知识蒸馏的学生减少词汇。对俄罗斯的一些常见基准,如俄罗斯SuperGLUE,SberQuAD,RuSentiment,ParaPhaser,Collection-3的蒸馏模型的评估表明,我们的技术允许实现从$17\times$到$49\times$的压缩,同时保持$1.7\times$压缩学生与全尺寸词汇的质量,但只减少了Transformer层的数量。我们提供我们的代码和提炼模型。
2022-05-04 cs.CL cs.LG
LlamaTurk: Adapting Open-Source Generative Large Language Models for Low-Resource Language
Middle East Technical University(中东技术大学)
针对低资源语言大模型发展不足的问题,本研究探索将英语主导的开源大模型适配至低资源语言,评估了持续训练、指令微调等多种策略,明确了不同方法的效果差异,为低资源语言大模型适配提供了参考。
2024-05-13 cs.AI cs.CL
Transferable and Principled Efficiency for Open-Vocabulary Segmentation
Beijing Jiaotong University(北京交通大学);Simon Fraser University(西蒙菲莎大学);Peng Cheng Laboratory(鹏城实验室)
针对开放词汇分割现有方法计算开销大、传统效率优化方案依赖启发式规则难以迁移的问题,提出有理论依据的可迁移效率优化策略,用小模型实现了更优的精度-成本权衡。
2024-09-17 cs.CL cs.CV eess.IV
Unbounded cache model for online language modeling with open vocabulary
Facebook AI Research(Facebook 人工智能研究院)
最近,连续缓存模型被提出作为递归神经网络语言模型的扩展,以使其预测适应数据分布的局部变化。这些模型仅捕获多达数千个令牌的本地上下文。在本文中,我们提出了一个扩展的连续缓存模型,它可以扩展到更大的上下文。特别是,我们使用了一个大规模的非参数记忆组件,它存储了过去看到的所有隐藏的激活。我们利用最近的进展,近似最近邻搜索和量化算法存储数以百万计的表示,同时有效地搜索它们。我们进行了大量的实验表明,我们的方法显着提高了新的分布上的预训练语言模型的困惑,并可以有效地扩展到更大的上下文比以前提出的本地缓存模型。
2017-11-07 cs.CL cs.LG
ALIGNBEAM : Inference-Time Alignment Transfer via Cross-Vocabulary Logit Mixing
Lexsi Labs
针对领域微调降低大模型安全性的问题,提出无需训练的ALIGNBEAM方法,通过逐token翻译锚模型logit并选择最安全候选,实现跨词汇表的安全对齐迁移,保持任务准确性和推理开销。
2026-06-11 cs.AI cs.CL cs.ET
Training Large-Vocabulary Neural Language Models by Private Federated Learning for Resource-Constrained Devices
Apple Inc.(苹果公司)
联邦学习(FL)是一种使用跨设备分布的数据来训练模型的技术。差分隐私(DP)为敏感数据提供正式的隐私保证。我们的目标是在计算受限的设备上训练一个大型神经网络语言模型(NNLM),同时使用FL和DP保护隐私。然而,引入模型的DP噪声随着模型大小的增加而增加,这通常会阻止收敛。我们提出了部分嵌入更新(PEU),一种新的技术,以减少噪声,通过减少有效载荷的大小。此外,我们采用低秩适应(LoRA)和噪声对比估计(NCE),以减少计算受限设备上的大型模型的内存需求。这种技术组合使得训练大词汇量语言模型成为可能,同时保持准确性和隐私性。
2022-07-18 cs.CL cs.CR cs.LG
Cross-Tokenizer Likelihood Scoring Algorithms for Language Model Distillation
University of Toronto(多伦多大学);Meta AI
本研究提出跨分词器似然评分算法,通过BPE递归结构解决词汇不匹配问题,提升蒸馏效率和性能。
2025-12-16 cs.CL cs.LG
Personalized Speech recognition on mobile devices
Google Inc.(谷歌公司)
我们描述了一个大词汇量的语音识别系统,它是准确的,具有低延迟,但有一个足够小的内存和计算足迹运行速度比Nexus 5 Android智能手机上的实时。我们采用了一个量化的长短期记忆(LSTM)声学模型,用连接主义时间分类(CTC)训练直接预测音素目标,并使用基于SVD的压缩方案进一步减少其内存占用。此外,我们最大限度地减少我们的内存足迹,使用一个单一的语言模型的听写和语音命令域,使用贝叶斯插值构造。最后,为了正确处理设备特定的信息,如专有名称和其他上下文相关的信息,我们将词汇项注入解码器图,并在运行中偏置语言模型。我们的系统实现了13.5%的字出错率的开放式听写任务,运行速度的中位数比实时快7倍。
2016-03-11 cs.CL cs.LG cs.SD
LightRNN: Memory and Computation-Efficient Recurrent Neural Networks
Nanjing University of Science and Technology(南京理工大学);Microsoft Research Asia(微软亚洲研究院)
循环神经网络(RNN)在语言建模和机器翻译等自然语言处理任务中取得了最先进的性能。然而,当词汇量很大时,RNN模型将变得非常大(例如,可能超出GPU设备的存储器容量),并且其训练将变得非常低效。在这项工作中,我们提出了一种新的技术来应对这一挑战。关键思想是使用2-分量(2C)共享嵌入来表示单词。我们将词汇表中的每个单词分配到一个表中,其中的每一行与一个向量关联,每一列与另一个向量关联。根据单词在表中的位置,单词由两个分量共同表示:行向量和列向量。由于同一行中的单词共享行向量,而同一列中的单词共享列向量,因此我们仅需要$2 \sqrt{|V|}$向量来表示$|V|$唯一单词的词汇表,这远少于现有方法所需的$|V|$向量。基于2-Component共享嵌入,我们设计了一种新的RNN算法,并在几个基准数据集上使用语言建模任务对其进行了评估。结果表明,我们的算法显着减少了模型的大小,加快了训练过程,而不牺牲准确性(它实现了类似的,如果不是更好,困惑相比,最先进的语言模型)。值得注意的是,在10亿字基准数据集上,我们的算法实现了与以前的语言模型相当的复杂度,同时将模型大小减少了40-100倍,并将训练过程加快了2倍。我们命名我们提出的算法\emph{LightRNN},以反映其非常小的模型大小和非常高的训练速度。
2016-10-31 cs.CL cs.LG
Probing Commonsense Knowledge in Pre-trained Language Models with Sense-level Precision and Expanded Vocabulary
INESC TEC(葡萄牙国家工程与系统创新研究所);University of Porto(波尔图大学);Cardiff University(卡迪夫大学)
常识推理的进展通常是从设计要求常识知识的问答任务的性能改进来衡量的。然而,在这些特定任务上微调大语言模型(LM)并不直接评估在预训练期间学习的常识。在预先训练的LM中,对常识知识的最直接评估可以说是针对常识断言的完形填空式任务(例如,一笔用于[面具]。)然而,这种方法受到LM可用于屏蔽预测的词汇表的限制,并且其精度取决于断言提供的上下文。在这项工作中,我们提出了一种方法,用于丰富LM与接地的感觉库存(即,WordNet)在词汇水平上可用,无需进一步培训。这种修改将完形填空式提示的预测空间增大到大型本体的大小,同时实现更细粒度(感测级)的查询和预测。为了评估LM具有更高的精度,我们提出了SenseLAMA,一个完形填空风格的任务,具有来自WordNet,WikiData和ConceptNet的消歧三元组的动词化关系。将我们的方法应用于BERT,产生一个名为SynBERT的WordNet丰富版本,我们发现LM可以从自我监督中学习非平凡的常识知识,覆盖众多的关系,并且比基于相似性的方法更有效。
2022-10-12 cs.AI cs.CL
A Reverse Sign Language Dictionary: Open-Vocabulary Sign Recognition from Continuous Signing via Video Captioning and Description Retrieval
The University of Tokyo(东京大学);National Institute of Informatics(情报学研究所)
该研究提出无需 gloss 监督的反向手语词典,通过开放权重视觉语言模型生成手语描述、多语言句子编码器检索,实现日本手语的开放词汇识别,可见与未见类检索均获显著提升。
2026-09-04 cs.CL cs.CV
Memory-Efficient Fine-Tuning of Transformers via Token Selection
Meta AI
本文提出 TokenTune 方法,通过仅对部分输入 token 反向传播并缓存其中间激活值,大幅降低 Transformer 模型微调的内存开销,且可与 LoRA 等方法结合,在数十亿参数模型的少样本任务中达到与全量微调相当的性能。
2025-01-31 cs.CL cs.LG
Ladder Up, Memory Down: Low-Cost Fine-Tuning With Side Nets
Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);LORIA(洛林计算机科学及其应用研究所);Alcatel-Lucent Enterprise(阿尔卡特朗讯企业)
LST通过轻量级侧边网络实现高效微调,比QLoRA更节省内存,同时在多个任务中保持竞争力。
2026-08-27 cs.CL cs.LG
LLMem: Estimating GPU Memory Usage for Fine-Tuning Pre-Trained LLMs
University of Colorado Boulder(科罗拉多大学博尔德分校);Amazon Web Services(亚马逊网络服务);Electronics and Telecommunications Research Institute(电子通信研究院)
针对有限硬件下微调预训练LLM的GPU显存约束及最优分布式微调方法难确定的问题,提出LLMem方案,通过模型结构与方法显存分布提前估算显存并选最优方法,单卡误差最高1.6%,十亿参数以上多卡微调平均误差3.0%。
2024-04-16 cs.AI cs.CL cs.LG
TokenSeek: Memory Efficient Fine Tuning via Instance-Aware Token Ditching
Rochester Institute of Technology(罗切斯特理工学院);Meta AI;Kent State University(肯特州立大学);Rutgers University(罗格斯大学);UC Davis(加州大学戴维斯分校);Accenture(安永);University of Missouri-Kansas City(密苏里大学堪萨斯城分校)
TokenSeek通过实例感知的令牌丢弃技术,在保持性能的同时显著降低微调的内存消耗。
2026-01-27 cs.AI cs.CL
Memory-Efficient Structured Backpropagation for On-Device LLM Fine-Tuning
OptAI Inc.(OptAI公司)
提出MeSP方法,通过手动推导利用LoRA低秩结构的反向传播,在计算数学等价梯度的同时平均减少49%内存,使内存受限设备上的微调成为可能。
2026-05-29 cs.CL cs.LG
EvalYaks: Instruction Tuning Datasets and LoRA Fine-tuned Models for Automated Scoring of CEFR B2 Speaking Assessment Transcripts
Computational and Data Science, IISc, Bangalore, India(计算机与数据科学,IISc,班加罗尔,印度);Talking Yak, Inc., Cedarburg, Wisconsin, USA(Talking Yak公司, Cedarburg,威斯康星州,美国);Talking Yak English Learning Private Limited, Bangalore, India(Talking Yak英语学习私人有限公司,班加罗尔,印度)
为解决CEFR B2英语口语人工评估的可扩展性挑战,研究构建了专家验证的合成对话及指令微调数据集,并对Mistral 7B进行LoRA微调,开发了EvalYaks模型系列,实现了高准确率的自动评分与级别生成。
2025-05-30 cs.AI cs.CL
Tuning-less Object Naming with a Foundation Model
Comenius University(科马纽斯大学)
本文提出一种基于现有基础模型和注意力关联机制的无调优实时对象命名系统,能以单样本方式学习新实体,并探讨了其可处理的对象数量上限。
2024-02-26 cs.AI cs.CL
NodePiece: Compositional and Parameter-Efficient Representations of Large Knowledge Graphs
Mila(米拉);McGill University(麦吉尔大学)
传统的知识图谱(KG)的表示学习算法将每个实体映射到唯一的嵌入向量。这样的浅查找导致用于存储嵌入矩阵的存储器消耗的线性增长,并且当与真实世界KG一起工作时引起高计算成本。与NLP中常用的子词标记化相似,我们探索了可能具有次线性内存要求的更参数有效的节点嵌入策略。为此,我们提出了NodePiece,一种基于锚的方法来学习固定大小的实体词汇。在NodePiece中,子词/子实体单元的词汇表是从具有已知关系类型的图中的锚节点构建的。给定这样一个固定大小的词汇表,可以为任何实体引导编码和嵌入,包括那些在训练过程中看不到的实体。实验表明,NodePiece在节点分类,链接预测和关系预测任务中表现出竞争力,同时保留图中不到10%的显式节点作为锚点,并且通常具有10倍的参数。为此,我们证明了一个启用NodePiece的模型在一个参数少70倍的大型OGB WikiKG 2图上的性能优于现有的浅层模型。
2022-02-01 cs.AI cs.CL cs.LG
CLIP as RNN: Segment Countless Visual Concepts without Training Endeavor
University of Oxford(牛津大学);Google Research(谷歌研究院)
本文提出一种基于冻结 VLM 的循环分割框架,无需训练即可逐步过滤无关文本并提升掩码质量,在零样本语义和指代分割上超越微调方法并刷新多项记录。
2024-05-07 cs.CL cs.CV cs.LG
Find Before You Fine-Tune: A Diagnostic Study of Small LLMs for Cybersecurity QA
The University of Alabama(阿拉巴马大学);Meharry Medical College(梅哈里医学院);Mississippi State University(密西西比州立大学);The University of Texas at El Paso(德克萨斯大学埃尔帕索分校)
针对网络安全问答选择小型语言模型难的问题,提出FiT诊断框架,从三方面刻画模型。通过对五个模型在两种微调模式下研究发现微调利弊因模式而异,预微调FiT分数可预测变化,能筛选模型、避免不必要微调,支持安全部署。
2026-07-22 cs.AI cs.CL cs.CR