How Large a Vocabulary Does Text Classification Need? A Variational Approach to Vocabulary Selection
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Ohio State University（俄亥俄州立大学）；Samsung Research（三星研究院）
随着深度学习的快速发展，深度神经网络已被广泛应用于许多现实生活中的自然语言应用中。在深度神经网络下，需要预定义的词汇表来对文本输入进行矢量化。预定义词汇的规范选择方法是基于词频的，其中选择阈值来截断长尾分布。然而，我们观察到这种简单的方法很容易导致词汇量不足或词汇量过大的问题。因此，我们有兴趣了解最终任务分类精度与词汇量的关系，以及达到特定性能所需的最小词汇量是多少。在变分丢弃算法的基础上，提出了一种更复杂的变分词汇丢弃算法（VVD）来进行词汇选择，它可以智能地选择词汇子集以达到所需的性能。为了评估新提出的词汇选择问题的不同算法，我们提出了两个新的指标：准确度-词汇曲线下的面积和X\%准确度下降下的词汇大小。通过对各种NLP分类任务的广泛实验，我们的变分框架在这些指标上显着优于基于频率和其他选择基线。
2019-04-03 cs.CL cs.LG
Surrogate Gradient Spiking Neural Networks as Encoders for Large Vocabulary Continuous Speech Recognition
Idiap Research Institute（伊迪亚普研究所）
与产生密集和实值响应的传统人工神经元相比，生物启发的尖峰神经元传输稀疏和二进制信息，这也可以实现节能。最近的研究表明，脉冲神经网络可以像标准的递归神经网络一样使用代理梯度方法进行训练。它们在语音命令识别任务中显示出了有希望的结果。使用相同的技术，我们表明，他们是可扩展的大词汇量连续语音识别，在那里他们能够取代LSTM的编码器只有轻微的性能损失。这表明它们可能适用于更多涉及的序列到序列任务。此外，与其经常性的非尖峰对应物相比，它们对梯度爆炸问题具有鲁棒性，而无需使用门。
2023-02-16 cs.CL cs.LG cs.NE
Contextualized Automatic Speech Recognition with Dynamic Vocabulary
Honda Research Institute Japan Co., Ltd.（本田日本研究所）；Carnegie Mellon University（卡内基梅隆大学）
本文提出一种动态词汇方法，将每个偏置短语作为单一词元加入推理过程，仅需扩展嵌入层和输出层，在英日数据集上将偏置短语WER降低3.1至4.9个百分点。
2024-08-30 cs.CL cs.SD eess.AS
Attention-based Vocabulary Selection for NMT Decoding
IBM T. J. Watson Research Center（IBM T. J. Watson研究中心）
神经机器翻译（NMT）模型通常使用大的目标词汇量来捕获目标语言中的大部分单词。在解码新句子时，词汇量是一个很大的因素，因为最终的softmax层会对所有可能的目标词进行归一化。为了解决这个问题，广泛使用基于源句子的候选列表来限制目标词汇。通常，候选列表是外部单词到单词对齐器、短语表条目或最频繁单词的组合。在这项工作中，我们提出了一种简单而新颖的方法，在NMT训练期间直接从注意力层学习候选列表。候选列表针对当前NMT模型进行了高度优化，并且不需要对候选池进行任何外部计算。与使用整个词汇表相比，我们显示出显着的解码速度加快，并且不会损失两种语言对的任何翻译质量。
2017-06-12 cs.CL
Feature Selection Empowered BERT for Detection of Hate Speech with Vocabulary Augmentation
Dhirubhai Ambani University (Formerly DA-IICT)（迪鲁巴希·阿米巴尼大学（原达卡理工大学））
本研究提出一种基于特征选择和词汇扩展的BERT方法，用于高效检测仇恨言论，通过减少训练数据量并提升计算效率。
2025-12-01 cs.AI cs.CL cs.NE
Acoustically Grounded Word Embeddings for Improved Acoustics-to-Word Speech Recognition
TTI-Chicago（芝加哥丰田技术研究院）；IBM Research AI（IBM研究院人工智能部门）
用于端到端自动语音识别的直接声学到字（A2 W）系统比子字系统更易于训练，并且解码更有效。然而，A2 W系统在数据有限的训练时间和在识别训练词汇表之外的单词的解码时间可能存在困难。为了解决这些缺点，我们调查使用最近提出的声学和声学接地词嵌入技术在A2 W系统。该思想基于将AWE识别器的最终pre-softmax权重矩阵视为词嵌入向量矩阵，并使用外部训练的词嵌入集来提高该矩阵的质量。特别是，我们介绍了两个想法：（1）在训练时间之间的外部嵌入和识别器的权重，以及（2）在测试时间使用的词嵌入预测词汇表外的话。我们的词嵌入模型是基于声学的，也就是说，它是与声学嵌入联合学习的，以便对词的声学语音内容进行编码;并且它是参数化的，因此它可以嵌入任何任意（可能超出词汇表）字符序列。我们发现，这两种技术都提高了A2 W识别器的性能对话电话语音。
2019-03-29 cs.CL
ISSR: Iterative Selection with Self-Review for Vocabulary Test Distractor Generation
National Yang Ming Chiao Tung University（国立阳明交通大学）
针对英语词汇题干扰项易出现多个正确答案的问题，本文分析台湾大学入学考试答题数据，提出基于LLM自审机制的ISSR框架以迭代筛选有效且多样的干扰项。
2025-01-07 cs.CL
Seed Words Based Data Selection for Language Model Adaptation
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
我们解决的问题，语言模型定制的应用程序中的ASR组件需要管理特定领域的术语，虽然目前国家的最先进的语音识别技术提供了良好的通用域的结果，适应专门的字典或词汇表仍然是一个悬而未决的问题。在这项工作中，我们提出了一种方法，用于自动选择句子，从文本语料库，匹配，语义和形态，词汇表的术语（词或复合词）提供的用户。最终目标是快速调整具有有限域内文本数据的混合ASR系统的语言模型，以便成功应对手头的语言领域;扩展和定制基线模型的词汇表，降低由此产生的OOV率。基于浅形态种子和语义相似性viaword 2 vec的数据选择策略进行了介绍和讨论;实验设置包括在同声传译的情况下，在三种语言的ASR被设计为识别特定领域的术语（即牙科）。使用不同的指标（OOV率，WER，准确率和召回率）的结果表明所提出的技术的有效性。
2021-07-20 cs.CL
Vocabulary Selection Strategies for Neural Machine Translation
École polytechnique（巴黎综合理工学院）；Facebook AI Research（Facebook人工智能研究院）
经典的翻译模型通过基于输入句子选择翻译规则的子集来限制可能的输出空间。最近关于提高神经翻译模型效率的工作采用了类似的策略，将输出词汇限制为给定源的可能候选者的子集。在本文中，我们实验与上下文和嵌入为基础的选择方法和扩展以前的工作，更详细地检查速度和准确性的权衡。我们表明，在相同或仅可忽略不计的准确性变化的情况下，在WMT 15英语-德语和WMT 16英语-罗马尼亚语任务上，CPU上的解码时间可以减少高达90%，训练时间减少25%。这使得使用最先进的神经翻译系统在单个CPU核心上对英语-德语进行解码的时间超过每句140毫秒。
2016-10-01 cs.CL
Context-based out-of-vocabulary word recovery for ASR systems in Indian languages
Zapr Media Labs（扎普尔媒体实验室）
词汇表外词汇的检测和恢复一直是自动语音识别系统的难点。许多现有的方法侧重于通过修改声学和语言模型以及巧妙地将上下文词集成到模型中来对OOV词进行建模。为了训练这种复杂的模型，我们需要大量的数据和上下文词，额外的训练时间，并增加模型的大小。然而，在获得ASR转录恢复基于上下文的OOV词，后处理方法还没有探索太多。在这项工作中，我们提出了一个后处理技术，以提高基于上下文的OOV恢复的性能。我们创建了一个声学增强的语言模型，其中在电话级别使用OOV单词列表制作了一个子图。我们提出了两种方法来确定一个合适的代价函数，以检索基于上下文的OOV词。代价函数是基于语音学和声学知识定义的，用于在解码中匹配和恢复正确的上下文单词。建议的代价函数的有效性进行评估，在两个字的水平和水平。测试结果表明，该方法可以在多个类别中平均恢复50%的基于上下文的OOV词。
2022-06-09 cs.CL cs.SD eess.AS
Attention-Guided Layer Selection for Contrastive Decoding in Large Language Models
Japan Advanced Institute of Science and Technology（日本先进科学技术学院）
研究大语言模型中对比解码的层选择问题，提出Attention-JSD等三种基于注意力引导的策略，实验表明这些策略在TruthfulQA上优于原始DoLa，在多答案指标上有显著提升，凸显注意力分布在解决事实性知识上的优势。
2026-07-28 cs.AI cs.CL
A Factorized Recurrent Neural Network based architecture for medium to large vocabulary Language Modelling
JNResearch
统计语言模型是许多使用语义的应用程序的核心。众所周知，递归神经网络（RNN）可以为语言建模产生最先进的结果，在许多情况下优于传统的n-gram。为了生成词汇表的概率分布，这些模型需要一个softmax输出层，其大小随词汇表的大小线性增加。大型词汇表需要非常大的softmax层，在典型的笔记本电脑/PC上训练它们需要大量的时间和机器资源。在本文中，我们提出了一种新的技术，用于实现基于RNN的大词汇量语言模型，大大加快计算，同时最佳地使用有限的内存资源。我们的技术，同时建立在通过具有多个输出层来分解输出层的概念上，通过大幅优化单个输出层大小并消除对多步预测过程的需要来改进早期工作。
2016-02-04 cs.AI cs.CL
Focus on the Target's Vocabulary: Masked Label Smoothing for Machine Translation
Peking University（北京大学）
标签平滑和词汇共享是神经机器翻译模型中广泛使用的两种技术。然而，我们认为，简单地应用这两种技术可能是冲突的，甚至导致次优性能。在分配平滑概率时，原始标签平滑会将源端词中不可能出现在目标语言中的词与目标语言中的词等同对待，这会使翻译模型产生偏差。为了解决这个问题，我们提出了屏蔽标签平滑（MLS），一个新的机制，掩盖了软标签的源端字的概率为零。简单而有效，MLS设法更好地集成标签平滑与词汇共享。我们广泛的实验表明，MLS在不同的数据集上，包括双语和多语种翻译，无论是翻译质量还是模型的校准，都比原始标签平滑得到了持续的改进。我们的代码发布于https://github.com/PKUnlp-icler/MLS
2022-03-11 cs.AI cs.CL
Exploring the Relationship Between Algorithm Performance, Vocabulary, and Run-Time in Text Classification
Brigham Young University（杨百翰大学）
文本分类是自然语言处理的一个重要分支，在文本分类、情感分析等领域有着广泛的应用。毫不奇怪，那些进行文本分类的人关心他们算法的运行时间，其中许多算法取决于语料库词汇表的大小，因为它们是词袋表示的。虽然许多研究已经研究了预处理技术对词汇量和准确性的影响，但没有研究这些方法如何影响模型的运行时间。为了填补这一空白，我们提供了一个全面的研究，探讨预处理技术如何影响词汇量，模型性能和模型运行时间，评估十种技术在四个模型和两个数据集。我们发现，一些单独的方法可以减少运行时间没有损失的准确性，而一些组合的方法可以贸易高达65%的减少运行时间的准确性的2-5%。此外，预处理技术的某些组合甚至可以在运行时间上减少15%，同时提高模型精度。
2021-04-08 cs.CL
Now It Sounds Like You: Learning Personalized Vocabulary On Device
Meta Reality Labs（元现实实验室）；FAIR, Meta（元研究院）
本文提出一种名为OOV expansion的新技术，通过引入个性化OOV adapter从中心模型转移知识并学习个性化词汇嵌入，有效解决了设备端闭集词汇语言模型无法处理用户特定词表外词汇的问题，在最小化内存和延迟影响下显著提升了模型准确率。
2024-02-13 cs.AI cs.CL
Fast Vocabulary Transfer for Language Model Compression
University of Siena（锡耶纳大学）；University of Bologna（博洛尼亚大学）
提出基于词汇表迁移的模型压缩方法，在垂直领域和下游任务评估中与其他压缩技术结合，显著减小模型大小和推理时间，性能仅略有妥协。
2024-02-15 cs.AI cs.CL cs.LG
Data Augmentation to Address Out-of-Vocabulary Problem in Low-Resource Sinhala-English Neural Machine Translation
University of Moratuwa（莫拉图瓦大学）
词汇表外（Out-of-Vocabulary，OOV）是神经机器翻译（NMT）的一个难题。OOV指的是在训练数据中出现率低的单词，或者指的是在训练数据中不存在的单词。为了减轻这种情况，已经使用了基于单词或短语的数据增强（DA）技术。然而，现有的DA技术只解决了这些OOV类型之一，并限制考虑语法约束或语义约束。我们提出了一个词和短语的补充为基础的DA技术，考虑这两种类型的OOV，通过增加（1）在现有的平行语料库中的罕见的话，和（2）从双语词典的新词。在增强过程中，我们考虑了词的句法和语义属性，以保证合成句子的流畅性。这种技术是用低资源的僧伽罗语-英语语言对进行实验的。我们观察到，只有语义约束的DA，结果是可比的分数考虑到句法约束，并有利于低资源的语言，缺乏语言工具的支持。此外，通过考虑句法和语义约束，可以进一步改善结果。
2022-05-18 cs.CL
Accent Estimation of Japanese Words from Their Surfaces and Romanizations for Building Large Vocabulary Accent Dictionaries
PKSHA Technology Inc.（PKSHA科技公司）
在日语文语转换（TTS）中，需要在输入的句子中添加重音信息。然而，存在有限数量的公开可用的口音词典，并且那些词典（例如UniDic）不包含许多复合词、专有名词等，这是实际TTS系统所需要的。为了建立一个包含这些单词的大规模口音词典，作者开发了一种口音估计技术，该技术从单词的有限信息（即表面（例如汉字）和yomi（简化的语音信息））中预测单词的口音。实验结果表明，该技术可以估计口音与高精度，特别是对某些类别的话。作者将该技术应用于现有的大词汇日语词典NEologd，并获得了大词汇日语口音词典。许多情况下，已经观察到，使用本词典产生更适当的语音信息比UniDic。
2020-09-21 cs.CL eess.AS
Efficient Feature Selection techniques for Sentiment Analysis
National Institute of Technology（国家理工学院）；Samsung R and D Institute India（三星印度研发研究院）
情感分析是一个研究领域，其重点是识别和分类以文本形式表达的思想，分为积极，消极和中性极性。特征选择是机器学习中的一个关键过程。在本文中，我们的目标是研究用于情感分析的不同特征选择技术的性能。词频逆文档频率（TF-IDF）被用作用于创建特征词汇的特征提取技术。各种特征选择（FS）技术进行了实验，以选择最好的一组功能，从特征词汇。使用不同的机器学习分类器逻辑回归（LR）、支持向量机（SVM）、决策树（DT）和朴素贝叶斯（NB）来训练所选择的特征。分类器采用Bagging和Random Subspace等包围盒技术，提高了情感分析的性能.我们表明，当最好的FS技术使用集成方法进行训练时，在情感分析上取得了显着的效果。我们还比较了使用Bagging，Random Subspace与不同神经网络架构训练的FS方法的性能。我们表明，使用集成分类器训练的FS技术优于神经网络，需要显着更少的训练时间和参数，从而消除了广泛的超参数调整的需要。
2020-02-02 cs.CL cs.LG
Training Large-Vocabulary Neural Language Models by Private Federated Learning for Resource-Constrained Devices
Apple Inc.（苹果公司）
联邦学习（FL）是一种使用跨设备分布的数据来训练模型的技术。差分隐私（DP）为敏感数据提供正式的隐私保证。我们的目标是在计算受限的设备上训练一个大型神经网络语言模型（NNLM），同时使用FL和DP保护隐私。然而，引入模型的DP噪声随着模型大小的增加而增加，这通常会阻止收敛。我们提出了部分嵌入更新（PEU），一种新的技术，以减少噪声，通过减少有效载荷的大小。此外，我们采用低秩适应（LoRA）和噪声对比估计（NCE），以减少计算受限设备上的大型模型的内存需求。这种技术组合使得训练大词汇量语言模型成为可能，同时保持准确性和隐私性。
2022-07-18 cs.CL cs.CR cs.LG
Pre-trained Models Perform the Best When Token Distributions Follow Zipf's Law
School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Department of Computer Science and Engineering, University of Notre Dame（圣母大学计算机科学与工程系）；College of Computer Science, Nankai University（南开大学计算机学院）
针对词汇量选择依赖启发式方法的问题，提出基于Zipf定律分析词元频率分布确定最优词汇量的方法，实验验证其在多领域能让模型达峰值性能，为词汇量选择提供了可泛化的标准。
2025-07-30 cs.CL cs.LG
Embedding structure matters: Comparing methods to adapt multilingual vocabularies to new languages
University of Washington（华盛顿大学）
本文针对多语言模型语言适配中跨语言词汇表计算成本高的问题，提出多种紧凑语言特定词汇表替换及嵌入矩阵重新初始化技术，并通过系统实验证明其能高效提升低资源语言性能，且简单方法可与Focus方法相媲美。
2023-10-26 cs.CL
An Iterative Feedback Mechanism for Improving Natural Language Class Descriptions in Open-Vocabulary Object Detection
The Charles Stark Draper Laboratory, Inc.（查尔斯·斯塔克·德雷珀实验室公司）
针对开放词汇目标检测中非技术用户的自然语言类别描述优化需求，提出结合文本嵌入分析与对比样本嵌入组合的迭代反馈机制，经多个公开模型验证可量化提升检测性能。
2025-03-21 cs.CL cs.CV
Comparing the Performance of NLP Toolkits and Evaluation measures in Legal Tech
Lehrstuhl für Data Science（数据科学讲席教授组）
自然语言处理的最新发展导致了最先进的神经语言模型的引入，该模型支持无监督可转移学习，使用不同的预训练目标。虽然这些模型在下游NLP任务上取得了优异的结果，但各种领域自适应技术可以提高它们在特定领域任务上的性能。我们比较和分析了预训练的神经语言模型，XLNet（自回归）和BERT（自动编码器）。结果表明，XLNet模型在我们的法律意见分类的序列分类任务上表现更好，而BERT在NER任务上产生更好的结果。我们使用特定于领域的预训练和额外的法律词汇来使BERT模型进一步适应法律领域。我们准备了BERT模型的多种变体，使用两种方法及其组合。比较我们的变体的BERT模型，专门在法律领域，我们的结论是，额外的预训练和词汇技术提高了BERT模型的法律意见分类任务的性能。额外的法律词汇提高了BERT在NER任务上的表现。结合预训练和词汇技术进一步提高了最终结果。我们的Legal-Vocab-BERT模型在法律意见任务上给出了最好的结果，优于较大的预训练通用语言模型，即，BERT-Base和XLNet-Base。
2021-03-12 cs.CL cs.LG
Deep learning models for representing out-of-vocabulary words
University of Campinas (UNICAMP)（坎皮纳斯大学（UNICAMP））；Engineering College of Sorocaba (Facens)（索罗卡巴工程学院（Facens））；Federal University of São Carlos (UFSCar)（圣卡洛斯联邦大学（UFSCar））
本研究全面评估了深度学习模型表示词汇表外单词的性能，通过内在和外在任务测试，发现Comick方法基于上下文和形态推断嵌入，表现有前景。
2020-07-28 cs.CL cs.LG
Grammatical Sequence Prediction for Real-Time Neural Semantic Parsing
Bloomberg（彭博）
虽然序列到序列（seq 2seq）模型在许多自然语言处理任务中实现了最先进的性能，但对于实时的【形】应用程序来说，它们可能太慢。一个性能瓶颈是在大量词汇表上预测最有可能的下一个标记;规避此瓶颈的方法是当前的研究主题。我们专注于使用seq 2seq模型的语义解析，我们观察到，语法往往存在指定有效的正式表示的话语语义。通过开发一种通用的方法来限制seq 2seq模型的预测，语法上允许的延续，我们到达一个广泛适用的技术，加快语义解析。与没有语法限制的相同神经模型相比，该技术在具有大量词汇的内部数据集上加速了74%。
2019-07-25 cs.CL
VOCABTRIM: Vocabulary Pruning for Efficient Speculative Decoding in LLMs
Qualcomm AI Research（高通人工智能研究）
针对大词表导致基于草拟器的推测解码草拟开销过高的问题，本文提出免训练的 VocabTrim，通过重构草拟器 LM head 仅保留高频 token，在 Spec-Bench 上将 Llama-3.2-3B-Instruct 的 MBSU 提升 16%。
2025-07-03 cs.CL cs.LG
