Learning Domain-Specific Word Embeddings from Sparse Cybersecurity Texts
University of Maryland, Baltimore County（马里兰大学巴尔的摩郡分校）；IBM（IBM公司）
词嵌入是一种自然语言处理（NLP）技术，它自动将词汇表中的词映射到嵌入空间中的实数向量。近年来，它已被广泛用于提高各种NLP任务的性能，如命名实体识别，句法分析和情感分析。经典的词嵌入方法，如Word2Vec和GloVe，在大型文本语料库中工作良好。当输入文本像在许多专门领域中那样稀疏时（例如，网络安全），这些方法往往不能产生高质量的载体。本文提出了一种从稀疏文本中训练特定领域词嵌入的新方法。除了领域文本，我们的方法还利用了不同类型的领域知识，如领域词汇和语义关系。具体来说，我们首先提出了一个通用的框架，编码不同类型的领域知识的文本注释。在此基础上，提出了一种新的词标注嵌入算法（WAE），将不同类型的文本标注融合到词嵌入中。我们已经评估了我们的方法在两个网络安全文本语料库：恶意软件描述语料库和常见的漏洞和暴露（CVE）语料库。我们的评估结果证明了我们的方法在学习特定领域的词嵌入方面的有效性。
2017-09-21 cs.CL
Sparse and Constrained Attention for Neural Machine Translation
Carnegie Mellon University（卡内基梅隆大学）；Instituto Superior Técnico（高等理工学院）；Universidade de Lisboa（里斯本大学）；Unbabel（Unbabel公司）；Instituto de Telecomunicações（电信研究所）
在NMT中，单词有时会从源中删除或在翻译中重复生成。我们探索新的策略来解决覆盖问题，只改变注意力转换。我们的方法将肥料分配给源单词，用于限制每个单词可以接收的注意力。我们实验与各种稀疏和约束的注意力变换，并提出了一个新的，约束sparsemax，证明是可微和稀疏。经验评价提供了三种语言对。
2018-05-21 cs.CL
Sparse Structure Learning via Graph Neural Networks for Inductive Document Classification
Seoul National University（首尔大学）；AIGENDRUG Co., Ltd.（AIGENDRUG有限公司）
近年来，图神经网络（GNNs）已被广泛用于文档分类。然而，大多数现有的方法都是基于静态的词共现图，没有词级信息，这带来了三个挑战：（1）词的歧义，（2）词的同义词，和（3）动态上下文依赖。为了解决这些挑战，我们提出了一种新的基于GNN的稀疏结构学习模型的归纳文档分类。具体地说，文档级图最初由文档级词共现图的不相交并集生成。我们的模型收集了一组可训练的边缘连接句子之间的不相交的单词，并采用结构学习稀疏地选择动态上下文依赖关系的边缘。具有稀疏结构的图可以通过GNN联合利用文档中的局部和全局上下文信息。对于归纳学习，细化后的文档图被进一步馈送到通用读出函数中，用于以端到端的方式进行图级分类和优化。在几个真实数据集上的大量实验表明，该模型的性能优于大多数最先进的结果，并揭示了为每个文档学习稀疏结构的必要性。
2022-03-21 cs.CL
Word Equations: Inherently Interpretable Sparse Word Embeddingsthrough Sparse Coding
Williams College（威廉姆斯学院）
词嵌入是一种功能强大的自然语言处理技术，但它们非常难以解释。为了实现可解释的NLP模型，我们创建了每个维度都是可解释的向量。通过内在可解释性，我们指的是一个系统，其中每个维度都与一些人类可理解的提示相关联，这些提示可以描述该维度的含义。为了创建更多可解释的词嵌入，我们将预训练的密集词嵌入转换为稀疏嵌入。这些新的嵌入本质上是可解释的：它们的每个维度都是从一个自然语言单词或特定的语法概念创建的，并表示该单词或语法概念。我们通过稀疏编码构造这些嵌入，其中基集中的每个向量本身就是一个词嵌入。因此，我们的稀疏向量的每个维度对应于一个自然语言单词。我们还表明，使用这些稀疏嵌入训练的模型可以实现良好的性能，并且在实践中更具可解释性，包括通过人工评估。
2021-09-27 cs.CL cs.LG stat.ML
Learning Word Representations with Hierarchical Sparse Coding
Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种新的方法来学习单词表示使用层次正则化稀疏编码的启发，语言学研究的单词含义。我们展示了一种基于随机邻近方法的高效学习算法，该算法比以前的方法快得多，使得在数十亿单词标记的语料库上执行分层稀疏编码成为可能。各种基准任务的实验-词相似度排名，类比，句子完成，和情感分析-表明该方法优于或具有竞争力的最先进的方法。我们的单词表示可在\url{http://www.ark.cs.cmu.edu/dyogatam/wordvecs/}上找到。
2014-11-06 cs.CL cs.LG stat.ML
Learning similarity-based word sense disambiguation from sparse data
我们描述了一种使用文本语料库和机器可读词典（MRD）的自动词义消歧方法。该方法是基于词相似性和上下文相似性的措施。如果单词出现在相似的上下文中，则它们被认为是相似的;如果它们包含相似的单词，则上下文相似。这个定义的循环是解决一个迭代的，收敛的过程中，系统从语料库中学习的一组典型的用法为MRD中列出的多义词的每个意义。一个多义词的新实例被赋予与其上下文最相似的典型用法相关的意义。实验表明，该方法性能良好，即使在非常稀疏的训练数据中也能进行学习。
1996-07-11 cmp-lg cs.CL
Compressing Neural Language Models by Sparse Word Representations
Peking University（北京大学）；University of Chinese Academy of Sciences（中国科学院大学）
神经网络是用于语言建模的最先进的技术之一。现有的神经语言模型通常将离散单词映射到分布式的密集向量表示。在通过隐藏层对前面的上下文单词进行信息处理之后，输出层估计下一个单词的概率。由于用于词嵌入和输出层的大量参数，这种方法是时间和内存密集型的。在本文中，我们提出了压缩神经语言模型的稀疏词表示。在实验中，我们的模型中的参数的数量增加非常缓慢的词汇量的增长，这是几乎察觉不到的。此外，我们的方法不仅减少了参数空间在很大程度上，但也提高了性能方面的困惑措施。
2016-10-13 cs.CL cs.LG
Evaluating Sparse Interpretable Word Embeddings for Biomedical Domain
Isfahan University of Technology（伊斯法罕理工大学）；Isfahan University of Medical Sciences（伊斯法罕医科大学）
词嵌入已经在包括生物医学领域的自然语言处理任务中找到了它们的方式。虽然这些矢量表示成功地捕捉语义和句法词的关系，隐藏的模式和趋势的数据，他们无法提供可解释性。可解释性是论证的关键手段，而论证是生物医学应用中不可或缺的一部分。我们提出了一个包容性的研究在医学领域的词嵌入的可解释性，侧重于稀疏方法的作用。提供了词向量表示的可解释性的定性和定量测量和度量。对于定量评估，我们引入了一个广泛的分类数据集，可用于量化基于类别理论的可解释性。还提出了所研究的方法的内在和外在评价。至于后者，我们提出了数据集，可用于有效的外在评价的词向量在生物医学领域。基于我们的实验，可以看出，稀疏的词向量显示出更好的可解释性，同时保留了其原始向量在下游任务中的性能。
2020-05-11 cs.CL cs.LG
Sparse Lifting of Dense Vectors: Unifying Word and Sentence Representations
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
作为自动化自然语言处理的第一步，词语和句子的表示具有核心的重要性，并吸引了大量的研究关注。从早期的one-hot和bag-of-words表示到最近的分布式密集和稀疏表示，提出了不同的方法。尽管已经取得了成功的结果，这样的向量往往是由不可解释的组件，并面临在实际应用中的内存和计算需求的非平凡的挑战。在本文中，我们设计了一种新的表示模型，该模型将密集的词向量投影到更高维的空间中，并支持具有潜在可解释成分的词向量的高度稀疏和二进制表示，同时尽可能保持原始向量之间的成对内积。在计算上，我们的模型是放松作为一个对称的非负矩阵分解问题，承认一个快速而有效的解决方案。在一系列的实证评估中，该模型表现出一致的改进和高潜力的实际应用。
2019-11-05 cs.CL cs.LG
Cross-Lingual Text Classification with Minimal Resources by Transferring a Sparse Teacher
Columbia University（哥伦比亚大学）
跨语言文本分类通过利用来自其他语言的标记文档来消除对目标语言的手动标记文档的需要。现有的跨语言转移监督的方法需要昂贵的跨语言资源，如并行语料库，而不太昂贵的跨语言表示学习方法训练分类器没有目标标记的文件。在这项工作中，我们提出了一个跨语言的师生方法，CLTS，产生“弱”的监督，在目标语言使用最少的跨语言资源，在少量的单词翻译的形式。在有限的翻译预算下，CLTS只提取和传输跨语言的最重要的特定于任务的种子词，并基于翻译后的种子词创建教师分类器。然后，CLTS迭代地训练一个更强大的学生，该学生也利用了未标记的目标文档中的种子词的上下文，并且表现优于教师。CLTS在18种不同的语言中非常简单和有效：通过转移20个种子词，即使是一个词袋逻辑回归学生也优于最先进的跨语言方法（例如，基于多语言BERT）。此外，CLTS可以适应任何类型的学生分类器：利用单语BERT学生导致进一步的改进，并在准确性上超过更昂贵的方法高达12%。最后，CLTS只使用少量的单词翻译来解决低资源语言中的新兴任务。
2020-10-06 cs.CL
Unsupervised Domain Adaptation for Sparse Retrieval by Filling Vocabulary and Word Frequency Gaps
Tokyo Institute of Technology（东京工业大学）
使用预训练的语言模型的IR模型显著优于像BM 25这样的词汇方法。特别是，SPLADE，它编码的文本稀疏向量，是一个有效的模型，用于实际使用，因为它显示了鲁棒性域外数据集。然而，SPLADE仍然在训练数据中的低频词的精确匹配上挣扎。此外，词汇和词频的域转移恶化了SPLADE的IR性能。由于在目标域中监督数据是稀缺的，所以在没有监督数据的情况下解决域转移是必要的。本文提出了一种无监督的领域自适应方法，通过填充词汇和词频的差距。首先，我们扩展词汇表，并在目标领域的语料库上使用掩蔽的语言模型执行持续的预训练。然后，我们乘以SPLADE编码的稀疏向量的逆文档频率权重，以考虑的重要性，与低频字的文件。我们使用我们的方法在数据集上进行了实验，这些数据集与源域有很大的词汇差距。我们表明，我们的方法优于目前最先进的领域自适应方法。此外，我们的方法实现了最先进的结果，结合BM 25。
2022-11-08 cs.CL cs.IR
Combating the Curse of Multilinguality in Cross-Lingual WSD by Aligning Sparse Contextualized Word Representations
University of Szeged（塞格德大学）
本文提出结合预训练单语模型与上下文映射，利用稀疏上下文表示，在跨语言零样本WSD中平均F分数提升6.5点（62.0至68.5），并公开代码。
2023-07-25 cs.AI cs.CL
Mortality Prediction Models with Clinical Notes Using Sparse Attention at the Word and Sentence Levels
University of Vienna（维也纳大学）；Amsterdam UMC（阿姆斯特丹大学医学中心）；University of Amsterdam（阿姆斯特丹大学）
重症监护病房住院死亡率预测具有多种临床应用。神经预测模型，特别是在利用临床笔记时，已经被提出作为对现有模型的改进。然而，要被接受，这些模型应该是高性能和透明的。本工作研究了不同的注意力机制的临床神经预测模型的歧视和校准。具体来说，我们调查稀疏注意力作为一种替代密集的注意力权重的任务，在医院的死亡率预测从临床笔记。我们评估的注意力机制的基础上：i）本地自我注意的话在一个句子中，和ii）全球自我注意的Transformer架构跨句子。我们证明了稀疏机制的方法优于密集的本地自我注意力的预测性能与公开可用的数据集，并把更高的关注预先指定的相关指令的话。然而，句子层面的表现会恶化，因为包括有影响力的指示词的句子往往会一起被删除。
2022-12-12 cs.CL cs.LG
Sparse associative memory based on contextual code learning for disambiguating word senses
Institut Mines-Télécom Atlantique（法国大西洋矿业电信学院）；Centre Hospitalier Universitaire de Brest（布雷斯特大学医院中心）
在最近的文献中，上下文预训练的语言模型（LM）在将知识推广到几个自然语言处理（NLP）任务中表现出了它们的潜力，包括有监督的词义消歧（WSD），这是自然语言理解（NLU）领域中的一个具有挑战性的问题。然而，来自这些模型的单词表示仍然非常密集，在内存占用方面代价高昂，并且可解释性最低。为了解决这些问题，我们提出了一种新的监督生物启发技术，用于将大型预训练的语言模型表示转换为压缩表示，对于WSD的情况。我们产生的表示有助于增加框架的一般可解释性，并减少内存占用，同时提高性能。
2019-11-14 cs.CL cs.LG
Rethinking Evaluation of Sparse Autoencoders through the Representation of Polysemous Words
The University of Tokyo（东京大学）
针对传统指标忽视 SAE 语义表征能力的问题，本文提出以多义词为核心的单义特征评估套件，揭示 MSE-L0 Pareto 优化的局限及 LLM 层与注意力机制的消歧作用。
2025-02-18 cs.AI cs.CL cs.LG
Model Directions, Not Words: Mechanistic Topic Models Using Sparse Autoencoders
Columbia University（哥伦比亚大学）；Google Research（谷歌研究院）；Independent（独立研究者）
本文提出机制性主题模型（MTMs），利用稀疏自编码器学习可解释特征，以揭示深层概念主题，并通过topic judge评估框架验证其有效性。
2026-08-25 cs.CL cs.LG
Jointly Trained Sequential Labeling and Classification by Sparse Attention Neural Networks
Oregon State University（俄勒冈州立大学）；IBM（国际商业机器公司）
句级分类和序列标注是语言理解的两项基本任务。虽然这两个任务通常是单独建模的，但实际上，它们通常是相关的，例如在意图分类和槽填充中，或者在主题分类和命名实体识别中。为了利用它们之间的相关性带来的潜在好处，我们提出了一个联合训练的模型，用于通过长短期记忆（LSTM）网络同时学习这两个任务。该模型从LSTM的逐步输出隐藏表示中预测词级类别和词级标签序列。我们还引入了一种新的机制，“稀疏注意力”，以不同的加权词的语义相关性的基础上，以分级分类。该方法在ATIS和TREC数据集上的性能优于基线模型。
2017-09-28 cs.CL
Text-based depression detection on sparse data
以前的基于文本的抑郁检测通常基于大量用户生成的数据。像临床对话这样的稀疏场景很少被研究。本文提出了一种基于文本的多任务BGRU网络，该网络具有预训练的词嵌入来模拟患者在临床访谈中的反应。我们的主要方法使用了一种新的多任务损失函数，旨在建模抑郁症的严重程度和二元健康状态。我们独立地研究了单词和单词级的单词嵌入以及大数据预训练在抑郁症检测中的应用。为了加强我们的研究结果，我们报告了稀疏数据上大量独立运行的平均结果。首先，我们表明预训练有助于基于词级文本的抑郁检测。第二，我们的研究结果表明，在词汇层面的词嵌入应该是首选。虽然池函数的选择不那么重要，但平均值池和注意力池应该优先于最后时间步池。我们的方法输出抑郁症的存在结果以及预测的严重程度评分，最终在DAIC-WOZ开发集上获得了0.84的宏观F1评分和3.48的MAE。
2020-07-08 cs.CL cs.HC cs.LG
Interpretable Neural Embeddings with Sparse Self-Representation
Vector Lab（向量实验室）；JD Finance（京东金融）
针对现有词嵌入缺乏可解释性及稀疏表示方法存在不稳定性的问题，提出一种将数据自表示与浅层神经网络关联的新方法，学习出兼具表达力与可解释性的词嵌入，在可解释性和下游任务上均表现优异。
2023-06-25 cs.CL cs.LG
SCDV : Sparse Composite Document Vectors using soft clustering over distributional representations
IIT Kanpur（印度理工学院坎普尔分校）；Microsoft Research（微软研究院）
我们提出了一个特征向量形成技术的文件-稀疏复合文档向量（SCDV）-它克服了目前的分布式段落向量表示，被广泛用于文本表示的几个缺点。在SCDV中，词嵌入被聚类以捕获词出现的多个语义上下文。然后，它们被链接在一起，形成文档主题向量，可以表达复杂的多主题文档。通过对多类和多标签分类任务的广泛实验，我们的表现优于先前的最先进的方法NTSG（Liu et al.，2015年a）。我们还表明，SCDV嵌入的执行异构任务，如主题一致性，上下文敏感的学习和信息检索。此外，与其他表示方法相比，我们实现了训练和预测时间的显着减少。SCDV实现了两全其美--更好的性能和更低的时间和空间复杂度。
2017-05-12 cs.CL
Non-distributional Word Vector Representations
Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
数据驱动的词的表示学习是自然语言处理中的一项重要技术。虽然无可争议地有用的下游任务的功能来源，这些向量往往是由不可解释的组件，其关系的类别传统的词汇语义理论是脆弱的。我们提出了一种从手工制作的语言资源（如WordNet，FrameNet等）构建可解释的词向量的方法。这些向量是二进制的（即仅包含0和1），并且是99.9%稀疏的。我们分析了他们的表现国家的最先进的评估方法的分布模型的词向量，并发现他们是有竞争力的标准分布方法。
2015-06-17 cs.CL
Sparsity Emerges Naturally in Neural Language Models
University of Edinburgh（爱丁堡大学）
对可解释性、计算资源和原则归纳先验的关注促使人们努力为NLP任务设计稀疏神经模型。如果稀疏性对NLP很重要，那么经过良好训练的神经模型会自然地变得稀疏吗？使用Taxi-Euclidean范数来度量稀疏性，我们发现频繁输入词与集中或稀疏激活相关联，而频繁目标词与分散激活但集中梯度相关联。我们发现，与功能词相关的梯度比实义词的梯度更集中，甚至控制词频。
2019-07-22 cs.CL cs.LG stat.ML
Language Modeling with Sparse Product of Sememe Experts
Tsinghua University（清华大学）；Tencent（腾讯）
大多数语言建模方法依赖于大规模数据来统计学习单词的顺序模式。在本文中，我们认为，词是原子的语言单位，但不一定是原子的语义单位。受知网的启发，我们使用人类语言中最小的语义单位--义位来表示隐含在词背后的语义，并以此来进行语言建模，我们称之为义位驱动的语言模型（Sememe-Driven Language Model，SDLM）。更具体地说，为了预测下一个单词，SDLM首先估计给定文本上下文的义素分布。然后，它把每个义素看作一个独立的语义专家，这些专家共同识别最可能的义项和对应的词。通过这种方式，SDLM使语言模型能够超越词级操作，实现细粒度的语义级操作，并为我们提供了更强大的工具来微调语言模型，提高语言模型的可解释性和鲁棒性。语言建模和标题生成的下游应用实验表明，SDLM具有显著的效果.实验中使用的源代码和数据可以在https：//www.example.com上访问。github.com/thunlp/SDLM-pytorch
2018-10-29 cs.CL cs.LG
Group-Sparse Matrix Factorization for Transfer Learning of Word Embeddings
W. P. Carey School of Business, Arizona State University（亚利桑那州立大学韦伯商学院）；University of Pennsylvania（宾夕法尼亚大学）；Wharton School, University of Pennsylvania（宾夕法尼亚大学沃顿商学院）
提出一种基于组稀疏惩罚的两阶段估计器，通过结合大规模语料和少量领域数据高效迁移学习领域特定的词嵌入，并证明了其泛化误差界和非凸目标函数的局部最优与全局最优统计等价。
2026-06-19 cs.CL cs.LG stat.ML
Mixing Dirichlet Topic Models and Word Embeddings to Make lda2vec
Stitch Fix（Stitch Fix公司）
分布式密集词向量已被证明是有效的，在捕捉语言中的标记级语义和句法的语义，而主题模型可以形成可解释的表示在文档。在这项工作中，我们描述了lda2vec，一个模型，学习密集的词向量与Dirichlet分布的潜在文档级混合的主题向量。与连续密集的文档表示相反，该公式通过非负单纯形约束产生稀疏的、可解释的文档混合物。我们的方法很容易融入现有的自动微分框架，并允许无监督的文档表示面向科学家使用，同时学习词向量和它们之间的线性关系。
2016-05-06 cs.CL
Adaptively Sparse Transformers
Instituto de Telecomunicações（电信研究所）；Unbabel
注意力机制在NLP中已经变得无处不在。最近的架构，特别是Transformer，通过分层的、多头的注意力来学习强大的上下文感知单词表示。多个头学习不同类型的单词关系。然而，使用标准softmax attention，所有attention heads都是密集的，为所有上下文单词分配非零权重。在这项工作中，我们引入了自适应稀疏Transformer，其中注意头具有灵活的，上下文相关的稀疏模式。这种稀疏性是通过将softmax替换为$α$ -entmax来实现的：softmax的可微分推广，允许低得分单词精确地接收零权重。此外，我们推导出一种自动学习$α$参数的方法-该参数控制$α$ -entmax的形状和稀疏性-允许注意力头在集中或分散行为之间进行选择。与机器翻译数据集上的softmax Transformers相比，我们的自适应稀疏Transformer提高了可解释性和头部多样性。我们的方法的定量和定性分析的结果包括，头部在不同的层学习不同的稀疏偏好，往往是更多样化的注意力分布比softmax Transformers。此外，在不损失准确性的情况下，注意力头部的稀疏性有助于揭示不同的头部专业化。
2019-09-06 cs.CL stat.ML
Robust Handling of Polysemy via Sparse Representations
Google（谷歌）；University of Pennsylvania（宾夕法尼亚大学）
词是多义的，是多面的，有许多不同的意义。我们建议，稀疏分布式表示比其他常用的（密集）表示更适合表达这些多个方面，目前的类别生成器，一个工作系统，如我们所示，利用稀疏表示来支持多方面的词汇表示。我们认为，集扩展任务是非常适合研究这些意义的区别，因为一个词可能属于多个集合，在每个成员不同的原因。因此，我们展示了类别生成器在此任务上的性能，同时表明我们的表示同时捕获了类似问题，如“埃及的恒河”或“托尔金的伏地魔”。类别生成器被证明是一个更有表现力的词汇表示，并优于密集的表示，如Word2Vec在一些类比类，尽管只显示两个三个输入项。
2018-05-18 cs.AI cs.CL
Graph-Sparse LDA: A Topic Model with Structured Sparsity
Harvard University（哈佛大学）；University of Texas at Austin（得克萨斯大学奥斯汀分校）
主题建模最初是为了对文本进行建模而设计的，现在已经成为揭示医学、金融和视觉等领域潜在结构的强大工具。模型的目标根据应用而有所不同：在某些情况下，发现的主题可能用于预测或其他下游任务。在其他情况下，专题本身的内容可能具有内在的科学意义。不幸的是，即使使用现代稀疏技术，由于底层空间的高维性，所发现的主题通常也难以解释。为了提高主题的可解释性，我们引入了Graph-Sparse LDA，这是一种分层主题模型，它利用了单词之间关系的知识（例如，如由本体编码的）。在我们的模型中，主题总结了一些潜在的概念词从底层图，解释观察到的话。Graph-Sparse LDA在两个真实世界的生物医学数据集上恢复稀疏的、可解释的摘要，同时匹配最先进的预测性能。
2014-11-21 cs.CL cs.LG stat.ML
Word Vector Enrichment of Low Frequency Words in the Bag-of-Words Model for Short Text Multi-class Classification Problems
The University of New South Wales（新南威尔士大学）
词袋模型是许多线性分类器学习器的标准文本表示。在许多问题领域中，线性分类器由于其效率，鲁棒性和可解释性而优于更复杂的模型，并且词袋文本表示可以为线性分类器捕获足够的信息以进行高度准确的预测。然而，在存在大词汇量、训练语料库中术语频率的大变化、许多类和非常短的文本（例如，单个句子或文档标题），词袋表示变得极其稀疏，并且这会降低分类器的准确性。在这种情况下的一个特殊问题是，短文本往往包含不经常出现或罕见的条款，缺乏类条件的证据。在这项工作中，我们介绍了一种方法，丰富的词袋模型，通过补充这些罕见的长期信息与相关的条款，从一般和特定领域的词向量模型。通过减少词袋模型中的稀疏性，我们的富集方法在各种文本分类问题中实现了比几个基线分类器更好的分类。我们的方法也是有效的，因为它不需要在训练之前或训练期间改变线性分类器，因为词袋富集仅适用于正在分类的文本。
2017-09-18 cs.CL cs.LG
Analyzing the Use of Character-Level Translation with Sparse and Noisy Datasets
Uppsala University（乌普萨拉大学）；Qatar Computing Research Institute（卡塔尔计算研究所）
本文提供了一个字符级机器翻译模型的分析，当应用于稀疏和嘈杂的数据集，如众包电影字幕时，在基于机器翻译的翻译中使用。在我们的实验中，我们发现这样的字符级模型减少了40%以上的未翻译单词的数量，并且在有限的训练数据的情况下特别具有竞争力（提高了2-3个BLEU点）。我们探讨了字符对齐、短语表过滤、文本大小和主语言的选择对翻译质量的影响。我们进一步比较了级联的翻译模型，通过多个枢轴使用合成训练数据，我们发现，后者的工作效果明显更好。最后，我们证明，无论是字或字符BLEU与人类的判断完全相关，由于BLEU的长度的敏感性。
2021-09-27 cs.AI cs.CL cs.LG
Conducting sparse feature selection on arbitrarily long phrases in text corpora with a focus on interpretability
我们提出了一个通用的框架，为特定主题的大型文本语料库的摘要，并说明它如何可以用于分析在两个完全不同的情况下：OSHA数据库的死亡和灾难报告（以促进监督模式的情况下，导致受伤或死亡）和工人的赔偿要求的法律决定（探索相关的案例法）。我们的摘要框架建立在稀疏分类方法的基础上，是目前广泛使用的基于简单词频的方法与更重量级的模型密集型方法（如潜在狄利克雷分配（LDA））之间的折衷。对于感兴趣的特定主题（例如，心理健康残疾或化学反应），我们将文档的标记回归到文档中所有其他单词和短语的高维计数上。然后，将所得到的一小组被发现具有预测性的短语作为摘要收集。使用分支定界方法，可以扩展该方法以允许任意长度的短语，从而实现潜在的丰富摘要。我们讨论了如何专注于摘要的目的可以告知正则化参数和模型约束的选择。我们通过比较计算时间和汇总统计结果的单词列表在文献中的其他三种方法来评估这个工具。我们还提出了一个新的R包，textreg。总的来说，我们认为稀疏方法有很多提供文本分析，是一个分支的研究，应进一步考虑在这种情况下。
2016-07-23 cs.CL cs.IR stat.AP
Features that Make a Difference: Leveraging Gradients for Improved Dictionary Learning
Brigham Young University（杨百翰大学）
针对传统稀疏自编码器仅考虑激活值而忽略下游影响的问题，提出g-SAEs，通过在TopK激活函数中引入输入激活的梯度来改进架构，使重构更忠实于原始网络性能，并能更有效地引导模型。
2025-03-31 cs.AI cs.CL cs.LG
Can a Fruit Fly Learn Word Embeddings?
RPI（伦斯勒理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）；UC San Diego（加州大学圣迭戈分校）；Cold Spring Harbor Laboratory（冷泉港实验室）
果蝇大脑的蘑菇体是神经科学中研究得最好的系统之一。它的核心是由一群凯尼恩细胞组成，这些细胞接收来自多种感觉方式的输入。这些细胞被前对侧神经元抑制，从而创建输入的稀疏高维表示。在这项工作中，我们研究了这个网络主题的数学形式化，并将其应用于学习单词和它们的上下文之间的相关结构的语料库中的非结构化文本，一个常见的自然语言处理（NLP）的任务。我们表明，该网络可以学习单词的语义表示，并可以生成静态和上下文相关的词嵌入。与常规方法（例如，BERT，GloVe）使用密集表示的词嵌入，我们的算法编码的语义含义的单词和他们的上下文的形式稀疏二进制哈希码。学习表示的质量进行评估的词相似性分析，词义消歧，和文档分类。结果表明，果蝇网络基序不仅可以实现与NLP中现有方法相当的性能，而且，此外，它只使用一小部分计算资源（更短的训练时间和更小的内存占用）。
2021-03-14 cs.CL cs.LG cs.NE
