Why Overfitting Isn't Always Bad: Retrofitting Cross-Lingual Word Embeddings to Dictionaries
University of Maryland（马里兰大学）；University of Colorado（科罗拉多大学）；Google Research Zürich（谷歌苏黎世研究中心）
跨语言词嵌入（CLWE）通常在双语词典归纳（BLI）中进行评估。最近的CLWE方法使用线性投影，这不适合训练字典，推广BLI。然而，欠拟合可能会阻碍泛化到依赖于训练字典中的单词的其他下游任务。我们通过将CLWE改造为训练字典来解决这个限制，这使得训练翻译对在嵌入空间中更接近，并过度拟合训练字典。这个简单的后处理步骤通常可以提高两个下游任务的准确性，尽管会降低BLI测试的准确性。我们还改进了训练字典和CLWE诱导的合成字典，这有时在下游任务上更好地推广。我们的研究结果证实了在下游任务中充分利用训练字典的重要性，并解释了为什么BLI是一个有缺陷的CLWE评估。
2020-05-01 cs.CL cs.LG
What does FFN compression change downstream? Same-state causal restoration in diffusion language models
针对扩散语言模型压缩中局部误差无法反映下游影响的问题，提出同状态因果恢复（SSR）方法，通过恢复关键FFN转换，在激进压缩下恢复89.9%精度并保留36.8%计算节省。
2026-09-29 cs.AI cs.LG
Neutralizing Gender Bias in Word Embedding with Latent Disentanglement and Counterfactual Generation
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
最近的研究表明，在人工生成的语料库上训练的词嵌入在嵌入空间中具有很强的性别偏见，这些偏见可能导致各种下游任务的区分结果。鉴于以前的方法项目的词嵌入到一个线性子空间去偏置，我们介绍了一个\textit{Latent Disentanglement}方法与连体自动编码器结构与自适应梯度反转层。我们的结构使语义潜在信息和性别潜在信息的给定的词分离到不相交的潜在维度。然后，引入一个\textit{Counterfactual Generation}对词的性别信息进行转换，使得原嵌入和修改后的嵌入在几何对齐正则化后，能够产生一个性别中立的词嵌入，而不会丢失语义信息。从各种定量和定性的去偏置实验，我们的方法比现有的去偏置方法在去偏置词嵌入。此外，我们的方法显示了在去偏置过程中通过最小化外部NLP下游任务的语义信息损失来保留语义信息的能力。
2020-11-03 cs.CL cs.LG stat.ML
A Causal Inference Method for Reducing Gender Bias in Word Embedding Relations
City University of Hong Kong（香港城市大学）
词嵌入已经成为自然语言处理的关键，因为它提高了各种任务的经验表现。然而，最近的研究发现，性别偏见是纳入神经词嵌入，下游任务，依赖于这些偏见的词向量也产生性别偏见的结果。虽然已经开发了一些词嵌入性别去偏见的方法，这些方法主要集中在减少与性别方向相关的性别偏见，并未能减少词嵌入关系中呈现的性别偏见。在本文中，我们设计了一个因果和简单的方法来减轻性别偏见的词向量关系，利用性别定义的词嵌入和性别偏见的词嵌入之间的统计依赖关系。我们的方法在性别去偏见任务、词汇和词汇水平评估任务以及下游共指消解任务上都取得了最先进的结果。
2019-11-25 cs.CL cs.LG
word2ket: Space-efficient Word Embeddings inspired by Quantum Entanglement
Virginia Commonwealth University（弗吉尼亚联邦大学）
深度学习自然语言处理模型通常使用向量词嵌入（如word 2 vec或GloVe）来表示单词。如果将离散的单词序列表示为连续向量序列，则可以更容易地与下游神经层集成。此外，从文本语料库中学习的单词之间的语义关系可以被编码在嵌入向量的相对配置中。然而，存储和访问字典中所有单词的嵌入向量需要大量空间，并且可能会污染具有有限GPU内存的系统。在这里，我们使用受量子计算启发的方法来提出两种相关方法，{ \em word 2ket}和{ \em word 2ketXS}，用于以高效的方式在训练和推理期间存储词嵌入矩阵。我们的方法实现了一百倍或更多的减少所需的空间来存储嵌入，几乎没有相对下降的准确性在实际的自然语言处理任务。
2020-03-03 cs.LG stat.ML
NAS-BERT: Task-Agnostic and Adaptive-Size BERT Compression with Neural Architecture Search
Tsinghua University（清华大学）；University of Science and Technology of China（中国科学技术大学）；Nanjing University of Science and Technology（南京理工大学）；Microsoft Research Asia（微软亚洲研究院）
虽然预先训练的语言模型（例如，BERT）在不同的自然语言处理任务上取得了令人印象深刻的结果，它们具有大量的参数并且遭受大的计算和存储成本，这使得它们难以在现实世界中部署。因此，模型压缩对于减少预训练模型的计算和存储成本是必要的。在这项工作中，我们的目标是压缩BERT，并解决以下两个具有挑战性的实际问题：（1）压缩算法应该能够输出多个压缩模型具有不同的大小和延迟，以支持不同的内存和延迟限制的设备;（2）该算法应该是下游任务不可知的，使压缩模型一般适用于不同的下游任务。我们利用神经结构搜索（NAS）的技术，并提出NAS-BERT，一种有效的方法BERT压缩。NAS-BERT在包含各种架构的搜索空间上训练一个大的超网，并输出具有自适应大小和延迟的多个压缩模型。此外，NAS-BERT的训练是在标准的自我监督预训练任务（例如，掩蔽的语言模型）并且不依赖于特定的下游任务。因此，压缩模型可以跨各种下游任务使用。NAS-BERT的技术挑战在于，在预训练任务上训练一个大型超网的成本非常高。我们采用了几种技术，包括分块搜索，搜索空间修剪，和性能近似，以提高搜索效率和准确性。在GLUE和SQuAD基准数据集上的大量实验表明，NAS-BERT可以找到比以前方法更准确的轻量级模型，并且可以直接应用于不同的下游任务，具有自适应的模型大小，以满足不同的内存或延迟要求。
2021-05-30 cs.AI cs.CL cs.LG
Bridging Compressed Image Latents and Multimodal Large Language Models
University of Brescia（布雷西亚大学）；National Yang Ming Chiao Tung University（国立阳明交通大学）；Honda Research Institute USA（美国本田研究所）
本文提出含轻量transform-neck与代理损失的通用框架，在不训练下游MLLM主体的情况下适配压缩图像潜变量，并在多种编解码器和MLLM上以更低复杂度获得优异码率—准确率性能。
2025-02-17 cs.CV cs.LG cs.MM
TransDrift: Modeling Word-Embedding Drift using Transformer
Indian Institute of Technology Delhi（印度理工学院德里分校）
在现代NLP应用程序中，词嵌入是一个关键的骨干，可以很容易地在许多任务之间共享。然而，随着文本分布的变化和单词语义随着时间的推移而演变，如果单词表示不符合数据漂移，则使用嵌入的下游应用程序可能会受到影响。因此，保持词嵌入与底层数据分布一致是一个关键问题。在这项工作中，我们解决了这个问题，并提出TransDrift，一个基于变换的预测模型词嵌入。利用Transformer的灵活性，我们的模型准确地学习嵌入漂移的动态并预测未来的嵌入。在实验中，我们与现有的方法进行比较，并表明我们的模型比基线更准确地预测词嵌入。至关重要的是，通过将预测的嵌入作为下游分类任务的骨干，我们表明，与以前的方法相比，我们的嵌入具有更好的性能。
2022-06-16 cs.CL cs.LG
Combating Adversarial Misspellings with Robust Word Recognition
Carnegie Mellon University（卡内基梅隆大学）
为了对抗对抗性拼写错误，我们建议在下游分类器之前放置一个单词识别模型。我们的单词识别模型建立在RNN半字符架构的基础上，引入了几种新的退避策略来处理罕见和不可见的单词。训练识别随机添加，下降，交换和键盘错误损坏的单词，我们的方法实现了32%的相对（和3.3%的绝对）错误减少香草半字符模型。值得注意的是，我们的管道赋予下游分类器鲁棒性，优于对抗训练和现成的拼写检查器。与针对情感分析进行微调的BERT模型相比，单个敌对选择的字符攻击将准确率从90.3%降低到45.8%。我们的防御系统可以将准确率恢复到75%。令人惊讶的是，更好的单词识别并不总是需要更强的鲁棒性。我们的分析表明，鲁棒性还取决于一个量，我们表示的灵敏度。
2019-08-29 cs.CL cs.CR cs.LG
Characterizing the impact of geometric properties of word embeddings on task performance
The Ohio State University（俄亥俄州立大学）；University of Warwick（华威大学）
词嵌入属性的分析，以告知其在下游NLP任务中的使用，主要是通过评估最近的邻居进行研究。然而，连续特征空间的几何性质直接有助于在下游模型中使用嵌入特征，并且在很大程度上未被探索。我们考虑词嵌入几何的四个属性，即：相对于原点的位置，特征在向量空间中的分布，全局成对距离和局部成对距离。我们定义了一系列转换来生成新的嵌入，这些嵌入将这些属性的子集暴露给下游模型，并评估任务性能的变化，以了解每个属性对NLP模型的贡献。我们从三个流行的工具包（word2vec，GloVe和FastText）中转换公开的预训练嵌入，并评估各种内在任务，这些任务在向量空间中建模语言信息，以及外部任务，这些任务使用向量作为机器学习模型的输入。我们发现，内在的评价是高度敏感的绝对位置，而外在的任务主要依赖于本地的相似性。我们的研究结果表明，未来的嵌入模型和后处理技术应该主要关注向量空间中附近点的相似性。
2019-04-09 cs.CL cs.LG
Word Embeddings: A Survey
Mathematics Institute (IM-UFRJ), Federal University of Rio de Janeiro（里约热内卢联邦大学数学研究所（IM-UFRJ））；Federal University of Rio de Janeiro（里约热内卢联邦大学）
该综述梳理了基于分布假说的词嵌入构建主流策略，指出其兼具优质句法语义信息，可作为额外特征赋能下游NLP任务。
2023-05-02 cs.CL cs.LG stat.ML
Task Vector Bases: A Unified and Scalable Framework for Compressed Task Arithmetic
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Pennsylvania（宾夕法尼亚大学）；Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）
提出任务向量基框架，将T个任务向量压缩为M<T个基向量，支持加法、否定等算术操作，理论保证泛化与遗忘，实验表明压缩后性能优于或持平完整集合。
2026-06-24 cs.LG
The effects of gender bias in word embeddings on depression prediction
Utrecht University（乌得勒支大学）
词嵌入作为一种最先进的语义特征向量表示方法被广泛应用于各种自然语言处理问题中。尽管他们在不同的任务和领域的成功，他们可能会表现出不希望的偏见，刻板的类别，由于统计和社会偏见，存在于数据集，他们是trainedon.In这项研究中，我们分析了性别偏见，在四个不同的预训练词嵌入专门为抑郁症类别的精神障碍域。我们使用上下文和非上下文嵌入，这些嵌入是在独立于领域以及临床领域特定的数据上训练的。我们观察到，嵌入对不同性别群体的抑郁症进行偏见，这取决于嵌入的类型。此外，我们证明，这些不希望的相关性被转移到下游任务抑郁症表型识别。我们发现，数据增强通过简单地交换性别词减轻了偏见显着的下游任务。
2022-12-15 cs.CL cs.LG
Unsupervised Learning of Word-Sequence Representations from Scratch via Convolutional Tensor Decomposition
无监督文本嵌入提取是机器学习中文本理解的关键。Word 2 Vec及其变体在将具有相似句法或语义含义的词映射到彼此接近的向量方面取得了实质性的成功。然而，提取上下文感知的词序列嵌入仍然是一个具有挑战性的任务。在大型语料库上训练是困难的，因为标签很难获得。更重要的是，对于预训练的模型来说，要获得对所有下游任务或任何新数据集都通用的单词序列嵌入是一个挑战。我们提出了一个两阶段的ConvDic+DeconvDec框架来解决这个问题，通过结合词序列字典学习模型和词序列嵌入解码模型。我们提出了一种卷积张量分解机制，在学习阶段学习好的单词序列短语词典。它被证明是更准确，更有效地比流行的交替最小化方法。在解码阶段，我们引入了一个反卷积框架，它不受句子长度变化的影响。我们使用ConvDic+DeconvDec提取的单词序列嵌入对于我们测试的一些下游任务来说普遍很好。该框架既不需要预训练也不需要先验/外部信息。
2018-05-28 cs.CL cs.LG
SBERT-WK: A Sentence Embedding Method by Dissecting BERT-based Word Models
University of Southern California（南加州大学）
句子嵌入是自然语言处理中的一个重要研究课题，它可以将知识传递给下游任务。同时，一个上下文化的词表示，称为BERT，在相当多的NLP任务中达到了最先进的性能。然而，从基于BERT的词模型中生成高质量的句子表示是一个悬而未决的问题。以往的研究表明，不同层次的BERT捕捉不同的语言属性。这使我们能够跨层融合信息，以找到更好的句子表示。在这项工作中，我们研究了深层上下文模型的单词表示的分层模式。然后，我们提出了一种新的句子嵌入方法，通过解剖BERT的词模型，通过几何分析的空间跨越的词表示。它被称为SBERT-WK方法。无需在SBERT-WK中进行进一步培训。我们评估SBERT-WK的语义文本相似性和下游监督任务。此外，十个层次的探测任务，提出了详细的语言分析。实验表明，SBERT-WK达到了最先进的性能。我们的代码是公开的。
2020-06-01 cs.CL cs.LG cs.MM
OCR for TIFF Compressed Document Images Directly in Compressed Domain Using Text segmentation and Hidden Markov Model
Indian Institute of Information Technology Allahabad（印度理工学院阿拉哈巴德分校）
在当今的技术时代，文档图像在我们的日常生活中发挥着重要和不可或缺的作用，特别是随着COVID-19的激增，数字扫描文档已成为沟通的主要来源，从而避免了任何形式的身体接触感染。扫描文档图像的存储和传输是一项非常占用内存的任务，因此压缩技术被用于在存档和传输之前减小图像大小。为了提取信息或对压缩图像进行操作，我们有两种方法：第一种方法是对图像进行压缩和操作，然后再次压缩图像，以提高存储和传输的效率。另一种方法是使用底层压缩算法的特性直接处理压缩形式的图像，而不涉及解压缩和重新压缩。本文提出了一种新的思路，即在压缩域中直接为CCITT（The International Telegraph and Telephone Consultative Committee，国际电报电话咨询委员会）压缩机打印的TIFF文档图像开发OCR。在将文本区域分割成行和词之后，使用CCITT的三种编码模式（水平、垂直和通过模式）应用HMM进行识别。实验结果表明，光学字符识别的通过模式给出了一个有前途的结果。
2022-09-13 cs.CL cs.CV cs.IR
A Mathematical Exploration of Why Language Models Help Solve Downstream Tasks
Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）
自回归语言模型，使用大型文本语料库进行预训练，以便在下一个单词预测方面做得很好，已经成功地解决了许多下游任务，即使使用了zero-shot。然而，对这种成功的理论认识很少。本文通过考虑以下问题对这一现象进行了数学研究：（1）下一个词预测的预训练任务和文本分类之间的直观联系是什么？(2)我们如何在数学上形式化这种联系，并量化语言建模的好处？对于（1），我们假设并经验验证了感兴趣的分类任务可以重新表述为句子完成任务，从而使语言建模成为有意义的预训练任务。通过对这一假设的数学形式化，我们朝着（2）取得了进展，并表明在交叉熵（对数困惑度）中是$ε$最优的语言模型学习特征，这些特征可以线性地解决具有$\mathcal{O}(\sqrtε)$错误的分类任务，从而证明在语言建模方面做得好可以有利于下游任务。我们通过实验验证了各种假设和理论发现，并利用分析中的见解设计了一个新的目标函数，该函数在某些分类任务中表现良好。
2021-04-14 cs.AI cs.CL cs.LG
Specializing Word Embeddings (for Parsing) by Information Bottleneck
Johns Hopkins University（约翰斯·霍普金斯大学）；Department of Computer Science（计算机科学系）
像ELMo和BERT这样的预训练词嵌入包含丰富的语法和语义信息，从而在各种任务上实现最先进的性能。我们提出了一个非常快速的变分信息瓶颈（VIB）方法来非线性压缩这些嵌入，只保留有助于判别式解析器的信息。我们将每个词嵌入压缩为离散标签或连续向量。在离散的版本中，我们的自动压缩标签形成一个替代的标签集：我们的实验表明，我们的标签捕获传统的POS标签注释中的大部分信息，但我们的标签序列可以更准确地解析在同一级别的标签粒度。在连续的版本中，我们的实验表明，适度压缩的词嵌入，我们的方法产生一个更准确的分析器在8 9种语言，不像简单的降维。
2019-10-01 cs.CL cs.LG
On Measuring and Mitigating Biased Inferences of Word Embeddings
University of Utah（犹他大学）
词嵌入带有来自它们所训练的文本的刻板内涵，这可能导致依赖它们的下游模型中的无效推断。我们利用这一观察设计了一个机制，用于测量定型使用的任务自然语言推理。我们证明了减少无效的推断，通过偏见缓解策略静态词嵌入（GloVe）。此外，我们表明，性别偏见，这些技术扩展到语境化嵌入时，选择性地只适用于静态组件的语境化嵌入（ELMo，BERT）。
2019-11-26 cs.CL cs.LG
Mitigating Gender Bias in Contextual Word Embeddings
本文提出新的掩码语言建模目标函数和评估指标，用于缓解上下文词嵌入中的性别偏见，同时证明静态嵌入偏见主要源于刻板印象名字而非性别化词语本身。
2024-11-18 cs.CL cs.LG
Adapting Context Compression for Long-Horizon Agents with Counterfactual Continuations
University of Virginia（弗吉尼亚大学）；Nokia（诺基亚）
针对长时程智能体，提出PAIR方法，通过反事实延续定位并修正有害压缩事件，提升压缩执行的跨运行可靠性，接近甚至超越无压缩基线。
2026-09-30 cs.AI cs.CL cs.LG
A Word is Worth 4-bit: Efficient Log Parsing with Binary Coded Decimal Recognition
SAP Labs Mougins, France（法国SAP实验室）
针对现有日志解析器难以捕捉细粒度模板细节导致准确率低的问题，提出一种聚合字符嵌入的字符级日志解析器，通过估计二进制编码十进制序列提取细粒度模板，在准确率上匹敌LLM解析器且效率更高。
2025-06-01 cs.CL cs.LG
CBOW Is Not All You Need: Combining CBOW with the Compositional Matrix Space Model
Idiap Research Institute（Idiap研究所）；Kiel University / ZBW（基尔大学 / ZBW）；University of Essex（埃塞克斯大学）
连续词袋（CBOW）是一种强大的文本嵌入方法。由于其强大的文字内容编码能力，CBOW嵌入在广泛的下游任务中表现良好，同时计算效率高。但是，CBOW不能捕获词序。原因是CBOW的词嵌入的计算是可交换的，即，XYZ和ZYX的嵌入是相同的。为了解决这个问题，我们提出了一个学习算法的连续矩阵空间模型，我们称之为连续字乘法（CMOW）。我们的算法是word 2 vec的一种改编，因此它可以在大量未标记的文本上进行训练。我们的经验表明，CMOW更好地捕捉语言特性，但它是劣于CBOW记忆单词内容。受这些发现的启发，我们提出了一个结合CBOW和CMOW优势的混合模型。我们的研究结果表明，混合CBOW-CMOW模型保留了CBOW的强大的记忆单词内容的能力，而在同一时间大幅提高其编码其他语言信息的能力8%。因此，混合算法在11个有监督的下游任务中的8个上也表现得更好，平均提高了1.2%。
2019-02-18 cs.CL cs.LG
Compressing Word Embeddings
Red Cat Labs（红猫实验室）
最近的方法学习向量空间表示的单词已经成功地捕捉细粒度的语义和语法的语义和语法使用向量算术。然而，这些向量空间表示（通过大规模文本分析创建）通常是逐字存储的，因为它们的内部结构是不透明的。使用词类比测试来监测存储在相同向量空间的压缩重表示中的细节水平，研究了减少内存使用和表现力之间的权衡。一个简单的计划，可以减少一个国家的最先进的嵌入的10倍的内存占用，只有最小的性能影响。然后，使用相同的“位分解”，一个二进制（近似）因式分解相同的空间也进行了探索，目的是创建一个等效的表示更好的解释性。
2016-05-16 cs.CL cs.LG
Hierarchical Multitask Learning Approach for BERT
Boğaziçi University（海峡大学）
最近的工作表明，学习上下文嵌入的话是有益的下游任务。BERT就是这种方法的一个成功例子。它通过解决两个任务来学习嵌入，这两个任务是掩码语言模型（掩码LM）和下一句预测（NSP）。BERT的预训练也可以被视为一个多任务学习问题。在这项工作中，我们采用分层多任务学习方法进行BERT预训练。预训练任务在不同的层而不是最后一层求解，并且来自NSP任务的信息被传输到掩蔽的LM任务。此外，我们提出了一个新的预训练任务bigram移位来编码词序信息。我们选择了两个下游任务，其中一个需要文本级嵌入（文本蕴涵），另一个需要上下文化的单词嵌入（问答）。由于计算限制，我们使用下游任务数据而不是大型数据集进行预训练，以查看给定受限数据集时所提出模型的性能。我们测试了他们的性能在几个探测任务分析学习嵌入。我们的研究结果表明，在预训练中实施任务层次结构可以提高嵌入的性能。
2020-10-17 cs.CL cs.LG
Evaluating Embedding Frameworks for Scientific Domain
University of Oxford（牛津大学）；QunaSys
针对科学领域，本研究旨在寻找最优词表示与分词方法，并构建评估套件以测试多种算法，用于下游NLP任务。
2025-10-03 cs.AI cs.CL cs.LG
Learning to Compute Word Embeddings On the Fly
ElementAI（元素人工智能公司）；MILA（蒙特利尔学习算法研究所）；Université de Montréal（蒙特利尔大学）；Jagiellonian University（雅盖隆大学）；DeepMind（深度思维公司）；Facebook AI Research（脸书人工智能研究院）
自然语言中的词遵循齐普夫分布，即一些词是频繁的，但大多数是罕见的。学习这种分布的“长尾”中的单词的表示需要大量的数据。直接在终端任务上训练的稀有单词的表示通常很差，需要我们在外部数据上预训练嵌入，或者将所有稀有单词视为具有唯一表示的词汇表外单词。我们提供了一种方法，用于从少量辅助数据中动态预测稀有词的嵌入，并为下游任务训练端到端的网络。我们表明，这改善了基线的结果，其中嵌入是在阅读理解，识别文本蕴涵和语言建模的最终任务上训练的。
2018-03-07 cs.CL cs.LG
Causally Denoise Word Embeddings Using Half-Sibling Regression
City University of Hong Kong（香港城市大学）；Friedrich Miescher Institute for Biomedical Research（弗里德里希·米歇尔生物医学研究所）
词的分布表示，也称为词向量，由于其广泛的应用，已经成为现代自然语言处理任务的关键。最近，出现了越来越多的词向量后处理算法，旨在使现成的词向量更加强大。根据这些调查，我们引入了一个新的词向量后处理方案下的因果推理框架。具体地说，后处理流水线是通过半同胞回归（HSR）实现的，它允许我们识别和去除词向量中包含的混淆噪声。与以前的工作相比，我们提出的方法具有可解释性和透明性的优点，由于其因果推理接地。在一组标准的词汇级评估任务和下游的情感分析任务上进行评估，我们的方法达到了最先进的性能。
2019-11-24 cs.CL cs.LG
Robustness Challenges in Model Distillation and Pruning for Natural Language Understanding
New Jersey Institute of Technology（新泽西理工学院）；Microsoft Research（微软研究院）；Rice University（莱斯大学）
最近的工作集中在压缩预训练语言模型（PLM），如BERT，其中主要关注的是提高下游任务的分布性能。然而，这些研究中很少有分析压缩对分布外（OOD）数据压缩模型的泛化性和鲁棒性的影响。为此，我们研究了两种流行的模型压缩技术，包括知识蒸馏和修剪，并表明压缩模型是显着不那么强大的PLM同行的OOD测试集，虽然他们获得类似的性能分布开发集的任务。进一步的分析表明，压缩模型过拟合的捷径样本和推广困难的。我们进一步利用这一观察，发展一个强大的模型压缩的样本不确定性的基础上的正则化策略。几个自然语言理解任务的实验结果表明，我们的偏见缓解框架提高了压缩模型的OOD泛化，同时不牺牲在分布任务的性能。
2023-02-27 cs.CL cs.LG
Learning Compressed Sentence Representations for On-Device Text Processing
Duke University（杜克大学）；Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
在大量文本语料库上训练的句子的向量表示被广泛用作各种NLP问题中的通用句子嵌入。学习的表示通常被假设为连续的和实值的，从而导致大的存储器占用和缓慢的检索速度，这阻碍了它们对低资源（存储器和计算）平台（诸如移动设备）的适用性。在本文中，我们提出了四种不同的策略来转换连续和通用的句子嵌入到一个二进制化的形式，同时保留其丰富的语义信息。在广泛的下游任务，二进制化的句子嵌入被证明是降低性能只有约2%，相对于他们的连续同行，同时减少了超过98%的存储需求的方法进行评估。此外，通过学习的二进制表示，可以通过简单地计算它们的汉明距离来评估两个句子的语义相关性，与连续嵌入之间的内积运算相比，这是计算效率更高的。详细的分析和实例研究进一步验证了所提方法的有效性。
2019-06-19 cs.CL cs.LG
Supervised Phrase-boundary Embeddings
Department of Computer Science and Information Systems, Birkbeck, University of London（伦敦大学伯贝克学院计算机科学与信息系统系）
我们提出了一个新的词嵌入模型，称为SPhrase，它结合了监督短语信息。我们的方法通过确保短语中的所有目标词具有完全相同的上下文来修改传统的词嵌入。我们证明，包括这些信息在一个上下文窗口产生优越的嵌入为内在的评价任务和下游的外在任务。
2020-02-15 cs.CL cs.IR cs.LG
SC-GIR: Goal-oriented Semantic Communication via Invariant Representation Learning
University of Sydney（悉尼大学）；VinUniversity（文大学）；College of Engineering and Computer Science（工程与计算机科学学院）；Trinity College Dublin（都柏林信任学院）；Center for Environmental Intelligence (CEI)（环境智能中心）；School of Computer Science and Statistics（计算机科学与统计学学院）；Department of Intelligent Computing and Data Science（智能计算与数据科学系）；Interdisciplinary Centre for Security, Reliability and Trust (SnT)（安全、可靠与信任跨学科中心）；Memorial University（纪念大学）
针对现有面向目标语义通信存在的收发端联合训练冗余、依赖标注数据等问题，提出基于自监督对比学习的SC-GIR框架，提取任务无关的不变压缩表示，在图像任务上性能优于基线近10%，不同SNR下分类准确率超85%。
2025-09-01 cs.AI cs.LG eess.SP
Unseen Word Representation by Aligning Heterogeneous Lexical Semantic Spaces
University of Cambridge（剑桥大学）；Iran University of Science and Technology（伊朗科技大学）；Apple（苹果公司）
词嵌入技术严重依赖于单个词的大量训练数据。给定自然语言文本中的词的齐普菲分布，大量的词通常不频繁地或根本不出现在训练数据中。在本文中，我们提出了一种技术，利用知识编码的词汇资源，如WordNet，诱导嵌入看不见的话。我们的方法适应图嵌入和跨语言向量空间变换技术，以合并词汇知识编码的本体与来自语料库统计。我们表明，该方法可以在多个评估基准中提供一致的性能改进：在体外，在多个稀有词相似性数据集上，以及在体内，在两个下游文本分类任务中。
2018-11-12 cs.AI cs.CL cs.LG
