Filtered Inner Product Projection for Crosslingual Embedding Alignment
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
由于对机器翻译和迁移学习的广泛兴趣，存在许多用于将多个嵌入映射到共享表示空间的算法。最近，这些算法已经在双语词典归纳的设置中进行了研究，其中，人们试图对齐源语言和目标语言的嵌入，使得翻译的单词对在公共表示空间中彼此靠近。在本文中，我们提出了一种方法，过滤内积投影（FIPP），映射嵌入到一个共同的表示空间和评估FIPP的双语词典归纳的背景下。由于语义转换在语言和领域中普遍存在，FIPP首先识别两种嵌入中的共同几何结构，然后仅在共同结构上对齐这些嵌入的Gram矩阵。与以前的方法不同，FIPP即使在源和目标嵌入具有不同维度时也是适用的。我们表明，我们的方法优于现有的方法对各种语言对的MUSE数据集。此外，FIPP在易于实现和可扩展性方面都提供了计算优势。
2021-03-23 cs.CL cs.LG
A visual observation on the geometry of UMAP projections of the difference vectors of antonym and synonym word pair embeddings
Faculty of Information Technology, University of Jyväskylä（于韦斯屈莱大学信息科技学院）；HUS Helsinki University Hospital（赫尔辛基大学医院）；Digital Workforce Services（数字劳动力服务）
本文通过UMAP投影分析反义词与同义词词对嵌入差向量的几何特性，发现特定投影下出现独特的漩涡结构，探讨了Transformer模型中概念编码的几何表示方法。
2026-03-25 cs.CL cs.LG
Accelerating LLM Inference via Vector Index Based Output Embeddings
该研究针对大语言模型推理时的输出嵌入内存瓶颈，提出用基于HNSW的向量索引替代稠密词汇投影，在保持生成质量的同时，使Gemma 3 270M的端到端解码吞吐量提升最高达82%。
2026-08-31 cs.CL cs.LG
ProFormer: Towards On-Device LSH Projection Based Transformers
Mila, Université de Montréal（蒙特利尔大学米拉研究所）；Amazon Alexa（亚马逊Alexa）；Google（谷歌）
基于文本的神经模型的核心是单词表示，它功能强大，但占用大量内存，这使得部署到具有内存限制的设备（如手机，手表和物联网）具有挑战性。为了克服这些挑战，我们引入了ProFormer --一种基于投影的Transformer架构，它更快、更轻，适合部署到内存受限的设备上，并保护用户隐私。我们使用LSH投影层动态地动态生成单词表示，而不嵌入查找表，从而将内存占用从O（V.d）显著减少到O（T），其中V是词汇大小，d是嵌入维度大小，T是LSH投影表示的维度。我们还提出了一个局部投影注意（LPA）层，它使用自注意将N个LSH单词投影的输入序列转换为N/K个表示的序列，从而使计算量二次减少O（K^2）。我们评估了ProFormer在多个文本分类任务上的表现，并观察到其在短文本分类方面优于现有最先进的设备上方法，而在长文本分类任务上的表现则与之相当。与2层BERT模型相比，ProFormer将嵌入内存占用从92.16 MB减少到1.3 KB，计算开销减少了16倍，这是非常令人印象深刻的，使其成为最快和最小的设备模型。
2021-04-24 cs.CL cs.LG
Unsupervised Sentence-embeddings by Manifold Approximation and Projection
Prosus N.V.（Prosus公司）
无监督通用句子编码器的概念最近获得了关注，其中预训练的模型为短语，句子和段落生成有效的任务不可知的固定维度表示。此类方法的复杂性各不相同，从简单的词向量加权平均值到基于双向Transformers的复杂语言模型。在这项工作中，我们提出了一种新的技术，以生成无监督的方式通过投影到一个固定维流形的句子，以保持在原始空间中的局部邻域的目标嵌入。为了描绘这样的邻居，我们实验了几个设置距离度量，包括最近提出的字移动器的距离，而固定维的投影是通过采用一个可扩展的和高效的流形近似方法植根于拓扑数据分析。我们测试我们的方法，我们长期EMAP或嵌入流形近似和投影，在六个公开的文本分类数据集的大小和复杂性不同。实证结果表明，我们的方法始终执行类似或优于几个替代国家的最先进的方法。
2021-02-07 cs.CL
Learning Better Word Embedding by Asymmetric Low-Rank Projection of Knowledge Graph
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）
词嵌入是指自然词的低维密集向量表示，它在许多自然语言处理任务中表现出了强大的功能。然而，自由文本语料库中作为训练数据的信息不准确和不完整可能会使其受到影响。为了应对这一挑战，已经有相当多的作品利用知识图谱作为额外的信息源来提高词嵌入的质量。虽然这些工作取得了一定的成功，但他们忽略了一些关于知识图谱的重要事实：（i）知识图谱中的许多关系是\emph{many-to-one}，\emph{one-to-many}甚至\emph{many-to-many}，而不是简单的\emph{one-to-one} ;（ii）知识图谱中的大多数头实体和尾实体来自非常不同的语义空间。为了解决这些问题，在本文中，我们提出了一个新的算法名为ProjectNet。ProjecNet在使用不同的低秩投影矩阵进行转换后，对头部和尾部实体之间的关系进行建模。低秩投影可以允许实体之间的非\emph{one-to-one}关系，而头部和尾部实体的不同投影矩阵允许它们起源于不同的语义空间。实验结果表明，ProjectNet的词嵌入比以前的工作更准确，从而导致各种自然语言处理任务的明显改善。
2015-06-14 cs.CL
Structural Embedding Projection for Contextual Large Language Model Inference
本文提出结构嵌入投影（SEP）方法，通过投影矩阵整合层次与关系依赖以细化词元表示，在降低困惑度、增强连贯性的同时带来数据集相关的效率权衡，并改善多句生成的流畅性与主题一致性。
2025-08-08 cs.CL
Bilingual Sentiment Embeddings: Joint Projection of Sentiment Across Languages
Institut für Maschinelle Sprachverarbeitung（机械语言处理研究所）；University of Stuttgart（斯图加特大学）
低资源语言中的情感分析缺乏注释语料库来估计高性能模型。机器翻译和双语词嵌入通过跨语言情感方法提供了一些缓解。然而，它们要么需要大量的并行数据，要么不能充分捕获情感信息。我们引入双语情感嵌入（BLSE），共同代表情感信息的源和目标语言。该模型只需要一个小的双语词典，一个源语言语料库注释的情绪，和每种语言的单语词嵌入。我们对三种语言组合（西班牙语、加泰罗尼亚语、巴斯克语）进行了句子级跨语言情感分类实验，发现我们的模型在六个实验设置中的四个上显着优于最先进的方法，并且捕获了补充信息到机器翻译。我们对所得到的嵌入空间的分析提供了证据，证明它代表了资源贫乏的目标语言中的情感信息，而没有该语言中的任何注释数据。
2018-05-23 cs.CL
Tracing Antisemitic Language Through Diachronic Embedding Projections: France 1789-1914
Ca’ Foscari University of Venice（威尼斯大学）
我们使用历时性的词嵌入研究了现代反犹太主义的发源地之一法国的反犹太主义历史的某些方面。我们构建了一个大型语料库的法国书籍和期刊的问题，包含一个关键字有关的犹太人，并进行了历时词嵌入在1789年至1914年期间。我们研究了4个目标词的语义空间随时间的变化，并对6个反犹太语篇流进行了嵌入投影。这使我们能够跟踪反犹太偏见在宗教，经济，社会政治，种族，伦理和阴谋领域的演变。预测显示，反犹太主义有增长的趋势，特别是在80年代中期开始的几年里，并在德雷福斯事件中达到高潮。我们的分析还使我们能够突出在其他宗教的更广泛背景下对犹太教的特殊不利偏见。
2019-06-04 cs.AI cs.CL cs.DL
Supervised Understanding of Word Embeddings
Siemens Medical Solutions USA（美国西门子医疗解决方案公司）
预训练的词嵌入被广泛用于自然语言处理中的迁移学习。嵌入是单词的连续和分布式表示，在紧凑的欧几里得空间中保持它们的相似性。然而，这些空间的尺寸并没有提供任何明确的解释。在这项研究中，我们已经获得了监督投影的形式线性关键字级分类器的词嵌入。我们已经表明，该方法创建原始嵌入尺寸的可解释的投影。经训练的分类器节点的激活对应于词汇表中的单词的子集。因此，它们的行为类似于字典特征，同时具有连续值输出的优点。此外，这样的字典可以通过将得分最高的单词上的专家标签添加到关键字的初始集合来迭代地增长多轮。此外，相同的分类器可以应用于其他语言中的对齐的词嵌入以获得对应的词典。在我们的实验中，我们已经证明，使用这些分类器权重初始化高阶网络可以为下游NLP任务提供更准确的模型。我们进一步证明了监督维度在揭示感兴趣的关键词的多义性质方面的有用性，通过在不同的子空间中使用学习的分类器来投影它的嵌入。
2020-06-23 cs.CL cs.LG
Parallax: Visualizing and Understanding the Semantics of Embedding Spaces via Algebraic Formulae
Uber AI Labs（优步人工智能实验室）；Uber Technologies Inc.（优步科技公司）；Facebook（脸书）；Purdue University（普渡大学）
嵌入是许多现代机器学习和自然语言处理模型的基本组成部分。理解它们并将其可视化对于收集有关它们捕获的信息和模型行为的见解至关重要。分析嵌入的现有技术包括将它们投影在二维平面中，而没有与投影轴相关联的任何可解释的语义，这使得多组嵌入之间的详细分析和比较具有挑战性。在这项工作中，我们建议使用明确的轴定义为代数公式的嵌入投影到一个较低的维度，但语义有意义的子空间，作为一个简单而有效的分析和可视化方法。该方法为可变性的度量和可视化的轴分配了可解释的语义，允许不同嵌入集之间的比较和嵌入空间的细粒度检查。我们通过一系列的案例研究，利用可视化构建的基础方法，并通过用户研究，展示了所提出的方法的力量。结果表明，该方法在提供比经典投影方法更深刻的见解方面是有效的，并且它如何广泛适用于许多其他用例。
2019-05-28 cs.CL cs.LG
LayerFlow: Layer-wise Exploration of LLM Embeddings using Uncertainty-aware Interlinked Projections
ETH Zurich（苏黎世联邦理工学院）；University of Konstanz（康斯坦茨大学）
针对LLM嵌入探索中降维引入的不确定性问题，提出可视化分析工作区LayerFlow，通过互联投影设计及凸包、距离指标等组件传达多维度不确定性，经案例验证其可用性。
2025-04-09 cs.CL cs.GR
Quantum-inspired Embeddings Projection and Similarity Metrics for Representation Learning
RPTU Kaiserslautern-Landau（莱茵兰-普法尔茨技术大学凯泽斯劳滕-兰道分校）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
本文提出含量子启发相似性度量的量子电路投影头，将经典嵌入映射至 Hilbert 空间并压缩 BERT 嵌入，在 TREC 基准上以少 32 倍参数取得竞争力性能。
2025-01-08 cond-mat.dis-nn cs.CL quant-ph
Rediscovering Hashed Random Projections for Efficient Quantization of Contextualized Sentence Embeddings
Berlin-Brandenburgische Akademie der Wissenschaften（柏林-勃兰登堡科学院）；Technische Universität Darmstadt（达姆施塔特工业大学）；Hessian Center for AI (hessian.AI)（黑森人工智能中心（hessian.AI））
提出一种基于随机超平面投影和二进制量化的方法，将预计算上下文句子嵌入的内存占用减少高达98.96%，并在英德句子分类任务中保留94%至99%的浮点性能。
2023-05-16 cs.CL
Hierarchical Lexical Manifold Projection in Large Language Models: A Novel Mechanism for Multi-Scale Semantic Representation
提出一种将分层嵌入投影到结构化流形的新机制，在保持计算效率的同时增强多尺度语义表示，提升语言基准准确性和鲁棒性。
2025-03-25 cs.CL
Information Terra: A Narrative-Anchored Semantic-First Projection of Document Embeddings
Virginia Tech（弗吉尼亚理工大学）
提出一种将文档嵌入投影到类地球球体的方法，以用户选择的端点文档为两极，经线为嵌入超球面上的大圆测地线，通过核密度估计恢复主题特征并构建叙事轨迹，在540篇古巴抗议文章语料上验证了从奥巴马访问到国际援助的叙事线。
2026-07-01 cs.CL cs.HC cs.IR
Semantic projection: recovering human knowledge of multiple, distinct object features from word embeddings
Harvard University（哈佛大学）；McGovern Institute for Brain Research, Massachusetts Institute of Technology（麻省理工学院麦戈文脑研究所）；Siemens Healthineers（西门子医疗）；Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）
语言的词汇反映了人类思维的结构，使我们能够在个体之间传递思想。然而，语言只能代表我们丰富而详细的认知结构的一个子集。在这里，我们问什么样的共同知识（语义记忆）被捕获的词义（词汇语义）。我们研究了一个突出的计算模型，表示在一个多维空间中的向量的话，这样，词向量之间的接近近似语义相关性。因为相关的词出现在相似的上下文中，所以这种空间--称为“词嵌入“--可以从自然语言中的词汇共现模式中学习到。尽管词嵌入很受欢迎，但一个基本的问题是它们似乎在语义上是“刚性的”：词间接近度只捕捉整体相似性，而人类对对象相似性的判断高度依赖于上下文，涉及多个不同的语义特征。例如，海豚和短吻鳄看起来大小相似，但智力和攻击性不同。这种依赖于上下文的关系可以从词嵌入中恢复吗？为了解决这个问题，我们引入了一个强大的，域通用的解决方案：词向量的“语义投影”到代表各种对象特征的线条上，如大小（从“小”到“大”的线条），智能（从“哑”到“聪明”），或危险（从“安全”到“危险”）。这种方法直观上类似于将物体放在两个极端之间的“心理尺度”上，恢复了人类对一系列物体类别和属性的判断。因此，我们表明，词嵌入继承了丰富的共同知识，从词共现统计，可以灵活地操纵，以表达上下文相关的意义。
2018-03-06 cs.CL
Embedding Projection for Targeted Cross-Lingual Sentiment: Model Comparisons and a Real-World Study
University of Oslo（奥斯陆大学）；University of Stuttgart（斯图加特大学）
情感分析受益于大量的手工注释资源，以便训练和测试机器学习模型，这些模型通常需要大量数据。虽然有些语言，例如，英语有大量的这些资源，而大多数资源不足的语言没有，特别是对于细粒度的情感任务，如方面级或有针对性的情感分析。为了改善这种情况，我们提出了一种跨语言的方法来情感分析，适用于资源不足的语言，并考虑到目标级别的信息。该模型将情感信息纳入双语分布表示中，通过联合优化它们的语义和情感，与机器翻译结合时，在双语水平上显示出最先进的性能。对多个领域的目标情感分析的适应表明，我们的模型在二元目标情感任务上的性能优于其他基于投影的双语嵌入方法。我们对10种语言的分析表明，未标记的单语数据的数量对情感结果的影响非常小。如所预期的，选择带注释的源语言用于投影到目标导致相似的源-目标语言对的更好结果。因此，我们的研究结果表明，更多的努力应该花在创建资源不太相似的语言，那些资源已经丰富。最后，域失配导致性能降低。这表明任何语言的资源都应该理想地覆盖各种领域。
2019-06-24 cs.CL
Lost in Embeddings: Information Loss in Vision-Language Models
University of Copenhagen（哥本哈根大学）；Microsoft（微软）；University of Cambridge（剑桥大学）
研究VLM中连接器投影导致的信息损失，提出基于k近邻分析和图像块级嵌入重建两种方法量化损失，发现投影显著扭曲视觉表示局部几何结构且高损失区可预测模型困难实例。
2025-09-15 cs.CL cs.CV
Sketching Word Vectors Through Hashing
Universität Düsseldorf（杜塞尔多夫大学）
我们提出了一种新的使用哈希函数的快速词嵌入技术。该方法是一种新型随机投影的去随机化：通过忽略设计随机投影中使用的经典约束（即，在特定的赋范空间中保持成对距离），我们的解决方案利用了极其稀疏的非负随机投影。我们的实验表明，所提出的方法可以实现有竞争力的结果，神经嵌入学习技术相媲美，然而，只有这些方法的计算复杂性的一小部分。虽然所提出的去随机化提高了我们的方法的计算和空间复杂度，但在构建模型后（并且在降低的维度下）将权重方法（如正逐点互信息（PPMI））应用于我们的模型的可能性赋予了所得嵌入较高的辨别力。显然，这种方法具有基于随机投影的技术的其他已知优点，例如易于更新。
2018-08-30 cs.CL
Contextual Subspace Manifold Projection for Structural Refinement of Large Language Model Representations
本文提出上下文子空间流形投影，通过受控子空间约束重构词元嵌入，降低各向异性并提升表示紧凑性与可分离性，且不损害语义保真和推理效率。
2025-03-26 cs.CL
Semantic Concept Spaces: Guided Topic Model Refinement using Word-Embedding Projections
University of Konstanz（康斯坦茨大学）；Ontario Tech University（安大略理工大学）
我们提出了一个框架，允许用户将他们的领域知识的语义主题模型细化，同时保持模型不可知。我们的方法使用户能够（1）理解模型的语义空间，（2）识别潜在的冲突和问题的区域，（3）根据他们的理解重新调整概念的语义关系，直接影响主题建模。这些任务由交互式可视化分析工作区支持，该工作区使用词嵌入投影来定义概念区域，然后可以对其进行细化。用户细化的概念是独立于特定的文档集合，并可以转移到相关的语料库。概念空间中的所有用户交互直接影响底层向量空间模型的语义关系，这反过来又改变了主题建模。除了直接操作之外，我们的系统还通过推荐的交互来指导用户的决策过程，这些交互指出了潜在的改进。这种有针对性的改进旨在最大限度地减少有效的人在回路过程所需的反馈。我们确认了通过我们的方法在两个用户研究中实现的改进，通过我们的视觉知识外化和学习过程显示主题模型质量的提高。
2019-08-01 cs.CL cs.HC cs.IR
