GPT-4o as the Gold Standard: A Scalable and General Purpose Approach to Filter Language Model Pretraining Data
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Ohio State University, Columbus（俄亥俄州立大学哥伦布分校）
本文提出轻量级数据过滤方法SIEVE，通过主动学习将GPT-4o与轻量级文本分类模型无缝集成，以不到1%的成本匹配GPT-4o的准确率，并在DataComp-LM挑战中超越现有最先进方法。
2025-01-31 cs.CL cs.LG
Scalable Cross-Lingual Transfer of Neural Sentence Embeddings
The George Washington University（乔治华盛顿大学）；AWS, Amazon AI（亚马逊云科技，亚马逊人工智能）
我们开发并研究了几种用于神经句子嵌入模型的跨语言对齐方法，例如监督推理分类器，Infersent和顺序编码器-解码器模型。我们评估了三个应用于这些模型的对齐框架：联合建模，表示迁移学习和句子映射，使用并行文本来指导对齐。我们的研究结果支持表示转移作为一种可扩展的方法，用于神经句子嵌入的模块化跨语言对齐，与内在和外在评估中的联合模型相比，我们观察到更好的性能，特别是较小的并行数据集。
2019-04-11 cs.CL
Multilingual Embeddings Jointly Induced from Contexts and Concepts: Simple, Strong and Scalable
Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心（CIS））
在自然语言处理中，由局部语境引入的词嵌入是普遍存在的。一个简单有效的基于上下文的多语言嵌入学习器是Levy等人（2017）的S-ID（句子ID）方法。另一项工作是从概念中引入高性能的多语言嵌入（Dufter等人，2018年）。在本文中，我们提出了Co+Co，一个简单的和可扩展的方法，结合了基于上下文和基于概念的学习。从句子对齐的语料库中，通过采样提取概念;然后在嵌入学习中将单词与其概念ID和句子ID相关联。这是第一个成功结合基于上下文和基于概念的嵌入式学习的工作。我们表明，Co+Co表现良好的两个不同的应用场景：并行圣经语料库（1000+语言，低资源）和EuroParl（12种语言，高资源）。在适用于两个语料库的方法中，Co+Co在我们的六个任务的评估设置中表现最好。
2020-04-30 cs.CL
PSDVec: a Toolbox for Incremental and Scalable Word Embedding
Joint NTU-UBC Research Centre of Excellence in Active Living for the Elderly (LILY), Nanyang Technological University（南洋理工大学）；Tsinghua University（清华大学）
PSDVec是一个学习词嵌入的Python/Perl工具箱，即将自然语言中的单词映射到连续向量，这些向量对单词之间的语义/语法进行编码。PSDVec实现了一种基于加权低秩半正定近似的词嵌入学习方法。为了扩大学习过程，我们实现了一个分块在线学习算法来学习增量嵌入。该策略大大减少了大词汇量下词嵌入的学习时间，并且可以在不重新学习整个词汇的情况下学习新单词的嵌入。在9个单词相似性/类比基准集和2个自然语言处理（NLP）任务上，PSDVec生成的嵌入在流行的词嵌入工具中具有最佳的平均性能。PSDVec为NLP从业者提供了一个新的选择。
2016-06-10 cs.CL
Sentence-T5: Scalable Sentence Encoders from Pre-trained Text-to-Text Models
Google Research（谷歌研究院）
我们提供了文本到文本Transformers（T5）的句子嵌入的第一次探索。句子嵌入在语言处理任务中有着广泛的应用。虽然T5在序列到序列映射问题的语言任务上取得了令人印象深刻的性能，但目前还不清楚如何从编码器-解码器模型中生成句子嵌入。我们研究了三种提取T5句子嵌入的方法：两种只利用T5编码器，一种使用完整的T5编码器-解码器模型。为了支持我们的调查，我们建立了一个新的句子表示转移基准，SentGLUE，它扩展了SentEval工具包从GLUE基准的九个任务。我们的仅编码器模型在SentEval和SentGLUE传输任务上的性能优于Sentence-BERT和SimCSE句子嵌入，包括语义文本相似性（STS）。发现将T5从数百万个参数放大到数十亿个参数可以产生一致的进一步改进。最后，我们的编码器-解码器方法实现了一个新的国家的最先进的STS时，使用句子嵌入。我们的模型发布在https://tfhub.dev/google/collections/sentence-t5/1。
2021-12-14 cs.CL
Mix-and-Match: Scalable Dialog Response Retrieval using Gaussian Mixture Embeddings
IBM Research（IBM研究院）
基于嵌入的对话响应检索方法将上下文响应对嵌入为嵌入空间中的点。这些方法是可扩展的，但无法解释上下文响应对之间存在的复杂的多对多关系。另一方面，有一些方法通过多层神经网络联合提供上下文-响应对。这些方法可以模拟上下文-响应对之间的复杂关系，但当响应集适度大（>100）时无法扩展。在本文中，我们通过提出一个可扩展的模型，可以学习上下文响应对之间的复杂关系，结合了这两个世界的最佳。具体而言，该模型将上下文以及响应映射到嵌入空间上的概率分布。我们通过优化由训练数据中的上下文响应对引起的分布之间的Kullback-Leibler散度来训练模型。我们表明，所得到的模型实现了更好的性能相比，其他基于嵌入的方法公开可用的会话数据。
2022-04-06 cs.AI cs.CL
Enhancing PIO Element Detection in Medical Text Using Contextualized Embedding
IMRSV Data Labs（IMRSV数据实验室）
在本文中，我们探讨了一种新的方法，人口，干预和结果（PIO）元素检测，循证医学（EBM）的一个共同的任务。本研究的目的是双重的：建立一个训练数据集的PIO元素检测与最小的冗余和模糊性，并调查可能的选项，利用最先进的嵌入方法的PIO元素检测的任务。对于前一个目的，我们建立了一个新的和改进的数据集，通过调查以前发布的数据集的缺点。对于后者的目的，我们利用最先进的文本嵌入，双向编码器表示从Transformers（BERT），并建立一个多标签分类器。我们表明，选择特定于域的预训练嵌入进一步优化了分类器的性能。此外，我们表明，该模型可以通过使用集成的方法和增强技术，提供了充分选择的功能。
2019-06-26 cs.CL
Specializing General-purpose LLM Embeddings for Implicit Hate Speech Detection across Datasets
EPFL（苏黎世联邦理工学院）；Idiap Research Institute（Idiap研究机构）
本文提出仅微调基于大语言模型的通用嵌入模型（如 Stella、Jasper、NV-Embed 和 E5）即可在隐式仇恨言论检测中取得最先进性能，跨数据集 F1-macro 最高提升 20.35 个百分点。
2025-08-28 cs.CL
Ruri: Japanese General Text Embeddings
Graduate School of Informatics, Nagoya University（名古屋大学信息学研究科）
针对日语通用文本嵌入模型开发不足、数据集与专业知识匮乏的问题，研究团队开发了Ruri系列模型，详述了用LLM合成数据集训练、重排序器过滤与蒸馏及性能评估的全流程。
2024-09-12 cs.CL
Adapting General-Purpose Embedding Models to Private Datasets Using Keyword-based Retrieval
针对通用文本嵌入模型在含专业术语的私有数据集上效果下降的问题，提出利用BM25关键词检索排序构建监督信号的BMEmbed方法，可跨领域持续提升检索性能并已开源。
2025-05-31 cs.CL cs.IR
Fast and scalable learning of neuro-symbolic representations of biomedical knowledge
Medical University of Vienna（维也纳医科大学）
在这项工作中，我们解决的问题，快速和可扩展的学习一般生物知识的神经符号表示。基于最近发表的用于演示神经符号表示学习的综合生物知识图谱（Alshahrani，2017），我们展示了如何训练实体的快速（不到1分钟）对数线性神经嵌入。我们利用这些表示作为机器学习分类器的输入，以实现生物链接预测等重要任务。分类器通过连接学习的实体嵌入来表示实体关系，并在连接的嵌入上训练分类器以从自动生成的否定示例中辨别真实关系来训练。我们简单的嵌入方法大大提高了分类错误相比，以前发表的国家的最先进的结果，产生最大的增加$+0.28$ F-措施和$+0.22$ ROC AUC得分最困难的生物链接预测问题。最后，我们的嵌入方法训练的速度快了几个数量级（$\leq$ 1分钟vs.小时），在嵌入维度方面更经济（$d=50$ vs. $d=512$），并且自然地编码了不对称生物关系的方向性，这可以通过我们连接嵌入的顺序来控制。
2018-04-30 cs.AI cs.CL
Scalable Multi-phase Word Embedding Using Conjunctive Propositional Clauses
Department of ICT University of Agder（信息与通信技术系阿格德大学）；School of Engineering Newcastle University（工程学院新castle大学）
本研究提出一种基于合取命题子句的两阶段训练方法，用于可扩展地构建上下文词嵌入，在保持可解释性的同时，在IMDB情感分析等任务中取得与先前方法相当的竞争力表现。
2025-10-17 cs.CL cs.LG
AugCSE: Contrastive Sentence Embedding with Diverse Augmentations
Boston University（波士顿大学）
数据增强技术已被证明在自然语言处理领域的许多应用中是有用的。大多数增强都是针对特定任务的，不能用作通用工具。在我们的工作中，我们提出了AugCSE，一个统一的框架，利用不同的数据增强集，以实现更好的，通用的，句子嵌入模型。基于最新的句子嵌入模型，我们的方法使用了一个简单的对抗性的增强类型进行区分。借用领域自适应的微调目标，我们表明，不同的增强，这往往会导致冲突的对比信号，可以驯服产生一个更好的和更强大的句子表示。我们的方法在下游传输任务上实现了最先进的结果，并且仅使用无监督数据在语义文本相似性任务上具有竞争力。
2022-10-20 cs.CL
Scalable Approach for Normalizing E-commerce Text Attributes (SANTA)
Amazon（亚马逊）
在本文中，我们提出了SANTA，一个可扩展的框架，自动规范化电子商业属性值（例如“Win 10 Pro”）的一组固定的预定义的规范值（例如“Windows 10”）。属性规范化的早期工作集中在模糊字符串匹配（本文中也称为语法匹配）。在这项工作中，我们首先进行了广泛的研究，九个句法匹配算法，并建立“余弦”相似性导致最佳的结果，显示2.7%的改善，常用的Jaccard指数。接下来，我们认为，字符串相似性本身是不够的属性规范化，因为许多表面形式需要超越语法匹配（例如，“720 p”和“HD”是同义词）。虽然语义技术，如无监督嵌入（例如word 2 vec/fastText）在单词相似性任务中表现出良好的效果，但我们观察到它们在区分接近的规范形式方面表现不佳，因为这些接近的形式经常出现在类似的上下文中。我们建议使用具有三重损失的孪生网络来学习令牌嵌入。我们提出了一个嵌入式学习任务，利用原始属性值和产品名称以自我监督的方式学习这些嵌入。我们表明，使用我们提出的任务提供监督改进了基于语法和无监督嵌入的属性规范化技术。在一个包含50个属性的真实属性归一化数据集上的实验表明，使用我们提出的方法训练的嵌入比最佳字符串匹配提高了2.3%，比最佳无监督嵌入提高了19.3%。
2021-06-12 cs.CL cs.LG
Greenback Bears and Fiscal Hawks: Finance is a Jungle and Text Embeddings Must Adapt
Balyasny Asset Management（巴利亚斯尼资产管理公司）
针对金融文本术语和行话挑战，提出在1430万查询-段落对上微调的BAM embeddings，其Recall@1达62.8%且在FinanceBench上问答准确率提升8%，证明了领域特定训练的优势。
2024-11-11 cs.CL
Arctic-Embed: Scalable, Efficient, and Accurate Text Embedding Models
Snowflake Inc.（赛富时公司）
本文介绍 arctic-embed 文本嵌入模型系列的数据集构建与训练配方，通过消融验证关键设计，使五个开源模型在 MTEB Retrieval 同规模评测中达到最先进水平。
2024-05-08 cs.AI cs.CL cs.IR
WizMap: Scalable Interactive Visualization for Exploring Large Machine Learning Embeddings
Georgia Tech（佐治亚理工学院）；Apple（苹果公司）
针对机器学习嵌入难解释、维度高、规模大的问题，研究团队提出开源交互式可视化工具WizMap，结合多分辨率嵌入摘要方法与类地图交互，依托Web技术可在浏览器中支持百万级嵌入点探索。
2023-06-15 cs.CL cs.CV cs.HC
Scalable Parameter-Light Spectral Method for Clustering Short Text Embeddings with a Cohesion-Based Evaluation Metric
Saint Mary's University（圣玛丽大学）；York University（约克大学）
本文提出了一种可扩展的光谱方法，通过自适应采样策略估计簇数，并引入凝聚力比率评估簇质量，实验表明其在短文本聚类中优于传统方法。
2025-11-25 cs.CL cs.LG
Jina Embeddings 2: 8192-Token General-Purpose Text Embeddings for Long Documents
Jina AI GmbH（吉纳人工智能有限公司）
针对现有文本嵌入模型难以处理长文档的问题，提出Jina Embeddings 2开源模型，支持8192令牌，在MTEB基准上达到最先进性能并匹敌OpenAI ada-002，扩展上下文可提升NarrativeQA任务表现。
2024-02-04 cs.AI cs.CL cs.LG
Developing Visual Augmented Q&A System using Scalable Vision Embedding Retrieval & Late Interaction Re-ranker
Fidelity Investments（富达投资）
本文提出一种多步骤定制方案，利用混合搜索与后期交互重排序器检索最佳匹配页面，并使用多模态大语言模型生成答案，解决了视觉增强问答中检索可扩展性与效率的问题。
2025-07-16 cs.CL cs.IR
Deep Learning and Word Embeddings for Tweet Classification for Crisis Response
University of York（约克大学）；University of Hail（哈伊勒大学）
用于危机响应的传统推文分类模型专注于卷积层和特定领域的词嵌入。在本文中，我们研究了不同的神经网络与通用和特定领域的词嵌入的应用，以调查他们的能力，以提高性能的推文分类模型。我们在CrisisNLP数据集上评估了四个推文分类模型，并获得了可比较的结果，这表明可以使用GloVe等通用词嵌入来代替特定领域的词嵌入，特别是使用Bi-LSTM，结果报告了62.04%F1分数的最高性能。
2019-03-26 cs.CL cs.LG
Scalable Attentive Sentence-Pair Modeling via Distilled Sentence Embedding
Microsoft（微软）；Tel Aviv University（特拉维夫大学）；Technion（以色列理工学院）；Bar-Ilan University（巴伊兰大学）
最近最先进的自然语言理解模型，如BERT和XLNet，使用多个交叉注意操作对一对句子（A和B）进行评分-句子A中的每个单词都注意到句子B中的所有单词，反之亦然。因此，计算查询语句和一组候选语句之间的相似度需要在交叉注意层的堆栈中传播所有查询-候选语句对。当候选句子的数量很大时，这种穷举过程在计算上变得禁止。相比之下，句子嵌入技术学习句子到向量的映射，并通过简单的初等运算计算句子向量之间的相似性。在本文中，我们介绍了蒸馏句子嵌入（DSE）-一个模型，该模型是基于知识蒸馏从交叉注意模型，专注于双对任务。DSE的概要如下：给定一个交叉注意的教师模型（例如，微调的BERT），我们训练一个基于句子嵌入的学生模型，以重建教师模型获得的句子对分数。我们实证证明了DSE的有效性上五个胶双对任务。DSE的性能显着优于几种ELMO变体和其他句子嵌入方法，同时将查询候选句子对相似度的计算速度加快了几个数量级，与BERT相比平均相对下降了4.6%。此外，我们表明，DSE产生句子嵌入，达到最先进的性能，通用的句子表示基准。我们的代码可在https://github.com/microsoft/Distilled-Sentence-Embedding上公开获取。
2019-11-21 cs.CL cs.LG stat.ML
Progressively Optimized Bi-Granular Document Representation for Scalable Embedding Based Retrieval
Beijing University of Posts and Telecommunications（北京邮电大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft STCA（微软STCA）；University of Science and Technology of China（中国科学技术大学）
特设搜索要求从一个大规模的语料库中选择适当的答案。如今，基于嵌入的检索（EBR）成为一种很有前途的解决方案，其中基于深度学习的文档表示和ANN搜索技术相结合来处理这一任务。然而，一个主要的挑战是，人工神经网络索引可能太大，以适应内存，考虑到相当大的答案语料库。在这项工作中，我们使用双粒度文档表示来解决这个问题，其中轻量级稀疏嵌入被索引并在内存中待机，用于粗粒度候选搜索，而重量级密集嵌入则托管在磁盘中，用于细粒度后验证。为了达到最佳的检索精度，设计了一个渐进式优化框架。稀疏嵌入是提前学习的，用于高质量的候选搜索。以稀疏嵌入引起的候选分布为条件，连续学习密集嵌入以优化从入围候选中区分地面实况。此外，还有两种技术：对比量化和局部中心采样被引入用于稀疏和密集嵌入的学习，这实质上有助于它们的性能。由于上述特征，我们的方法有效地处理了100万规模的EBR，在准确率方面具有很强的优势：在百万规模的语料库上，召回率提高了+4.3%，在十亿规模的语料库上，召回率提高了+17.5%。此外，我们的方法被应用于一个主要的赞助搜索平台，收入（+1.95%），召回（+1.01%）和CTR（+0.49%）大幅增长。我们的代码可在https://github.com/microsoft/BiDR上获得。
2022-03-02 cs.AI cs.CL cs.IR
FinMTEB: Finance Massive Text Embedding Benchmark
The Hong Kong University of Science and Technology（香港科技大学）
本文提出金融领域文本嵌入基准FinMTEB及适配模型Fin-E5，通过评估15个模型发现通用基准与金融任务相关性有限、领域适配模型更优且简单BoW在STS任务中胜过密集嵌入。
2025-09-12 cs.CL cs.IR
Unsupervised Low-Dimensional Vector Representations for Words, Phrases and Text that are Transparent, Scalable, and produce Similarity Metrics that are Complementary to Neural Embeddings
University of Illinois College of Medicine（伊利诺伊大学医学院）
神经嵌入是一组流行的方法，用于将单词，短语或文本表示为低维向量（通常为50 - 500维）。然而，很难以有意义的方式解释这些维度，并且创建神经嵌入需要对多个参数和超参数进行广泛的训练和调整。我们在这里提出了一个简单的无监督的方法来表示单词，短语或文本作为一个低维向量，其中的意义和维度的相对重要性是透明的检查。我们已经创建了一个近乎全面的矢量表示的话，并选择二元组，三元组和缩写，使用的标题和摘要集在PubMed作为语料库。这个向量被用来创建几个新的隐式词-词和文本-文本相似性度量。隐式词-词相似性度量与人类对词对相似性和相关性的判断密切相关，并且在各种生物医学基准上优于或等于所有其他报告的方法，包括在PubMed语料库上训练的神经嵌入的几种实现。与基于word2vec的度量相比，我们的隐式词-词度量捕获了词-词相关性的不同方面，并且仅部分相关（rho =~0.5 - 0.8，取决于任务和语料库）。单词、双字母组、三字母组、缩写和PubMed标题+摘要的矢量表示都可以从www.example.com公开获得，并在CC-BY-NC许可下发布。在同一个网站上也提供了几个公共网络查询界面，其中一个允许用户指定一个给定的单词，并根据直接同现以及不同的隐式相似性度量来查看其最密切相关的术语。
2018-01-09 cs.CL cs.IR
Scalable Optimal Transport in High Dimensions for Graph Distances, Embedding Alignment, and More
Technical University of Munich（慕尼黑工业大学）
目前计算最优运输（OT）的最佳实践是通过熵正则化和Sinkhorn迭代。该算法在二次时间内运行，因为它需要完整的成对成本矩阵，这对于大型对象集来说非常昂贵。在这项工作中，我们提出了两个有效的对数线性时间近似的成本矩阵：第一，稀疏近似基于局部敏感哈希（LSH），第二，Nyström近似与基于LSH的稀疏校正，我们称之为本地校正Nyström（LCN）。这些近似使得用于熵正则化OT的一般对数线性时间算法能够即使对于深度学习中常见的复杂高维空间也表现良好。我们从理论上分析这些近似值，并直接和端到端地对它们进行实验评估，作为现实世界应用程序的一个组成部分。使用我们的近似值进行无监督词嵌入对齐使我们能够将最先进的方法加速3倍，同时将准确率提高3.1个百分点，而无需任何额外的模型更改。对于图距离回归，我们提出了图传输网络（GTN），它结合了图神经网络（GNNs）与增强的Sinkhorn。GTN比以前的模型高出48%，并且在节点数量上仍然是对数线性的。
2022-04-05 cs.CL cs.DS cs.LG
ClusterEA: Scalable Entity Alignment with Stochastic Training and Normalized Mini-batch Similarities
Zhejiang University（浙江大学）；Aalborg University（奥尔堡大学）
实体对齐的目的是在不同的知识图谱中找到等价的实体。基于嵌入的方法近年来主导了EA任务。这些方法面临的问题来自嵌入向量的几何属性，包括hubness和隔离。为了解决这些几何问题，许多归一化方法已被采用的EA。然而，越来越大的规模的KG渲染EA模型很难采用规范化过程，从而限制了它们在现实世界中的应用。为了应对这一挑战，我们提出了ClusterEA，这是一个通用框架，能够通过利用具有高实体等效率的小批量标准化方法来扩展EA模型并增强其结果。QuantiterEA包含三个组件来对齐大规模KG之间的实体，包括随机训练，QuantiterSampler和SparseFusion。它首先以随机的方式为EA训练一个大规模的Siamese GNN，以产生实体嵌入。在此基础上，提出了一种新的用于高度重叠小批量采样的随机采样器策略。最后，QuarterEA结合了SparseFusion，它对局部和全局相似性进行归一化，然后融合所有相似性矩阵以获得最终的相似性矩阵。在EA基准测试上使用真实数据集进行的广泛实验提供了对所提出的框架的深入了解，并表明它能够在Hits@1方面超过最先进的可扩展EA框架多达8倍。
2022-06-06 cs.AI cs.CL cs.DB
Do We Need Domain-Specific Embedding Models? An Empirical Investigation
The Hong Kong University of Science and Technology（香港科技大学）
本文构建金融领域嵌入基准 FinMTEB，评估七个 SOTA 模型并控制数据集复杂度，证明通用 MTEB 表现不能预测领域性能，凸显专用模型与基准的必要性。
2025-02-18 cs.CL cs.IR
