Temporal Embeddings and Transformer Models for Narrative Text Understanding
Istituto Dalle Molle di Studi sull’Intelligenza Artificiale (IDSIA)（达莱莫勒人工智能研究所）
我们提出了两种深度学习方法来理解叙事文本，以进行角色关系建模。这些关系的时间演化由动态词嵌入描述，其被设计为随着时间学习语义变化。相应的字符轨迹的实证分析表明，这种方法是有效的描绘动态演变。一个监督学习方法的基础上，国家的最先进的Transformer模型BERT，而不是用来检测字符之间的静态关系。经验验证表明，这些事件（例如，属于同一家族的两个字符）可以以良好的准确度被发现，即使在使用自动注释的数据时也是如此。这提供了一个更深入的了解叙事情节的基础上确定的关键事实。标准的聚类技术最终用于字符去混叠，这是两种方法的必要预处理步骤。总的来说，深度学习模型似乎适合叙事文本理解，同时也为一般自然语言理解提供了一个具有挑战性且尚未开发的基准。
2020-03-19 cs.CL cs.LG
Analyzing Scientific Publications using Domain-Specific Word Embedding and Topic Modelling
SUTD-MIT International Design Centre（新加坡科技设计大学-麻省理工学院国际设计中心）；Singapore University of Technology and Design（新加坡科技设计大学）
科学世界正在快速变化，新技术的开发和新趋势的出现越来越频繁。本文提出了一个对学术出版物进行科学分析的框架，这对于监测研究趋势和识别潜在的创新至关重要。该框架采用并结合了自然语言处理的各种技术，如词嵌入和主题建模。词嵌入用于获取特定领域词的语义。我们提出了两个新的科学出版物嵌入，即，PUB-G和PUB-W，能够学习各种研究领域中的通用词和特定领域词的语义。此后，主题建模用于确定这些较大的研究领域内的研究主题集群。我们策划了一个出版物数据集，包括1995年至2020年两个研究领域的两个会议和两种期刊。实验结果表明，我们的PUB-G和PUB-W嵌入优于其他基线嵌入的基础上主题一致性的利润率为~0.18-1.03。
2021-12-24 cs.AI cs.CL
Predefined domain specific embeddings of food concepts and recipes: A case study on heterogeneous recipe datasets
Jožef Stefan Institute（约泽夫·斯蒂芬研究所）；International Postgraduate School Jožef Stefan（约泽夫·斯蒂芬国际研究生院）
虽然食谱数据现在很容易获得，但很难找到一个完整的食谱数据集-包含成分列表，每种成分的营养价值，以及每个食谱，过敏原等食谱数据集通常从用户发布和发布食谱的社交媒体网站收集。通常写得很少或没有结构，使用标准化和非标准化的测量单位。我们收集了六个不同的食谱数据集，这些数据集是公开的，格式不同，有些还包括不同语言的数据。将所有这些数据集转换为应用机器学习（ML）管道进行营养预测所需的格式[1]，[2]，包括使用基于词典的命名实体识别（NER），基于规则的NER以及使用外部特定领域资源的转换的数据标准化。从成分列表中，使用所有配方的相同嵌入空间创建特定于域的嵌入-生成一个成分数据集。这个标准化过程的结果是两个语料库-一个具有预定义的成分嵌入，一个具有预定义的配方嵌入。在所有六个配方数据集上，对ML管道进行评估。这个用例的结果也证实了使用领域启发式合并的嵌入比基线产生更好的结果。
2023-02-02 cs.AI cs.CL
An empirical study on large scale text classification with skip-gram embeddings
University of Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Coffreo（Coffreo公司）
我们研究了在大规模文本分类的背景下，将词嵌入作为分类特征。这种表示已被用于过多的任务，但它们在分类场景中的应用与成千上万的类还没有得到广泛的研究，部分是由于硬件的限制。在这项工作中，我们研究了有效的组合功能，以获得文档级的字级嵌入，我们随后调查他们的组合与传统的一热编码表示。通过对大型、多类、多标签分类问题的经验证据，我们证明了这种组合的效率和性能优势。
2016-06-21 cs.CL cs.IR
Word Embeddings for Sentiment Analysis: A Comprehensive Empirical Survey
Politecnico di Torino（都灵理工大学）
本文研究了训练方法、训练语料库规模和文本主题相关性等因素对词嵌入特征在推文、歌词、电影评论和项目评论的情感分析中的作用。我们还探索了特定的训练或后处理方法，可用于提高词嵌入在某些任务或领域的性能。我们的经验观察表明，用大而丰富的词汇量的多主题文本训练的模型在回答句法和语义词类比问题时是最好的。我们进一步观察到，主题相关性的影响是更强的电影和电话评论，但较弱的推文和歌词。后两个领域对语料库大小和训练方法更敏感，Glove优于Word2vec。从词典“注入”额外的智能或生成情感特定的词嵌入是提高词嵌入特征性能的两个突出的替代方案。
2019-02-02 cs.CL cs.IR
An Empirical Evaluation of doc2vec with Practical Insights into Document Embedding Generation
IBM Research（IBM研究院）；The University of Melbourne（墨尔本大学）
最近，Le和Mikolov（2014）提出了doc2vec作为word2vec的扩展（Mikolov et al.，2013a）学习文档级嵌入。尽管原始论文中的结果很有希望，但其他人一直在努力重现这些结果。本文提出了一个严格的实证评估doc2vec在两个任务。我们将doc2vec与两个基线和两种最先进的文档嵌入方法进行了比较。我们发现，当使用在大型外部语料库上训练的模型时，doc2vec表现稳健，并且可以通过使用预训练的词嵌入来进一步改进。我们还为通用应用程序的超参数设置提供了建议，并发布了源代码，以使用我们训练的doc2vec模型来诱导文档嵌入。
2016-07-19 cs.CL
Is Neural Topic Modelling Better than Clustering? An Empirical Study on Clustering with Contextual Embeddings for Topics
University of Technology Sydney（悉尼科技大学）；Eindhoven University of Technology（埃因霍温理工大学）；University of Wollongong（伍伦贡大学）
最近的工作将预训练的词嵌入（如BERT嵌入）纳入神经主题模型（NTM），生成高度连贯的主题。然而，有了高质量的上下文文档表示，我们真的需要复杂的神经模型来获得连贯和可解释的主题吗？在本文中，我们进行了深入的实验表明，直接聚类高质量的句子嵌入与适当的词选择方法可以产生更多的连贯性和多样性的主题比NTM，也实现了更高的效率和简单性。
2022-04-21 cs.CL
Towards Storage-Efficient Visual Document Retrieval: An Empirical Study on Reducing Patch-Level Embeddings
Nanyang Technological University（南洋理工大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Institute of Trustworthy Embodied AI, Fudan University（复旦大学可信具身人工智能研究所）
针对 ColPali/ColQwen2 补丁级嵌入内存过高的问题，本文实证比较 token 剪枝与合并，提出三维优化的 Light-ColPali/ColQwen2，以极低内存保留高检索性能。
2025-06-05 cs.CL cs.IR
Empirical Study of Diachronic Word Embeddings for Scarce Data
LIMSI - CNRS（法国国家科学研究中心机械与工程科学计算机实验室）；Univ. Paris-Sud（巴黎第十一大学）；Univ. Paris-Saclay（巴黎萨克雷大学）；Société Générale（法国兴业银行）
词义的变化可以从随时间变化的词嵌入的漂移中推断出来。然而，时间数据可能太稀疏而不能构建鲁棒的词嵌入并将显著漂移与噪声区分开。在本文中，我们比较了三种模型来学习稀缺数据上的历时词嵌入：Kim et al.（2014）的Skip-Gram增量更新，Bamler和Mandt（2017）的动态过滤，以及Rudolph和Blei（2018）的动态Bernoulli嵌入。特别是，我们研究了不同的初始化方案的性能，并强调每个模型的哪些特性更适合数据稀缺，依赖于检测到的漂移的分布。最后，我们对这些模型的损失进行了正则化，以更好地适应稀缺数据。
2019-09-04 cs.CL
What Do Position Embeddings Learn? An Empirical Study of Pre-Trained Language Model Positional Encoding
National Taiwan University（台湾大学）
近年来，预先训练的Transformers已经主导了大多数NLP基准测试任务。许多经过预先训练的Transformers变体不断爆发，大多数都专注于设计不同的预先训练目标或自我注意力的变体。在自我注意力机制中嵌入位置信息也是Transformers中不可或缺的因素，但经常被随意讨论。因此，本文对主流的预训练Transformers的职位嵌入进行了实证研究，主要关注两个问题：1）职位嵌入是否真的学习了职位的含义？2)这些不同的学习位置嵌入如何影响NLP任务的Transformers？本文旨在通过对大多数标志性NLP任务的特征级分析和实证实验，为预训练位置嵌入提供新的见解。相信我们的实验结果可以指导未来的工作，选择合适的位置编码功能，为特定的任务给定的应用属性。
2020-10-10 cs.AI cs.CL
Cross-lingual Models of Word Embeddings: An Empirical Comparison
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Carnegie Mellon University（卡内基梅隆大学）
尽管人们对使用跨语言知识来学习各种任务的词嵌入感兴趣，但文献中缺乏对可能方法的系统比较。我们进行了广泛的评估，四个流行的方法诱导跨语言嵌入，每一个需要不同形式的监督，在四个排版不同的语言对。我们的评估设置跨越四个不同的任务，包括单语言和跨语言相似性的内在评估，以及下游语义和句法应用程序的外在评估。我们发现，需要昂贵的跨语言知识的模型几乎总是表现得更好，但廉价的监督模型往往在某些任务上具有竞争力。
2016-06-08 cs.CL
Contextualized Embeddings in Named-Entity Recognition: An Empirical Study on Generalization
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；BNP Paribas（法国巴黎银行）；Criteo AI Lab（科睿唯安人工智能实验室）
上下文化嵌入使用无监督的语言模型预训练来根据上下文计算单词表示。这对于泛化直观上是有用的，特别是在命名实体识别中，检测在训练期间从未见过的提及至关重要。然而，标准的英语基准高估了词汇的重要性，因为不切实际的词汇重叠之间的训练和测试提到上下文功能。在本文中，我们进行了一个实证分析的泛化能力的国家的最先进的语境化嵌入分离提到的新颖性和域外评估。我们表明，它们是特别有益的未见过的提及检测，特别是域外。对于在CoNLL 03上训练的模型，语言模型上下文化导致域内最大相对微F1分数增加+1.2%，而WNUT数据集上的域外最大相对微F1分数增加+13%
2020-01-22 cs.CL cs.LG
Revealing the Numeracy Gap: An Empirical Investigation of Text Embedding Models
The Hong Kong University of Science and Technology（香港科技大学）
本研究通过金融合成数据实证评估13个文本嵌入模型，发现其普遍难以精确编码数值细节，揭示了数值能力差距，并为改进嵌入模型处理数值内容提供方向。
2025-09-06 cs.AI cs.CL
Do Prompts Reshape Representations? An Empirical Study of Prompting Effects on Embeddings
Polytechnic University of Catalonia（加泰罗尼亚理工大学）；Bocconi University（博科尼大学）
该研究通过对提示嵌入的探测实验发现，提示虽影响语言模型表征质量，但与任务相关性无稳定关联，挑战了相关提示必带来更好表征的假设，并分析了潜在原因。
2025-10-22 cs.AI cs.CL
Empirical Study of Named Entity Recognition Performance Using Distribution-aware Word Embedding
University of Illinois（伊利诺伊大学）
本文针对NER在陌生实体类型与文档下的识别难题，提出分布感知词嵌入并通过三种方式融入NER框架，验证了词语特异度信息可提升识别性能。
2024-01-22 cs.CL cs.LG
Do Acoustic Word Embeddings Capture Phonological Similarity? An Empirical Study
Saarland University（萨尔兰大学）
深度神经网络的几种变体已经成功地用于构建参数模型，该参数模型将可变持续时间的口语单词段投影到固定大小的向量表示或声学词嵌入（AWE）上。然而，目前还不清楚我们可以在多大程度上依赖新兴的AWE空间中的距离作为对单词形式相似性的估计。在本文中，我们问：在声学嵌入空间的距离与语音相异性？为了回答这个问题，我们实证研究了具有不同神经架构和学习目标的AWE的监督方法的性能。我们训练AWE模型在两种语言（德语和捷克语）的控制设置和评估两个任务的嵌入：单词歧视和语音相似性。我们的实验表明：（1）在最好的情况下，嵌入空间中的距离与语音距离只有适度的相关性，（2）提高单词辨别任务的性能并不一定会产生更好地反映单词语音相似性的模型。我们的研究结果强调了重新思考AWE当前内在评价的必要性。
2021-06-16 cs.CL cs.SD eess.AS
An Empirical Study on Leveraging Position Embeddings for Target-oriented Opinion Words Extraction
University of Sheffield（谢菲尔德大学）；Beihang University（北京航空航天大学）
面向目标的意见词提取（TOWE）（Fan等人，2019 b）是面向目标的情感分析的一个新的子任务，其目的是为文本中的给定方面提取意见词。当前最先进的方法利用位置嵌入来捕获单词与目标的相对位置。然而，这些方法的性能取决于将这些信息合并到单词表示中的能力。在本文中，我们探索了各种基于预训练的词嵌入或利用词性和位置嵌入的语言模型的文本编码器，旨在检查TOWE中每个组件的实际贡献。我们还采用了一个图卷积网络（GCN），以提高单词表示，通过纳入句法信息。我们的实验结果表明，基于BiLSTM的模型可以有效地将位置信息编码成单词表示，而使用GCN只能获得边际收益。有趣的是，我们的简单方法优于几种最先进的复杂神经结构。
2021-09-02 cs.AI cs.CL
An Empirical Study on Post-processing Methods for Word Embeddings
University of California, San Diego（加利福尼亚大学圣迭戈分校）
从大型语料库中学习的词嵌入已被广泛应用于自然语言处理中，并作为学习系统的通用输入表示。近年来，人们提出了一系列的后处理方法来提高词嵌入在相似性比较和类比检索任务中的性能，其中一些方法已被应用于句子表征。这些方法背后的一般假设是，通过强制嵌入空间更加各向同性，可以更好地表达单词之间的相似性。我们认为这些方法作为一种方法来缩小协方差/克矩阵，这是通过学习词向量估计，对一个缩放的单位矩阵。通过使用集中式核对齐（CKA）优化半黎曼流形中的目标，我们能够搜索最佳收缩参数，并提供一种后处理方法来平滑学习单词向量的频谱，从而提高下游任务的性能。
2019-10-23 cs.CL cs.LG stat.ML
Universal Text Representation from BERT: An Empirical Study
AWS AI Labs（AWS人工智能实验室）
我们提出了一个系统的调查逐层BERT激活通用文本表示，以了解他们捕获的语言信息，以及如何转移他们在不同的任务。句子级嵌入是针对SentEval的下游和探测任务的两个最先进的模型进行评估的，而句子级嵌入是在学习排名问题设置下的四个问答（QA）数据集上进行评估的。预训练的BERT模型的嵌入在语义相似度和句子表面信息探测任务中表现不佳。对自然语言推理数据的微调BERT极大地提高了嵌入的质量。组合来自不同BERT层的嵌入可以进一步提高性能。BERT嵌入在通道水平上的模拟QA数据集上的表现显著优于BM 25基线，但在非模拟数据集上的表现未能优于BM 25。对于所有QA数据集，基于嵌入的方法和域内微调的BERT之间存在差距（我们报告了两个数据集的最新结果），这表明问题和答案对之间的深度交互对于这些硬任务至关重要。
2019-10-23 cs.CL cs.LG
A Comprehensive Empirical Evaluation of Existing Word Embedding Approaches
South Asian University（南亚大学）
本文对现有词嵌入方法进行综合实证评估，将传统矩阵分解方法与基于神经网络的方法分类比较，并通过多个分类任务揭示各自更具优势的应用场景。
2024-03-02 cs.CL cs.NE
An empirical investigation into the properties of standard word embeddings
African Institute for Mathematical Sciences (AIMS)（非洲数学科学研究所）；North-West University（西北大学）
研究词嵌入属性，回顾计算词嵌入的机制，研究公共领域的工具包和矩阵，通过选定实现进行实验以了解其特征
2026-07-28 cs.AI cs.CL
An Empirical Analysis of NMT-Derived Interlingual Embeddings and their Use in Parallel Sentence Identification
DFKI（德国人工智能研究中心）；University of Saarland（萨尔大学）
端到端神经机器翻译在某些语言对的翻译质量方面已经超过了统计机器翻译，特别是那些具有大量并行数据的语言对。除了这种明显的改进，神经网络还提供了几个新的特性。一个系统可以被训练成在多种语言之间进行翻译，除了训练时间之外几乎没有额外的成本。此外，网络学习的内部表征作为单词或句子的新语义表征，与标准的词嵌入不同，它是在基本上双语甚至多语言的背景下学习的。鉴于这些属性，本工作的贡献是双重的。首先，我们系统地研究了NMT上下文向量，即编码器的输出，以及它们作为句子的中间语言表示的能力。我们通过测量翻译之间的相似性，以及语义相关和语义不相关的句子对来评估它们的质量和有效性。其次，作为第一点的外在评价，我们在可比语料库中识别出平行句子，当仅使用NMT上下文向量时，从共享任务的数据中获得F1=98.2%。使用上下文向量与相似性度量F1联合达到98.9%。
2017-11-15 cs.CL
Learning Sense-Specific Static Embeddings using Contextualised Word Embeddings as a Proxy
University of Liverpool（利物浦大学）；Department of Computer Science（计算机科学系）；University of Liverpool, UK（英国利物浦大学）
从神经语言模型（NLM）（如BERT）生成的上下文化词嵌入表示具有向量的单词，该向量考虑目标单词的语义及其上下文。另一方面，静态词嵌入（如GloVe）通过相对低维、内存和计算效率高的向量表示词，但对词的不同含义不敏感。我们提出了上下文派生的嵌入的意义（CDES），一种方法，提取意义相关的信息，从上下文的嵌入，并将其注入到静态嵌入，以创建特定意义的静态嵌入。在词义消歧和词义判别任务的多个基准测试上的实验结果表明，CDES可以准确地学习特定于词义的静态嵌入，其性能与当前最先进的词义嵌入相当。
2021-10-06 cs.CL
An Empirical Study of Extrapolation in Text Generation with Scalar Control
UC San Diego（加州大学圣迭戈分校）
我们进行了实证评估外推性能条件标量控制输入时，如所需的输出长度，所需的编辑从输入句子，并在三个文本生成任务所需的情绪。具体来说，我们检查了一个zero-shot设置，其中模型被要求概括为训练期间未看到的控制值范围。我们专注于评估标量输入的流行嵌入方法，包括可学习和正弦嵌入，以及更简单的方法。令人惊讶的是，我们的研究结果表明，直接使用标量输入的最简单策略，而无需进一步编码，最可靠地允许成功的外推。
2021-04-16 cs.CL cs.LG
Task-Specific Dependency-based Word Embedding Methods
University of Southern California（南加州大学）；National University of Singapore（新加坡国立大学）
本文提出了两种基于任务相关性的词嵌入方法用于文本分类。与通用的词嵌入方法，通用的任务，我们设计的特定任务的词嵌入方法，以提供更好的性能在一个特定的任务。我们的方法遵循PPMI矩阵分解框架，并从依赖解析树中导出单词上下文。第一种是基于依存关系的词嵌入（DWE），它选择依存关系树中的关键词和目标词的相邻词作为上下文，构建词-上下文矩阵。第二种方法，名为类增强依赖性为基础的词嵌入（CEDWE），学习词上下文以及词类共现统计。DWE和CEDWE在流行的文本分类数据集上进行了评估，以证明其有效性。实验结果表明，它们优于几种最先进的词嵌入方法。
2021-10-26 cs.CL
SemCSE-Multi: Multifaceted and Decodable Embeddings for Aspect-Specific and Interpretable Scientific Domain Mapping
Bielefeld University（比勒菲尔德大学）
SemCSE-Multi通过多维嵌入和解码技术，实现科学领域可解释的细粒度映射与可视化。
2026-01-10 cs.AI cs.CL cs.IR
A comprehensive empirical analysis on cross-domain semantic enrichment for detection of depressive language
University of Alberta（阿尔伯塔大学）
我们分析了创建词嵌入特征表示的过程，这些特征表示是为当注释数据稀缺时的学习任务而设计的，例如，在推文中的抑郁语言检测中。我们从一个从大型通用数据集预训练的丰富的词嵌入开始，然后通过一个简单的非线性映射机制，从一个更小、更具体的领域数据集学习嵌入。我们还尝试了其他几种更复杂的映射方法，包括几种基于自动编码器和基于自定义损失函数的方法，这些方法通过逐渐学习接近相似语义的单词和远离不相似语义的单词来学习嵌入表示。我们的强化表征更好地捕捉了抑郁领域的语义，因为它结合了从特定领域学到的语义和一般语言的词汇覆盖。我们还提出了一个比较性能分析我们的词嵌入表示与一个简单的词袋模型，众所周知的情感和心理语言学词典，和一般的预训练词嵌入。当用作几种不同的机器学习方法的特征表示时，包括抑郁推文识别任务中的深度学习模型，我们表明我们的增强词嵌入表示比其他表示获得了更好的F1分数，特别是当应用于高质量数据集时。此外，我们提出了几个数据消融测试，证实了我们的增强技术的有效性。
2021-06-24 cs.AI cs.CL cs.LG
An Empirical Evaluation of Text Representation Schemes on Multilingual Social Web to Filter the Textual Aggression
DA-IICT（古吉拉特邦达拉尔巴伊信息技术与通信技术研究所）
本文试图研究两个任务，即：用户攻击和事实检测的社会媒体内容的文本表示方案的有效性。在用户攻击检测，目的是从社交媒体中生成的内容和写在英语，梵文印地语和罗马化印地语识别侵略的水平.攻击性水平分为三个预定义的类，即：“非攻击性”，“公开攻击性”和“隐蔽攻击性”。在与灾难有关的事件，社会媒体一样，推特是充斥着数以百万计的职位。在这种紧急情况下，查明实际员额对参与救济行动的组织很重要。我们预计这个问题是分类和排名问题的组合。本文对基于BoW技术、分布式词/句表示、分类器上的迁移学习的各种文本表示方案进行了比较。加权$F_1$评分用作主要评价指标。实验结果表明，在机器学习分类器上，使用BoW的文本表示比词嵌入的效果更好。而预训练的词嵌入技术在基于深度神经网络的分类器上表现更好。最近的迁移学习模型，如ELMO，ULMFiT，针对攻击分类任务进行了微调。然而，结果与预训练的词嵌入模型不一致。总的来说，使用fastText的词嵌入比Word 2 Vec和Glove产生最好的加权$F_1$分数。使用预训练的向量模型进一步改进结果。采用统计显著性检验来确保分类结果的显著性。在词汇上不同的测试数据集的情况下，除了训练数据集之外，深度神经模型更健壮，并且比机器学习分类器表现得更好。
2019-04-16 cs.CL cs.IR cs.SI
Domain Adapted Word Embeddings for Improved Sentiment Classification
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
通用词嵌入是在大规模通用语料库上训练的;领域特定（DS）词嵌入只在来自感兴趣领域的数据上训练。本文提出了一种将通用嵌入的广度与领域特定嵌入的特异性相结合的方法。所得到的嵌入，称为域自适应（DA）词嵌入，通过使用典型相关分析（CCA）或相关的非线性核CCA对齐相应的词向量形成。情感分类任务的评估结果表明，DA嵌入大大优于通用和DS嵌入时，作为输入功能的标准或国家的最先进的句子编码算法进行分类。
2018-05-11 cs.CL
Empirical Error Modeling Improves Robustness of Noisy Neural Sequence Labeling
Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；University of Bonn（波恩大学）
尽管最近取得了进展，但标准序列标记系统在处理嘈杂的用户生成的文本或消耗光学字符识别（OCR）过程的输出时经常失败。在本文中，我们通过提出一种经验错误生成方法来改进噪声感知训练方法，该方法采用经过训练的序列到序列模型来执行从无错误文本到错误文本的翻译。使用OCR引擎，我们生成了一个大型的并行文本语料库进行训练，并产生了几个真实世界的噪声序列标记基准进行评估。此外，为了克服在不完美的文本输入的情况下加剧的数据稀疏问题，我们学习了基于噪声语言模型的嵌入。我们的方法优于基线噪声生成和错误校正技术的错误序列标记数据集。为了方便将来对鲁棒性的研究，我们公开了我们的代码、嵌入和数据转换脚本。
2021-05-25 cs.CL
ChemTEB: Chemical Text Embedding Benchmark, an Overview of Embedding Models Performance & Efficiency on a Specific Domain
McMaster University（麦克马斯特大学）；BASF Canada Inc（巴斯夫加拿大公司）；BASF Corporation（巴斯夫公司）
ChemTEB是一个专为化学领域设计的文本嵌入基准，通过评估34个模型，揭示现有方法在处理化学信息上的优缺点，为化学NLP应用提供标准化评估框架。
2025-01-23 cs.CL
CoVeR: Learning Covariate-Specific Vector Representations with Tensor Decompositions
Stanford University（斯坦福大学）
词嵌入是一种在大型文本语料库中获取共现结构的有效方法。然而，除了文本数据本身之外，我们通常还有与单个语料库文档相关的其他协变量-例如作者的人口统计数据，出版时间和地点-我们希望嵌入能够自然地捕获这些信息。我们提出了CoVeR，一个新的张量分解模型的向量嵌入协变量。CoVeR联合学习所有单词的\emph{base}嵌入以及加权对角矩阵，以模拟每个协变量如何影响基础嵌入。例如，为了获得特定于作者或场所的嵌入，我们可以简单地将基础嵌入乘以相关的变换矩阵。我们的方法的主要优点是数据效率和协变量变换的可解释性。我们的实验表明，与仅使用相关数据子集为每个协变量学习单独嵌入的标准方法以及其他相关方法相比，我们的联合模型学习了更好的协变量特定嵌入。此外，CoVeR鼓励嵌入“主题对齐”，因为维度具有特定的独立含义。这使得我们的协变量特定嵌入可以按主题进行比较，从而实现下游差异分析。我们经验性地评估了我们的算法在数据集上的好处，并演示了它如何用于解决许多关于协变量效应的自然问题。本文附带的代码可以在http://github.com/kjtian/CoVeR上找到。
2018-07-07 cs.CL
A Neural Generative Model for Joint Learning Topics and Topic-Specific Word Embeddings
University of Warwick（华威大学）；Southeast University（东南大学）
我们提出了一种新的生成模型，以探索联合学习主题和特定主题的词嵌入的本地和全局上下文。特别是，我们假设，全球潜在的主题是共享的文件，一个词是由一个隐藏的语义向量编码其上下文语义含义，其上下文单词的条件下生成的隐藏的语义向量和全球潜在的主题。主题与词嵌入联合训练。经过训练的模型将单词映射到主题相关的嵌入，这自然解决了单词多义的问题。实验结果表明，该模型在词汇相似度评价和词义消歧方面均优于词级嵌入方法。此外，与现有的神经主题模型或用于主题和词嵌入的联合学习的其他模型相比，该模型还提取了更多的连贯主题。最后，该模型可以很容易地与现有的深度上下文化词嵌入学习方法集成，以进一步提高情感分类等下游任务的性能。
2020-08-11 cs.CL
Learning Efficient Task-Specific Meta-Embeddings with Word Prisms
Mila – Québec AI Institute（魁北克人工智能研究所Mila）；McGill University（麦吉尔大学）；Bank of Montréal（蒙特利尔银行）
词嵌入被训练来预测词的共现统计，这使得它们具有不同的词汇属性（句法，语义等）。这取决于在训练时定义的上下文的概念。当查询嵌入空间以寻找最相似的向量时，以及当在经过训练以解决下游NLP问题的深度神经网络的输入层使用时，这些属性就会显现出来。元嵌入结合了多组不同训练的词嵌入，并且已经被证明成功地提高了仅使用一组源嵌入的等效模型的内在和外在性能。我们介绍单词棱镜：一种简单有效的元嵌入方法，它可以根据手头的任务学习组合源嵌入。Word prism学习正交变换来线性组合输入源嵌入，这使得它们在推理时非常有效。我们评估字棱镜相比，其他元嵌入方法的六个外在的评价，并观察到字棱镜提供的所有任务的性能改善。
2020-11-05 cs.CL
Learning Domain-Specific Word Embeddings from Sparse Cybersecurity Texts
University of Maryland, Baltimore County（马里兰大学巴尔的摩郡分校）；IBM（IBM公司）
词嵌入是一种自然语言处理（NLP）技术，它自动将词汇表中的词映射到嵌入空间中的实数向量。近年来，它已被广泛用于提高各种NLP任务的性能，如命名实体识别，句法分析和情感分析。经典的词嵌入方法，如Word2Vec和GloVe，在大型文本语料库中工作良好。当输入文本像在许多专门领域中那样稀疏时（例如，网络安全），这些方法往往不能产生高质量的载体。本文提出了一种从稀疏文本中训练特定领域词嵌入的新方法。除了领域文本，我们的方法还利用了不同类型的领域知识，如领域词汇和语义关系。具体来说，我们首先提出了一个通用的框架，编码不同类型的领域知识的文本注释。在此基础上，提出了一种新的词标注嵌入算法（WAE），将不同类型的文本标注融合到词嵌入中。我们已经评估了我们的方法在两个网络安全文本语料库：恶意软件描述语料库和常见的漏洞和暴露（CVE）语料库。我们的评估结果证明了我们的方法在学习特定领域的词嵌入方面的有效性。
2017-09-21 cs.CL
Empirical Evaluation of Character-Based Model on Neural Named-Entity Recognition in Indonesian Conversational Texts
Kata Research Team（Kata研究团队）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）
尽管命名实体识别（NER）任务在自然语言处理领域有着悠久的历史，但以往的工作很少针对会话文本进行研究。这样的文本是具有挑战性的，因为它们包含大量的单词变体，这增加了词汇表外（OOV）单词的数量。大量的OOV单词给基于单词的神经模型带来了困难。与此同时，有大量证据表明基于字符的神经模型在缓解OOV问题方面的有效性。我们报告了一个实证评估的神经序列标记模型与字符嵌入，以解决印尼语会话文本的NER任务。我们的实验表明：（1）字符模型比仅词嵌入的模型的性能高出多达4个$F_1$点，（2）字符模型在OOV情况下的性能更好，提高高达15个$F_1$点，（3）字符模型对非常高的OOV率是鲁棒的。
2018-09-19 cs.CL
More Discriminative Sentence Embeddings via Semantic Graph Smoothing
Centre Borelli（博雷利中心）；Université Paris Cité（巴黎城市大学）；Caisse des Dépôts et Consignations（存款与信托金库）
本文提出利用语义图平滑增强预训练句子嵌入，在八个基准上验证了其对文本聚类与分类任务的一致改进。
2024-02-20 cs.CL cs.LG
Delta-training: Simple Semi-Supervised Text Classification using Pretrained Word Embeddings
Seoul National University（首尔国立大学）
我们提出了一种新颖而简单的半监督文本分类方法。该方法源于这样的假设，即具有预训练的词嵌入的分类器总是优于具有随机初始化的词嵌入的相同分类器，正如在NLP任务中经验观察到的那样。我们的方法首先构建两组分类器作为模型集成的一种形式，然后以不同的方式嵌入它们的词嵌入：一个使用随机，另一个使用预训练的词嵌入。我们专注于两个分类器对未标记数据的不同预测，同时遵循自训练框架。我们还使用早期停止元时期，以提高我们的方法的性能。我们的方法Delta-training在4个不同的文本分类数据集中优于自训练和协同训练框架，显示出对错误积累的鲁棒性。
2019-09-28 cs.CL
Fusing Vector Space Models for Domain-Specific Applications
University of Fribourg（弗里堡大学）；CNRS（法国国家科学研究中心）；ENS Paris-Saclay（巴黎-萨克雷高等师范学院）；Paris-Saclay University（巴黎-萨克雷大学）
我们解决了针对特定用例和领域调优词嵌入的问题。我们提出了一种新的方法，自动组合多个特定领域的嵌入，从广泛的预训练特定领域的嵌入，以提高其组合的表达能力。我们的方法依赖于两个关键组件：1）基于新的嵌入相似性度量的排名函数，该函数选择最相关的嵌入以使用给定的域; 2）降维方法，该方法结合所选嵌入以产生更紧凑和更有效的编码，从而保留表现力。我们的经验表明，我们的方法产生了有效的特定领域的嵌入，不断提高性能的国家的最先进的机器学习算法在多个任务，与通用嵌入大型文本语料库训练。
2019-09-05 cs.CL cs.LG stat.ML
A Probabilistic Framework for Learning Domain Specific Hierarchical Word Embeddings
Amazon（亚马逊）；University of Melbourne（墨尔本大学）
一个词的含义往往因其在不同领域的用法而异。标准的词嵌入模型很难表示这种变化，因为它们学习一个词的单一全局表示。我们提出了一种方法来学习特定领域的词嵌入，从文本组织成层次结构的领域，如在电子商务网站的评论，其中产品遵循分类。我们的结构化概率模型允许向量表示相同的词漂移远离对方的分类法中的遥远的领域，以适应其特定领域的含义。通过联合学习特定于领域的单词表示集，我们的模型可以利用领域关系，并且它可以随着领域的数量而扩展。使用大型真实世界的评论数据集，我们证明了我们的模型与最先进的方法相比的有效性，在学习特定领域的词嵌入，这对人类来说是直观的，并有利于下游NLP任务。
2019-10-20 cs.CL cs.LG
Joint Multitask Learning for Community Question Answering Using Task-Specific Embeddings
Nanyang Technological University（南洋理工大学）；Amazon（亚马逊）；Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）
我们共同解决社区论坛中问答的两个重要任务：给定一个新问题，（i）找到相关的现有问题，以及（ii）找到这个新问题的相关答案。我们进一步使用辅助任务来补充前两个任务，即，(iii)在问题评论线程中找到关于线程问题的好答案。我们使用深度神经网络（DNN）来学习有意义的特定于任务的嵌入，然后将其纳入多任务设置的条件随机场（CRF）模型，在复杂的图结构上进行联合学习。虽然DNN在训练产生嵌入时单独实现了竞争结果，但CRF利用嵌入和任务之间的依赖关系，在各种评估指标中显着且一致地改善了结果，从而显示了DNN和结构化学习的互补性。
2018-09-24 cs.CL
Word Embeddings for Banking Industry
本文构建并评估银行领域专用词嵌入，发现其相较 GloVe、BERT 更能捕捉银行业语义与词语关联，可独立使用或补充通用嵌入。
2023-06-02 cs.AI cs.CL
Best Practices for Learning Domain-Specific Cross-Lingual Embeddings
Textkernel B.V.（Textkernel 公司）；Radboud University（拉德堡德大学）
跨语言嵌入旨在通过捕获跨语言的语义相似性来在共享向量空间中表示多种语言中的单词。它们是通过将知识从资源丰富的语言转移到资源较少的语言来将任务扩展到多种语言的关键组件。学习跨语言嵌入的常见方法是为每种语言单独训练单语嵌入，并学习从单语空间到共享空间的线性投影，其中映射依赖于小种子字典。虽然有高质量的通用种子词典和预训练的跨语言嵌入可用于许多语言对，但很少有研究表明它们在专业任务中的表现。在本文中，我们调查的最佳做法，为特定领域的种子字典构建。我们评估的嵌入序列标签任务的简历解析，并表明双语词典的大小，在域语料库和数据源（特定任务与通用）的词典单词的频率影响的性能。我们还表明，在低资源语言中可用的训练数据越少，双语词典的构建就越重要，并且证明了在zero-shot迁移学习的情况下，一些选择是至关重要的。
2019-07-06 cs.CL
Advancing Semantic Caching for LLMs with Domain-Specific Embeddings and Synthetic Data
Redis（睿都斯（Redis））；Virginia Tech（弗吉尼亚理工大学）
本报告提出通过领域特定小型嵌入模型微调和合成数据生成管道提升LLM语义缓存的精度与召回率，有效平衡计算开销与准确性。
2025-04-03 cs.CL cs.LG
Dynamic Embeddings with Task-Oriented prompting
本研究提出面向任务提示的动态嵌入方法DETOT，通过可根据任务需求与反馈动态调整的灵活嵌入层优化输入表示，兼具准确率与计算效率提升，经实验验证优于现有方法。
2024-06-21 cs.CL cs.LG
Mapping Unseen Words to Task-Trained Embedding Spaces
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
我们考虑监督训练设置，在其中我们学习特定于任务的词嵌入。我们假设我们从从未标记数据中学习的初始嵌入开始，并更新它们以学习监督训练数据中单词的特定任务嵌入。然而，对于测试集中的新词，我们必须使用它们的初始嵌入或单个未知嵌入，这通常会导致错误。我们通过学习一个神经网络来解决这个问题，通过多损失目标函数从初始嵌入映射到特定于任务的嵌入空间。该技术是通用的，但在这里，我们将展示其用于改进的依存句法分析（特别是对于含有词汇表外单词的句子），以及用于情感分析的下游改进。
2016-06-23 cs.CL cs.LG
Utility of General and Specific Word Embeddings for Classifying Translational Stages of Research
NYU Langone Health（纽约大学朗格尼医学中心）
传统的文本分类模型做了一个词袋的假设，将文本减少到每个文档的单词出现计数。最近的算法，如word2vec，能够使用上下文窗口以完全无监督的方式学习单词之间的语义含义和相似性，并且比以前的方法快得多。每个单词都被投影到向量空间中，使得类似意义的单词如“strong”和“powerful”被投影到相同的一般欧几里得空间中。关于这些嵌入的公开问题包括它们在分类任务中的效用以及构建广泛功能嵌入的最佳属性和文档来源。在这项工作中，我们展示了预训练的嵌入在我们的任务中用于分类的有用性，并证明了在域中为任务构建的自定义词嵌入可以提高性能，而不是在更一般的数据（包括新闻文章或维基百科）上学习的词嵌入。
2018-07-09 cs.CL stat.ML
Conformal retrofitting via Riemannian manifolds: distilling task-specific graphs into pretrained embeddings
Stanford University（斯坦福大学）；Square Inc.（Square公司）
预训练的（语言）嵌入是实体（如单词）的通用、任务不可知的特征表示，是许多机器学习应用的核心。这些表示可以通过改装来丰富，改装是一类将特定于任务的领域知识编码为这些实体的子集上的图的方法。然而，现有的改造算法面临着两个限制：他们过拟合的观察到的图，未能表示与丢失的实体的关系;和他们欠拟合的观察到的图，只学习嵌入在欧几里得流形，不能忠实地表示，甚至简单的树结构或循环图。我们通过两个关键贡献来解决这些问题：（i）我们提出了一种新的正则化器，一种保形正则化器，它可以从预训练的嵌入中保留局部几何形状--使泛化到丢失的实体;（ii）一个新的黎曼前馈层，它可以学习将预训练的嵌入映射到可以更好地表示整个图的非欧几里得流形上。通过在WordNet上的实验，我们证明了保形正则化器可以防止现有的（仅欧几里德）方法对缺失实体的链接预测过度拟合，并且-与黎曼前馈层一起-学习优于它们的非欧几里德嵌入。
2020-10-09 cs.CL cs.LG
Deep Learning and Word Embeddings for Tweet Classification for Crisis Response
University of York（约克大学）；University of Hail（哈伊勒大学）
用于危机响应的传统推文分类模型专注于卷积层和特定领域的词嵌入。在本文中，我们研究了不同的神经网络与通用和特定领域的词嵌入的应用，以调查他们的能力，以提高性能的推文分类模型。我们在CrisisNLP数据集上评估了四个推文分类模型，并获得了可比较的结果，这表明可以使用GloVe等通用词嵌入来代替特定领域的词嵌入，特别是使用Bi-LSTM，结果报告了62.04%F1分数的最高性能。
2019-03-26 cs.CL cs.LG
AspectCSE: Sentence Embeddings for Aspect-based Semantic Textual Similarity Using Contrastive Learning and Structured Knowledge
Technical University of Munich（慕尼黑工业大学）；DFKI GmbH（德国人工智能研究中心）
本文提出AspectCSE方法，利用对比学习和Wikidata知识图谱属性训练基于方面的句子嵌入，在信息检索任务上平均提升3.97%，并证明多方面嵌入优于单方面嵌入。
2023-09-24 cs.AI cs.CL
When Can We Work in Embedding Space? What Text Embeddings Preserve
Federal Reserve Bank of Philadelphia（费城联邦储备银行）
该研究探讨文本嵌入用于实证分析的假设，在文档为潜在主题混合的生成模型下明确该假设，通过对363个美国大都市区的应用，发现基于LLM生成经济描述的嵌入聚类效果优于其他聚类方式。
2026-09-01 cs.CL econ.EM stat.ML
TWICE: What Advantages Can Low-Resource Domain-Specific Embedding Model Bring? -- A Case Study on Korea Financial Texts
MODULABS（모듈랩스）；KT Corporation；Shinhan Securities Co（신한증권）
本文针对低资源语言（韩语）金融领域，提出新基准 KorFinMTEB，揭示直接翻译基准的局限性，强调需开发反映语言文化特质的领域特定评估框架。
2025-04-01 cs.CL q-fin.CP
