A Comprehensive Comparison of Word Embeddings in Event & Entity Coreference Resolution
ULiege/HEC Liege（列日大学/列日高等商学院）
共指消解是一项重要的自然语言处理任务，大多数最先进的方法都依赖于词嵌入来表示词。然而，在文献中很大程度上被忽视的一个问题是，在这项任务中，比较不同嵌入的性能。因此，我们在事件和实体共指消解（EvCR & EnCR）的背景下构建我们的研究，并解决两个问题：1）在性能（预测和运行时间）和嵌入大小之间是否存在权衡？2)嵌入的性能在家族内部和家族之间如何比较？我们的实验揭示了几个有趣的发现。首先，我们观察到嵌入大小的性能收益递减。例如，仅使用字符嵌入的模型实现了最大模型（Elmo，GloVe，Character）的86%的性能，而其大小为1.2%。其次，使用多个嵌入的较大模型总体上学习得更快，尽管每个时期较慢。但是，在测试时仍然较慢。最后，Elmo在EvCR和EnCR上表现最好，而GloVe和FastText分别在EvCR和EnCR上表现最好。
2021-10-11 cs.CL cs.LG
FASTopic: Pretrained Transformer is a Fast, Adaptive, Stable, and Transferable Topic Model
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）；The Pennsylvania State University（宾夕法尼亚州立大学）；University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
本文提出 FASTopic 主题模型，通过 DSR 重建文档、主题与词嵌入间的语义关系，并利用 ETP 进行最优传输正则化，在多项基准上实现更优效果、效率、稳定性与可迁移性。
2024-10-26 cs.AI cs.CL
Lex2vec: making Explainable Word Embeddings via Lexical Resources
Maggioli Research & Development（Maggioli研发部）
在这份技术报告中，我们提出了一个算法，称为Lex2vec，利用词汇资源注入信息到词嵌入和名称的嵌入维度的知识库。我们评估了最佳参数，以提取一些可读的信息标签，并具有良好的覆盖范围的嵌入维度。
2021-07-12 cs.CL
Making Sense of Word Embeddings
Technische Universität Darmstadt（达姆施塔特工业大学）；Moscow State University（莫斯科国立大学）
我们提出了一个简单而有效的方法来学习词义嵌入。与现有的直接从语料库中学习语义表征或依赖于词汇资源中的语义库存的技术相比，我们的方法可以通过聚类相关词的自我网络从现有的词嵌入中诱导出一个语义库存。一个集成的WSD机制，使标签的单词在上下文中学习的意义向量，这引起了下游的应用程序。实验表明，我们的方法的性能是最先进的无监督的WSD系统相媲美。
2017-08-10 cs.CL
Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillation
Technische Universität Darmstadt（达姆施塔特工业大学）
我们提出了一个简单而有效的方法来扩展现有的句子嵌入模型到新的语言。这允许从以前的单语模型创建多语言版本。训练基于这样的想法，即翻译的句子应该映射到向量空间中与原始句子相同的位置。我们使用原始的（单语）模型来生成源语言的句子嵌入，然后在翻译的句子上训练一个新的系统来模仿原始模型。与其他训练多语言句子嵌入的方法相比，这种方法有几个优点：很容易将现有的模型与相对较少的样本扩展到新的语言，更容易确保向量空间的期望属性，并且训练的硬件要求较低。我们证明了我们的方法对来自不同语系的50多种语言的有效性。将句子嵌入模型扩展到400多种语言的代码是公开的。
2020-10-05 cs.CL
Magnitude: A Fast, Efficient Universal Vector Embedding Utility Package
Plasticity Inc.（普拉斯特蒂克公司）；University of Pennsylvania（宾夕法尼亚大学）；LIMSI, CNRS（法国国家科学研究中心LIMSI实验室）；Université Paris-Saclay（巴黎萨克雷大学）
矢量空间嵌入模型，如word2vec、GloVe、fastText和ELMo，是自然语言处理（NLP）应用中非常流行的表示。我们目前的幅度，一个快速，轻量级的工具，利用和处理嵌入。Magnitude是一个开源Python包，具有紧凑的矢量存储文件格式，允许有效地操作大量的嵌入。Magnitude执行常见操作的速度比Gensim快60到6，000倍。Magnitude引入了几个新特性来提高鲁棒性，如词汇表外查找。
2018-10-26 cs.AI cs.CL
Trans-gram, Fast Cross-lingual Word-embeddings
Proxem（Proxem公司）
我们介绍了Trans-gram，一种简单且计算效率高的方法，可以同时学习和对齐各种语言的单词，仅使用单语数据和较小的一组对齐数据。我们使用我们的新方法来计算对齐wordbeddings二十一种语言使用英语作为一个枢纽语言。我们表明，一些语言特征是跨语言对齐的，我们没有对齐的数据，即使这些属性不存在于枢轴语言。我们还在标准的跨语言文本分类和单词翻译任务上取得了最先进的结果。
2016-01-11 cs.CL
Making Sentence Embeddings Robust to User-Generated Content
Inria（法国国家信息与自动化研究所）
针对句子嵌入模型LASER在用户生成内容上鲁棒性不足的问题，提出基于师生方法训练的鲁棒英语编码器RoLASER，在标准与合成UGC数据上训练后显著提升了对自然和人工UGC的鲁棒性及下游任务表现。
2024-03-25 cs.CL
Aligning Very Small Parallel Corpora Using Cross-Lingual Word Embeddings and a Monogamy Objective
Center for Information and Language Processing（信息与语言处理中心）；LMU Munich（慕尼黑大学）
基于计数的单词对齐方法，如IBM模型或快速对齐，在非常小的并行语料库上挣扎。因此，我们提出了一种基于跨语言词嵌入（CLWEs）的替代方法，该方法在纯单语数据上进行训练。我们的主要贡献是一个无监督的目标，以适应CLWEs平行语料库。在25到500个句子的实验中，我们的方法优于快速对齐。我们还表明，我们的微调目标不断提高CLWE只有基线。
2018-10-31 cs.CL
Leader: Prefixing a Length for Faster Word Vector Serialization
两种相互竞争的文件格式已经成为分发预训练的词嵌入的事实标准。两者都以这种格式分发的最流行的预训练嵌入命名。GloVe格式是一种完全基于文本的格式，它具有巨大的文件大小和缓慢的读取速度，而word2vec格式是一种较小的二进制格式，它混合了单词的文本表示和向量本身的二进制表示。这两种格式都有问题，我们用一种新的格式来解决，我们称之为Leader格式。我们包含了一个字长前缀，以便在保持二进制格式所提供的较小文件大小的同时实现更快的读取。我们还创建了一个极简库，以方便阅读和编写各种单词向量格式，以及将预先训练的嵌入转换为我们新的Leader格式的工具。
2020-10-09 cs.CL
Fast Extraction of Word Embedding from Q-contexts
South China University of Technology（华南理工大学）；University of Cambridge（剑桥大学）；Tencent Quantum Lab（腾讯量子实验室）；Tsinghua University（清华大学）
词嵌入的概念在自然语言处理（NLP）中起着基础性的作用。然而，对于大多数现有方法来说，针对非常大规模的词汇的预训练词嵌入在计算上是具有挑战性的。在这项工作中，我们表明，只有一小部分的上下文（Q-上下文），这是典型的在整个语料库（和他们的互信息与单词），可以构建高质量的词嵌入可以忽略不计的错误。将上下文和词之间的互信息规范地编码为采样状态，从而可以快速构造Q-上下文。此外，我们提出了一个高效和有效的WEQ方法，这是能够提取词嵌入直接从这些典型的背景。在实际情况下，我们的算法运行11 $\sim$ 13倍的速度比完善的方法。通过与矩阵分解、word2vec、GloVe和fasttext等知名方法的比较，我们证明了我们的方法在各种下游NLP任务上都取得了相当的性能，同时保持了所有这些基线的运行时间和资源优势。
2021-09-15 cs.AI cs.CL
Synapse at CAp 2017 NER challenge: Fasttext CRF
Synapse Développement（Synapse发展公司）；IRIT, Université Paul Sabatier（保罗·萨巴捷大学IRIT研究所）
我们为CAp 2017 NER挑战提出了我们的系统，该挑战是关于法国推文上的命名实体识别。我们的系统利用无监督学习在一个更大的法国推文数据集上学习CRF模型的特征。它在没有使用任何地名索引或结构化外部数据的情况下排名第一，F-度量值为58.89%。据我们所知，它是第一个使用快速文本嵌入（包括子词表示）和基于嵌入的NER句子表示的系统。
2017-09-14 cs.CL
Fast and scalable learning of neuro-symbolic representations of biomedical knowledge
Medical University of Vienna（维也纳医科大学）
在这项工作中，我们解决的问题，快速和可扩展的学习一般生物知识的神经符号表示。基于最近发表的用于演示神经符号表示学习的综合生物知识图谱（Alshahrani，2017），我们展示了如何训练实体的快速（不到1分钟）对数线性神经嵌入。我们利用这些表示作为机器学习分类器的输入，以实现生物链接预测等重要任务。分类器通过连接学习的实体嵌入来表示实体关系，并在连接的嵌入上训练分类器以从自动生成的否定示例中辨别真实关系来训练。我们简单的嵌入方法大大提高了分类错误相比，以前发表的国家的最先进的结果，产生最大的增加$+0.28$ F-措施和$+0.22$ ROC AUC得分最困难的生物链接预测问题。最后，我们的嵌入方法训练的速度快了几个数量级（$\leq$ 1分钟vs.小时），在嵌入维度方面更经济（$d=50$ vs. $d=512$），并且自然地编码了不对称生物关系的方向性，这可以通过我们连接嵌入的顺序来控制。
2018-04-30 cs.AI cs.CL
A Robust Self-Learning Method for Fully Unsupervised Cross-Lingual Mappings of Word Embeddings: Making the Method Robustly Reproducible as Well
在本文中，我们重现了Artetxe等人的实验。（2018 b）关于词嵌入的完全无监督跨语言映射的鲁棒自学习方法。我们表明，他们的方法的复制确实是可行的一些小的假设。我们通过引入四种新的语言来进一步研究他们的模型的鲁棒性，这些语言与原始论文提出的语言相比与英语不太相似。为了评估他们的模型的稳定性，我们还对敏感的超参数进行了网格搜索。然后，我们提出适用于任何研究项目的关键建议，以提供完全可重复的研究。
2020-03-03 cs.CL cs.LG stat.ML
DynaThink: Fast or Slow? A Dynamic Decision-Making Framework for Large Language Models
Zhejiang University（浙江大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出DynaThink动态决策框架，使大语言模型能根据任务复杂度在快速思维链与慢速多路径验证推理之间自主选择，从而在五个推理基准上同时提升效率与效果。
2024-07-01 cs.CL
Probabilistic FastText for Multi-Sense Word Embeddings
Cornell University（康奈尔大学）；AWS & Caltech（亚马逊云服务与加州理工学院）
我们介绍了概率快速文本，一个新的词嵌入模型，可以捕捉多个词的意义，子词结构，和不确定性信息。特别是，我们用高斯混合密度表示每个单词，其中混合成分的平均值由n元语法的总和给出。这种表示允许模型在子词结构（例如拉丁词根）之间共享统计强度，从而产生罕见的，拼写错误的，甚至看不见的单词的准确表示。此外，混合物的每种成分都可以捕捉不同的词义。ProbabilityFastText在几个单词相似性基准测试（包括英语RareWord和外语数据集）上优于没有概率模型的FastText和不包含子词结构的字典级概率嵌入。我们还在衡量辨别不同含义的能力的基准上实现了最先进的性能。因此，该模型是第一个实现多意义表示，同时具有丰富的语义上罕见的话。
2018-06-07 cs.AI cs.CL cs.LG
SwiftEmbed: Ultra-Fast Text Embeddings via Static Token Lookup for Real-Time Applications
SwiftEmbed通过静态令牌查找实现超快文本嵌入，适用于实时应用，兼顾低延迟和高准确性。
2026-03-09 cs.AI cs.CL
LIME: Making LLM Data More Efficient with Linguistic Metadata Embeddings
TU Darmstadt（达姆施塔特工业大学）；Lab1141；Aleph Alpha Research（Aleph Alpha研究院）；Meta FAIR；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
LIME通过语言元数据嵌入提升LLM预训练效率，显著增强语言建模和生成任务表现
2025-12-08 cs.AI cs.CL
Beyond Prompting: Making Pre-trained Language Models Better Zero-shot Learners by Clustering Representations
ETH Zurich（苏黎世联邦理工学院）；Peking University（北京大学）
最近的研究表明，预训练语言模型（PLM）是zero-shot学习器。然而，大多数现有的zero-shot方法涉及繁重的人体工程学或复杂的自我训练管道，阻碍了它们在新情况下的应用。在这项工作中，我们表明，zero-shot文本分类可以提高简单的聚类文本中的嵌入空间的PLM。具体来说，我们适合未标记的文本与贝叶斯高斯混合模型初始化后，使用类名称的聚类位置和形状。尽管它很简单，但这种方法在主题和情感分类数据集上都取得了优异或相当的性能，并且在不平衡数据集上显著优于先前的工作。我们进一步探索我们的聚类方法的适用性，通过评估它在14个数据集更多样化的主题，文本长度和类的数量。我们的方法实现了平均20%的绝对改善基于神经网络的零样本学习。最后，我们比较了不同的PLM嵌入空间，发现即使PLM没有显式地预先训练以生成有意义的句子嵌入，文本也能很好地按主题聚类。这项工作表明，PLM嵌入可以分类文本没有特定的任务微调，从而提供了一种新的方式来分析和利用他们的知识和零样本学习能力。
2022-11-23 cs.CL cs.LG
Transformer-CNN: Fast and Reliable tool for QSAR
Helmholtz Zentrum München（慕尼黑亥姆霍兹中心）；BigChem GmbH（大化学股份有限公司）；Firmenich International SA（芬美意国际股份有限公司）
我们提出了从Transformer [1]模型的内部编码器状态导出的SMILES嵌入，该模型经过训练以将SMILES规范为Seq 2Seq问题。在嵌入上使用CharNN [2]架构可以在不同的基准数据集上产生更高质量的可解释的QSAR/QSPR模型，包括回归和分类任务。所提出的Transformer-CNN方法使用SMILES增强进行训练和推理，因此预测是基于内部共识的。增强和迁移学习都是基于嵌入的，这使得该方法可以为小数据集提供良好的结果。我们讨论了这种有效性的原因，并起草了未来的发展方向的方法。训练QSAR模型所需的源代码和嵌入可在https://github.com/bigchem/transformer-cnn上获得。该库还具有用于QSAR预测的独立程序，其计算单个原子的贡献，从而解释模型的结果。OCHEM [3]环境（https：ochem.eu）托管所提出的方法的在线实现。
2020-02-26 cs.CL cs.LG q-bio.QM
Sentence Embeddings and High-speed Similarity Search for Fast Computer Assisted Annotation of Legal Documents
Université de Montréal（蒙特利尔大学）；Carnegie Mellon University（卡内基梅隆大学）；Hofstra University（霍夫斯特拉大学）；University of Pittsburgh（匹兹堡大学）
对法律文档中的句子进行人工注释是许多基于机器学习的系统支持法律任务的重要前提。通常，注释是逐句顺序完成的，这通常是耗时的，因此是昂贵的。在本文中，我们介绍了一个概念证明系统，用于注释句子的横向。“这种方法是基于这样一种观察，即意义相似的句子在特定的类型系统中通常具有相同的标签。我们使用这种观察，允许注释者快速查看和注释句子，语义上类似于一个给定的句子，在整个语料库的文件。在这里，我们提出了系统的接口和经验评估的方法。实验表明，横向标注有可能使标注过程更快，更一致。
2021-12-21 cs.AI cs.CL cs.LG
