Scalable Graph Embeddings via Sparse Transpose Proximities
Renmin University of China(中国人民大学)
图嵌入学习图中节点的低维表示,并有效地保留图结构。最近,在这一新兴的研究领域取得了重大进展。然而,有几个基本问题仍然悬而未决。首先,现有的方法不能保持有向图上的出度分布。第二,许多现有的方法采用基于随机游走的邻近性,从而在无向图上遭受冲突的优化目标。最后,现有的因式分解方法无法同时实现可扩展性和非线性。本文对有向图和无向图的图嵌入技术进行了深入的研究。分析了导致出度分布失真和优化目标冲突的根本原因。我们提出{ \em转置邻近},一个统一的方法,解决这两个问题。基于转置邻近的概念,我们设计了\strap,一个基于因子分解的图嵌入算法,同时实现了可扩展性和非线性。\strap利用{ \em后推}算法来有效地计算稀疏{ \em个性化PageRank(PPR)}作为其转置邻近度。通过施加稀疏性约束,我们能够对邻近矩阵应用非线性运算,并执行有效的矩阵分解来导出嵌入向量。最后,我们提出了一个广泛的实验研究,评估各种图形嵌入算法的有效性,我们表明,\strap优于国家的最先进的方法的有效性和可扩展性。
2019-05-16 cs.AI cs.DS cs.LG
Exploring Wasserstein Distance across Concept Embeddings for Ontology Matching
College of Computing and Informatics, Drexel University(德雷塞尔大学计算与信息学院)
本体元素之间的距离度量是本体匹配的基础。基于字符串的距离度量因浅语法匹配而臭名昭著。在这项探索性研究中,我们研究了Wasserstein距离,目标是可以包含各种类型信息的连续空间。我们使用一个预先训练好的词嵌入系统来嵌入本体元素标签。我们研究的有效性Wasserstein距离测量本体之间的相似性,发现和细化匹配的单个元素之间。我们的实验与OAEI会议轨道和MSE基准取得了竞争力的结果相比,领先的系统。
2022-09-21 cs.AI
DGEM: A New Dual-modal Graph Embedding Method in Recommendation System
Graduate School at Shenzhen, Tsinghua University(清华大学深圳国际研究生院);Peng Cheng Laboratory(鹏城实验室)
在当前基于深度学习的推荐系统中,一般采用嵌入的方法来完成从高维稀疏特征向量到低维稠密特征向量的转换。然而,由于嵌入层的输入向量的维数太大,嵌入层的增加显著减慢了整个神经网络的收敛速度,这在现实场景中是不可接受的。此外,随着用户与项目之间的交互增加,项目之间的关系变得更加复杂,针对序列数据提出的嵌入方法不再适用于当前现实环境中的图形数据。因此,在本文中,我们提出了双模态图嵌入方法(DGEM)来解决这些问题。DGEM包括静态和动态两种模式。我们首先构造项目图来提取图的结构,并使用不等概率的随机游走来捕获项目之间的高阶邻近度。然后我们通过Skip-Gram模型生成图嵌入向量,最后反馈给下游深度神经网络进行推荐任务。实验结果表明,DGEM能够挖掘项目间的高阶相似度,增强推荐模型的表达能力。同时,它还利用项目之间的时间依赖关系,提高了推荐性能。
2021-08-09 cs.IR cs.LG
Spectral Embedding of Graph Networks
University of California Los Angeles(加州大学洛杉矶分校)
我们引入了一个无监督的图嵌入,权衡了局部节点的相似性和连通性,以及全局结构。嵌入是基于一个广义图拉普拉斯算子,其特征向量compensately捕捉网络结构和邻域接近在一个单一的表示。其关键思想是将给定的图转换成一个其权重通过该边缘的最短路径的数量的分数来度量边缘的中心性的图,并在表示中使用其谱特性。测试所得到的图形网络表示示出了在包括社交网络和材料科学的数据分析任务中的现有技术的显著改进。我们还测试了我们的方法对人类SARS CoV-2蛋白质相互作用组的节点分类。
2020-09-30 cs.AI cs.LG stat.ML
Graph Auto-Encoder Via Neighborhood Wasserstein Reconstruction
University of Virginia(弗吉尼亚大学);Emory University(埃默里大学);Purdue University(普渡大学)
图神经网络(GNNs)近年来引起了广泛的研究关注,主要是在半监督学习的背景下。当首选任务不可知表示或监督不可用时,自动编码器框架可以方便地使用自然图重建目标进行无监督GNN训练。然而,现有的图自动编码器被设计为重建直接链接,因此以这种方式训练的GNN仅针对面向邻近的图挖掘任务进行优化,并且在拓扑结构重要时会出现不足。在这项工作中,我们重新审视了GNNs的图形编码过程,该过程基本上是学习将每个节点的邻域信息编码到嵌入向量中,并提出了一种新的图形解码器,通过邻域Wasserstein重建(NWR)来重建关于邻近度和结构的整个邻域信息。具体来说,从每个节点的GNN嵌入,NWR联合预测其节点度和邻居特征分布,其中分布预测采用基于Wasserstein距离的最优传输损失。在合成和真实网络数据集上的大量实验表明,使用NWR学习的无监督节点表示在面向结构的图挖掘任务中具有更大的优势,同时在面向邻近度的任务中也具有竞争力的性能。
2022-02-18 cs.LG cs.SI
GRAPHLCP: Structure-Aware Localized Conformal Prediction on Graphs
Department of Computer Science, University of Illinois Chicago(伊利诺伊大学芝加哥分校计算机科学系);Department of Computer Science, University of Warwick(沃里克大学计算机科学系)
GRAPHLCP提出一种基于图拓扑的局部置信预测框架,通过特征感知密集化和个性化PageRank核计算,有效捕捉局部和长距离依赖,实现有限样本下的高覆盖性预测。
2026-05-08 cs.LG
LMAE4Eth: Generalizable and Robust Ethereum Fraud Detection by Exploring Transaction Semantics and Masked Graph Embedding
Yantai Research Institute, Harbin Engineering University(哈尔滨工程大学烟台研究院);Hangzhou Research Institute, Xidian University(西安电子科技大学杭州研究院);College of Computer Science, Zhejiang University(浙江大学计算机学院)
针对以太坊欺诈检测中交易语义缺失、同质性强及现有方法节点级性能与扩展性不足的问题,提出融合交易语义、掩码图嵌入与专家知识的多视图框架LMAE4Eth,在三个数据集上显著优于21种基线方法。
2025-09-04 cs.CR cs.LG
Reasoning over Vision and Language: Exploring the Benefits of Supplemental Knowledge
The University of Adelaide(阿德莱德大学)
视觉和语言模型的适用性限制由其训练数据的覆盖范围定义。像视觉问答(VQA)这样的任务通常需要常识和事实信息,而不是从特定于任务的数据集中学到的信息。本文研究了从通用知识库(KBs)到视觉和语言Transformers的知识注入。我们使用一个辅助训练目标,鼓励学习的表示与知识库中匹配实体的图嵌入对齐。我们实证研究的相关性,各种知识库多个任务和基准。该技术带来了明显的好处,知识需求的问答任务(OK-VQA,FVQA),通过捕捉语义和关系知识缺乏现有的模型。更令人惊讶的是,该技术也有利于视觉推理任务(NLVR 2,SNLI-VE)。我们进行探测实验,并表明,注入额外的知识规则化的嵌入空间,提高了词汇和语义相似性的表示。该技术与模型无关,可以以最小的计算开销扩展任何视觉和语言Transformer的适用性。
2021-01-15 cs.CV cs.LG
Exploring language relations through syntactic distances and geographic proximity
Institute for Cross-Disciplinary Physics and Complex Systems IFISC (UIB-CSIC)(跨学科物理与复杂系统研究所(UIB-CSIC))
本文基于 Universal Dependencies 数据集的词性三元组,在信息论框架下量化语言间句法距离,发现语言聚类与已知语系高度对应,并证实语言相似性与地理距离显著相关。
2024-10-03 cs.CL physics.data-an physics.soc-ph
Exploring Multilingual Syntactic Sentence Representations
Wattpad
我们研究学习具有句法结构的句子嵌入的方法。我们专注于学习的方法,通过使用一个多语言的并行语料库增强通用词性标记的句法嵌入。我们通过检查嵌入空间中的最近邻和功能相异性来评估学习嵌入的质量。我们还评估了该方法学习低资源语言的语法嵌入的能力,并证明了迁移学习的有力证据。我们的研究结果表明,语法嵌入可以学习,同时使用更少的训练数据,更少的模型参数,并导致更好的评价指标比国家的最先进的语言模型。
2019-10-25 cs.CL cs.LG eess.AS
Nurse is Closer to Woman than Surgeon? Mitigating Gender-Biased Proximities in Word Embeddings
Delhi Technological University(德里理工大学);IIIT-Delhi(德里印度理工学院)
词嵌入是词的语义和句法表示的标准模型。不幸的是,这些模型已被证明表现出不受欢迎的词的协会,导致性别,种族和宗教偏见。现有的消除词嵌入偏见的后处理方法无法消除隐藏在词向量空间排列中的性别偏见。在本文中,我们提出了RAN-Debias,一种新的性别去偏置方法,它不仅消除了词向量中存在的偏见,而且改变了其相邻向量的空间分布,实现了无偏见的设置,同时保持最小的语义偏移。我们还提出了一个新的偏见评估指标-基于性别的非法接近估计(GIPE),它衡量的程度,不适当的接近的字向量的存在基于性别的偏好。基于一套评估指标的实验表明,RAN-Debias在减少邻近偏差(GIPE)方面明显优于最先进的方法,至少减少42.02%。它还减少了直接偏见,增加了最小的语义干扰,并在下游应用程序任务(共指消解)中实现了最佳性能。
2020-06-02 cs.CL cs.LG
Exploring Swedish & English fastText Embeddings for NER with the Transformer
Luleå University of Technology(吕勒奥理工大学)
在本文中,我们的主要贡献是,嵌入相对较小的语料库可以优于从较大的语料库,我们使新的瑞典类比测试集公开。为了在自然语言处理(NLP)下游任务中实现良好的网络性能,有几个因素起着重要作用:数据集大小,正确的超参数和经过良好训练的嵌入。我们表明,通过正确的超参数集,即使在较小的数据集上也可以达到良好的网络性能。我们评估嵌入在内在和外在的水平。在命名实体识别(NER)任务中,使用Transformer部署嵌入,并进行显著性测试。瑞典语和英语都是如此。与最近发布的Common Crawl版本相比,我们在两种语言的下游任务中使用较小的训练数据获得了更好的性能;字符n-gram对于瑞典语(一种形态丰富的语言)似乎很有用。
2021-04-17 cs.CL cs.LG
Exploring Word Embeddings for Unsupervised Textual User-Generated Content Normalization
ICMC-USP(圣保罗大学数学与计算机科学研究所)
基于规则、词典或需要大型语料库的监督训练的文本规范化技术不可扩展,也不可互换,这使得它们不适合规范化用户生成内容(UGC)。巴西葡萄牙语现有的工具利用了这些技术。在这项工作中,我们提出了一种技术的基础上分布式表示的话(或词嵌入)。它生成连续的高维数字向量来表示单词。这些向量明确地编码了许多语言学的术语和模式,以及句法和语义词的关系。共享语义相似性的词由相似向量表示。基于这些特点,我们提出了一个完全无监督的,可扩展的和语言和领域无关的方法来学习规范化的词汇从词嵌入。我们的方法获得了很高的更正率的正字法错误和网络俚语的产品评论,优于目前可用的工具,巴西葡萄牙语。
2017-04-10 cs.AI cs.CL
Exploring the Value of Personalized Word Embeddings
University of Michigan(密歇根大学)
在本文中,我们介绍了个性化的词嵌入,并检查他们的语言建模的价值。我们比较了我们提出的预测模型的性能时,使用个性化与通用的单词表示,并研究如何利用这些表示来提高性能。我们提供了在构建个性化模型时可以更准确地预测哪些类型的单词的见解。我们的研究结果表明,属于特定的心理语言学类别的一个子集的话往往会在他们的代表不同的用户和通用和个性化的词嵌入相结合,产生最好的性能,4.7%的相对减少困惑。此外,我们表明,使用个性化的词嵌入的语言模型可以有效地用于作者归属。
2020-11-11 cs.CL
From meaning to perception -- exploring the space between word and odor perception embeddings
University of Copenhagen(哥本哈根大学)
在本文中,我们建议使用Word 2 vec算法,以获得气味感知嵌入(或气味嵌入),只使用公开的香水描述。这些嵌入除了显示出彼此之间有意义的相似关系外,还显示出与各自的词嵌入具有一些共享信息。这些嵌入的意义表明,美学可能会提供足够的约束,在非随机组合的数据上使用分布式语义驱动的算法。此外,它们为气味分类和香水分析提供了新的方法。我们还采用了嵌入,试图了解香水的美学性质,基于真实和随机生成的香水之间的差异。在另一个试验性实验中,我们探索了词嵌入空间和气味感知嵌入空间之间映射的可能性,通过在共享词汇上拟合回归量,然后预测没有先验相关气味的词的气味感知嵌入,例如夜晚或天空。
2022-03-19 cs.CL
New word analogy corpus for exploring embeddings of Czech words
University of West Bohemia(西波希米亚大学);NTIS—New Technologies for the Information Society(NTIS—新信息技术学会)
词嵌入方法在自然语言处理的许多任务中被证明是非常有用的。关于英语单词和短语的词嵌入的研究已经很多了,但是对于其他语言的研究却很少。我们在这篇论文中的目标是探索最先进的词嵌入方法在捷克语中的行为,捷克语的特点是非常丰富的形态。我们介绍了新的语料库词类比任务,检查语法,形态句法和语义特性的捷克语单词和短语。我们用Word2Vec和GloVe算法进行了实验,并在此语料库上讨论了结果。该语料库可供研究界使用。
2016-08-02 cs.CL
Sentence Analogies: Exploring Linguistic Relationships and Regularities in Sentence Embeddings
Rutgers University(罗格斯大学)
虽然词向量表征的重要性质已被广泛研究,但对句子向量表征的性质知之甚少。词向量的评估通常是通过评估它们在词类比中考虑的那种关系方面表现出多大程度的相似性来进行的。在本文中,我们调查在何种程度上常用的句子向量表示空间,以及反映某些类型的语义。我们提出了一些计划,以诱导评估数据,词汇类比数据的基础上,以及句子之间的语义关系。我们的实验考虑了广泛的句子嵌入方法,包括基于BERT风格的上下文嵌入。我们发现,不同的模型有很大的不同,在他们的能力,以反映这种不确定性。
2020-03-09 cs.CL
Exploring RWKV for Sentence Embeddings: Layer-wise Analysis and Baseline Comparison for Semantic Similarity
本文逐层评估预训练 RWKV 在零样本语义相似度句子嵌入上的表现,并与 GloVe 基线比较,发现其 Spearman 相关性较弱且存在计算权衡。
2025-02-20 cs.AI cs.CL
Be Careful about Poisoned Word Embeddings: Exploring the Vulnerability of the Embedding Layers in NLP Models
Peking University(北京大学)
最近的研究揭示了自然语言处理(NLP)模型的安全威胁,称为后门攻击。受害者模型可以在干净的样本上保持竞争性能,而在插入特定触发词的样本上表现异常。以前的后门攻击方法通常假设攻击者具有一定程度的数据知识,无论是用户将使用的数据集还是类似任务的代理数据集,以实现数据投毒过程。然而,在本文中,我们发现可以通过修改单个词嵌入向量来以无数据的方式破解模型,而在干净的样本上几乎没有牺牲准确性。在情感分析和配对分类任务上的实验结果表明,该方法具有更高的效率和更高的隐蔽性。我们希望这项工作可以提高人们对隐藏在NLP模型嵌入层中的这种关键安全风险的认识。我们的代码可在https://github.com/lancopku/Embedding-Poisoning上获得。
2021-03-29 cs.CL
Exploring the Hidden Capacity of LLMs for One-Step Text Generation
AIRI Skoltech(AIRI-skoltech)
本研究发现冻结的LLMs仅通过两个学习到的嵌入即可在单次前向传递中生成数百个准确token,揭示了其原生多token生成能力,为克服自回归解码瓶颈提供了新途径。
2025-11-01 cs.AI cs.CL cs.LG
Exploring Embedding Priors in Prompt-Tuning for Improved Interpretability and Control
New York University(纽约大学)
本文研究了提示调优中嵌入坍缩现象对模型性能的影响,提出嵌入先验以提升可解释性和可控性,并发现不同激活区域的嵌入能有效提升任务表现。
2026-03-09 cs.CL cs.LG
Matching Text and Audio Embeddings: Exploring Transfer-learning Strategies for Language-based Audio Retrieval
Huawei Technologies(华为技术有限公司);Universitat Pompeu Fabra(庞培法布拉大学)
我们对用于跨模态(文本到音频)检索的大规模预训练深度学习模型进行了分析。我们使用这些模型在度量学习框架中提取的嵌入来连接匹配的音频和文本对。浅层神经网络将嵌入映射到一个共同的维度。我们的系统,这是我们提交的DCASE挑战赛2022年的基于存储的音频检索任务的扩展,采用了RoBERTa基础模型作为文本嵌入提取器。预训练的PANN模型提取音频嵌入。为了提高我们模型的泛化能力,我们研究了从在线平台Freesound收集的音频和相关噪声文本的预训练如何提高我们方法的性能。此外,我们的消融研究表明,正确选择的损失函数和微调预训练模型是必不可少的训练竞争检索系统。
2022-10-06 cs.CL cs.IR cs.LG
WizMap: Scalable Interactive Visualization for Exploring Large Machine Learning Embeddings
Georgia Tech(佐治亚理工学院);Apple(苹果公司)
针对机器学习嵌入难解释、维度高、规模大的问题,研究团队提出开源交互式可视化工具WizMap,结合多分辨率嵌入摘要方法与类地图交互,依托Web技术可在浏览器中支持百万级嵌入点探索。
2023-06-15 cs.CL cs.CV cs.HC
ctELM: Decoding and Manipulating Embeddings of Clinical Trials with Embedding Language Models
Yale School of Medicine(耶鲁医学院)
ctELM通过嵌入语言模型解码和操控临床试验嵌入,实现对未见过的临床试验描述和生成,提升生物医学领域语言模型与嵌入空间对齐的透明度和应用价值。
2026-01-26 cs.AI cs.CL cs.LG
Industrial Memories: Exploring the Findings of Government Inquiries with Neural Word Embedding and Machine Learning
University College Dublin(都柏林大学学院)
本文提出一个结合词嵌入、文本分类与可视化的文本挖掘系统,将爱尔兰工业学校政府调查报告转化为交互式网络平台,帮助公众从冗长文件中发掘隐藏的历史见解。
2023-08-02 cs.CL cs.CY
Exploring Reasoning-Infused Text Embedding with Large Language Models for Zero-Shot Dense Retrieval
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon(亚马逊)
针对现有文本嵌入方法缺乏推理能力的问题,提出融合推理的文本嵌入方法RITE,通过生成式大语言模型在嵌入计算前生成中间推理文本,在BRIGHT基准上显著提升了多领域零样本稠密检索性能。
2025-08-29 cs.CL
No Training Required: Exploring Random Encoders for Sentence Classification
Carnegie Mellon University(卡内基梅隆大学);Facebook AI Research(脸书人工智能研究院)
我们探索了各种方法,用于在没有任何训练的情况下从预先训练的词嵌入计算句子表示,即,只使用随机参数化我们的目标是让句子嵌入有更坚实的基础,方法是:1)看看现代句子嵌入比随机方法获得了多少收益--事实证明,令人惊讶的是很少; 2)为该领域提供更合适的基线--事实证明,这是相当强大的。我们还提出了重要的意见,适当的实验方案的句子分类评估,以及建议,为今后的研究。
2019-01-29 cs.CL
Exploring Uncertainty Measures for Image-Caption Embedding-and-Retrieval Task
Kobe University(神户大学);Nanyang Technological University(南洋理工大学)
随着黑盒机器学习算法,特别是深度神经网络(DNN)的广泛发展,可靠性评估的实际需求迅速上升。基于“贝叶斯深度学习知道它不知道的东西”的概念,DNN输出的不确定性已经被研究作为分类和回归任务的可靠性度量。然而,在图像字幕检索任务中,众所周知的样本并不总是容易检索的样本。本研究探讨影像字幕嵌入与撷取系统的两个方面。一方面,我们量化的特征不确定性考虑图像字幕嵌入作为一个回归任务,并使用它的模型平均,这可以提高检索性能。另一方面,我们进一步量化后验不确定性,考虑检索作为一个分类任务,并使用它作为一个可靠性的措施,这可以大大提高检索性能,拒绝不确定的查询。在不同的数据集(MS COCO和Flickr30k)、不同的深度学习架构(dropout和批量归一化)以及不同的相似性函数下,观察到两种不确定性度量的一致性能。
2019-04-09 cs.CL cs.CV cs.LG
Exploring Fine-Tuned Embeddings that Model Intensifiers for Emotion Analysis
Institut für Maschinelle Sprachverarbeitung(机器语言处理研究所);University of Stuttgart(斯图加特大学)
像“有点惊讶”、“完全震惊”或“一点也不震惊”这样的形容词短语没有被当前公开的最先进的情绪分类和强度预测系统正确地处理,这些系统使用占主导地位的非上下文化的词嵌入作为输入。基于这一发现,我们分析了这些系统所使用的嵌入在处理这种情况下,他们的能力之间的差异。此外,我们认为,情感词的上下文中的增强需要特殊的处理,建立情感极性分类,但不是更细粒度的情感预测。为了解决这个问题,我们分析了不同方面的后处理管道,丰富了这些短语的单词表示。这包括在短语层面和子词层面上扩展语义空间,然后对情感词汇进行改造。我们使用A La Carte和Bag-of-Substrings扩展来评估这些步骤的影响,这些扩展基于预训练的GloVe,Word 2 vec和fastText嵌入,针对包含我们的焦点短语的推文的强度注释的众包语料库。我们表明,基于fastText的模型不会从处理这些特定的短语中获益。对于Word 2 vec嵌入,我们证明了我们的后处理管道在密集填充增强器的新型数据集上将结果提高了8%。
2019-04-05 cs.CL
Exploring Italian sentence embeddings properties through multi-tasking
Idiap Research Institute(伊迪亚普研究所);University of Geneva(日内瓦大学)
该研究在多任务设置下探究现有大型语言模型对意大利语句向量中抽象语言信息的编码程度,利用意大利语黑鸟语言矩阵合成数据,通过两级架构分析句法语义编码特性,发现不同任务线索编码方式存在差异。
2024-11-29 cs.CL
Exploring Intra and Inter-language Consistency in Embeddings with ICA
The University of Tokyo(东京大学);RIKEN Center for Brain Science(理化学研究所脑科学中心)
针对词嵌入可解释性差且现有ICA跨语言语义轴研究缺乏语内、语际一致性验证的问题,该研究通过多次ICA聚类与统计检验分别探究语内和语际语义轴一致性,构建了保障语义轴可靠性与通用性的鲁棒统计框架。
2024-06-18 cs.CL stat.ME
Exploring Sentence Vector Spaces through Automatic Summarization
Williams College(威廉姆斯学院);University of Colorado, Colorado Springs(科罗拉多大学科罗拉多斯普林斯分校)
给定单个单词的向量表示,有必要以组合的方式计算句子的向量表示,通常使用人工神经网络。相对较少的工作已经探讨了这种句子向量的内部结构和属性。在本文中,我们探讨了自动文摘的背景下,句子向量的性质。特别是,我们证明了句子向量和文档向量之间的余弦相似性与句子的重要性密切相关,并且向量语义可以识别和纠正迄今为止所选句子与文档之间的差距。此外,我们还确定了与有效摘要相关的具体维度。据我们所知,这是第一次将句子嵌入的特定维度与句子属性联系起来。我们还比较了不同的句子嵌入方法的特点。这些见解中的许多在句子嵌入的应用远远超出了摘要。
2018-10-16 cs.CL cs.LG stat.ML
Cramming 1568 Tokens into a Single Vector and Back Again: Exploring the Limits of Embedding Space Capacity
AIRI;Neural Networks and Deep Learning Lab, MIPT(神经网络与深度学习实验室,MIPT);London Institute for Mathematical Sciences(伦敦数学科学研究所)
本研究通过逐样本优化探索嵌入向量压缩极限,发现压缩比可达1500倍,远超现有方法,且压缩极限由交叉熵损失决定,揭示模型设计优化空间。
2025-06-22 cs.CL cs.LG
Exploring the importance of context and embeddings in neural NER models for task-oriented dialogue systems
Haptik Inc(哈普蒂克公司)
命名实体识别(NER)是一个经典的序列标记任务,是面向任务的对话系统中自然语言理解(NLU)系统的重要组成部分。十多年来,从使用地名词典和领域本体的查找、手工特征的分类器到涉及神经网络架构的端到端系统的不同方法大多在语言独立的非会话设置中进行了评估。在本文中,我们评估了一个修改后的版本的最新状态的最先进的神经架构的对话设置中的消息往往是短和嘈杂的。我们进行了一系列的实验与不同的组合,包括以前的话语在对话中作为额外的功能的来源,并使用单词和字符级的嵌入训练一个更大的外部语料库。所有的方法进行评估的组合数据集形成的两个公共英语面向任务的会话数据集分别属于旅游和餐饮领域。为了进行额外的评估,我们还在将自动翻译和音译(来自翻译)版本添加到仅英语数据集后重复了一些实验。
2018-12-06 cs.CL
Exploring sentence informativeness
LIMSI, CNRS(法国国家科学研究中心机械与工程计算机科学实验室);Univ. Paris-Sud(巴黎第十一大学);Univ. Paris-Saclay(巴黎-萨克雷大学);Société Générale(法国兴业银行)
这项研究是对信息量概念的初步探索-一个句子提供了多少关于它所包含的单词的信息-以及它对从稀缺数据中构建高质量单词表征的潜在好处。我们提出了几个层次的分类器来预测信息量,我们执行一组句子的手动注释。我们的结论是,这两种措施对应于不同的概念的信息。然而,我们的实验表明,使用分类器的预测训练词嵌入对嵌入质量有影响。
2019-07-22 cs.CL
IRB-NLP at SemEval-2022 Task 1: Exploring the Relationship Between Words and Their Semantic Representations
Ruđer Bošković Institute(鲁杰尔·博什科维奇研究所)
一个词和它的描述,或者一个词和它的嵌入之间的关系是什么?描述和嵌入都是词的语义表征。但是,在这些表征中保留了来自原始词的哪些信息呢?或者更重要的是,这两种表征共享了关于一个词的哪些信息?定义建模和反向词典是解决这些问题的两个相反的学习任务。定义建模任务的目标是研究隐藏在词嵌入中的信息的力量,以人类可理解的方式表达单词的含义-作为字典定义。相反,反向词典任务探索直接从定义预测词嵌入的能力。在本文中,通过处理这两个任务,我们正在探索词和它们的语义表征之间的关系。我们根据对CODWOE数据集进行的描述性、探索性和预测性数据分析提出了我们的研究结果。我们详细介绍了我们为定义建模和反向字典任务设计的系统,并在SemEval-2022 CODWOE挑战赛的几个子任务中获得了最高分。我们希望我们提供的有关预测模型和数据分析的实验结果将被证明对未来单词表示及其关系的探索有用。
2022-05-13 cs.CL
Exploring Interpretability of Independent Components of Word Embeddings with Automated Word Intruder Test
Charles University, Faculty of Mathematics and Physics(查理大学数学与物理学院);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
本文利用独立成分分析(ICA)分解词嵌入,发现其独立成分可表示可组合的语义特征,并提出用大型语言模型自动执行单词入侵者测试,以低成本量化向量可解释性。
2024-09-04 cs.CL
Exploring Contextual Flux in Large Language Models: A Novel Approach to Self-Modulating Semantic Networks
本文提出Contextual Flux方法,在自注意力框架内集成辅助门控机制动态调整词元表示,实验表明该方法能减少长序列冗余重复并提升主题保留度,但效果受模型容量和输入复杂度制约。
2025-08-08 cs.CL
Exploring Segment Representations for Neural Segmentation Models
Research Center for Social Computing and Information Retrieval(社会计算与信息检索研究中心);Harbin Institute of Technology(哈尔滨工业大学)
许多自然语言处理(NLP)任务可以归结为切分问题。在本文中,我们结合半CRF与神经网络来解决自然语言处理的分割任务。我们的模型通过组成输入设备和嵌入整个段来表示段。我们深入研究了不同的复合函数和不同的段嵌入。我们对两个典型的分词任务:命名实体识别(NER)和中文分词(CWS)进行了大量的实验。实验结果表明,我们的神经半CRF模型受益于代表整个段,并在CWS基准数据集上实现了最先进的性能,在CoNLL03数据集上取得了有竞争力的结果。
2016-04-19 cs.CL
Exploring syntactic information in sentence embeddings through multilingual subject-verb agreement
Idiap Research Institute(伊迪亚普研究所);University of Geneva(日内瓦大学)
本文通过新的多项选择任务和Blackbird Language Matrices数据集,采用两级架构研究多语言预训练语言模型的句法表征,发现其存在语言特异性差异,句法结构在密切相关语言间也不共享。
2024-11-29 cs.CL
Exploring the Effectiveness and Consistency of Task Selection in Intermediate-Task Transfer Learning
Virginia Tech(弗吉尼亚理工大学);Saarland University(萨尔大学);Mila Quebec AI Institute(米拉魁北克人工智能研究所);McGill University(麦吉尔大学)
本研究通过130个任务组合实验比较了四种中间任务选择方法,发现基于微调权重和最大内积搜索的词元相似性方法能更有效且一致地预测任务可迁移性。
2024-07-23 cs.CL
When Annotators Disagree, Topology Explains: Mapper, a Topological Tool for Exploring Text Embedding Geometry and Ambiguity
CReSTIC, Université de Reims Champagne-Ardenne(里摩日大学CReSTIC研究所);Chochoy Conseil(Chochoy咨询公司)
本文提出用拓扑方法分析模型如何编码模糊性,通过Mapper工具揭示微调后嵌入空间的模块化结构,并探讨结构自信与标签不确定性的矛盾。
2026-04-29 cs.CL
Semantic Wave Functions: Exploring Meaning in Large Language Models Through Quantum Formalism
本文提出量子形式主义框架,将LLM嵌入空间扩展至复数域,引入语义波函数和路径积分,以建模语义干涉与歧义,推动语言理解。
2025-04-21 cs.CL cs.LG quant-ph
Exploring the Impact of Negative Samples of Contrastive Learning: A Case Study of Sentence Embedding
Northwest University(西北大学);Shaanxi Normal University(陕西师范大学);University of Leeds(利兹大学)
对比学习是一种从未标记数据中提取知识的强大技术。该技术需要两种成分的平衡混合物:阳性(相似)和阴性(不相似)样本。这通常通过在训练期间维护阴性样本的队列来实现。该领域的先前工作通常使用固定长度的负样本队列,但负样本大小如何影响模型性能仍不清楚。在采用对比学习时,负样本数量对性能的不透明影响引起了我们的深入探讨。提出了一种用于句子嵌入的负样本队列动量对比学习模型MoCoSE。通过在在线分支上增加预测层,使模型具有非对称性,并结合目标分支的EMA更新机制,防止模型崩溃。定义了一个最大可追踪距离度量,通过该度量可以了解文本对比学习在多大程度上受益于负样本的历史信息。实验结果表明,当最大可追踪距离在一定范围内时,查询结果最好,证明了对于负样本队列,历史信息存在一个最优范围。我们评估建议的无监督MoCoSE的语义文本相似性(STS)的任务,并获得平均斯皮尔曼的相关性$77.27\%$。源代码可在https://github.com/xbdxwyh/mocose上获得。
2022-03-16 cs.CL
Exploring Embeddings for Measuring Text Relatedness: Unveiling Sentiments and Relationships in Online Comments
Bellarmine College Preparatory(贝拉明预备学院);Barrington High School(巴林顿高中);Los Osos High School(洛斯奥索斯高中);California High School(加利福尼亚高中);William Fremd High School(威廉·弗伦德高中);Basis Independent Silicon Valley(贝西斯独立硅谷学校);University of Maryland(马里兰大学)
本文利用BERT等词嵌入模型对YouTube、Reddit、Twitter等平台的在线评论进行情感与语义关系分析,并结合聚类与KL散度方法揭示跨平台公众舆论的关联性。
2023-10-30 cs.CL
Exploring Neural Entity Representations for Semantic Information
Duolingo(多邻国);Carnegie Mellon University(卡内基梅隆大学)
用于嵌入实体的神经方法通常在下游任务上进行外部评估,最近,本质上使用探测任务。由于任务结构的差异,下游基于任务的比较通常很难解释,而探测任务评估通常只关注少数属性和模型。我们通过在一组简单的探测任务上评估一组不同的八种神经实体嵌入方法来解决这两个问题,展示哪些方法能够记住用于描述实体的单词,学习类型,关系和事实信息,并确定实体被提及的频率。我们还在两个实体链接任务的统一框架中比较了这些方法,并讨论了它们如何推广到不同的模型架构和数据集。
2020-11-17 cs.CL
Exploring Description-Augmented Dataless Intent Classification
Imperial College London(帝国理工学院);California Polytechnic State University(加州州立理工大学)
本文提出利用描述增强的嵌入相似度进行无数据意图分类,在四个数据集上较零样本基线平均提升6.12%,并提供了定性错误分析以指导未来研究。
2024-07-25 cs.CL
Exploring phrase-compositionality in skip-gram models
在本文中,我们介绍了一个变化的跳跃语法模型,共同学习分布式词向量表示和他们的方式组成,以形成短语嵌入。特别是,我们提出了一个学习过程,采用了一个短语组合功能,可以捕捉我们想要如何组成短语向量,从他们的组成词向量。我们的实验表明,改进的单词和短语的相似性任务,以及句法任务,如依存句法分析使用建议的联合模型。
2016-07-21 cs.CL
Diffusion Maps for Textual Network Embedding
Duke University(杜克大学)
文本网络嵌入利用与网络相关联的富文本信息来学习顶点的低维向量表示。最近的研究不是使用典型的自然语言处理(NLP)方法,而是利用同一边缘上的文本之间的关系来图形化地嵌入文本。然而,这些模型忽略了测量图中任何两个文本之间的完整连接水平。我们提出了文本网络嵌入(DMTE)的扩散图,集成了全局结构信息的图形捕捉文本之间的语义相关性,与扩散卷积操作应用于文本输入。此外,一个新的目标函数的设计,以有效地保持高阶邻近使用图扩散。实验结果表明,该方法优于国家的最先进的方法的顶点分类和链接预测任务。
2019-01-14 cs.CL cs.SI stat.ML
Semantic projection: recovering human knowledge of multiple, distinct object features from word embeddings
Harvard University(哈佛大学);McGovern Institute for Brain Research, Massachusetts Institute of Technology(麻省理工学院麦戈文脑研究所);Siemens Healthineers(西门子医疗);Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院)
语言的词汇反映了人类思维的结构,使我们能够在个体之间传递思想。然而,语言只能代表我们丰富而详细的认知结构的一个子集。在这里,我们问什么样的共同知识(语义记忆)被捕获的词义(词汇语义)。我们研究了一个突出的计算模型,表示在一个多维空间中的向量的话,这样,词向量之间的接近近似语义相关性。因为相关的词出现在相似的上下文中,所以这种空间--称为“词嵌入“--可以从自然语言中的词汇共现模式中学习到。尽管词嵌入很受欢迎,但一个基本的问题是它们似乎在语义上是“刚性的”:词间接近度只捕捉整体相似性,而人类对对象相似性的判断高度依赖于上下文,涉及多个不同的语义特征。例如,海豚和短吻鳄看起来大小相似,但智力和攻击性不同。这种依赖于上下文的关系可以从词嵌入中恢复吗?为了解决这个问题,我们引入了一个强大的,域通用的解决方案:词向量的“语义投影”到代表各种对象特征的线条上,如大小(从“小”到“大”的线条),智能(从“哑”到“聪明”),或危险(从“安全”到“危险”)。这种方法直观上类似于将物体放在两个极端之间的“心理尺度”上,恢复了人类对一系列物体类别和属性的判断。因此,我们表明,词嵌入继承了丰富的共同知识,从词共现统计,可以灵活地操纵,以表达上下文相关的意义。
2018-03-06 cs.CL
Factors Influencing the Surprising Instability of Word Embeddings
University of Michigan(密歇根大学)
尽管最近流行的词嵌入方法,只有一个小的身体的工作,探索这些表示的局限性。在本文中,我们考虑嵌入空间的一个方面,即其稳定性。我们发现,即使是相对较高的频率的话(100-200次)往往是不稳定的。我们提供了经验证据,各种因素如何有助于词嵌入的稳定性,我们分析了稳定性对下游任务的影响。
2018-04-25 cs.CL
Exploring transfer learning for Deep NLP systems on rarely annotated languages
University of Rostock(罗斯托克大学)
本文研究在印地语与尼泊尔语之间应用迁移学习进行词性标注,发现联合训练词嵌入结合BLSTM-CNN-CRF模型能有效提升低资源语言的标注性能。
2024-10-15 cs.CL
CoT-MoTE: Exploring ConTextual Masked Auto-Encoder Pre-training with Mixture-of-Textual-Experts for Passage Retrieval
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Kuaishou Technology(快手科技)
针对双编码器参数共享或分离导致查询与段落嵌入空间判别不平衡的问题,本文提出CoT-MoTE,通过文本特定专家和共享自注意力层进行上下文掩码自编码预训练,在大规模段落检索基准上取得稳定提升。
2023-04-20 cs.CL cs.IR
GASLITEing the Retrieval: Exploring Vulnerabilities in Dense Embedding-based Search
Tel Aviv University(特拉维夫大学)
本文提出 GASLITE 攻击方法,在不修改模型或依赖语料库内容的情况下生成高排名对抗性段落,系统评估了稠密嵌入检索对概念特定 SEO 攻击的脆弱性,并揭示现有防御可被绕过。
2025-09-18 cs.CL cs.CR