Word Embeddings for the Armenian Language: Intrinsic and Extrinsic Evaluation
Ivannikov Laboratory for System Programming at Russian-Armenian University(俄-亚大学伊万尼科夫系统编程实验室)
在这项工作中,我们内在地和extraditionally评估和比较现有的词嵌入模型的亚美尼亚语。此外,还介绍了新的嵌入,使用GloVe,fastText,CBOW,SkipGram算法进行训练。我们适应并使用词类比任务嵌入的内在评价。对于外部评价,采用两个任务:形态标记和文本分类。使用ArmTDP v2.3数据集在深度神经网络上执行标记。对于文本分类,我们提出了一个语料库的新闻文章分为7类。这些数据集被公开,作为未来模型的基准。
2019-06-07 cs.CL
Analyzing Correlations Between Intrinsic and Extrinsic Bias Metrics of Static Word Embeddings With Their Measuring Biases Aligned
The University of Tokyo(东京大学)
本研究通过对齐内在与外在偏见指标的测量对象,分析静态词嵌入两类偏见指标的相关性,发现内在指标仅能预测特定场景下的NLP系统偏见行为。
2024-09-14 cs.CL
Parameter-free Sentence Embedding via Orthogonal Basis
Stanford University(斯坦福大学);Microsoft(微软)
我们提出了一个简单而强大的非参数化的方法来建立句子表示。受几何理论中Gram-Schmidt过程的启发,我们构造了一个词与其周围语境在句子中所构成的子空间的正交基。我们基于两个方面对句子中的词的语义进行建模。一个是它与已经被它的上下文词所覆盖的词向量子空间的相关性。另一个是这个词的新的语义,这将被引入作为一个新的基向量垂直于这个现有的子空间。基于这个动机,我们开发了一种基于正交基的创新方法,将预训练的词嵌入组合成句子表示。这种方法需要零参数,以及高效的推理性能。我们在11个下游NLP任务上评估了我们的方法。与非参数化的替代方案相比,我们的模型显示出优越的性能,并且与依赖于大量标记数据或延长训练时间的其他方法相比具有竞争力。
2019-12-06 cs.CL
Hypothesis Testing based Intrinsic Evaluation of Word Embeddings
University of California San Diego(加利福尼亚大学圣迭戈分校)
我们引入交叉匹配测试-一个精确的,分布自由,高维假设检验作为一个内在的评价指标词嵌入。我们表明,交叉匹配是一种有效的手段来衡量不同的向量表示之间的分布相似性和评估不同的向量嵌入模型的统计意义。此外,我们发现,交叉匹配可以用来提供一个定量的衡量语言相似性选择桥语言的机器翻译。我们证明了假设检验的结果与我们的预期一致,并注意到两个样本假设检验的框架不限于词嵌入,可以扩展到所有的向量表示。
2017-09-04 cs.CL
Reasoning about Linguistic Regularities in Word Embeddings using Matrix Manifolds
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);IBM Research(IBM研究院)
最近的工作已经探索了用于学习反映单词的潜在语义的连续向量空间单词表示的方法。简单的向量空间算法,使用余弦距离已被证明捕捉某些类型的类比,如推理从单数复数,过去时态从现在时态等,在本文中,我们介绍了一种新的方法来捕捉类比连续词表示,建模的基础上不只是个别字向量,而是由字组跨越的子空间。我们利用的属性,在n维欧氏空间的子空间的集合形成一个弯曲的流形空间称为格拉斯曼,一个商子群的李群旋转在n维。基于这个数学模型,我们开发了一个修改后的余弦距离模型的基础上测地线内核,捕捉特定的关系跨词类别的距离。类比任务的实验表明,我们的方法比以前的方法执行给定的任务显着更好。
2015-07-28 cs.CL
Evaluating Word Embedding Models: Methods and Experimental Results
University of Southern California(南加州大学);University of California, Berkeley(加州大学伯克利分校)
在这项工作中,大量的词嵌入模型的语言处理应用进行了广泛的评估。首先,我们介绍了流行的词嵌入模型,并讨论了词模型和评估方法(或评估器)所需的属性。然后,我们将评价者分为内在和外在两种类型。内在评估独立于特定的自然语言处理任务测试表示的质量,而外在评估使用词嵌入作为下游任务的输入特征,并测量特定于该任务的性能指标的变化。我们报告的实验结果的内在和外在的评价六个词嵌入模型。结果表明,不同的评价者侧重于词模型的不同方面,有些人更相关的自然语言处理任务。最后,我们采用相关性分析来研究内外部评价者的绩效一致性。
2019-01-29 cs.CL
Double-Hard Debias: Tailoring Word Embeddings for Gender Bias Mitigation
University of Virginia(弗吉尼亚大学);Salesforce Research(赛富时研究院)
源自人类生成语料库的词嵌入继承了强烈的性别偏见,这可以通过下游模型进一步放大。一些常用的去偏方法,包括开创性的硬去偏算法,应用后处理过程,将预先训练的词嵌入投影到与推断的性别子空间正交的子空间中。我们发现,语义不可知的语料库,如词频捕获的词嵌入负面影响这些算法的性能。我们提出了一个简单但有效的技术,双硬Debias,净化词嵌入对这样的语料库的错误之前,推断和删除性别子空间。三个偏见缓解基准的实验表明,我们的方法保留了预训练的词嵌入的分布语义,同时减少性别偏见,以显着更大的程度比以前的方法。
2020-05-03 cs.CL cs.LG
Ultradense Word Embeddings by Orthogonal Transformation
Center for Information and Language Processing(信息与语言处理中心);LMU Munich(慕尼黑大学)
嵌入是对许多NLP任务有用的通用表示。在本文中,我们介绍了DENSIFIER,一种学习嵌入空间的正交变换的方法,该方法将与任务相关的信息集中在维度比原始空间小100倍的超稠密子空间中。我们表明,超密集嵌入生成的DENSIFIER达到最先进的词汇创建任务,其中的话注释三种类型的词汇信息-情感,具体性和频率。在SemEval 2015 10 B情感分析任务中,我们证明了使用超稠密子空间时没有信息丢失,但由于超稠密空间的紧凑性,训练效率提高了一个数量级。
2016-05-08 cs.CL
Intrinsic analysis for dual word embedding space models
Tata Consultancy Service(塔塔咨询服务公司)
最近的词嵌入技术在连续向量空间中表示词,远离过去的原子和稀疏表示。每种这样的技术可以进一步基于超参数的不同设置创建多种嵌入,所述超参数如嵌入维度大小、上下文窗口大小和训练方法。当我们特别考虑生成不是一个而是两个词嵌入作为输出的对偶嵌入空间技术时,出现了另一种变体。这就引出了一个有趣的问题--“是否存在一种或两种词嵌入的组合,哪一种更适合特定的任务?".本文试图通过考虑所有这些变化来回答这个问题。在这里,我们比较了属于两种不同方法的两种经典嵌入方法-基于窗口的Word 2 Vec和基于计数的Glove。为了在考虑所有变化后进行广泛的评估,将总共84个不同的模型与由9个开源语言学数据集组成的语义,关联和类比评估任务进行了比较。最终的Word 2 vec报告展示了3个任务中有2个任务的非默认模型的首选项。在Glove的情况下,非默认模型在所有3个评估任务中表现出色。
2020-12-05 cs.CL
OSCaR: Orthogonal Subspace Correction and Rectification of Biases in Word Embeddings
UCLA(加州大学洛杉矶分校);University of Utah(犹他大学)
众所周知,语言表征带有刻板偏见,因此,导致下游任务中有偏见的预测。虽然现有的方法在通过线性投影减轻偏差方面是有效的,但是这样的方法过于激进:它们不仅去除偏差,而且从词嵌入中擦除有价值的信息。我们开发了新的措施来评估特定的信息保留,证明偏见消除和信息保留之间的权衡。为了解决这一挑战,我们提出了OSCaR(正交子空间校正和整流),一种偏差缓解方法,专注于解开概念之间的偏见的关联,而不是删除概念批发。我们对性别偏见的实验表明,OSCaR是一种平衡良好的方法,可以确保语义信息保留在嵌入中,偏见也被有效地减轻。
2021-09-10 cs.AI cs.CL cs.LG
Understanding Undesirable Word Embedding Associations
Vector Institute(矢量研究院);University of Toronto(多伦多大学)
本研究针对词嵌入捕捉不良关联的问题,证明子空间投影事后去偏见在特定条件下等价于无偏见语料库训练,发现WEAT高估偏见,提出RIPA度量,实验显示SGNS不放大多数词性别关联但会放大刻板印象词的性别关联。
2026-08-19 cs.CL
Vector Arithmetic in Concept and Token Subspaces
Northeastern University(东北大学)
该研究通过概念和令牌子空间的向量算术揭示语言模型中的语义与表层信息结构。
2025-11-22 cs.CL
Subspace Representations for Soft Set Operations and Sentence Similarities
Nara Institute of Science and Technology(奈良科学技术研究所);Kyoto University(京都大学);Tohoku University(东北大学);RIKEN(理化学研究所)
针对传统词向量方法难以处理词集合表示、缺乏集合运算的问题,提出基于预训练词嵌入空间线性子空间的词集合表示方法,可高效实现集合运算与F-score计算,在句子相似度等任务上性能优于向量方法。
2024-04-10 cs.CL cs.LG
Fine-tuning Happens in Tiny Subspaces: Exploring Intrinsic Task-specific Subspaces of Pre-trained Language Models
University of Electronic Science and Technology of China(电子科技大学);Shenzhen Institute for Advanced Study, UESTC(电子科技大学深圳高等研究院);Mila(米拉研究所);Université de Montréal(蒙特利尔大学)
本文提出发现预训练语言模型内在任务特定子空间的新视角,通过学习参数优化轨迹揭示该子空间,发现PLMs可在极小子空间中以少量参数有效微调,并指出异常维度对引入任务特定知识至关重要。
2023-08-01 cs.AI cs.CL cs.LG
Exploring Universal Intrinsic Task Subspace via Prompt Tuning
Tsinghua University(清华大学);Tencent Inc.(腾讯公司)
为什么预训练的语言模型(PLM)可以学习通用表示,并有效地适应表面上差异很大的广泛NLP任务?在这项工作中,我们经验性地发现证据表明,PLM对各种Few-Shot任务的适应性可以重新参数化为在统一的低维内在任务子空间中优化少数自由参数,这可能有助于我们理解为什么PLM可以轻松地适应各种小规模数据的NLP任务。为了找到这样一个子空间,并检查其普适性,我们提出了一个分析管道称为内在提示微调(IPT)。具体来说,我们诉诸最近成功的提示微调和多个NLP任务的软提示分解到相同的低维非线性子空间,然后我们学习适应PLM看不见的数据或任务,只有调整参数在这个子空间。在实验中,我们研究了不同的Few-Shot NLP任务,并惊讶地发现,在一个250维的子空间中,100个任务,通过调整250个自由参数,我们可以恢复97%和83%的完整提示微调性能(使用不同的训练数据)和20个看不见的任务,分别显示了所发现的内在任务子空间的强大泛化能力。IPT除了作为一种分析工具外,还可以进一步帮助我们提高提示微调的稳定性。
2022-11-25 cs.AI cs.CL
More than Word Frequencies: Authorship Attribution via Natural Frequency Zoned Word Distribution Analysis
随着数字文本数据的日益普及和可用性,由于易于复制和解析,数字文本的作者身份不能被视为理所当然。本文提出了一种新的文本风格分析方法--自然频率分区词分布分析(NFZ-WDA),并在此基础上提出了一种基本的数字文本作者归属方案和一种开放的数字文本作者归属方案。NFZ-WDA是基于这样一种观察,即所有作者都会在他们所写的文本中留下独特的内在词汇使用痕迹,这些内在风格可以被识别并用于分析作者身份。通过分析词在文本中的分布,可以估计出文本中的固有的词使用风格,这比一般的词频分析更有意义,可以表示为:文本中使用了哪些组词;每组词出现的频率如何;每组词在文本中的出现分布如何。接下来,基本作者归属方案和开放作者归属方案为封闭和开放作者归属问题提供了解决方案。通过分析和大量的实验研究,本文证明了所提出的方法的有效性的作者归属。
2012-08-15 cs.CL
Learning Word Embeddings from Intrinsic and Extrinsic Views
Fudan University(复旦大学);New York University Shanghai(上海纽约大学)
虽然词嵌入目前在自然语言处理中占主导地位,但大多数现有模型仅从上下文中学习它们。然而,这些基于上下文的词嵌入是有限的,因为不是所有的词的含义可以只基于上下文学习。此外,由于数据稀疏性问题,学习稀有词的表示也是困难的。在这项工作中,我们解决这些问题,通过学习的表征的话,整合其内在(描述性)和外在(上下文)的信息。为了证明我们的模型的有效性,我们评估它的四个任务,包括词相似度,反向字典,维基链接预测,和文档分类。实验结果表明,该模型在单词和文档建模方面都具有很好的性能。
2016-08-20 cs.AI cs.CL
Expanding Subjective Lexicons for Social Media Mining with Embedding Subspaces
INESC-ID Lisboa(INESC-ID里斯本);Instituto Superior Técnico(高等技术学院);Universidade de Lisboa(里斯本大学);Google DeepMind(谷歌DeepMind)
最近的情感词典归纳方法利用了预先训练的词嵌入来捕捉潜在的语义属性。然而,通过优化给定任务(例如,预测上下文单词)的性能而获得的嵌入对于其他应用而言是次优的。在本文中,我们解决这个问题,利用特定任务的表示,通过嵌入子空间投影诱导。这使我们能够扩展描述多个语义属性的词典。对于每个属性,我们的模型联合学习合适的表示和伴随的预测器。在多个主观词典上进行的实验表明,我们的模型优于以前的工作和其他基线,即使在低训练数据制度。此外,建立在我们的词典之上的基于词典的情感分类器优于类似的资源,并产生与监督模型相当的性能。
2017-01-06 cs.CL
Deep Speech Representations Track Word Timing along a Low-Dimensional Circular Trajectory
University of Edinburgh(爱丁堡大学);School of Informatics(信息学院);The Centre for Speech Technology Research(言语技术研究中心)
该研究采用表征几何框架,发现深度语音模型普遍存在单词时序的圆形结构,基于此提出Rotary Segmentation方法,在Librispeech上实现64.3%的边界F值,揭示HuBERT隐含更强的单词知识。
2026-10-14 cs.CL cs.LG eess.AS
Can Large Language Models Faithfully Express Their Intrinsic Uncertainty in Words?
Google Research(谷歌研究院);Tel Aviv University(特拉维夫大学)
研究提出基于模型内在信心与传达果断性差距的忠实回应不确定性指标,发现现代LLMs在知识密集型问答中表现不佳,需改进对齐以提升可信度。
2024-09-26 cs.CL
The Limitations of Cross-language Word Embeddings Evaluation
National Research University Higher School of Economics(国立研究型大学高等经济学院);Federal Research Center ‘Computer Science and Control’ of the Russian Academy of Sciences(俄罗斯科学院计算机科学与控制联邦研究中心);Skolkovo Institute of Science and Technology (Skoltech)(斯科尔科沃科学技术研究所(斯科尔泰克))
本研究的目的是探讨现有跨语言词嵌入评价方法的局限性,解决内在和外在跨语言评价方法之间缺乏相关性的问题。为了证明这一假设,我们构建了英语-俄语数据集的外部和内部评估任务,并比较了5种不同的跨语言模型对他们的表现。结果表明,即使在不同的内在基准上,分数也彼此不相关。我们可以得出这样的结论,使用人类参考作为跨语言词嵌入的基础事实是不合适的,除非你不明白母语者在他们的认知中是如何处理语义的。
2018-06-06 cs.CL
On the Linear Algebraic Structure of Distributed Word Representations
Princeton University(普林斯顿大学)
在这项工作中,我们利用分布式单词表示的线性代数结构来自动扩展知识库,并允许机器学习关于世界的新事实。我们的目标是以更简单的方式从语料库中提取结构化事实,而不应用分类器或模式,只使用单词的共现统计。我们证明了词嵌入的线性代数结构可以用来减少学习事实的方法的数据要求。特别是,我们证明了属于一个共同的类别,或对字满足一定的关系,形成一个低秩子空间中的投影空间。我们使用奇异值分解(SVD)计算这个低秩子空间的基础,然后使用这个基础来发现新的事实,并为我们还没有向量的不太频繁的单词拟合向量。
2015-11-22 cs.CL cs.LG
An Evaluation of Sindhi Word Embedding in Semantic Analogies and Downstream Tasks
Institute of Business Management(商业管理学院);Heidelberg University(海德堡大学);Dalhousie University(达尔豪斯大学)
本文构建了超6100万词的Sindhi语料库,利用CBOW、skip-gram和GloVe训练词嵌入,并证明CBOW和skip-gram在内外评估中优于GloVe及现有fastText。
2024-08-28 cs.CL
The Role of Context Types and Dimensionality in Learning Word Embeddings
IBM Watson(IBM沃森);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);Bar-Ilan University(巴伊兰大学);Google(谷歌)
我们提供了第一个广泛的评估,如何使用不同类型的上下文来学习跳过语法词嵌入影响性能的范围广泛的内在和外在的NLP任务。我们的研究结果表明,虽然内在的任务往往表现出明确的偏好,特定类型的上下文和更高的维度,更仔细的调整,需要找到最佳的设置,我们考虑的大多数外在的任务。此外,对于这些外部任务,我们发现,一旦增加嵌入维数的好处大部分耗尽,简单的串联词嵌入,学习不同的上下文类型,可以产生进一步的性能增益。作为一个额外的贡献,我们提出了一个新的变化的跳跃语法模型,学习词嵌入从加权上下文的替代词。
2017-07-19 cs.CL
Exploring the Linear Subspace Hypothesis in Gender Bias Mitigation
University of Cambridge(剑桥大学);ETH Zürich(苏黎世联邦理工学院)
本文推广Bolukbasi等人(2016)的线性性别偏见缓解方法至核化非线性版本,并实证验证了偏见子空间确为线性,支持原假设。
2024-05-22 cs.CL cs.CY cs.LG
Geometry of Polysemy
University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
词的向量表示预示着NLP中经典问题的转换方法;最流行的例子是word 2 vec。然而,单个向量不足以对许多(频繁)词的多义性质进行建模,即,具有多重含义的单词。在本文中,我们提出了一种无监督多义性建模的三重方法:(a)上下文表示,(b)意义归纳和消歧以及(c)词位(作为词和意义对)表示。我们的工作的一个关键特点是发现,一个句子包含一个目标词是很好地表示一个低秩子空间,而不是一个点在向量空间。然后,我们表明,与目标词的特定意义相关联的子空间往往相交于一条线(一维子空间),我们用它来消除歧义的意义使用聚类算法,利用格拉斯曼几何的表示。消歧算法,我们称之为$K$ -Grassmeans,导致一个过程来标记语料库中目标词的不同含义-产生词素向量表示,所有这些都是以无监督的方式从一个大型的(维基百科)英语语料库开始的。除了几个典型的目标(词,意义)的例子和大量的实证研究,直观和证明各种几何表示,我们验证我们的算法在标准的意义归纳和消歧数据集,并提出新的国家的最先进的结果。
2016-10-24 cs.CL cs.LG stat.ML
Principal Word Vectors
我们推广主成分分析嵌入到向量空间的话。概括起来主要有两个层次。第一种是将语料库的概念概括为一个计数过程,它由三个关键元素词汇集、特征(注释)集和上下文定义。这种概括使得主要的词嵌入方法能够生成关于为语料库提供的不同类型的上下文和不同类型的注释的词向量。第二个是概括大多数词嵌入方法中使用的转换步骤。为此,我们定义了两个层次的转换。第一种是二次变换,它考虑了词汇单元和上下文特征的不同类型的权重。第二种是自适应非线性变换,它重塑了数据分布,使其对主成分分析有意义。这些概括对词向量的影响本质上是关于词向量的传播和可辨别性的研究。我们还提供了一个外在的评价的贡献的主要词向量的词相似度基准和任务的依存句法分析。我们的实验最后通过比较的主要词向量和其他集的词向量与流行的词嵌入方法。从我们的内在评价指标得到的结果表明,传播和主词向量的区分度高于其他词嵌入方法。从外部评价指标获得的结果表明,主词向量优于某些词嵌入方法,并与流行的词嵌入方法相当。
2020-07-09 cs.CL
Investigating Gender Bias in BERT
Singapore University of Technology and Design(新加坡科技设计大学)
上下文语言模型(CLM)将NLP基准测试推向了一个新的高度。在文本分类等下游任务中利用CLM提供的词嵌入已经成为一种新的规范。然而,除非得到解决,否则CLM很容易在数据集中学习固有的性别偏见。因此,下游NLP模型的预测可能会因性别词的变化而发生明显变化,例如将“他”替换为“她”,甚至是性别中性词。在本文中,我们将重点分析一个流行的CLM,即,BERT。我们分析了它在五个与情绪和情绪强度预测相关的下游任务中引起的性别偏见。对于每个任务,我们训练一个简单的回归利用BERT的词嵌入。然后,我们使用公平评估语料库评估回归的性别偏见。理想情况下,从具体的设计来看,模型应该从输入中丢弃性别信息特征。然而,结果显示,系统的预测对性别特定的单词和短语的依赖性很大。我们认为,这种偏见可以通过从词嵌入中去除性别特征来减少。因此,对于BERT中的每一层,我们识别主要编码性别信息的方向。由这些方向形成的空间被称为词嵌入语义空间中的性别子空间。我们提出了一种算法,发现细粒度的性别方向,即,每个BERT层有一个主方向。这就避免了在多个维度上实现性别子空间的需要,也避免了其他关键信息的遗漏。实验表明,去除这些方向的嵌入组件在减少下游任务中的BERT引起的偏差方面取得了很大的成功。
2020-09-10 cs.CL
Uncovering divergent linguistic information in word embeddings with lessons for intrinsic and extrinsic evaluation
IXA NLP Group(IXA自然语言处理研究组);University of the Basque Country (UPV/EHU)(巴斯克大学)
随着最近词嵌入的成功,有人认为没有词的理想表示,因为不同的模型往往会捕获不同的,往往是相互不兼容的方面,如语义/语法和相似性/相关性。在本文中,我们表明,每个嵌入模型捕获更多的信息比直接明显。一个线性变换,调整模型的相似性顺序,没有任何外部资源,可以定制它,以实现更好的结果,在这些方面,提供了一个新的视角如何嵌入编码不同的语言信息。此外,我们还探讨了内在和外在评价之间的关系,因为我们在下游任务中的转换效果对于无监督系统比监督系统更高。
2018-09-06 cs.AI cs.CL cs.LG
Word Embedding based New Corpus for Low-resourced Language: Sindhi
University of Electronic Science and Technology of China(电子科技大学)
将词和短语表示为密集的实数向量,并将其语义和句法属性编码,是自然语言处理的一个重要组成部分。神经网络(NN)模型在自然语言处理中的成功很大程度上依赖于在大型未标记语料库上学习到的这种密集的词表示。信德语是一种丰富的形态语言,在巴基斯坦和印度有大量人口使用,但缺乏语料库,而语料库在生成词嵌入和开发独立于语言的NLP系统方面起着重要的测试作用。在本文中,超过61万字的大型语料库开发的低资源的信德语训练神经词嵌入。语料库是使用web-scrappy从多个网络资源中获取的。由于没有针对信德语的开源预处理工具,对如此庞大的语料库进行预处理成为一个具有挑战性的问题,特别是从Web资源中提取的噪声数据的清理。因此,采用预处理流水线来过滤噪声文本。然后,使用最先进的GloVe、Skip-Gram(SG)和连续词袋(CBoW)word 2 vec算法,利用清理后的词汇表来训练信德语词嵌入。采用余弦相似度矩阵的内在评价方法和WordSim-353对生成的信德语词嵌入进行评价。此外,我们比较建议的词嵌入与最近发现的信德快速文本(SdfastText)的单词表示。我们的内在评估结果表明,我们生成的信德语词嵌入使用SG,CBoW和GloVe相比,SdfastText词表示的高品质。
2020-12-30 cs.CL
Multi-Adversarial Learning for Cross-Lingual Word Embeddings
University of Geneva(日内瓦大学);Idiap Research Institute(Idiap 研究所)
生成对抗网络(GANs)已经成功地在没有监督的情况下诱导跨语言词嵌入-跨语言匹配词的映射。尽管取得了这些成功,但GANs在远距离语言的困难情况下的性能仍然不令人满意。这些局限性可以通过GANs的错误假设来解释,即源和目标嵌入空间通过单个线性映射相关并且近似同构。相反,我们假设,特别是在遥远的语言中,映射只是分段线性的,并提出了一种多对抗学习方法。这种新方法通过多个映射来产生种子跨语言词典,每个映射被诱导以适合于一个子空间的映射。我们对无监督双语词典归纳的实验表明,该方法比以前的单一映射方法,特别是对遥远的语言,提高了性能。
2021-08-25 cs.CL
Modeling Profanity and Hate Speech in Social Media with Semantic Subspaces
Saarland University(萨尔兰大学)
仇恨语音和亵渎检测遭受数据稀疏,特别是对于英语以外的语言,由于任务的主观性质和现有语料库的注释不兼容性。在这项研究中,我们确定亵渎的子空间在单词和句子的表征,并探讨其泛化能力的各种类似的和遥远的目标任务中的zero-shot设置。这是单语(德语)和跨语言密切相关(英语),远相关(法语)和非相关(阿拉伯语)的任务。我们观察到,在相似和遥远的目标任务以及所有语言中,基于子空间的表示在zero-shot设置中比标准BERT表示更有效地传递,在所有测试的单语和跨语言场景中,基线的F1 + 10.9和F1 + 42.9之间都有改进。
2021-06-18 cs.CL
Problems With Evaluation of Word Embeddings Using Word Similarity Tasks
Carnegie Mellon University(卡内基梅隆大学);Johns Hopkins University(约翰斯·霍普金斯大学)
由于缺乏用于词的向量表示的标准化外部评估方法,NLP社区严重依赖于词相似性任务作为词向量的内在评估的代理。词语相似性评估将向量之间的距离与人类对语义相似性的判断相关联,这是有吸引力的,因为它在计算上是廉价的且快速的。在本文中,我们提出了几个问题与词相似度数据集上的词向量的评估,并总结现有的解决方案。我们的研究表明,使用词相似度任务来评估词向量是不可持续的,需要进一步研究评估方法。
2016-06-22 cs.CL
It's not Greek to mBERT: Inducing Word-Level Translations from Multilingual BERT
Computer Science Department, Bar Ilan University(巴伊兰大学计算机科学系);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
最近的工作表明,多语言BERT(mBERT)学习丰富的跨语言表示,允许跨语言的传输。我们研究了嵌入在mBERT中的单词级翻译信息,并提出了两种简单的方法,这些方法无需微调即可显示出色的翻译功能。结果表明,这些信息中的大部分是以非线性方式编码的,而其中一些信息也可以用纯线性工具恢复。作为我们分析的一部分,我们测试的假设,mBERT学习表示,其中包含一个语言编码组件和一个抽象的,跨语言的组件,并明确确定一个经验的语言身份子空间内mBERT表示。
2020-10-16 cs.CL
Evaluating Informal-Domain Word Representations With UrbanDictionary
University of Edinburgh(爱丁堡大学)
现有的语料库的内在评价不针对非正式领域的任务,如Twitter或新闻评论论坛。我们想测试非正式单词的表示是否满足省略显式文本规范化作为预处理步骤的承诺。一个可能的评估指标,这样的领域是接近的拼写变体。我们提出了如何计算这样一个指标,以及如何使用UrbanDictionary收集拼写变体数据集。
2016-06-27 cs.CL
Lightweight Adaptation of Neural Language Models via Subspace Embedding
University of Surrey(萨里大学);University of Southampton(南安普顿大学)
本文提出一种基于子空间嵌入与 token 上下文分配的紧凑嵌入结构,可将预训练语言模型嵌入压缩超过99.8%,且绝对准确率损失不超过4%。
2023-08-16 cs.AI cs.CL
Portuguese Word Embeddings: Evaluating on Word Analogies and Natural Language Tasks
University of São Paulo(圣保罗大学);Institute of Mathematics and Computer Sciences(数学与计算机科学学院);Federal University of São Carlos(圣卡洛斯联邦大学)
已经发现词嵌入以有效的方式为词提供有意义的表示;因此,它们在自然语言处理系统中变得普遍。在本文中,我们评估了在大型葡萄牙语语料库上训练的不同词嵌入模型,包括巴西和欧洲变体。我们使用FastText、GloVe、Wang 2 Vec和Word 2 Vec训练了31个词嵌入模型。我们在句法和语义类比上对他们进行了内在评价,在词性标注和句子语义相似性任务上进行了外在评价。所获得的结果表明,词类比是不适合词嵌入评价,任务特定的评价似乎是一个更好的选择。
2017-08-20 cs.CL
Debiasing Word Embeddings with Nonlinear Geometry
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Arizona State University(亚利桑那州立大学)
去偏置词嵌入在很大程度上局限于个人和独立的社会类别。然而,现实世界的语料库通常呈现多个可能相互关联或交叉的社会类别。例如,“头发编织”是刻板印象与非洲裔美国女性,但既不是非洲裔美国人也不是女性单独。因此,这项工作研究的偏见与多个社会类别:联合偏见引起的工会不同类别和交叉偏见,不重叠的偏见的组成类别。我们首先从经验上观察到,个体偏差非平凡地相交(即,在一维子空间上)。借鉴社会科学中的交叉理论和语言学理论,我们构建了一个交叉子空间,使用个人偏见的非线性几何来消除多个社会类别的偏见。实证评估证实了我们的方法的有效性。数据和实现代码可以从https://github.com/GitHubLuCheng/Implementation-of-JoSEC-COLING-22下载。
2022-08-29 cs.AI cs.CL
On the Convergent Properties of Word Embedding Methods
Stony Brook University(石溪大学)
词嵌入在不同的初始化过程中会收敛到学习类似的东西吗?词嵌入实验的可重复性如何?所有的词嵌入技术都同样可靠吗?在本文中,我们提出了评估方法,学习词表示的一致性跨越初始化。我们提出了一个措施来量化学习的单词表示在此设置下(其中他们受到不同的随机初始化)的相似性。我们的初步结果表明,我们的度量不仅测量了词嵌入方法的内在属性,而且与下游任务的其他评估指标相关。我们相信我们的方法在描述鲁棒性方面是有用的--这是开发新的词嵌入方法时要考虑的一个重要属性。
2016-05-12 cs.CL
Learning Word Embeddings from the Portuguese Twitter Stream: A Study of some Practical Aspects
FEUP, LIACC, INESC TEC, Universidade do Porto(波尔图大学工程学院、人工智能与计算机科学实验室、INESC TEC、波尔图大学)
本文介绍了一个初步的研究,生产和分发一个大规模的数据库的嵌入从葡萄牙Twitter流。我们从一个相对较小的样本开始实验,并专注于三个挑战:训练数据量,词汇量和内在评估指标。使用单个GPU,我们能够将词汇量从嵌入的2048个单词和500 K训练样本扩展到超过10 M训练样本的32768个单词,同时保持稳定的验证损失和每个时期训练时间的近似线性趋势。我们还观察到,对于每个词汇量,使用少于50%的可用训练样本可能会导致过拟合。内在评价的结果显示有前途的表现为32768字的词汇量。然而,固有的评价指标遭受过度敏感,其相应的余弦相似性阈值,这表明需要开发更广泛的指标来跟踪进展。
2017-09-04 cs.CL cs.LG
An Ensemble Method for Producing Word Representations focusing on the Greek Language
Ecole Polytechnique(巴黎综合理工学院)
在本文中,我们提出了一种新的集成方法,连续袋的跳过-克(CBOS),产生高质量的单词表示把重点放在现代希腊语。CBOS方法结合了用于学习单词表示的开创性方法:连续词袋(CBOW)和连续跳跃gram。这些方法通过三个不同数据源的内在和外在评估任务进行比较:英语维基百科语料库,现代希腊语维基百科语料库和现代希腊语Web内容语料库。通过在不同的任务和数据集上比较这些方法,很明显CBOS方法达到了最先进的性能。
2020-11-11 cs.CL
The Impact of Word Splitting on the Semantic Content of Contextualized Word Representations
Télécom-Paris, Institut Polytechnique de Paris(巴黎综合理工学院电信学院);INRIA(法国国家信息与自动化研究所)
本文研究语言模型中未登录词被切分为子词后如何获得单向量表示,并通过语义相似性任务评估不同模型嵌入质量,发现被切分词的表示通常但并非总是更差,且其相似度值需谨慎解读。
2024-02-22 cs.CL
Morphological Priors for Probabilistic Neural Word Embeddings
Yik Yak, Inc.(Yik Yak公司);Georgia Institute of Technology(佐治亚理工学院)
词嵌入允许自然语言处理系统在相关词之间共享统计信息。这些嵌入通常基于分布统计,这使得它们很难推广到罕见或看不见的单词。我们提出了改进词嵌入,结合形态信息,捕捉共享的子词特征。与以前的工作,直接从语素构建词嵌入,我们结合形态和分布信息在一个统一的概率框架,其中的词嵌入是一个潜在的变量。形态信息提供了潜在词嵌入的先验分布,这反过来又制约了观察到的语料库上的似然函数。这种方法产生的内在单词相似性评估的改进,也在下游的词性标注任务。
2016-09-24 cs.CL
A Survey of Word Embeddings Evaluation Methods
Institute for System Analysis of Russian Academy of Sciences (ISA RAS)(俄罗斯科学院系统分析研究所(ISA RAS));The National Research University Higher School of Economics(俄罗斯国家研究型高等经济大学)
词嵌入是能够捕获词汇语义并在自然语言语料库上训练的实值词表示。近年来,提出这些表示的模型已经流行起来,但最适当的评估方法的问题仍然是开放的。本文综述了词嵌入评价领域的研究现状,指出了存在的主要问题,提出了评价方法的类型,总结了16种内在评价方法和12种外在评价方法。我描述了广泛使用的和实验性的方法,系统化有关评估数据集的信息,并讨论了一些关键挑战。
2018-01-21 cs.CL
Closed-Form Training Dynamics Reveal Learned Features and Linear Structure in Word2Vec-like Models
UC Berkeley(伯克利大学);Imbue(Imbue公司);Google DeepMind(谷歌DeepMind)
本研究解析求解word2vec类模型的训练动态,揭示其逐步学习正交线性子空间,每个子空间对应可解释主题,并解释抽象语义线性表示的涌现机制。
2025-10-16 cs.CL cs.LG stat.ML
Investigating semantic subspaces of Transformer sentence embeddings through linear structural probing
Institute for Natural Language Processing, University of Stuttgart(斯图加特大学自然语言处理研究所)
本文提出语义结构探测方法研究Transformer句子嵌入,发现不同模型家族在性能和层级动态上差异显著但结果基本不随模型规模变化。
2023-10-18 cs.CL
Russian word sense induction by clustering averaged word embeddings
University of Oslo(奥斯陆大学)
本文报告了我们参与俄语词义归纳和消歧的共同任务(RUSSE-2018)。在所有19名参与者中,我们的团队在wiki-wiki数据集(主要包含同音异义词)中排名第二,在bts-tags和active-dict数据集(主要包含多义词)中排名第五。我们采用的方法是非常幼稚的。它意味着使用现成的预训练分布模型将歧义词的上下文表示为平均词嵌入向量。然后,这些向量表示聚类与主流的聚类技术,从而产生组对应的歧义词义。作为一个附带的结果,我们表明,在小而平衡的语料库上训练的词嵌入模型可以优于在大而嘈杂的数据上训练的模型-不仅在内在评估方面,而且在词义归纳等下游任务中。
2018-05-06 cs.CL
Mimicking Word Embeddings using Subword RNNs
词嵌入通过使用从未标记数据获得的分布信息将每个词放置在低维空间中来改善词汇特征的泛化。然而,词嵌入对于下游NLP任务的有效性受到词汇表外(OOV)词的限制,对于这些词,嵌入不存在。在本文中,我们提出了MIMICK,一种方法来生成OOV词嵌入组成,通过学习一个函数的拼写分布嵌入。与之前的工作不同,MIMICK不需要对原始词嵌入语料库进行重新训练;相反,学习是在类型级别执行的。内在和外在的评估证明了这种简单方法的力量。在23种语言上,MIMICK在标记词性和形态句法属性方面比基于单词的基线提高了性能。在低资源环境中,它与有监督的基于字符的模型具有竞争力(和互补性)。
2017-07-21 cs.CL
Learning Intrinsic Dimension via Information Bottleneck for Explainable Aspect-based Sentiment Analysis
School of Computer Science and Technology, East China Normal University(华东师范大学计算机科学与技术学院)
针对ABSA中梯度解释默认各维度等权的问题,提出IBG框架,用信息瓶颈学习词嵌入的内在维度,从而提升模型性能与可解释性。
2024-02-28 cs.CL
Robust and Consistent Estimation of Word Embedding for Bangla Language by fine-tuning Word2Vec Model
Bangladesh University of Engineering & Technology(孟加拉国工程技术大学);Southeast University(东南大学)
词的词嵌入或向量表示保持词的句法和语义特征,其可以是自然语言处理的任何基于机器学习的模型的信息特征。有几种基于深度学习的单词向量化模型,如word 2 vec,fasttext,gensim,glove等。在这项研究中,我们通过调整不同的超参数来分析用于学习单词向量的word 2 vec模型,并为孟加拉语提供最有效的词嵌入。为了测试word 2 vec模型的微调所产生的不同词嵌入的性能,我们进行了内在和外在的评价。我们对词向量进行聚类,以检测词之间的关系相似度,进行内在评价,并使用不同的词嵌入作为新闻文章分类器的特征,进行外在评价。从我们的实验中,我们发现,300维的词向量,从word 2 vec模型的“skip-gram”方法使用的滑动窗口大小为4,给出了最强大的孟加拉语的矢量表示。
2021-05-03 cs.CL cs.LG
Marked Attribute Bias in Natural Language Inference
University of Guelph(圭尔夫大学);Vector Institute(向量研究所)
报告和提供NLP应用程序中有害偏差的测试集对于建立对当前问题的强大理解至关重要。我们提出了一个新的观察性别偏见在下游的NLP应用程序:显着的属性偏见在自然语言推理。下游应用程序中的偏差可能源于训练数据、词嵌入,或者被使用中的模型放大。然而,关注有偏见的词嵌入可能是最有影响力的第一步,因为它们具有普遍性。在这里,我们试图了解如何的内在属性的词嵌入有助于这种观察到的显着属性效应,以及目前的后处理方法是否成功地解决了偏见。目前的去偏置景观的调查揭示了两个开放的问题:没有一个当前的去偏置嵌入减轻显着的属性错误,没有一个内在的偏见措施是预测的显着的属性效果。通过注意到一种新的类型的内在偏见措施有意义的相关性与标记属性效应,我们提出了一个新的静态词嵌入的后处理去偏置方案。所提出的方法应用到现有的嵌入实现新的最佳结果的标记属性偏差测试集。请访问https://github.com/hillary-dawkins/MAB。
2021-09-28 cs.CL
What Does Debiasing Really Remove? A Geometric Study of PCA-Based Gender Debiasing in Word Embeddings
Hood College(胡德学院);Ben-Gurion University of the Negev(内盖夫本-古里安大学)
通过几何分析揭示PCA去偏主要移除第一主成分中的直接性别偏见,但无法消除分布在多维度上的关联偏见,且会破坏嵌入几何结构,表明偏见并非纯低秩,简单子空间移除不足以全面去偏。
2026-06-06 cs.CL
A Novel Information Theoretic Framework for Finding Semantic Similarity in WordNet
National Institute of Technology, Durgapur(杜尔加普尔国立理工学院);Amdocs;Indian Statistical Institute(印度统计学院)
基于信息内容的语义相似度度量方法日益受到人们的青睐。信息论对概念的语义具有高度的刻画能力。传统的计算概念集成度的方法是基于概念在语料库中出现的概率。由于这些传统方法的数据稀疏性和语料库依赖性问题,一种新的语料库独立的内在IC计算措施已经发展。在本文中,我们主要集中在这样的内在IC模型和底层本体的几个拓扑方面。这些方面对本征IC计算和语义相似度度量的准确性有很大的依赖。基于这些分析,我们提出了一个信息理论框架,它包括一个内在的IC计算器和语义相似度模型。我们的方法进行了比较,与国家的最先进的语义相似性措施的基础上,语料库依赖IC计算,以及内在的IC为基础的方法,使用几个基准数据集。我们还比较了我们的模型与相关的边缘为基础的,特征为基础的和分布式的方法。实验结果表明,我们的内在IC模型给出了较高的相关值时,应用于不同的语义相似度模型。我们提出的语义相似性模型也取得了显着的结果时,嵌入一些国家的最先进的IC模型,包括我们的。
2016-07-19 cs.CL cs.IR
Towards robust word embeddings for noisy texts
Universidade de Vigo(维戈大学);Universidade da Coruña(拉科鲁尼亚大学)
对词嵌入的研究主要集中在提高它们在标准语料库上的性能,而忽略了来自社交媒体的推特和其他类型的非标准写作形式的嘈杂文本所带来的困难。在这项工作中,我们提出了一个简单的扩展skipgram模型中,我们引入了桥字的概念,这是人工的话添加到模型中,以加强标准的话和他们的噪声变体之间的相似性。我们的新嵌入在各种内在和外在的评估任务上都优于噪声文本的基线模型,同时在标准文本上保持良好的性能。据我们所知,这是在词嵌入级别处理这种类型的噪声文本的第一个明确的方法,它超越了对词汇表外词的支持。
2020-09-30 cs.CL