Leveraging Word Guessing Games to Assess the Intelligence of Large Language Models
Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);Tencent AI Lab(腾讯AI实验室);Shanghai Jiao Tong University(上海交通大学);The Chinese University of Hong Kong(香港中文大学)
针对现有LLM智能评估成本高、适应性差的问题,本文提出DEEP框架与多智能体交互的SpyGame猜词游戏评估方法,可全面评估LLM的表达、伪装及策略沟通能力,实验验证了其有效性。
2023-11-06 cs.CL
On Measuring and Mitigating Biased Inferences of Word Embeddings
University of Utah(犹他大学)
词嵌入带有来自它们所训练的文本的刻板内涵,这可能导致依赖它们的下游模型中的无效推断。我们利用这一观察设计了一个机制,用于测量定型使用的任务自然语言推理。我们证明了减少无效的推断,通过偏见缓解策略静态词嵌入(GloVe)。此外,我们表明,性别偏见,这些技术扩展到语境化嵌入时,选择性地只适用于静态组件的语境化嵌入(ELMo,BERT)。
2019-11-26 cs.CL cs.LG
What Are LLMs Doing to Scientific Communication? Measuring Changes in Writing Practices and Reading Experience
Institute for Natural Language Processing, University of Stuttgart, Germany(斯图加特大学自然语言处理研究所,德国)
本研究探讨了大型语言模型对科学交流风格的影响,通过分析自然语言处理领域中超过37000篇论文和3000篇人类撰写的文本及其LLM改进版本,发现写作实践和阅读体验发生了显著变化,同时揭示了AI辅助写作对阅读体验的主观影响。
2026-05-19 cs.CL
Measuring Gender Bias in Word Embeddings of Gendered Languages Requires Disentangling Grammatical Gender Signals
George Washington University(乔治华盛顿大学);University of Washington(华盛顿大学)
当衡量一种语言的词嵌入所捕获的语义性别信息时,语言的语法性别是否会产生干扰?一些在性别语言嵌入中的异常性别偏见测量表明了这种可能性。我们证明,词嵌入学习语法性别的语言,这可能会扭曲社会性别偏见的测量名词和它的语法性别之间的关联。因此,词嵌入后处理方法被引入到量化,解开,和评估语法性别信号。该评估是在印欧语系的日耳曼语、罗曼语和斯拉夫语分支的五种性别语言上进行的。我们的方法降低了语法性别信号的强度,这是衡量的效果大小(科恩的d),由一个显着的平均值d = 1.3为法语,德语和意大利语,和d = 0.56为波兰语和西班牙语。一旦语法性别被解开,超过90%的10,000无生命名词和他们的语法性别之间的关联减弱,跨语言的偏见结果从词嵌入协会测试(WEAT)变得更加符合国家级的内隐偏见测量。结果进一步表明,从词嵌入中解开语法性别信号可能会导致语义机器学习任务的改进。
2022-06-03 cs.AI cs.CL cs.CY
Measuring Meaning on the World-Wide Web
Center Leo Apostel for Interdisciplinary Studies(莱奥·阿波斯泰尔跨学科研究中心);Vrije Universiteit Brussel(布鲁塞尔自由大学)
我们引入的概念的“意义绑定”的一个词相对于另一个词,利用万维网作为一个概念环境的意义。一个词相对于另一个词的含义是通过将包含这两个词的网页的数量的乘积乘以万维网的网页总数,并将结果除以每个单个词的网页数量的乘积来建立的。我们计算几个词的含义范围,并通过具体的例子分析这些不同的方面。
2010-06-09 cs.AI cs.CL
Analogies minus analogy test: measuring regularities in word embeddings
Cognitive Machine Learning (ENS - CNRS - EHESS - INRIA - PSL Research University)(认知机器学习(巴黎高等师范学院-法国国家科学研究中心-法国社会科学高等研究院-法国国家信息与自动化研究所-巴黎文理研究大学));Facebook A.I. Research(Facebook人工智能研究院);Laboratoire de Linguistique Formelle (CNRS - Paris Diderot - Sorbonne Paris Cite)(形式语言学实验室(法国国家科学研究中心-巴黎狄德罗大学-巴黎索邦大学));University of Toronto(多伦多大学)
长期以来,词的向量空间模型一直被认为是简单的向量翻译,但这一说法存在问题。我们分解和经验分析的经典算术词类比测试,激发两个新的指标,解决问题的标准测试,并区分类明智的偏移浓度(从不同的广泛类,如法国-伦敦,中国-渥太华,.)配对一致性(正确匹配的配对之间存在规则转换,如法国:巴黎::中国:北京)。我们发现,虽然标准的类比测试是有缺陷的,但几个流行的词嵌入编码语言学的错误。
2020-10-07 cs.AI cs.CL
Combining a Context Aware Neural Network with a Denoising Autoencoder for Measuring String Similarities
University of Agder(阿格德尔大学)
测量字符串之间的相似性是许多已建立和快速发展的研究领域的核心,包括信息检索,生物学和自然语言处理。字符串相似性度量的传统方法是在词空间上定义一个度量,该度量量化并总结两个字符串中字符之间的差异。令人惊讶的是,在过去的几十年里,该地区的最先进技术并没有太大的发展。大多数度量是基于字符和字符分布之间的简单比较,而不考虑单词的上下文。本文提出了一个字符串度量,包括字符串之间的相似性的基础上(1)字符之间的相似性的话,包括。相同单词的非标准和标准拼写,以及(2)单词的上下文。我们的建议是一个神经网络,由一个去噪自动编码器和一个我们称之为上下文编码器组成,该编码器专门设计用于根据上下文找到单词之间的相似性。实验结果表明,该方法在85.4%的情况下能够从最接近的单词中找到非标准拼写的正确版本,而使用已建立的Normalised-Levenshtein距离时的正确率为63.2%。此外,我们表明,在类似的上下文中使用的单词与我们的方法计算出的单词与不同的上下文,这是一个理想的属性,在既定的字符串度量失踪相似。
2018-07-16 cs.AI cs.CL cs.IR
Measuring Word Significance using Distributed Representations of Words
NNLP;Lateral GmbH(Lateral有限公司)
在相对低维的空间中将词表示为实值向量的分布式表示旨在从大型文本语料库中提取句法和语义特征。最近引入的神经网络,命名为word 2 vec(Mikolov等人,2013 a; Mikolov等人,2013 b),被示出为在词向量的方向上编码语义信息。在这份简短的报告中,建议使用向量的长度,以及术语频率,作为语料库中单词重要性的度量。使用特定领域的摘要语料库的实验证据来支持这一建议。一个有用的可视化技术的文本语料库出现,其中的话被映射到一个二维平面上,并自动排名的重要性。
2015-08-10 cs.CL
A Diverse Corpus for Evaluating and Developing English Math Word Problem Solvers
Academia Sinica(中央研究院)
我们提出了ASDiv(Academia Sinica Diverse MWP Dataset),一个多样化的(在语言模式和问题类型方面)英语数学应用题(MWP)语料库,用于评估各种MWP求解器的能力。现有的MWP语料库研究人工智能的进展仍然有限,无论是在语言使用模式或问题类型。因此,我们提出了一个新的英语MWP语料库2,305 MWPs,涵盖更多的文本模式和大多数问题类型教小学。每个MWP都标注了其问题类型和等级(用于指示难度级别)。此外,我们提出了一个度量标准来衡量一个给定的MWP语料库的词汇使用的多样性,并证明ASDiv比现有的语料库更多样化。实验表明,我们提出的语料库更忠实地反映了MWP求解器的真实能力。
2021-06-30 cs.AI cs.CL
Multilingual Central Repository: a Cross-lingual Framework for Developing Wordnets
Universidade de Vigo(维戈大学);University of the Basque Country (UPV/EHU)(巴斯克大学);Universitat Oberta de Catalunya(加泰罗尼亚开放大学)
语言资源是语言处理不可或缺的一部分,但语言资源的建设是一项昂贵的工作,涉及到多个领域的研究,需要不断更新。在本文中,我们描述了用于开发多语言中央存储库(MCR),多语言知识库,包括巴斯克语,加泰罗尼亚语,英语,加利西亚语,葡萄牙语,西班牙语和以下本体的wordnets:基本概念,顶级本体,WordNet域和建议上合并本体的跨语言框架。我们介绍MCR的故事,2017年的状态以及开发的工具。
2021-07-02 cs.CL
Measuring Societal Biases from Text Corpora with Smoothed First-Order Co-occurrence
Johannes Kepler University(约翰内斯·开普勒大学);EPFL(洛桑联邦理工学院);Idiap Research Institute(IDIAP研究所);TU Wien(维也纳工业大学);Complexity Science Hub Vienna(维也纳复杂性科学中心)
文本语料库被广泛用于衡量社会偏见和刻板印象。使用语料库来测量这种偏差的常见方法是通过计算词(如护士)的嵌入向量与感兴趣的概念(如性别)的代表词的向量之间的相似性。在这项研究中,我们表明,根据一个人的目的是量化为偏见,这种常用的方法可以引入不相关的概念到偏见的测量。我们提出了一种替代方法,利用平滑的一阶同现关系的词和代表性的概念词,我们通过重建固有的共现估计词嵌入模型。我们比较这些方法进行了几个实验的情况下,测量职业词的性别偏见,根据英文维基百科语料库。我们的实验表明,测量的性别偏见与美国就业市场的实际性别偏见统计数据的相关性更高-在两个集合和各种词嵌入模型上-使用一阶方法与基于向量相似性的方法相比。一阶方法还表明,在一些特定的职业中,女性比其他方法更严重的偏见。
2021-04-27 cs.CL cs.LG stat.ML
Measuring Praise and Criticism: Inference of Semantic Orientation from Association
一个词的评价性特征被称为它的语义指向。积极的语义取向表示赞扬(例如,“诚实”,“无畏”)和否定的语义取向表示批评(例如,“令人不安的”,“多余的”)。语义取向在两个方向(积极或消极)和程度(轻度到强烈)上都有变化。用于测量语义取向的自动化系统将应用于文本分类、文本过滤、跟踪在线讨论中的意见、分析调查响应和自动聊天系统(聊天机器人)。本文介绍了一种从一个词与一组正范式词和负范式词的统计关联来推断该词的语义指向的方法。这种方法的两个实例进行评估,基于两种不同的统计措施的词关联:逐点互信息(PMI)和潜在语义分析(LSA)。该方法用3,596个单词(包括形容词,副词,名词和动词)进行了实验测试,这些单词已被手动标记为阳性(1,614个单词)和阴性(1,982个单词)。该方法达到了82.8%的准确率在全测试集上,但准确率上升到95%以上时,该算法被允许放弃从分类温和的话。
2003-09-19 cs.CL cs.IR cs.LG
Distributional semantics beyond words: Supervised learning of analogy and paraphrase
National Research Council Canada(加拿大国家研究委员会)
已经有一些努力将分布式语义扩展到单个单词之外,以测量单词对,短语和句子的相似性(简单地说,元组;单词的有序集合,连续或不连续)。扩展到单词之外的一种方法是使用一个函数来比较两个元组,该函数组合元组中的组成单词之间的成对相似性。这种方法的优点是它可以处理关系相似性(类比)和组成相似性(释义)。然而,过去的工作需要手工编码的组合功能,为不同的任务。本文的主要贡献是通过监督学习生成组合函数。我们在测量词对之间的关系相似性(SAT类比和SemEval~2012任务2)以及测量名词修饰语短语和一元词之间的成分相似性(多项选择释义问题)方面取得了最先进的结果。
2013-10-18 cs.AI cs.CL cs.IR
A comparative study of root-based and stem-based approaches for measuring the similarity between arabic words for arabic text mining applications
University Sidi Mohamed Ben Abdellah (USMBA)(西迪·穆罕默德·本·阿卜杜拉大学);Faculty of Science Dhar EL Mahraz (FSDM)(达尔·马赫拉兹科学学院)
任何阿拉伯语文本挖掘应用程序都需要对单词中包含的语义信息进行表示。更确切地说,其目的是更好地考虑由这些词的共现频率表示的词之间的语义依赖性。已经有许多建议,以计算相似性的基础上,他们的分布在上下文中的话。本文对两种预处理技术应用于阿拉伯语语料库的效果进行了比较和对比:基于根的(Stemming)和基于Stem-based(光词干)方法,用于利用众所周知的抽象模型-潜在语义分析(LSA)-利用各种各样的距离函数和相似性度量,诸如欧几里得距离、余弦相似性、Jaccard系数,Pearson相关系数实验结果表明,一方面,语料库的多样性使结果更加准确;另一方面,基于词干的方法优于基于词根的方法,因为后者影响了词义。
2012-12-14 cs.CL cs.IR
Measuring Memorization Effect in Word-Level Neural Networks Probing
Charles University(查理大学)
多项研究探讨了在为端到端NLP任务训练的神经网络中出现的表征,并研究了哪些单词级别的语言信息可能被编码在表征中。在经典的探测中,分类器在表示上进行训练以提取目标语言信息。然而,存在分类器简单地记忆单个单词的语言标签而不是从表示中提取语言抽象的威胁,从而报告假阳性结果。虽然已经做出了相当大的努力,以尽量减少记忆的问题,实际测量的分类器中发生的记忆量的任务一直研究不足。在我们的工作中,我们提出了一种测量记忆效果的简单通用方法,该方法基于对称选择训练中可见和未可见的可比较测试单词集。我们的方法可以用来明确量化的记忆量发生在探测设置,以便可以选择一个适当的设置和探测的结果可以解释与可靠性估计。我们通过展示我们的方法在一个经过训练的神经机器翻译编码器中探测语音部分的案例研究来证明这一点。
2020-06-29 cs.CL
Colourful Language: Measuring Word-Colour Associations
Institute for Information Technology(信息技术研究所);National Research Council Canada(加拿大国家研究委员会)
由于许多现实世界的概念都与颜色有关,例如红色的危险,语言信息通常与信息可视化和产品营销中使用的适当颜色相匹配。然而,没有全面的资源,捕捉概念颜色协会。我们提出了一种方法来创建一个大型的词颜色联想词典众包。我们特别关注抽象概念和情感,以表明即使它们不能被物理可视化,它们也往往具有强烈的颜色联想。最后,我们将展示如何词颜色协会体现自己的语言,并量化有用的同现和极性线索自动检测颜色协会。
2013-09-20 cs.CL
Measuring Issue Ownership using Word Embeddings
RISE AI(瑞典国家研究院人工智能部)
情绪分析和主题分析是社交媒体监测的常用方法。从本质上讲,这些方法回答了诸如“关于X正在谈论什么”和“关于X人们感觉如何”等问题。在本文中,我们调查的另一个场地社交媒体监测,即问题所有权和议程设置,这是政治学的概念,已被用来解释选民的选择和选举结果。我们认为,问题对齐和议程设置可以被看作是一种语义源的相似性的那种“如何相似的是源A的问题所有者P,当谈到问题X”,因此可以使用字/文档嵌入技术进行测量。我们目前正在进行的工作,对测量这种条件相似性,并介绍了一个新的概念相似性预测嵌入。然后,我们测试这种方法通过测量政治结盟的媒体和政党之间的相似性,条件是特定于集团的问题。
2018-10-31 cs.CL
Measuring the Meaning of Words in Contexts: An automated analysis of controversies about Monarch butterflies, Frankenfoods, and stem cells
University of Amsterdam(阿姆斯特丹大学);Royal Netherlands Academy of Arts and Sciences(荷兰皇家艺术与科学学院)
在科学、技术和社会研究中,共词被认为是不同领域的意义载体。然而,词和共词在句子中获得意义,句子在其使用的上下文中获得意义。在科学/社会界面上,可以预期词语具有不同的含义:为词语提供含义的通信代码在界面的不同侧面上是不同的。此外,含义和界面可能会随着时间的推移而改变。考虑到这种跨界面和跨时间的意义结构,我们将隐喻和转喻区分为促进上下文之间翻译的自反机制。我们的经验重点是最近的三个科学争议:帝王蝶,弗兰肯食品和干细胞疗法。本研究探索了将语境中的共词分析研究与意义分析和处理的社会学探索联系起来的新途径。
2009-11-17 cs.CL cs.IR physics.soc-ph
HiTR: Hierarchical Topic Model Re-estimation for Measuring Topical Diversity of Documents
Informatics Institute, University of Amsterdam(阿姆斯特丹大学信息学研究所);Institute for Logic, Language, and Computation, University of Amsterdam(阿姆斯特丹大学逻辑、语言与计算研究所)
高度的主题多样性通常被认为是有趣的文本文档的一个重要特征。最近提出的一项建议,用于衡量主题的多样性,确定了三个分布评估文件的多样性:文件内的话,主题内的话,和文件内的主题的分布。主题模型在这一方法中起着核心作用,因此,它们的质量对衡量主题多样性的有效性至关重要。主题模型的质量受两个因素的影响:主题的一般性和不纯性。一般主题仅包括背景语料库的公共信息,并且被分配给大多数文档。不纯主题包含与主题无关的词。杂质降低了主题模型的可解释性。不纯的主题很可能被错误地分配给文档。我们提出了一个分层的重新估计过程,旨在消除一般性和杂质。我们的方法有三个重新估计组件:(1)文档重新估计,从文档中删除一般单词;(2)主题重新估计,重新估计每个主题的单词分布;(3)主题分配重新估计,重新估计每个文档在主题上的分布。为了测量文本文档的主题多样性,我们的HiTR方法比在PubMed数据集上测量的最先进的方法有所改进。
2018-10-12 cs.CL cs.IR cs.LG
Measuring Context-Word Biases in Lexical Semantic Datasets
University of Cambridge(剑桥大学)
最先进的预训练情境化模型(PCM),例如BERT使用诸如WiC和WSD之类的任务来评估它们的词在上下文中的表示。这本质上假设这些任务的性能反映了模型表示耦合的单词和上下文语义的程度。我们质疑这一假设,提出了第一个定量分析的上下文-词的相互作用正在测试中的主要上下文词汇语义任务。为了实现这一目标,我们在屏蔽输入上运行探测基线,并提出措施来计算和可视化现有数据集中的上下文或单词偏见的程度。对模型和人进行分析。我们的研究结果表明,模型通常不会像人类在这些任务中那样进行上下文语义测试,这有助于我们更好地理解模型与人类之间的差距。具体来说,对于PCM,大多数现有的数据集都属于极端(基于检索的任务表现出强烈的目标词偏见,而WiC风格的任务和WSD表现出强烈的上下文偏见);相比之下,当单词和上下文都可用时,人类的偏见更少,并且比掩蔽输入的性能更好。我们推荐我们的框架来理解和控制这些偏差,用于模型解释和未来的任务设计。
2022-12-08 cs.CL
Measuring Bias in Contextualized Word Representations
Carnegie Mellon University(卡内基梅隆大学)
诸如BERT的上下文词嵌入在许多NLP任务中已经实现了最先进的性能。由于它们被优化以捕获训练数据的统计特性,因此它们也倾向于拾取和放大数据中存在的社会刻板印象。在这项研究中,我们(1)~提出了一种基于模板的方法来量化BERT中的偏见;(2)~表明这种方法在捕获社会偏见方面比传统的基于余弦的方法获得了更一致的结果;(3)~进行了一项案例研究,评估性别代词解决的下游任务中的性别偏见。虽然我们的案例研究侧重于性别偏见,但所提出的技术可以推广到揭示其他偏见,包括在多类环境中,如种族和宗教偏见。
2019-06-18 cs.CL
On Measuring Social Biases in Sentence Encoders
Johns Hopkins University(约翰斯·霍普金斯大学);New York University(纽约大学)
词嵌入关联测试表明,GloVe和word2vec词嵌入表现出基于性别、种族和其他社会结构的类似人类的内隐偏见(Caliskan等人,2017年)的报告。与此同时,学习可重用文本表示的研究已经开始探索高级文本,一些句子编码器看到了热情的采用。因此,我们扩展了词嵌入关联测试来测量句子编码器中的偏差。然后,我们测试了几个句子编码器,包括最先进的方法,如ELMo和BERT,在以前的工作中研究的社会偏见和两个重要的偏见,很难或不可能在单词水平上测试。我们观察到混合的结果,包括可疑的敏感性模式,这表明测试的假设可能并不普遍。最后,我们提出了未来工作的方向,衡量句子编码器的偏见。
2019-03-25 cs.CL cs.CY
One Billion Word Benchmark for Measuring Progress in Statistical Language Modeling
Google(谷歌);University of Edinburgh(爱丁堡大学);Cantab Research Ltd(Cantab研究有限公司)
我们提出了一个新的基准语料库,用于衡量统计语言建模的进展。有了近10亿字的训练数据,我们希望这个基准将有助于快速评估新的语言建模技术,并比较它们与其他先进技术相结合时的贡献。我们展示了几种知名类型的语言模型的性能,其中基于递归神经网络的语言模型取得了最好的效果。基线未修剪的Kneser-Ney 5-gram模型实现了困惑度67.6;技术的组合导致困惑度降低35%,或交叉熵(位)降低10%。该基准可作为code.google.com项目提供;除了重建训练/保留数据所需的脚本之外,对于每个基线n元语法模型,它还使得10个保留数据集中的每个数据集中的每个单词的对数概率值可用。
2014-03-04 cs.CL
Analyzing Correlations Between Intrinsic and Extrinsic Bias Metrics of Static Word Embeddings With Their Measuring Biases Aligned
The University of Tokyo(东京大学)
本研究通过对齐内在与外在偏见指标的测量对象,分析静态词嵌入两类偏见指标的相关性,发现内在指标仅能预测特定场景下的NLP系统偏见行为。
2024-09-14 cs.CL
AfriSyCo: Measuring Assertive Framing, Verification, and Wording Sensitivity Around African-Language Content
AfriSyCo通过母语与跨语言因子实验,测量断言性框架和验证对非洲语言内容答案切换的影响,发现断言显著增加错误目标选择,且效应受措辞和模型检查点强烈调节。
2026-09-17 cs.AI cs.CL cs.LG
Words as Gatekeepers: Measuring Discipline-specific Terms and Meanings in Scholarly Publications
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of California, Berkeley(加州大学伯克利分校);Williams College(威廉姆斯学院)
本研究开发了一种可解释的学术术语测量方法,通过词义归纳识别跨领域多义词,发现写作规范中的术语使用会阻碍跨学科影响力及学术思想传播。
2023-05-23 cs.CL cs.DL
Reply to Garcia et al.: Common mistakes in measuring frequency dependent word characteristics
University of Vermont(佛蒙特大学);Massachusetts Institute of Technology(麻省理工学院);The University of Adelaide(阿德莱德大学)
我们证明了Garcia等人表达的担忧是错误的,原因是(1)误解了我们在[1]中的发现;(2)普遍未能检查和呈现单词以支持基于单词使用频率的断言摘要数量;(3)对单词使用频率,单词排名和专家构建的单词列表的一系列误解。特别是,我们表明,我们的研究的英语部分相比,以及统计两个相关的调查,没有调查设计的影响是显而易见的,估计测量误差并不能解释我们的工作和其他人报告的积极性偏差。我们进一步证明,对于积极性的频率依赖性--我们在[1]中非常详细地探索了其中的细微差别--Garcia等人没有对我们的数据进行重新分析--他们而是对不同的,统计学上不正确的数据集进行了分析,并在进行线性回归之前引入了非线性。
2015-05-28 cs.CL physics.soc-ph
Measuring Economic Policy Uncertainty Using an Unsupervised Word Embedding-based Method
Yazd University(亚兹德大学)
经济政策不确定性(EPU)是经济研究中的一个重要指标,它可以用来预测经济衰退。在更高的不确定性下,企业所有者削减了投资,这导致了更长的衰退后复苏。EPU指数是通过统计包含与政策制定和经济相关的预定义关键词并传达不确定性的新闻文章来计算的。不幸的是,这种方法对原始关键字集,其丰富性和新闻报道敏感。因此,在不同国家复制其结果具有挑战性。在本文中,我们提出了一种无监督的文本挖掘方法,使用词嵌入表示空间来选择相关的关键字。该方法对应用于词嵌入向量的语义相似度阈值不严格敏感,并且不需要预定义的字典。我们的实验使用了大量的波斯语新闻库表明,EPU系列计算所提出的方法精确地遵循影响伊朗经济的重大事件,并与伊朗的世界不确定性指数(WUI)兼容。
2021-05-10 cs.CL
Circles are like Ellipses, or Ellipses are like Circles? Measuring the Degree of Asymmetry of Static and Contextual Embeddings and the Implications to Representation Learning
IBM
人类对词相似度的判断已经成为评价词嵌入质量的一种流行方法。但它不能测量几何性质,如不对称性。例如,说“椭圆像圆”比“圆像椭圆”更自然。这种不对称性已经从一个名为单词唤起实验的精神分析测试中观察到,其中一个单词被用来回忆另一个单词。虽然有用,但这些实验数据在测量嵌入质量方面的研究严重不足。在本文中,我们使用三个著名的唤起数据集来深入了解嵌入的不对称编码。我们研究静态嵌入和上下文嵌入,如BERT。由于嵌入的动态特性,通常很难评估BERT的不对称性。因此,我们探测BERT的条件概率(作为一个语言模型)使用大量的维基百科上下文推导出一个理论上合理的贝叶斯不对称分数。结果表明,上下文嵌入在相似性判断上比静态嵌入表现出随机性,而在不对称性判断上表现良好,这与其在文本分类等“外部评价”上的强大表现相一致。不对称判断和贝叶斯方法提供了一个新的视角来评估上下文嵌入的内在评价,它的相似性评价的比较结束了我们的工作与表示学习的现状和未来的讨论。
2020-12-03 cs.AI cs.CL
Conditional probing: measuring usable information beyond a baseline
Stanford University(斯坦福大学)
探测实验研究神经表征使属性(如词性)可预测的程度。一种建议是,如果探测表示比探测基线表示(如非上下文词嵌入)产生更高的准确性,则表示对属性进行编码。我们感兴趣的不是使用基线作为比较点,而是测量包含在表示中而不是基线中的信息。例如,当前的方法可以检测表示何时比单词身份(基线)更有用以预测词性;然而,它们不能检测表示何时仅预测无法通过单词身份解释的词性的方面。在这项工作中,我们扩展了一个理论的可用信息称为$\mathcal{V}$ -信息,并提出有条件的探测,明确的条件上的信息在基线。在一个案例研究中,我们发现,在非上下文词嵌入的条件下,像词性这样的属性在网络的更深层比以前想象的更容易访问。
2021-09-19 cs.CL
Context-Sensitive Measurement of Word Distance by Adaptive Scaling of a Semantic Space
本文提出了一种计算上可行的方法来测量上下文敏感的词之间的语义距离。通过语义空间的自适应缩放来计算距离。在语义空间中,词汇V中的每个词由通过主成分分析从英语词典获得的多维向量表示。给定指定用于测量词距离的上下文的词集合C,语义空间的每个维度根据C在语义空间中的分布而按比例放大或缩小。在这样变换的空间中,V中单词之间的距离变得依赖于上下文C。通过一个单词预测任务的评估表明,所提出的测量成功地提取文本的上下文。
1996-06-25 cmp-lg cs.CL
Measuring cross-language intelligibility between Romance languages with computational tools
University of Bucharest(布加勒斯特大学);HLT Research Center(人类语言技术研究中心)
本文提出了一种基于词汇相似性的计算方法,用于评估罗曼语系语言间的相互可懂性,并通过不同语料库和模型验证了语言间的可懂性差异。
2026-02-07 cs.CL
Visualizing and Measuring the Geometry of BERT
Google Brain(谷歌大脑)
Transformer体系结构显示了自然语言处理的重要前景。鉴于单个预训练模型可以进行微调,以在许多不同的任务中表现良好,这些网络似乎可以提取普遍有用的语言特征。一个自然的问题是,这些网络如何在内部表示这些信息。本文介绍了一个特别有效的模型,BERT的定性和定量研究。在高层次上,语言特征似乎是在单独的语义和句法子空间表示。我们发现的一个细粒度的几何表示的词义的证据。我们还提出了经验描述的句法表示在注意矩阵和个人词嵌入,以及一个数学参数来解释这些表示的几何形状。
2019-10-28 cs.CL cs.LG stat.ML
IsoScore: Measuring the Uniformity of Embedding Space Utilization
Brown University(布朗大学);Quest University(奎斯特大学)
最近成功的分布式单词表示导致了越来越多的兴趣,分析其空间分布的属性。一些研究表明,上下文化的词嵌入模型不会将标记各向同性地投影到向量空间中。然而,目前设计用于测量各向同性的方法,例如平均随机余弦相似性和划分得分,尚未被彻底分析,并且不适合测量各向同性。我们提出IsoScore:一种新的工具,量化的程度,点云均匀地利用周围的向量空间。使用严格设计的测试,我们证明了IsoScore是文献中唯一可用的工具,可以准确地测量向量空间中各个维度的方差均匀分布。此外,我们使用IsoScore来挑战NLP文献中使用各向同性的脆性度量得出的一些最新结论。我们警告未来的研究使用现有的工具来测量上下文嵌入空间的各向同性,因为由此产生的结论将是误导性的或完全不准确的。
2022-04-18 cs.CL cs.LG
Locally Measuring Cross-lingual Lexical Alignment: A Domain and Word Level Perspective
Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本文从局部视角研究跨语言词汇对齐,提出基于上下文嵌入的新指标及合成与自然验证方法,分析16种语言表明现有模型仍有改进空间。
2024-10-07 cs.CL
Unmasking Contextual Stereotypes: Measuring and Mitigating BERT's Gender Bias
University of Groningen(格罗宁根大学);University of Malta(马耳他大学)
语境化的词嵌入已经取代标准嵌入,成为NLP系统中选择的表征性知识源。由于之前在标准词嵌入中发现了各种偏见,因此评估其替换中编码的偏见也至关重要。关注BERT(Devlin等人,2018),我们通过研究英语和德语中表示性别的目标词与职业名称之间的关联来衡量性别偏见,并将研究结果与现实世界的劳动力统计数据进行比较。我们通过在GAP语料库上微调BERT来减轻偏差(Webster等人,2018),在应用反事实数据替代(CDS)(Maudslay等人,2019年)。我们表明,我们的方法测量偏见是适当的语言,如英语,但不适合语言丰富的形态和性别标记,如德语。我们的研究结果强调了跨语言调查偏见和缓解技术的重要性,特别是考虑到目前对大规模,多语言语言模型的重视。
2020-10-27 cs.CL
Development of Word Embeddings for Uzbek Language
Copper City Labs(铜城实验室)
在本文中,我们分享了为乌兹别克语的西里尔变体开发词嵌入的过程。我们工作的结果是第一个公开可用的词向量集,使用内部开发的高质量Web抓取语料库在word2vec,GloVe和fastText算法上进行训练。所开发的词嵌入可以用于许多自然语言处理的下游任务。
2020-09-30 cs.CL
The Extractive-Abstractive Axis: Measuring Content "Borrowing" in Generative Language Models
Megagon Labs(Megagon实验室)
针对大语言模型输出高度抽象化的特点及其带来的内容许可与归属问题,研究提出“抽取-抽象轴”用于生成式模型基准测试,指出需开发对应指标、数据集与标注指南,讨论范围限定于文本模态。
2023-07-20 cs.AI cs.CL cs.CY
A New Approach for Measuring Sentiment Orientation based on Multi-Dimensional Vector Space
Seoul National University(首尔国立大学)
本研究采用向量空间模型来测量词汇的情感倾向。利用高维向量空间,以无监督和半监督两种方式构造正负极性的两个代表向量.每个词的情感定向值通过取两个参考向量的余弦距离之差来确定。这两个条件(无监督和半监督)与现有的无监督方法(Turney,2002)进行了比较。作为我们的实验结果,我们证明了这种新的方法显着优于以前的无监督方法,更实用,数据效率也更高。
2017-12-31 cs.CL
Measuring Social Bias in Knowledge Graph Embeddings
Amazon Alexa(亚马逊Alexa)
最近的研究表明,词嵌入编码了社会偏见,对下游任务产生了有害影响。然而,到目前为止,在图嵌入领域还没有类似的工作。我们提出了第一个研究知识图谱嵌入的社会偏见,并提出了一个新的度量适合测量这种偏见。我们在Wikidata和Freebase上进行了实验,结果表明,与词嵌入一样,与职业相关的有害社会偏见被编码在性别、宗教、种族和国籍的嵌入中。例如,图嵌入编码的信息,男性更有可能是银行家,女性更有可能是家庭主妇。随着图嵌入越来越多地被使用,我们建议理解这种偏见的存在并采取措施减轻其影响是很重要的。
2020-05-07 cs.CL
Measuring Sentences Similarity: A Survey
Assiut University(艾斯尤特大学)
本文对句子相似度的测量方法进行了综述。自然语言句子之间的相似性度量对于诸如文本分类、信息检索、问答和剽窃检测等许多自然语言处理应用是至关重要的任务。本文将基于所采用方法的句子相似度计算方法分为三类。基于词对词、基于结构和基于向量的方法是最常用的句子相似度计算方法。每种方法都基于特定的视角来衡量短文本之间的相关性。此外,数据集,主要是用来作为基准评估技术在这一领域的介绍,以提供一个完整的视图在这个问题上。结合一个以上视角的方法会产生更好的结果。此外,基于结构的相似度,衡量句子结构之间的相似性需要更多的研究。
2019-10-06 cs.CL cs.IR
Persian-WSD-Corpus: A Sense Annotated Corpus for Persian All-words Word Sense Disambiguation
Shahid Beheshti University(沙希德·贝赫什提大学);University of Tehran(德黑兰大学);Johns Hopkis University(约翰斯·霍普金斯大学)
词义消歧(WSD)是自然语言处理(NLP)中的一项长期任务,旨在自动识别给定上下文中单词的最相关含义。开发标准的WSD测试集可以被认为是开发和评估不同WSD系统的重要先决条件。尽管已经为各种语言开发了许多WSD测试集合,但没有标准的全词WSD基准可用于波斯语。在本文中,我们通过引入SBU-WSD-Corpus作为波斯语全词WSD任务的第一个标准测试集来解决波斯语的这一不足。SBU-WSD-语料库是用波斯语词汇网(FarsNet)的词义清单手动注释的。为此,三个注释器使用SAMP(一种基于FarsNet词汇图的意义注释工具)来执行注释任务。SBU-WSD-Corpus包含了19篇波斯语文献,涉及体育、科学、艺术等不同领域,其中包含5892个波斯语文本实义词和3371个人工标注词(2073个名词、566个动词、610个形容词和122个副词)。为未来的波斯语全词WSD任务的研究提供基线,我们评估了几个WSD模型SBU-WSD语料库。该语料库可在https://github.com/hrouhizadeh/SBU-WSD-Corpus上公开获得。
2021-07-04 cs.CL
Meaning to Form: Measuring Systematicity as Information
Kunumi(Kunumi公司);Johns Hopkins University(约翰斯·霍普金斯大学);University of Zürich(苏黎世大学);MPI SHH(马克斯·普朗克人类历史科学研究所);Google(谷歌);University of Cambridge(剑桥大学)
语言符号与语义之间的关系是符号学长期争论的焦点:词形与语义之间是任意的关系,还是存在系统的现象?例如,字符二元组\textit{gl}与诸如\textit{glisten}、\textit{gleam}和\textit{glow}之类的单词的含义有任何系统的关系吗?在这项工作中,我们提供了一个整体量化的系统性的标志使用互信息和递归神经网络。我们采用数据驱动和大规模多语言的方法来解决这个问题,检查106种语言。我们发现一个统计上显着的熵减少时,其语义表示条件的单词形式建模。令人鼓舞的是,我们也恢复了良好的证明英语系统词缀的例子。我们的结论与元点:我们的近似效果大小(以位为单位)是相当小的-尽管形式和意义之间有一定的系统性,一个任意的关系及其产生的好处主导着人类语言。
2019-07-26 cs.CL
Measuring diachronic sense change: new models and Monte Carlo methods for Bayesian inference
University of Oxford(牛津大学)
本文针对高维稀疏语料中的历时词义变化问题,提出简化生成模型与高效MCMC贝叶斯推断方法,并在古希腊语“kosmos”数据上首次给出与专家标注一致的义项流行度演化可信集。
2022-03-01 cs.CL stat.ME
A Survey Of Cross-lingual Word Embedding Models
National University of Ireland(爱尔兰国立大学);Aylien Ltd.(Aylien有限公司);University of Cambridge(剑桥大学);University of Copenhagen(哥本哈根大学)
词的跨语言表示使我们能够在多语言环境中推理词义,并且在为低资源语言开发自然语言处理模型时,它是跨语言迁移的关键促进因素。在本综述中,我们提供了一个全面的跨语言词嵌入模型的类型学。我们比较了它们的数据要求和目标函数。该调查的主题是,文献中提出的许多模型都是针对相同的目标进行优化的,并且看似不同的模型通常是等效的模优化策略,超参数等。我们还讨论了不同的方法,跨语言的词嵌入进行评估,以及未来的挑战和研究视野。
2019-10-06 cs.CL cs.LG
Verb Categorisation for Hindi Word Problem Solving
IIIT-Hyderabad(海得拉巴国际信息技术学院)
针对印地语算术应用题求解任务,该研究构建了基于动词分类的规则式求解器,创建了印地语动词分类数据,并对比了多种动词分类方法的效果。
2023-12-18 cs.AI cs.CL
Composition and Deformance: Measuring Imageability with a Text-to-Image Model
Northeastern University(东北大学)
本文利用文本到图像生成模型提出测量单词和连贯文本可成像性的计算方法,并通过变形实验验证其对组合性变化的敏感度优于基线方法。
2023-06-05 cs.CL cs.CV
Developing a Component Comment Extractor from Product Reviews on E-Commerce Sites
Nagoya Institute of Technology(名古屋工业大学)
消费者经常阅读产品评论来告知他们的购买决定,因为一些消费者想知道产品的特定组件。然而,由于产品评论上的典型句子包含各种细节,用户必须在许多评论中识别关于他们想要知道的组件的句子。因此,我们的目标是开发一个系统,识别和收集句子中的产品的组件和方面的信息。我们的基于BERT的分类器将涉及组件和方面的标签分配给评论中的句子,并提取具有特定组件和方面评论的句子。我们根据产品评论中通过模式匹配识别的单词确定适当的标签,以创建训练数据。因为我们不能用这些词作为标签,所以我们仔细地创建了覆盖这些词的含义的标签。然而,训练数据在组件和方面对上不平衡。我们引入了一种使用WordNet的数据增强方法来减少偏差。我们的评估表明,该系统可以确定标签公路自行车使用模式匹配,覆盖超过88%的指标的组件和方面的电子商业网站。此外,我们的数据增强方法可以提高-F1-措施不足的数据从0.66到0.76。
2022-07-13 cs.CL
Words Worth a Thousand Pictures: Measuring and Understanding Perceptual Variability in Text-to-Image Generation
Comcast AI Technologies(康卡斯特人工智能技术公司);University of Waterloo(滑铁卢大学);University College London(伦敦大学学院);University of Copenhagen(哥本哈根大学)
本文提出W1KP感知变异性度量方法,构建测试集评估黑盒扩散模型,其感知距离优于9个基线18个百分点,校准匹配人类判断达78%;研究提示词复用性并分析56个语言特征影响,是首个从视觉语言学视角分析扩散变异性的工作。
2024-11-26 cs.CL cs.CV
Probabilistic Method of Measuring Linguistic Productivity
Friedrich Schiller University Jena(耶拿弗里德里希·席勒大学)
本文提出一种不直接依赖词例频率、以词缀与随机词基结合概率衡量语言能产性的新方法,经英俄数据验证,揭示了能产性发展先增高频词项、后增低频词项的两阶段规律。
2023-08-24 cs.CL
No News is Good News: A Critique of the One Billion Word Benchmark
Cohere
10亿字基准是一个来自WMT 2011新闻抓取的数据集,通常用于衡量自然语言处理中的语言建模能力。我们训练模型只在按年划分的公共爬行网络上进行,并证明随着时间的推移,由于分布的变化,它们在这项任务上的表现会更差。对这一语料库的分析表明,它包含了几个有害文本的例子,以及对当前事件的过时引用。我们认为,新闻的时间性质及其随时间的分布偏移使其不适合测量语言建模能力,并讨论了潜在的影响和考虑因素的研究人员建立语言模型和评估数据集。
2021-10-25 cs.CL cs.LG
Annotated Guidelines and Building Reference Corpus for Myanmar-English Word Alignment
University of Computer Studies, Mandalay(曼德勒计算机大学);AI Research Lab(人工智能研究实验室)
词对齐参考语料库是开发和评估词对齐方法的重要资源。对于缅甸语-英语语言对,没有参考语料库来评估词对齐任务。因此,我们创建了基于对比学习的两种语言之间的缅甸-英语词对齐注释指南,并建立了由亚洲语言树库(ALT)的缅甸ALT验证对齐组成的缅甸-英语参考语料库。该参考语料库包含用于单词对齐的确信标签sure(S)和possible(P),其用于测试单词对齐任务的评估目的。我们讨论了最链接的歧义,以定义一致和系统的指示,以对齐手动的话。我们使用我们的参考语料库的对齐出错率(AER)在词对齐任务的注释协议的结果进行了评估,并讨论了BLEU分数方面的词的关系。
2019-09-25 cs.AI cs.CL cs.IR
A Computational Approach to Measuring Semantic Change in Sanskrit Literature
The Harker School(哈克学校)
本文首次将历时词嵌入方法应用于梵语这一低资源古老语言,构建270万词元语料库,结合神经sandhi切分器与词形还原器,验证了21个语义变化中19个方向符合语文学证据,证明该范式可迁移至形态复杂的低资源语言。
2026-09-23 cs.CL
On the Inductive Bias of Word-Character-Level Multi-Task Learning for Speech Recognition
Corti(Corti公司)
端到端自动语音识别(ASR)通常将音频信号转录成字符序列,而其性能通过测量字-出错率(WER)来评估。这表明直接预测单词序列可能会有所帮助。然而,由于每个标签类的示例稀疏,使用单词级监督进行训练可能会更加困难。在本文中,我们分析了一个端到端的ASR模型,它结合了多任务学习(MTL)框架中的单词和字符表示。我们表明,它提高了WER和研究如何字级模型可以受益于字符级的监督,通过分析经验的每个模型组件的学习归纳偏好偏差。我们发现,通过添加字符级的监督,MTL模型之间插入识别更频繁的单词(首选的单词级模型)和较短的单词(首选的字符级模型)。
2018-11-28 cs.CL cs.LG stat.ML