DHPLT: large-scale multilingual diachronic corpora and word representations for semantic change modelling
University of Oslo（奥斯陆大学）；Cornell University（康奈尔大学）
DHPLT提供大规模多语言历时语料库及词表示，用于语义变化建模，填补了多语言资源的空白。
2026-02-12 cs.CL
Unsupervised detection of diachronic word sense evolution
WebGlyphs, Inc.（WebGlyphs公司）
大多数单词都有几个含义和内涵，由于语义的变化，这些含义和内涵会随着时间的推移而演变，因此，多年来，密切相关的单词可能会获得不同的甚至相反的含义。这种演变与语言和文化变化的研究非常相关，但目前可用于历时语义分析的工具具有显着的固有局限性，不适合实时分析。在这篇文章中，我们演示了如何线性随机向量技术，使建设时间序列的全等词嵌入（或语义空间），然后可以进行比较和线性组合，而不会损失任何时间段的精度，以检测历时语义变化。我们展示了这种方法如何产生多义词的时间轨迹，如亚马逊或苹果，使以下语义漂移和性别偏见随着时间的推移，揭示了稳定的概念，如飓风或总统的变化实例。这种非常快速的线性方法可以很容易地分布在许多处理器上，以实时跟踪Twitter或Facebook等社交媒体的流;然后可以通过简单的添加或减去来随意组合所产生的时间依赖的语义空间。
2018-05-30 cs.CL
Characterizing Linguistic Shifts in Croatian News via Diachronic Word Embeddings
TakeLab, Faculty of Electrical Engineering and Computing, University of Zagreb（TakeLab，电子工程与计算学院，泽格雷布大学）
本研究利用25年的950万篇克罗地亚新闻语料，通过分五年窗口训练的skip-gram历时词嵌入量化语义变化，验证了其可捕捉重大事件相关术语的语言变迁，并发现2020年后嵌入的情感积极性上升，与同期心理健康下降的研究结论形成反差。
2025-06-16 cs.CL
Word-Centered Semantic Graphs for Interpretable Diachronic Sense Tracking
University of Zurich（苏黎世大学）；TU Dortmund University（多特蒙德技术大学）
本文提出基于词中心语义图的方法，用于可解释地追踪词义随时间的变化，通过整合分布相似性和词汇替代性，揭示多义性动态和意义演变轨迹。
2026-01-29 cs.CL
Leveraging Contextual Embeddings for Detecting Diachronic Semantic Shift
Jozef Stefan Institute（约瑟夫·施泰凡研究所）
我们提出了一种新的方法，利用上下文嵌入的任务，历时语义转移检测生成特定时间的词表示从BERT嵌入。在特定领域的LiverpoolFC语料库中的实验结果表明，该方法在大型语料库中不需要任何耗时的领域自适应，具有与现有技术相当的性能。新创建的Brexit新闻语料库的结果表明，该方法可以成功地用于检测短期的年度语义转移。最后，该模型也显示出可喜的成果，在多语言环境中，任务是检测不同语言的历时语义变化之间的差异和相似之处。
2020-03-05 cs.CL
Analyzing Continuous Semantic Shifts with Diachronic Word Similarity Matrices
Tokyo Metropolitan University（东京都立大学）；Hitotsubashi University（一桥大学）；National Institute for Japanese Language and Linguistics（日本语学研究所）；National Institute of Advanced Industrial Science and Technology（独立行政法人产业技术综合研究所）；The Institute of Statistical Mathematics（统计数理研究所）
针对相邻时间段变化点检测不足与BERT类方法计算成本高的问题，本研究提出基于历时词相似矩阵的轻量框架，可深入分析多时段连续语义偏移，并能无监督聚类语义偏移行为相似的词语。
2025-01-17 cs.CL
On the Diachronic Stability of Irregularity in Inflectional Morphology
University of Colorado（科罗拉多大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
许多语言的屈折形态系统充满了不规则词，即，似乎不遵循标准屈折规则的单词。在这项工作中，我们定量研究的条件下，不规则可以生存在一种语言随着时间的推移。使用递归神经网络模拟语言学习者，我们测试的词的频率和他们的不规则性之间的历时关系。
2018-04-23 cs.CL
Tracing cultural diachronic semantic shifts in Russian using word embeddings: test sets and baselines
National Research University Higher School of Economics（国立研究型大学高等经济学院）；University of Oslo（奥斯陆大学）
本文介绍了手动标注的测试集的任务跟踪历时（时间）语义变化的俄语。这两个测试集是互补的，因为第一个测试集涵盖了前苏联到苏联时期名词和形容词发生的相对强烈的语义变化，而第二个测试集涵盖了2000年至2014年发生的相对微妙的社会和文化决定的变化。此外，第二个测试集提供了更细粒度的变化程度分类，但仅限于形容词。测试集的引入使我们能够评估几种成熟的语义转换检测算法（将其视为分类问题），其中大多数从未在俄语材料上进行过测试。所有这些算法都使用在相应的领域内语料库上训练的分布式词嵌入模型。由此产生的分数为未来处理类似任务的研究提供了坚实的比较基线。我们发布的数据集，代码和训练的模型，以促进进一步的研究，在自动检测时间语义变化的俄语单词，不同的粒度的时间段。
2019-07-29 cs.CL
QMUL-SDS @ DIACR-Ita: Evaluating Unsupervised Diachronic Lexical Semantics Classification in Italian
Queen Mary University of London（伦敦玛丽女王大学）；Imam Abdulrahman bin Faisal University（伊玛目阿卜杜勒拉赫曼·本·费萨尔大学）；Alan Turing Institute（艾伦·图灵研究所）
在本文中，我们介绍了我们的系统的结果和主要发现的DIACR-ITA 2020任务。我们的系统专注于使用不同的训练集和不同的语义检测方法。该任务涉及训练，对齐和预测一个词的向量变化从两个历时意大利语语料库。我们证明了使用时间词嵌入与指南针C-BOW模型相比，不同的方法，包括逻辑回归和前馈神经网络使用精度更有效。我们的模型排名第三，准确率为83.3%。
2020-11-06 cs.CL
Three-part diachronic semantic change dataset for Russian
University of Oslo（奥斯陆大学）；University of Helsinki（赫尔辛基大学）
我们提出了一个手动注释的俄语词汇语义变化数据集：RuShiftEval。它的新颖性是由一个单一的一组目标词注释的历时语义变化跨越三个时间段，而以前的工作要么只使用两个时间段，或不同的目标词集。本文描述了数据集的组成和注释过程。此外，它示出了如何RuShiftEval的三元性质允许跟踪特定的历时轨迹：“在特定的时间段和稳定之后改变”或“在整个时间段内变化”。基于对最近的俄语语义变化检测共享任务的分析，我们认为正确识别这种轨迹本身就是一个有趣的子任务。
2021-06-15 cs.CL
Diachronic Usage Relatedness (DURel): A Framework for the Annotation of Lexical Semantic Change
University of Stuttgart（斯图加特大学）；LMU Munich（慕尼黑大学）
我们提出了一个框架，扩展共时多义注释词汇意义的历时变化，以抵消缺乏资源的评估词汇语义变化的计算模型。我们的框架利用了一个直观的概念，语义相关性，并区分创新和还原的意义变化与高注释者之间的协议。由此产生的德语测试集包括来自5个注释者的评分，用于22个目标词的1，320个使用对的相关性。
2018-04-18 cs.CL
Letters From the Past: Modeling Historical Sound Change Through Diachronic Character Embeddings
University of Copenhagen（哥本哈根大学）；University of Malta（马耳他大学）
虽然在词汇语义变化检测的NLP方法上已经做了大量的工作，但语言变化的其他方面却很少受到NLP社区的关注。在本文中，我们解决了通过历史拼写的声音变化的检测。我们建议，声音的变化，可以通过比较它们的分布之间的时间，使用PPMI字符嵌入的相对距离被捕获。我们在合成数据中验证了这一假设，然后测试该方法的能力，以跟踪丹麦历史资料中著名的爆破音的历史变化。我们表明，模型能够识别几个正在考虑的变化，并发现有意义的背景下，他们出现。该方法有可能有助于研究开放的问题，如相对年表的声音变化及其地理分布。
2022-05-17 cs.CL
The LSCD Benchmark: a Testbed for Diachronic Word Meaning Tasks
University of Stuttgart（斯图加特大学）；University of Oslo（奥斯陆大学）
针对词汇语义变化检测任务中评估标准不统一的问题，提出一个标准化基准库，通过模块化设计支持WiC、WSI和LSCD子任务的评估与组合。
2026-05-22 cs.CL
DRIFT: A Toolkit for Diachronic Analysis of Scientific Literature
BITS Pilani, Goa Campus（BITS Pilani 果阿校区）；Pune University（浦那大学）
在这项工作中，我们向NLP社区以及整个更广泛的研究社区展示了研究语料库历时分析的应用程序。我们开源了一个易于使用的工具：DRIFT，它允许研究人员跟踪多年来的研究趋势和发展。分析方法是从被广泛引用的研究工作中整理出来的，为了更好地衡量，我们还加入了一些自己的方法。简而言之，一些分析方法是：关键字提取，词云，预测下降/停滞/增长趋势使用生产力，跟踪双元使用加速图，查找单词的语义漂移，使用相似性跟踪趋势等，以证明我们的工具的实用性和有效性，我们进行了一个案例研究的cs.CL语料库的arXiv库，并从分析方法中得出推论。该工具包和相关代码可在这里获得：https://github.com/rajaswa/DRIFT。
2021-09-10 cs.CL
NorDiaChange: Diachronic Semantic Change Dataset for Norwegian
University of Oslo（奥斯陆大学）；University of Bergen（卑尔根大学）
我们描述NorDiaChange：挪威语的第一个历时语义变化数据集。NorDiaChange包括两个新的子集，涵盖了大约80个挪威名词手动注释随着时间的推移分级语义变化。两个数据集遵循相同的注释程序，并且可以互换地用作彼此的训练和测试分割。NorDiaChange涵盖与战前和战后事件，挪威石油和天然气发现以及技术发展有关的时间段。注释使用DURel框架和两个大型挪威历史语料库完成。NorDiaChange在许可证下完整发布，包括原始注释数据和推断的历时词使用图（DWUGs）。
2022-04-27 cs.CL
DUKweb: Diachronic word representations from the UK Web Archive corpus
The Alan Turing Institute（艾伦·图灵研究所）；Queen Mary University of London（伦敦玛丽女王大学）；University of Bari（巴里大学）；University of Oxford（牛津大学）；University of Cambridge（剑桥大学）
词汇语义变化（检测词的意义和用法的变化）是社会和文化研究以及自然语言处理应用的重要任务。历时词嵌入（保留其含义的词的时间敏感向量表示）已成为这项任务的标准资源。然而，鉴于其生成所需的大量计算资源，使得历时词嵌入可用于科学界的资源非常少。在本文中，我们介绍了DUKweb，一套大型的资源设计的历时分析当代英语。DUKweb是根据JISC UK Web Domain Dataset（1996-2013）创建的，该数据集是一个非常大的档案馆，收集来自Internet Archive的资源，这些资源托管在以“. uk”结尾的域名上。DUKweb由JISC UK Web Domain数据集中每年的一系列词共现矩阵和两种类型的词嵌入组成。我们通过一个词义变化检测的案例研究，展示了DUKweb的重用潜力及其质量标准。
2021-10-25 cs.CL cs.DL cs.LG
From cart to truck: meaning shift through words in English in the last two centuries
Universidad de Costa Rica（哥斯达黎加大学）
本研究利用历时词嵌入探索1800至2000年英语词汇意义演变，通过word2vec和正交Procrustes方法揭示语言与社会变迁的联系，并讨论方法局限与伦理问题。
2024-08-29 cs.CL
A State-of-the-Art of Semantic Change Computation
Huazhong University of Science and Technology（华中科技大学）
本文回顾了计算语言学中一个新兴的研究领域--语义变化计算的最新进展，提出了一个框架，通过确定和阐述该领域的五个基本组成部分：历时语料库、历时词义表征、变化建模、评估数据和数据可视化来总结文献。尽管这一领域有着巨大的潜力，但目前的研究主要集中在理论语言学中提出的假设的证明上，还有几个核心问题有待解决：对英语以外语言历时语料库的需求，对综合评价数据的需求，历时词义表征和变化建模方法的比较和构建，并进一步探索数据可视化技术的假设理由。
2018-01-30 cs.CL
Detecting and assessing contextual change in diachronic text documents using context volatility
Leipzig University（莱比锡大学）
历时文本语料库中的术语可能表现出高度的语义动态性，这仅部分地被语义变化的共同概念所捕获。我们提出的上下文波动性的新度量模型的程度，在文本集合中，随着时间的推移，术语改变上下文。词的上下文波动性的计算依赖于其共现项的重要性值和相应的共现等级在连续的时间跨度。我们定义了一个基线，并提出了一个有效的计算方法，以克服相关的问题，在数据结构的计算问题。结果进行评估，用于模拟上下文变化的合成文件，和一个真实的例子的基础上，英国报纸文本。
2017-11-15 cs.CL
HistBERT: A Pre-trained Language Model for Diachronic Lexical Semantic Analysis
University of Toronto（多伦多大学）
上下文词嵌入在各种自然语言处理任务中表现出最先进的性能，包括那些涉及历史语义变化的任务。然而，诸如BERT的语言模型主要是在当代语料库数据上训练的。为了研究历史语料库数据的训练是否提高了历时语义分析，我们提出了一个预先训练的基于BERT的语言模型，HistBERT，在历史美国英语的平衡语料库上训练。我们检查我们的方法的有效性，通过比较原始的BERT和HistBERT的性能，我们报告有希望的结果在单词相似性和语义转移分析。我们的工作表明，上下文嵌入在历时语义分析中的有效性取决于输入文本的时间轮廓，在应用这种方法来研究历史语义变化时应注意。
2022-02-08 cs.CL cs.LG
Tracing Antisemitic Language Through Diachronic Embedding Projections: France 1789-1914
Ca’ Foscari University of Venice（威尼斯大学）
我们使用历时性的词嵌入研究了现代反犹太主义的发源地之一法国的反犹太主义历史的某些方面。我们构建了一个大型语料库的法国书籍和期刊的问题，包含一个关键字有关的犹太人，并进行了历时词嵌入在1789年至1914年期间。我们研究了4个目标词的语义空间随时间的变化，并对6个反犹太语篇流进行了嵌入投影。这使我们能够跟踪反犹太偏见在宗教，经济，社会政治，种族，伦理和阴谋领域的演变。预测显示，反犹太主义有增长的趋势，特别是在80年代中期开始的几年里，并在德雷福斯事件中达到高潮。我们的分析还使我们能够突出在其他宗教的更广泛背景下对犹太教的特殊不利偏见。
2019-06-04 cs.AI cs.CL cs.DL
When Words Divide: Diachronic Ideological Polarization in Political Discourse on Social Media
The Academic College of Tel-Aviv Yaffo（特拉维夫-雅法学术学院）
该研究通过构建时间对齐的Reddit社群特定词嵌入，量化政治概念的语义差异以分析意识形态极化，发现研究期间极化大幅加剧，其方法可捕捉语义框架中意识形态差异的演变。
2026-08-04 cs.CL cs.SI
Dynamics of Meaning: Towards the Evaluation of Diachronic Semantic Change in Sinhala
University of Moratuwa（莫拉图瓦大学）
本研究提出多阶段计算框架，结合嵌入对齐与上下文剪枝，分析僧伽罗语13至20世纪语义变化，发现语义漂移主要由少数高影响实例驱动。
2026-10-02 cs.CL
Survey of Computational Approaches to Lexical Semantic Change
University of Gothenburg（哥德堡大学）；Kyoto University（京都大学）
我们的语言在不断变化，受到文化、社会和技术变化等外部因素的驱动，以及仅仅部分理解的内部动机。单词获得新的含义，失去旧的含义，新词被创造出来或从其他语言中借用，而过时的单词则变得晦涩难懂。理解词义和词语使用的变化特点，对于那些研究历史文本内容的人、感兴趣的公众以及其本身都是有用的。自动词汇语义变化检测的结果，以及历时概念变化的模型，目前正被纳入跨时间相似性测量方法，长期文档档案的信息检索，OCR算法的设计，近年来，我们看到学术界对支持历时概念变化研究的计算方法和工具的兴趣激增词汇替换这篇文章是一个最近的计算技术，以解决目前正在审查的词汇语义变化的调查摘录。在本文中，我们关注的是作为语义变化延伸的历时概念变化。
2019-03-13 cs.CL
Modeling the dynamics of domain specific terminology in diachronic corpora
Leipzig University（莱比锡大学）；Stuttgart University（斯图加特大学）
在术语工作、自然语言处理和数字人文学中，一些研究致力于分析术语的上下文和含义的变化，以检测术语的语义变化和演变。我们区分了三种不同的方法来描述语境变化：基于模式和语言线索的分析方法，探索单个词的潜在语义空间的方法，以及主题成员关系的分析方法。本文提出了上下文波动的概念，作为一种新的检测语义变化的措施，并将其应用于政治科学的案例研究中的关键词提取。该措施量化了一个词的上下文变化的动态历时语料库中，以确定的时间段，其特点是激烈的争议性辩论或大量的语义转换。
2017-07-11 cs.CL
An Embedded Diachronic Sense Change Model with a Case Study from Ancient Greek
University of Oxford（牛津大学）
本文提出 EDiSC 模型，将词嵌入融入 DiSC 生成框架，以提升古希腊语历时词义变化建模的预测、真值恢复、不确定性量化及 MCMC 采样可扩展性。
2024-06-25 cs.CL stat.ME
An open diachronic corpus of historical Spanish: annotation criteria and automatic modernisation of spelling
Universitat d’Alacant（阿利坎特大学）
历史西班牙语的IMPACT-es历时语料库汇编了100多本书-包含约800万个单词-除了一个补充词典，该词典将1万多个词元与文件中发现的不同变体的证明联系起来。本文本语料库和随附的词典已根据开放许可证（Creative Commons by-nc-sa）发布，以允许在语言学研究中对其进行深入开发。语料库中大约7%的单词（旨在提高最常见单词形式的覆盖率的选择）已经用它们的词元，词性和现代等价物进行了注释。本文介绍了注释遵循的标准和标准，基于文本编码倡议的建议，用于表示数字形式的文本。作为一个例证的历时文本资源和语言学研究之间可能的协同作用，我们描述了应用统计机器翻译技术来推断概率上下文敏感的规则，自动现代化的拼写。当将输出与文本的监督现代版本进行比较时，使用这种类型的统计方法的自动现代化导致非常低的字符出错率。
2013-06-28 cs.CL cs.DL
NLP-CIC @ DIACR-Ita: POS and Neighbor Based Distributional Models for Lexical Semantic Change in Diachronic Italian Corpora
Instituto Politécnico Nacional（国家理工学院）；Instituto Caro y Cuervo（卡罗-奎尔沃研究所）
我们在EVALITA 2020的DIACR-Ita共享任务中展示了我们关于意大利语无监督词汇语义变化的系统和发现。该任务是确定目标词是否随着时间的推移而演变其含义，仅依赖于来自两个特定时间数据集的原始文本。我们提出了两个模型，代表目标词的各个时期预测变化的话，使用阈值和投票计划。我们的第一个模型仅仅依赖于词性的使用和距离测量的集合。第二个模型使用词嵌入表示法提取相邻词在空间上的相对距离，并提出“绝对差平均值”来估计词汇语义变化。我们的模型取得了令人满意的结果，在DIACR-Ita竞赛中排名第三。此外，我们使用第二个模型的k_neighbor参数进行实验，以比较使用“绝对差的平均值”与Hamilton et al.（2016）中使用的余弦距离的影响。
2020-11-07 cs.AI cs.CL
Diachronic Analysis of German Parliamentary Proceedings: Ideological Shifts through the Lens of Political Biases
University of Mannheim（曼海姆大学）；Technische Universität Darmstadt（达姆施塔特工业大学）
我们分析了历史语料库中的偏见，作为历时分布语义模型编码，通过关注两种具体形式的偏见，即政治（即，反共产主义）和种族主义（即，反犹主义（Antizism）1为此，我们使用一个新的语料库德国议会程序，DeuPARL，跨越1867年至2020年期间。我们补充了历时词嵌入的历史偏见的分析与一种新的措施的基础上，长期同现和基于图形的标签传播的偏见。我们的偏见测量的结果与普遍认为的反犹太主义和反共产主义偏见在德国政治的历史趋势在不同的时间段，从而表明使用历史语料库的语义空间分析历史偏见趋势的可行性。
2021-08-13 cs.CL cs.DL
Semantic Homogenization in Italian Popular Music: A Diachronic Analysis
Centro Ricerche, Innovazione Tecnologica e Sperimentazione（研究中心、技术创新与实验）
研究意大利圣雷莫音乐节决赛歌曲歌词语义变化，开发灵活高效方法，结合多种分析及技术，发现语义渐趋统一，凸显自然语言处理工具价值。
2026-07-07 cs.CL
Measuring diachronic sense change: new models and Monte Carlo methods for Bayesian inference
University of Oxford（牛津大学）
本文针对高维稀疏语料中的历时词义变化问题，提出简化生成模型与高效MCMC贝叶斯推断方法，并在古希腊语“kosmos”数据上首次给出与专家标注一致的义项流行度演化可信集。
2022-03-01 cs.CL stat.ME
Revealing COVID-19's Social Dynamics: Diachronic Semantic Analysis of Vaccine and Symptom Discourse on Twitter
University of Surrey（萨里大学）；Zhejiang University（浙江大学）；Harvard University（哈佛大学）；University College London（伦敦大学学院）
本文提出无监督动态词嵌入方法，捕捉社交媒体纵向语义变迁，在COVID-19 Twitter数据上揭示疫苗与症状实体的语义演化及与现实统计的相关性。
2024-10-10 cs.CL cs.IR cs.SI
Learning Diachronic Representations of Ancient Greek Letterforms
Athens University of Economics and Business（雅典经济与商业大学）；Archimedes, Athena Research Center（阿基米德，雅典娜研究中心）；Department of Computer and Systems Sciences, Stockholm University（斯德哥尔摩大学计算机与系统科学系）；Università degli Studi di Torino（都灵大学）；University of Basel（巴塞尔大学）；Democritus University of Thrace（德谟克利特大学）；Computer Vision Center (CVC) - Barcelona（巴塞罗那计算机视觉中心）；Julius-Maximilians-Universität Würzburg（维尔茨堡大学）
针对古希腊字母在数百年书写变异中的表示学习，提出相似性加权监督对比损失和空缺驱动增强方案，实现鲁棒且可解释的字符嵌入。
2026-06-25 cs.CL cs.CV cs.LG
How COVID-19 Is Changing Our Language : Detecting Semantic Shift in Twitter Word Embeddings
École Polytechnique（巴黎综合理工学院）；AUEB（雅典经济与商业大学）
文字是可塑的物体，受到书面文本中反映的事件的影响。在全球爆发COVID-19的背景下，我们的研究旨在检测由健康危机引发的社交媒体语言的语义转变。利用从Twitter中提取的COVID-19相关大数据，我们针对疫情爆发后的不同时间段，对单独的词嵌入模型进行了训练。我们采用了一种基于嵌入的方法，将这些嵌入与一个与COVID-19无关的通用Twitter嵌入进行比较。我们还比较了它们之间的训练嵌入，以观察历时演变。通过对一组由话题检测所选择的词进行案例研究，我们验证了我们的对齐方法是有效的。最后，我们量化的规模的全球语义转移的稳定性措施的基础上来回旋转对齐。
2021-02-15 cs.CL
Contextualized language models for semantic change detection: lessons learned
University of Oslo（奥斯陆大学）
我们提出了一个定性分析的（可能是错误的）输出的上下文嵌入为基础的方法检测历时语义变化。首先，我们介绍了一种集成方法优于先前描述的上下文方法。这种方法被用来作为一个深入分析的程度，语义变化预测的英语单词跨越50年的基础。我们的研究结果表明，语境化的方法往往可以预测高的变化分数的话，没有经历任何真正的历时语义转变的词典意义上的术语（或至少这些转变的状态是值得怀疑的）。这种挑战性的情况下，详细讨论了与实例，并提出了他们的语言分类。我们的结论是，预训练的上下文化语言模型容易出现词典意义的混淆变化和上下文方差的变化，这自然源于其分布性质，但与基于静态嵌入的方法中观察到的问题类型不同。此外，它们经常合并在一起的语法和语义方面的词汇实体。我们对这些问题提出了一系列可能的未来解决方案。
2022-08-31 cs.CL
AraWEAT: Multidimensional Analysis of Biases in Arabic Word Embeddings
Data and Web Science Research Group（数据与网络科学研究组）；University of Mannheim（曼海姆大学）
最近的研究表明，分布式词向量空间经常编码人类偏见，如性别歧视或种族主义。在这项工作中，我们进行了广泛的分析，在阿拉伯语词嵌入的偏见，通过应用一系列最近推出的偏见测试各种嵌入空间在阿拉伯语中的语料库。我们在几个维度上衡量偏见的存在，即：嵌入模型（Skip-Gram，CBOW和FastText）和向量大小，文本类型（百科文本，新闻与用户生成的内容），方言（埃及阿拉伯语与现代标准阿拉伯语）和时间（对不同时期语料库的历时分析）。我们的分析产生了一些有趣的发现，例如，在阿拉伯语新闻语料库上训练的嵌入中的隐性性别偏见随着时间的推移（2007年至2017年）稳步增加。我们公开提供阿拉伯语偏差规范（AraWEAT）。
2020-11-03 cs.CL
Where New Words Are Born: Distributional Semantic Analysis of Neologisms and Their Semantic Neighborhoods
Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）；Department of Computer Science, University of Toronto（多伦多大学计算机科学系）；Computer Science and Engineering, University of California, San Diego（加利福尼亚大学圣地亚哥分校计算机科学与工程系）
我们使用大量的英语历时语料库对新词现象进行了统计分析。我们调查两个因素的重要性，语义稀疏性和频率增长率的语义邻居，形式化的分布语义范式。我们发现，这两个因素是预测的字出现，虽然我们发现更多的支持后一种假设。除了提出一个新的语言应用的分布语义学，这项研究解决的语言问题的语言内部因素的作用（在我们的情况下，稀疏）在语言变化的动机语言外部因素（反映在频率增长）。
2020-01-21 cs.CL
Quantifying Cognitive Factors in Lexical Decline
University of Toronto（多伦多大学）；Carnegie Mellon University（卡内基梅隆大学）
我们采用进化论的语言变化，其中认知因素（除了社会因素）影响的话，他们在语言生态系统的适应性和成功。具体来说，我们提出了各种心理语言学因素-语义，分布，和语音-我们假设是预测词汇下降，其中的话大大减少频率随着时间的推移。使用三种语言（英语，法语和德语）的历史数据，我们发现我们提出的大多数因素在每个策划的下降单词集与其匹配的稳定单词之间的预期方向上存在显着差异。Logistic回归分析表明，语义因素和分布因素对词汇衰退有显著的预测作用。进一步的历时分析表明，随着时间的推移，衰落词的词汇语境多样性趋于减少，逐渐缩小了它们的“生态位”。
2021-10-12 cs.CL
Effects of Pre- and Post-Processing on type-based Embeddings in Lexical Semantic Change Detection
Institute for Natural Language Processing, University of Stuttgart（斯图加特大学自然语言处理研究所）
词汇语义变化检测是一个新兴的研究领域。包括预处理和后处理在内的模型的最佳微调在很大程度上尚不清楚。我们通过以下方式优化现有模型：（i）对大型语料库进行预训练，并对历时目标语料库进行改进，以解决臭名昭著的小数据问题;（ii）应用已被证明可以提高同步任务性能的后处理转换。我们的研究结果提供了一个指导的应用和优化的词汇语义变化检测模型在各种学习场景。
2021-01-26 cs.CL
Learning dynamic word embeddings with drift regularisation
LIMSI（机械与工程科学计算机实验室）；CNRS（法国国家科学研究中心）；Univ. Paris-Sud（巴黎第十一大学）；Univ. Paris-Saclay（巴黎萨克雷大学）；Société Générale（法国兴业银行）
词语的用法、含义和内涵随着时间的推移而变化。历时词嵌入被用于以无监督的方式把握这些变化。在本文中，我们使用动态伯努利嵌入模型的变体来学习动态词嵌入，以识别模型的显着属性。比较是在纽约时报注释语料库的英文和一组文章，从法国报纸世界报涵盖同一时期。这使我们能够定义一个管道来分析两种语言中单词使用的演变。
2019-07-22 cs.CL cs.LG
Change Summarization of Diachronic Scholarly Paper Collections by Semantic Evolution Analysis
IIT Kharagpur（印度理工学院卡拉格普尔分校）；SOC, Universiti Utara Malaysia（马来西亚北方大学计算机学院）；IIR4.0, Universiti Kebangsaan Malaysia（马来西亚国立大学工业革命4.0研究所）；University of Innsbruck（因斯布鲁克大学）
在过去的几年里，学术数据的数量急剧增加。对于特定科学领域的新手（例如，IR，物理学，NLP）通常很难发现更大的趋势，并将最新的研究放在先前的科学成就和突破的背景下。同样，科学史的研究人员对能够让他们分析和可视化特定科学领域变化的工具感兴趣。时间摘要和相关方法对于理解随着时间的推移而聚合的大量科学话语数据应该很有用。我们展示了一种新的方法来分析在较长时间内发表的研究论文集，以提供随着时间的推移发生的重要语义变化的高层次概述。我们的方法是基于比较词的语义表示随着时间的推移，旨在支持用户更好地理解大型领域为重点的档案的学术出版物。作为一个示例数据集，我们使用ACL Anthology Reference Corpus，涵盖1979年至2015年，包含22，878篇学术文章。
2021-12-07 cs.CL cs.DL
Follow the Leader: Documents on the Leading Edge of Semantic Change Get More Citations
Georgia Institute of Technology（佐治亚理工学院）；University of Southern California（南加利福尼亚大学）；Google Research（谷歌研究院）
历时性词嵌入--随时间变化的词的向量表示--为语言的演变提供了显着的见解，并为从文本文档中量化社会文化变化提供了工具。先前的工作已经使用这种嵌入来识别单个单词含义的变化。然而，仅仅知道一个词的含义发生了变化，不足以识别传达历史或更新含义的词用法的实例。在本文中，我们将历时性的词嵌入与文档联系起来，将这些文档定位为正在进行的语义变化的领导者或落后者。具体来说，我们提出了一种新的方法来量化每个词的使用的语义进步的程度，然后显示如何将这些使用可以聚合，以获得每个文档的分数。我们分析了两个大型文件集，代表法律意见和科学文章。被评为语义进步的文件会收到更多的引用，这表明它们特别有影响力。因此，我们的工作提供了一个新的技术，识别词汇语义领导者，并展示了一个新的链接之间的进步使用的语言和影响力的引文网络。
2020-10-01 cs.CL cs.SI physics.soc-ph
Interpretable Word Sense Representations via Definition Generation: The Case of Semantic Change Analysis
University of Amsterdam（阿姆斯特丹大学）；University of Oslo（奥斯陆大学）
本研究提出用专门的Flan-T5模型生成语境化词汇用法的自然语言定义作为可解释词义表示，选取簇内原型定义为义项标签，提升了语义变化分析的可解释性，且在语境词语义相似度任务上优于传统嵌入，为NLP提供了新型词汇表示方案。
2023-07-25 cs.CL
Low-dimensional Semantic Space: from Text to Word Embedding
Xiamen University（厦门大学）；DeepAI Tech Co., Ltd.（深湃信息科技(深圳)有限公司）
本文重点研究词嵌入，这是自然语言处理中的一种特征学习技术，它将词或短语映射到低维向量。本文从语境相似性的语言学理论--“分布假设”和“情景语境”出发，介绍了文本的两种数值表征方式：单热表征和分布表征。此外，本文还介绍了基于语义的语言模型（如共生矩阵和奇异值分解）以及神经网络语言模型（NNLM，如连续词袋和跳格）。本文还分析了词嵌入在词义消歧和历时语言学研究中的应用。
2019-11-03 cs.CL cs.LG
Learning Word Sense Embeddings from Word Sense Definitions
Peking University（北京大学）；Collaborative Innovation Center for Language Ability（语言能力协同创新中心）
词嵌入在许多现代自然语言处理系统中起着重要的作用。由于学习每个单词的一个表示对于多义词和同音词来说是有问题的，研究人员建议使用每个词义的一个嵌入。他们的方法主要是在语料库上训练词义嵌入。在本文中，我们建议使用词义定义来学习每个词义的一个嵌入。在词汇相似度测试和词义消歧测试中的实验结果表明，该方法产生的词义嵌入具有较高的质量。
2016-10-24 cs.CL
Quantifying Lexical Semantic Shift via Unbalanced Optimal Transport
Kyoto University（京都大学）；Konan University（konan大学）；NINJAL；Tohoku University（东北大学）；RIKEN（日本科学技术研究所）
本文提出基于非平衡最优传输的Sense Usage Shift度量，在实例级量化词义使用频率变化，并统一解决语义变化幅度、词义扩大或缩小等检测任务。
2025-05-31 cs.CL
Exploration on Grounded Word Embedding: Matching Words and Images with Image-Enhanced Skip-Gram Model
Peking University（北京大学）
词嵌入的目的是用低维向量表示词的语义。学习词嵌入（word 2 vec和GloVe）的最新方法仅使用词共现信息。学习的嵌入是实数向量，这对人类来说是模糊的。在本文中，我们提出了一个图像增强的Skip-Gram模型来学习接地词嵌入通过表示在同一个超平面与图像向量的词向量。实验表明，该模型学习的图像向量和词嵌入具有高度的相关性，表明该模型能够为词嵌入提供生动的图像解释。
2018-09-08 cs.CL
Neural-based Noise Filtering from Word Embeddings
Institut für Maschinelle Sprachverarbeitung（机器语言处理研究所）；Universität Stuttgart（斯图加特大学）
词嵌入已经被证明对NLP任务有很大的好处。然而，在矢量表示中存在改进的空间，因为当前的词嵌入通常包含不必要的信息，即，噪声我们提出了两个新的模型，以改善词嵌入的无监督学习，以产生字去噪嵌入。基于深度前馈神经网络滤波器，通过增强原始词嵌入中的显著信息和减弱噪声，得到词去噪嵌入。基准测试任务的结果表明，过滤后的词去噪嵌入优于原始的词嵌入。
2016-10-06 cs.CL
Analysing Lexical Semantic Change with Contextualised Word Representations
Institute for Logic, Language and Computation（逻辑、语言与计算研究所）；University of Amsterdam（阿姆斯特丹大学）
本文提出了第一个无监督的方法，利用上下文的词表示的词汇语义变化。我们提出了一种新的方法，利用BERT神经语言模型来获得表示的词的使用，聚类这些表示到使用类型，并测量随着时间的变化与三个建议的指标。我们创建了一个新的评估数据集，并表明模型表示和检测到的语义变化与人类的判断呈正相关。我们大量的定性分析表明，我们的方法捕捉到了各种共时和历时的语言现象。我们希望我们的工作能够激发这方面的进一步研究。
2020-04-29 cs.CL cs.CY
Cross-Lingual Contextual Word Embeddings Mapping With Multi-Sense Words In Mind
LIMSI, CNRS（法国国家科学研究中心机械与工程计算机科学实验室）；LRI, Univ. Paris-Sud, CNRS（巴黎第十一大学计算机研究实验室，法国国家科学研究中心）；Université Paris-Saclay（巴黎-萨克雷大学）；CentraleSupélec（中央理工-高等电力学院）
最近的跨语言语境词嵌入学习的工作不能很好地处理多义词。在这项工作中，我们探讨了语境词嵌入的特点，并显示语境词嵌入和词义之间的联系。我们提出了两个改进的解决方案，考虑上下文的多意义词嵌入的噪声（去除），并通过生成集群水平的平均锚嵌入上下文的多意义词嵌入（替换）。实验结果表明，本文的方法可以在微观上提高多义词的有监督上下文词嵌入对齐，而不会影响双语词典归纳任务的宏观性能。对于无监督对齐，我们的方法显着提高了双语词典归纳任务的性能超过10点。
2019-09-18 cs.CL
Learning Sense-Specific Static Embeddings using Contextualised Word Embeddings as a Proxy
University of Liverpool（利物浦大学）；Department of Computer Science（计算机科学系）；University of Liverpool, UK（英国利物浦大学）
从神经语言模型（NLM）（如BERT）生成的上下文化词嵌入表示具有向量的单词，该向量考虑目标单词的语义及其上下文。另一方面，静态词嵌入（如GloVe）通过相对低维、内存和计算效率高的向量表示词，但对词的不同含义不敏感。我们提出了上下文派生的嵌入的意义（CDES），一种方法，提取意义相关的信息，从上下文的嵌入，并将其注入到静态嵌入，以创建特定意义的静态嵌入。在词义消歧和词义判别任务的多个基准测试上的实验结果表明，CDES可以准确地学习特定于词义的静态嵌入，其性能与当前最先进的词义嵌入相当。
2021-10-06 cs.CL
The Visualization of Change in Word Meaning over Time using Temporal Word Embeddings
Out of The View Ventures；University of Edinburgh（爱丁堡大学）
我们描述了一个可视化工具，可以用来查看随着时间的推移，在单词的含义的变化。该工具利用现有的（静态）单词嵌入数据集以及带时间戳的$n$语法语料库来创建{ \em temporal}词嵌入。
2014-10-18 cs.CL
AutoExtend: Extending Word Embeddings to Embeddings for Synsets and Lexemes
Center for Information & Language Processing（信息与语言处理中心）；University of Munich（慕尼黑大学）
我们提出了\textit{AutoExtend}，一个系统来学习嵌入的同义词和词素。它是灵活的，因为它可以采取任何词嵌入作为输入，不需要额外的训练语料库。所获得的同义词集/词位嵌入与词嵌入存在于相同的向量空间中。稀疏张量形式化保证了效率和并行性。我们使用WordNet作为词汇资源，但AutoExtend可以很容易地应用于其他资源，如Freebase。AutoExtend在单词相似性和词义消歧任务上实现了最先进的性能。
2015-07-04 cs.CL
Model Choices Influence Attributive Word Associations: A Semi-supervised Analysis of Static Word Embeddings
Purdue University（普渡大学）
静态词嵌入编码词关联，广泛用于下游NLP任务。虽然先前的研究已经讨论了这些词的联想的性质的偏见和词汇的重复捕获，嵌入训练过程的基础上的词的联想的变化仍然是模糊的。这项工作旨在通过评估五种不同静态词嵌入架构的属性词关联、分析模型架构、上下文学习风格和训练语料库的选择的影响来解决这一差距。我们的方法利用半监督聚类方法聚类注释专有名词和形容词，基于他们的词嵌入功能，揭示潜在的属性词的关联形成的嵌入空间，而不引入任何确认偏见。我们的研究结果表明，在嵌入训练（CBOW与skip-gram）的上下文学习风味的选择影响词的联想可扩展性和词嵌入的敏感性的偏差在训练语料库。此外，经验表明，即使在相同的语料库上训练时，在不同的词嵌入模型之间的编码词关联中也存在显著的模型间差异和模型内相似性，从而以为每个嵌入架构创建嵌入空间的方式描绘特定模式。
2020-12-14 cs.CL
