Combining Static and Contextualised Multilingual Embeddings
LMU Munich(慕尼黑大学);Charles University(查理大学)
静态和上下文多语言嵌入具有互补的优势。静态嵌入虽然不如上下文语言模型具有表达性,但可以更直接地跨多种语言对齐。我们结合了静态和上下文模型的优势,以改善多语言表示。我们从XLM-R中提取了40种语言的静态嵌入,使用跨语言单词检索来验证这些嵌入,然后使用VecMap进行对齐。这就产生了高质量、高度多语言的静态嵌入。然后,我们将一种新的持续预训练方法应用于XLM-R,利用静态嵌入的高质量对齐来更好地对齐XLM-R的表示空间。我们对多个复杂的语义任务显示出积极的结果。我们发布静态嵌入和后续的预训练代码。与大多数以前的工作不同,我们的持续预训练方法不需要并行文本。
2022-03-17 cs.CL
Distilling Semantic Concept Embeddings from Contrastively Fine-Tuned Language Models
University of Shanghai for Science and Technology(上海理工大学);CRIL CNRS(法国国家科学研究中心CRIL);University of Artois(阿尔图瓦大学);Cardiff University(卡迪夫大学)
提出两种对比学习策略从预训练语言模型中提取语义概念嵌入,通过无监督邻域结构和ConceptNet远程监督优化上下文向量,显著提升了概念语义属性预测及聚类等下游任务性能。
2023-05-16 cs.AI cs.CL
Modelling General Properties of Nouns by Selectively Averaging Contextualised Embeddings
Nanjing University(南京大学);CRIL CNRS & Univ Artois(法国国家科学研究中心与阿尔图瓦大学联合信息研究实验室);Cardiff University(卡迪夫大学)
虽然预先训练的语言模型的成功在很大程度上消除了许多NLP应用中对高质量静态词向量的需求,但这些向量在需要在缺乏语言上下文的情况下对单词进行建模的任务中继续发挥重要作用。在本文中,我们将探讨如何语境化嵌入预测BERT可以用来产生高质量的词向量等领域,特别是有关知识库的完成,我们的重点是捕捉名词的语义属性。我们发现,一个简单的策略,平均的语境化嵌入的屏蔽词提到导致向量优于静态词向量学习的BERT,以及那些从标准的词嵌入模型,在属性归纳任务。我们特别注意到,掩蔽目标词对于实现这种强大的性能至关重要,因为所得到的向量较少关注特殊属性,而更多地关注一般语义属性。受此启发,我们提出了一种过滤策略,旨在消除最特殊的提及向量,使我们能够在属性归纳中获得进一步的性能增益。
2021-05-17 cs.AI cs.CL
Rethinking Metrics for Lexical Semantic Change Detection
Queen Mary University of London(伦敦女王学院);The Alan Turing Institute(艾伦·图灵研究所);University of Cambridge(剑桥大学)
本文提出AMD和SAMD两种新度量方法,用于更稳健地检测词义变化,适用于不同编码器和表示空间。
2026-02-17 cs.CL
Interpretable Word Sense Representations via Definition Generation: The Case of Semantic Change Analysis
University of Amsterdam(阿姆斯特丹大学);University of Oslo(奥斯陆大学)
本研究提出用专门的Flan-T5模型生成语境化词汇用法的自然语言定义作为可解释词义表示,选取簇内原型定义为义项标签,提升了语义变化分析的可解释性,且在语境词语义相似度任务上优于传统嵌入,为NLP提供了新型词汇表示方案。
2023-07-25 cs.CL
Capturing Evolution in Word Usage: Just Add More Clusters?
Jozef Stefan Institute(约瑟夫·斯特凡研究所);LIMSI - CNRS(法国国家科学研究中心机械与工程科学计算机实验室);Univ. Paris-Sud(巴黎第十一大学);Univ. Paris-Saclay(巴黎萨克雷大学);Societé Générale(法国兴业银行);University of Helsinki(赫尔辛基大学)
词语的使用方式随着时间的推移而演变,反映了社会的文化或技术演变。语义变化检测是检测和分析文本数据中单词演变的任务,即使是在很短的时间内。在本文中,我们专注于一套新的方法,依赖于上下文嵌入,一种语义建模,革命性的自然语言处理领域最近。我们利用基于transformer的BERT模型的能力来生成能够检测单词随时间的语义变化的上下文嵌入。在一个共同的环境中比较了几种方法,以确定每种方法的优缺点。我们还提出了一些改进的想法,管理,以大幅提高现有方法的性能。
2020-01-24 cs.CL
Learning Dynamic Contextualised Word Embeddings via Template-based Temporal Adaptation
University of Liverpool(利物浦大学);Cardiff University(卡迪夫大学);Amazon(亚马逊)
本研究提出一种基于模板式时序适配的动态语境化词嵌入学习方法,通过无监督筛选枢轴与锚点术语生成提示、自动学习时序模板来微调预训练MLM,有效降低目标时序语料的测试困惑度,性能超越现有最优方法。
2023-06-14 cs.CL
Unsupervised Semantic Variation Prediction using the Distribution of Sibling Embeddings
Tokyo Metropolitan University(东京都立大学);Amazon(亚马逊);University of Liverpool(利物浦大学)
提出利用目标词上下文嵌入的完整分布(兄弟分布)进行无监督语义变化预测,在 SemEval-2020 任务 1 上优于仅用平均嵌入的方法,达到当前最先进水平。
2023-05-15 cs.CL
Fake or Genuine? Contextualised Text Representation for Fake Review Detection
University of Tasmania(塔斯马尼亚大学);University of New South Wales(新南威尔士大学)
在线评论对客户对任何产品或服务的购买决策都有重大影响。然而,虚假评论可能会误导消费者和公司。已经开发了几种模型来使用机器学习方法检测虚假评论。这些模型中的许多都有一些局限性,导致区分虚假和真实评论的准确性较低。这些模型只关注语言特征来检测虚假评论,未能捕捉评论的语义含义。针对这一问题,本文提出了一种新的集成模型,该模型采用Transformer架构来发现虚假评论序列中的隐藏模式,并精确地检测它们。所提出的方法结合了三个Transformer模型,以提高虚假和真实行为分析和建模的鲁棒性,从而检测虚假评论。使用半真实基准数据集的实验结果表明,该模型的优越性,国家的最先进的模型。
2021-12-29 cs.AI cs.CL
$\textit{Swap and Predict}$ -- Predicting the Semantic Changes in Words across Corpora by Context Swapping
Tokyo Metropolitan University(东京都立大学);Amazon(亚马逊);University of Liverpool(利物浦大学)
提出基于上下文交换的无监督方法SSCD,利用预训练掩码语言模型预测词语在两个语料库间的语义变化,在四种语言和时间跨度上取得准确预测,并优于强基线。
2023-10-16 cs.CL
Do Not Fire the Linguist: Grammatical Profiles Help Language Models Detect Semantic Change
University of Amsterdam(阿姆斯特丹大学);University of Oslo(奥斯陆大学);University of Helsinki(赫尔辛基大学)
词语使用中的形态和句法变化(如捕获的,例如,语法概况)已被证明是一个词的意义变化的良好预测。在这项工作中,我们探讨是否大的预先训练的语境化语言模型,词汇语义变化检测的常用工具,这种形态句法变化敏感。为此,我们首先在10个数据集上比较了语法配置文件与多语言神经语言模型(XLM-R)的性能,涵盖7种语言,然后将这两种方法结合起来,以评估它们的互补性。我们的研究结果表明,将语法配置文件与XLM-R集成可以提高大多数数据集和语言的语义变化检测性能。这表明,语言模型并没有完全覆盖在语法配置文件中明确表示的细粒度的形态和句法信号。一个有趣的例外是测试集,其中分析的时间跨度比它们之间的时间间隔长得多(例如,长达一个世纪的跨度,它们之间有一年的间隔)。形态句法的变化是缓慢的,所以语法概况不检测在这种情况下。相比之下,语言模型,由于其访问词汇信息,能够检测快速的主题变化。
2022-04-12 cs.CL
The BD-LSC Dataset: Facilitating the Benchmarking of Models for Lexical Semantic Change Detection in Slang and Standard Usage
The University of Manchester(曼彻斯特大学);Qassim University(卡西姆大学)
针对词汇语义双向变化及俚语与标准用法混合的挑战,构建BD-LSC和ST-WSD两个基准数据集,评估多种方法,发现稀有俚语义项仍是核心难题。
2026-09-22 cs.CL
Dynamics of Meaning: Towards the Evaluation of Diachronic Semantic Change in Sinhala
University of Moratuwa(莫拉图瓦大学)
本研究提出多阶段计算框架,结合嵌入对齐与上下文剪枝,分析僧伽罗语13至20世纪语义变化,发现语义漂移主要由少数高影响实例驱动。
2026-10-02 cs.CL
Analyzing Continuous Semantic Shifts with Diachronic Word Similarity Matrices
Tokyo Metropolitan University(东京都立大学);Hitotsubashi University(一桥大学);National Institute for Japanese Language and Linguistics(日本语学研究所);National Institute of Advanced Industrial Science and Technology(独立行政法人产业技术综合研究所);The Institute of Statistical Mathematics(统计数理研究所)
针对相邻时间段变化点检测不足与BERT类方法计算成本高的问题,本研究提出基于历时词相似矩阵的轻量框架,可深入分析多时段连续语义偏移,并能无监督聚类语义偏移行为相似的词语。
2025-01-17 cs.CL
Leveraging Contextual Embeddings for Detecting Diachronic Semantic Shift
Jozef Stefan Institute(约瑟夫·施泰凡研究所)
我们提出了一种新的方法,利用上下文嵌入的任务,历时语义转移检测生成特定时间的词表示从BERT嵌入。在特定领域的LiverpoolFC语料库中的实验结果表明,该方法在大型语料库中不需要任何耗时的领域自适应,具有与现有技术相当的性能。新创建的Brexit新闻语料库的结果表明,该方法可以成功地用于检测短期的年度语义转移。最后,该模型也显示出可喜的成果,在多语言环境中,任务是检测不同语言的历时语义变化之间的差异和相似之处。
2020-03-05 cs.CL
Diachronic word embeddings and semantic shifts: a survey
University of Oslo(奥斯陆大学);ANZ(澳新银行)
近年来出现了大量的论文,旨在使用分布方法,特别是基于预测的词嵌入模型来追踪词汇语义的时间变化。然而,这种研究缺乏凝聚力,共同的术语和共同的做法,更成熟的领域自然语言处理。本文综述了历时词嵌入和语义转移检测的研究现状。我们从讨论语义转移的概念开始,然后继续概述现有的方法来跟踪这种与时间相关的转移与词嵌入模型。我们提出了几个轴,沿着这些方法可以进行比较,并概述了这个新兴的NLP子领域的主要挑战,以及前景和可能的应用。
2018-06-13 cs.CL
ICO: Enhancing Semantic-Shift Jailbreaks via Iterative Context Optimization
本研究针对现有语义偏移越狱攻击有效性有限的问题,提出带迭代上下文优化(ICO)的黑盒上下文感知框架,经多数据集与多模型实验,其攻击效果优于现有基线,平均成功率达74.6%。
2026-08-05 cs.CL
Tracing cultural diachronic semantic shifts in Russian using word embeddings: test sets and baselines
National Research University Higher School of Economics(国立研究型大学高等经济学院);University of Oslo(奥斯陆大学)
本文介绍了手动标注的测试集的任务跟踪历时(时间)语义变化的俄语。这两个测试集是互补的,因为第一个测试集涵盖了前苏联到苏联时期名词和形容词发生的相对强烈的语义变化,而第二个测试集涵盖了2000年至2014年发生的相对微妙的社会和文化决定的变化。此外,第二个测试集提供了更细粒度的变化程度分类,但仅限于形容词。测试集的引入使我们能够评估几种成熟的语义转换检测算法(将其视为分类问题),其中大多数从未在俄语材料上进行过测试。所有这些算法都使用在相应的领域内语料库上训练的分布式词嵌入模型。由此产生的分数为未来处理类似任务的研究提供了坚实的比较基线。我们发布的数据集,代码和训练的模型,以促进进一步的研究,在自动检测时间语义变化的俄语单词,不同的粒度的时间段。
2019-07-29 cs.CL
Cultural Shift or Linguistic Drift? Comparing Two Computational Measures of Semantic Change
Stanford University(斯坦福大学)
词汇的意义变化有很多原因,包括文化因素,如新技术和常规的语言过程,如主观化。理解语言和文化的演变需要解开这些潜在的原因。在这里,我们将展示如何使用两种不同的分布措施来检测两种不同类型的语义变化。第一个措施,这已经在许多以前的作品中使用,分析一个词的分布语义的全球变化,它是敏感的变化,由于语言漂移的常规过程,如语义概括的承诺(“我承诺。”--“它保证会令人兴奋。").第二个衡量标准,我们在这里开发的,重点是一个词的最近的语义邻居的本地变化;它是更敏感的文化转变,如细胞的意义的变化(“监狱细胞”->“手机”)。通过比较这两种方法所做的测量,研究人员可以确定变化在本质上是更多的文化还是语言,这一区别对于数字人文和历史语言学的工作至关重要。
2016-09-24 cs.CL
Words are Malleable: Computing Semantic Shifts in Political and Media Discourse
University of Amsterdam(阿姆斯特丹大学)
近年来,研究者开始关注词义时间变化的检测。然而,大多数(如果不是全部)这些方法限制了他们的努力,揭示随着时间的推移变化,从而忽视了其他有价值的方面,如社会或政治的变化。我们提出了一种方法来检测不同观点之间的语义转变-广义上定义为一组文本,共享一个特定的元数据功能,这可以是一个时间段,但也是一个社会实体,如政党。对于每个视点,我们学习一个语义空间,其中每个词都表示为一个低维神经嵌入向量。挑战在于将一个词在一个空间中的含义与其在另一个空间中的含义进行比较,并测量语义变化的大小。我们比较了两个空间之间的最佳变换的基础上的措施的有效性与一个措施的基础上,在各自的空间中的单词的邻居的相似性。我们的实验表明,这两者的组合表现最好。我们发现,语义的变化不仅发生随着时间的推移,但也沿着不同的观点在短时间内。对于评估,我们展示了这种方法如何捕捉有意义的语义转变,并可以帮助改善其他任务,如对比观点总结和意识形态检测(分类精度)在政治文本。我们还表明,这两个法律的语义变化的经验表明,持有时间的转变也持有跨观点的转变。这些定律表明,频繁出现的单词不太可能改变含义,而具有许多含义的单词更有可能这样做。
2017-11-15 cs.CL
Statistically significant detection of semantic shifts using contextual word embeddings
University of Helsinki(赫尔辛基大学)
在较小的数据集中检测词汇语义变化,例如在历史语言学和数字人文学中,由于缺乏统计能力而具有挑战性。非上下文嵌入模型使这个问题变得更加严重,这种模型每个单词产生一个嵌入,因此掩盖了数据中存在的可变性。在这篇文章中,我们提出了一种方法来估计语义转移相结合的上下文词嵌入与置换为基础的统计测试。我们使用错误发现率程序来解决同时进行的大量假设检验。我们证明了这种方法在模拟中的性能,它实现了一贯的高精度抑制误报。我们还分析了SemEval-2020任务1和利物浦足球俱乐部subreddit语料库的真实数据。我们表明,通过考虑样本的变化,我们可以提高个体语义偏移估计的鲁棒性,而不会降低整体性能。
2021-09-24 cs.CL
Semantic coordinates analysis reveals language changes in the AI field
University of Toronto(多伦多大学);Vector Institute(向量研究所);Surgical Safety Technologies(外科安全技术公司);Li Ka Shing Knowledge Institute, St Michael’s Hospital(李嘉诚知识研究所,圣迈克尔医院)
语义变化可以反映数百年来信仰的变化,但是否可以在短时间内检测到快速变化的社区的趋势则不太清楚。我们提出了语义坐标分析,这是一种基于语义变化的方法,可以在很短的时间内揭示一个领域的出版物(我们以AI为例)中语言的变化。我们使用GloVe风格的概率比来量化从多个视角的移动方向和范围。我们表明,语义坐标分析可以检测到反映研究兴趣变化的变化(例如,“深度”进一步从“严格”转向“神经”),以及研究活动的发展(例如,“协作”中的“竞争”比“协作”中的“竞争”要少)。
2020-11-01 cs.CL
How COVID-19 Is Changing Our Language : Detecting Semantic Shift in Twitter Word Embeddings
École Polytechnique(巴黎综合理工学院);AUEB(雅典经济与商业大学)
文字是可塑的物体,受到书面文本中反映的事件的影响。在全球爆发COVID-19的背景下,我们的研究旨在检测由健康危机引发的社交媒体语言的语义转变。利用从Twitter中提取的COVID-19相关大数据,我们针对疫情爆发后的不同时间段,对单独的词嵌入模型进行了训练。我们采用了一种基于嵌入的方法,将这些嵌入与一个与COVID-19无关的通用Twitter嵌入进行比较。我们还比较了它们之间的训练嵌入,以观察历时演变。通过对一组由话题检测所选择的词进行案例研究,我们验证了我们的对齐方法是有效的。最后,我们量化的规模的全球语义转移的稳定性措施的基础上来回旋转对齐。
2021-02-15 cs.CL
Quantifying Lexical Semantic Shift via Unbalanced Optimal Transport
Kyoto University(京都大学);Konan University(konan大学);NINJAL;Tohoku University(东北大学);RIKEN(日本科学技术研究所)
本文提出基于非平衡最优传输的Sense Usage Shift度量,在实例级量化词义使用频率变化,并统一解决语义变化幅度、词义扩大或缩小等检测任务。
2025-05-31 cs.CL
Semantic Shifts of Psychological Concepts in Scientific and Popular Media Discourse: A Distributional Semantics Analysis of Russian-Language Corpora
HSE University(高等经济学院)
本文通过分布语义分析俄语语料库,探讨心理学概念在科学与大众媒体中的语义变化,发现科学文本侧重专业术语,而大众媒体更强调日常经验与治疗实践。
2026-03-10 cs.CL
Beyond Surface Similarity: Detecting Subtle Semantic Shifts in Financial Narratives
The Hong Kong University of Science and Technology(香港科技大学)
本文提出金融领域特定任务Financial-STS,用于衡量成对金融叙事间的细微语义相似性,并设计了LLM增强流水线,在人工标注数据集上优于现有方法。
2024-03-21 cs.CL
Fine-Tuning Deteriorates General Textual Out-of-Distribution Detection by Distorting Task-Agnostic Features
Peking University(北京大学)
检测分发外(OOD)输入对于自然语言处理(NLP)模型的安全部署至关重要。虽然现有的方法,特别是那些基于微调预训练语言模型(PLM)的特征空间中的统计数据的方法,被认为是有效的,但它们对不同类型的分布偏移的有效性仍然有待探索。在这项工作中,我们采取的第一步,全面评估主流的文本OOD检测方法检测语义和非语义的变化。我们发现:(1)没有现有的方法在这两种情况下表现良好;(2)在分布数据上微调PLM有利于检测语义变化,但严重恶化了检测非语义变化,这可以归因于任务不可知特征的扭曲。为了缓解这个问题,我们提出了一个简单而有效的通用OOD得分命名为GNOME,集成了来自任务不可知和特定于任务的表示的置信度得分。实验结果表明,GNOME在语义和非语义迁移场景下都能很好地工作,并在两个跨任务基准测试中两种迁移同时发生的情况下进一步带来了显著的改进。我们的代码可在https://github.com/lancopku/GNOME上获得。
2023-01-30 cs.CL
Shift-Reduce Task-Oriented Semantic Parsing with Stack-Transformers
Universidade de Vigo(维戈大学)
本文提出基于Stack-Transformers的移进-归约任务型语义解析器,融合自底向上和按序转移系统,在Facebook TOP的高、低资源设置中均优于现有方法。
2024-09-10 cs.CL
Slangvolution: A Causal Analysis of Semantic Change and Frequency Dynamics in Slang
ETH Zürich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
语言在不断变化,这些变化背后的机制仍然是一个有争议的问题。在这项工作中,我们通过因果关系的镜头来接近语言的演变,不仅为了模拟各种分布因素如何与语言变化相关联,而且为了模拟它们如何因果地影响它,特别是我们研究了俚语,这是一种非正式的语言,通常仅限于特定的群体或社会环境。我们分析了俚语词汇的语义变化和频率变化,并将其与标准的非俚语词汇进行了比较。通过因果发现和因果推理技术,我们测量了词的类型(俚语/非俚语)对语义变化和频率变化的影响,以及它与频率,多义词和词性的关系。我们的分析为语言变化的研究提供了一些新的见解,例如,我们发现,俚语词经历较少的语义变化,但往往有较大的频率变化随着时间的推移。
2022-05-07 cs.CL
SICI: A Semantic-Pragmatic Complexity Index Reveals Regime Shifts in LLM Stance Detection
School of Cyber Science and Technology, University of Science and Technology of China(中国科学技术大学网络空间安全学院);School of Artificial Intelligence, Shenzhen Technology University(深圳技术大学人工智能学院)
提出SICI指数,从七维语义-语用复杂度诊断立场检测难度,揭示LLM错误随复杂度增加从过度归因到集中弃权的相变规律,且干预方法仅沿归因-弃权轴移动而非消除瓶颈。
2026-06-24 cs.CL
A Survey on Word Meta-Embedding Learning
University of Liverpool(利物浦大学);Amazon(亚马逊)
元嵌入(ME)学习是一种新兴的方法,其试图在给定现有(源)词嵌入作为唯一输入的情况下学习更准确的词嵌入。由于ME学习能够以紧凑的方式整合来自多个源嵌入的语义,并且具有卓越的性能,因此ME学习在NLP从业者中很受欢迎。据我们所知,目前还没有关于ME学习的系统调查,本文试图填补这一需求。我们根据多个因素对ME学习方法进行分类,例如它们是否(a)在静态或上下文嵌入上操作,(b)以无监督的方式训练或(c)针对特定任务/域进行微调。此外,我们还讨论了现有ME学习方法的局限性,并强调了未来潜在的研究方向。
2022-04-25 cs.AI cs.CL cs.LG
Unsupervised detection of diachronic word sense evolution
WebGlyphs, Inc.(WebGlyphs公司)
大多数单词都有几个含义和内涵,由于语义的变化,这些含义和内涵会随着时间的推移而演变,因此,多年来,密切相关的单词可能会获得不同的甚至相反的含义。这种演变与语言和文化变化的研究非常相关,但目前可用于历时语义分析的工具具有显着的固有局限性,不适合实时分析。在这篇文章中,我们演示了如何线性随机向量技术,使建设时间序列的全等词嵌入(或语义空间),然后可以进行比较和线性组合,而不会损失任何时间段的精度,以检测历时语义变化。我们展示了这种方法如何产生多义词的时间轨迹,如亚马逊或苹果,使以下语义漂移和性别偏见随着时间的推移,揭示了稳定的概念,如飓风或总统的变化实例。这种非常快速的线性方法可以很容易地分布在许多处理器上,以实时跟踪Twitter或Facebook等社交媒体的流;然后可以通过简单的添加或减去来随意组合所产生的时间依赖的语义空间。
2018-05-30 cs.CL
SST-BERT at SemEval-2020 Task 1: Semantic Shift Tracing by Clustering in BERT-based Embedding Spaces
IDSIA(意大利瑞士人工智能研究所)
词汇语义变化检测(也称为语义转移跟踪)是一项识别随着时间的推移已经改变其含义的单词的任务。SemEval2020的重点是无监督语义转移跟踪,这尤其具有挑战性。鉴于无监督设置,在这项工作中,我们建议识别每个目标词的不同出现之间的聚类,将其视为不同词义的代表。因此,所获得的聚类中的不一致自然允许量化四种目标语言中每个目标词的语义转变水平。为了利用这个想法,聚类是在单词出现的上下文(基于BERT)嵌入上执行的。所获得的结果表明,我们的方法在单独(每种语言)和整体上都表现良好,我们超过了所有提供的SemEval基线。
2020-10-02 cs.AI cs.CL
A Multidimensional Framework for Evaluating Lexical Semantic Change with Social Science Applications
Melbourne School of Psychological Sciences(墨尔本心理学院)
本文提出一个整合情感、广度与强度的三维计算框架,用于系统评估词汇语义变化,并通过对心理健康相关语料的示例分析,揭示病理化、污名化和概念蠕变等社会议题中的语义演变模式。
2024-06-10 cs.CL
Pooling and Semantic Shift: The Fundamental Challenges in Long Text Embedding and Retrieval
Rutgers University(罗格斯大学)
本文提出池化操作和内部语义偏移是导致Transformer嵌入模型出现各向异性和长度诱导表示崩溃的根本原因,并通过理论证明和实验验证了语义偏移对嵌入集中的主导作用。
2026-05-22 cs.CL cs.IR
Leverage Points in Modality Shifts: Comparing Language-only and Multimodal Word Representations
本文大规模比较CLIP等视觉-语言模型与FastText、BERT等纯文本模型的词嵌入,借助46个语义参数识别视觉落地影响语言表征的关键词汇属性。
2023-06-04 cs.CL
Word-Centered Semantic Graphs for Interpretable Diachronic Sense Tracking
University of Zurich(苏黎世大学);TU Dortmund University(多特蒙德技术大学)
本文提出基于词中心语义图的方法,用于可解释地追踪词义随时间的变化,通过整合分布相似性和词汇替代性,揭示多义性动态和意义演变轨迹。
2026-01-29 cs.CL
Contextualized language models for semantic change detection: lessons learned
University of Oslo(奥斯陆大学)
我们提出了一个定性分析的(可能是错误的)输出的上下文嵌入为基础的方法检测历时语义变化。首先,我们介绍了一种集成方法优于先前描述的上下文方法。这种方法被用来作为一个深入分析的程度,语义变化预测的英语单词跨越50年的基础。我们的研究结果表明,语境化的方法往往可以预测高的变化分数的话,没有经历任何真正的历时语义转变的词典意义上的术语(或至少这些转变的状态是值得怀疑的)。这种挑战性的情况下,详细讨论了与实例,并提出了他们的语言分类。我们的结论是,预训练的上下文化语言模型容易出现词典意义的混淆变化和上下文方差的变化,这自然源于其分布性质,但与基于静态嵌入的方法中观察到的问题类型不同。此外,它们经常合并在一起的语法和语义方面的词汇实体。我们对这些问题提出了一系列可能的未来解决方案。
2022-08-31 cs.CL
Using Deep Mixture-of-Experts to Detect Word Meaning Shift for TempoWiC
Netease Inc.(网易公司)
本文主要描述了TempoWiC任务的DMA提交,该任务的宏F1得分达到77.05%,在该任务中获得第一名。我们首先探讨不同预训练语言模型的影响。然后采用数据清洗、数据增强和对抗性训练策略来提高模型的泛化能力和鲁棒性。为了进一步改进,我们集成POS信息和单词语义表示使用混合专家模型(MoE)的方法。实验结果表明,MoE能很好地结合上下文、词性和词的语义特征,克服特征过度使用的问题。此外,我们使用一个模型集成的方法进行最终的预测,这已被许多研究工作证明是有效的。
2022-11-07 cs.CL
Characterizing Linguistic Shifts in Croatian News via Diachronic Word Embeddings
TakeLab, Faculty of Electrical Engineering and Computing, University of Zagreb(TakeLab,电子工程与计算学院,泽格雷布大学)
本研究利用25年的950万篇克罗地亚新闻语料,通过分五年窗口训练的skip-gram历时词嵌入量化语义变化,验证了其可捕捉重大事件相关术语的语言变迁,并发现2020年后嵌入的情感积极性上升,与同期心理健康下降的研究结论形成反差。
2025-06-16 cs.CL
The Problem of Semantic Shift in Longitudinal Monitoring of Social Media: A Case Study on Mental Health During the COVID-19 Pandemic
Johns Hopkins University(约翰斯·霍普金斯大学)
社交媒体使研究人员能够根据语言分析工具跟踪社会和文化的变化。这些工具中的许多依赖于统计算法,这些算法需要针对特定类型的语言进行调整。最近的研究表明,缺乏适当的调优,特别是在存在语义转换的情况下,可能会阻碍底层方法的鲁棒性。然而,很少有人知道这种敏感性可能对下游纵向分析的实际影响。我们通过一个及时的案例研究来探索文献中的这一空白:了解2019冠状病毒病大流行期间抑郁症的变化。我们发现,只包含少量的语义不稳定的功能,可以促进我们的目标结果的纵向估计的显着变化。与此同时,我们证明了最近引入的用于测量语义转变的方法可用于主动识别基于语言的模型的故障点,从而提高预测泛化能力。
2022-06-22 cs.CL cs.CY
Understanding the Effect of Data Augmentation on Knowledge Distillation
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文研究了数据增强在知识蒸馏(KD)中的作用,发现与微调不同,KD偏好更多数据及更大语义偏移程度的增强数据,且最佳偏移程度随数据集规模增大而减小,为探索KD专属数据增强方法提供了新视角。
2023-05-21 cs.CL
Continual Visual Learning under Evolving Semantic Concept Shift
Mohammed Premier University(穆罕默德一世大学);Sultan Moulay Slimane University(苏丹穆莱·斯利曼大学)
针对演化语义概念偏移问题,本文提出SemReWrite框架,结合低秩重写机制与结构化语义记忆等,构建EvoShift-Bench基准并引入多评价指标,在视觉持续学习中实现了修订语义与保留知识的更优平衡。
2026-08-26 cs.CL cs.CV
Knowledge-driven Augmentation and Retrieval for Integrative Temporal Adaptation
University of Memphis(密苏里大学)
本文提出KARITA方法,通过整合知识源和处理时间变化,提升多领域分类任务的性能,证明知识整合在时间增强学习中的关键作用。
2026-04-23 cs.CL
Estimating Commonsense Plausibility through Semantic Shifts
CAS Key Lab of Network Data Science and Technology, Institute of Computing Technology, Chinese Academy of Sciences, Beijing, China(中国科学院网络数据科学与技术重点实验室,计算技术研究所,中国科学院,北京,中国);University of Chinese Academy of Sciences, Beijing, China(中国科学院大学,北京,中国)
本文提出ComPaSS框架,通过测量在添加常识信息时的语义变化来量化常识可信度,验证了判别方法在细粒度常识评估中的优势,并展示了视觉语言模型在结合ComPaSS后的优越性能。
2026-04-20 cs.AI cs.CL
Historical Ink: Semantic Shift Detection for 19th Century Spanish
Universidad de los Andes(安第斯大学)
本研究针对19世纪西班牙语(重点为拉美西语)的语义演变检测任务,构建专属语料库与可定制流水线,用古西语微调的类BERT模型分析词义变化,为探究语言反映的文化社会变迁提供参考。
2024-07-19 cs.AI cs.CL
Fake it Till You Make it: Self-Supervised Semantic Shifts for Monolingual Word Embedding Tasks
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research(IBM研究院)
语言的使用会随着时间的推移以及社会群体和知识领域的变化而变化,甚至在单语情况下也会产生差异。这种词汇使用上的变化通常被称为词汇语义变化(LSC)。LSC的目标是描述和量化语言在词义方面的变化,以衡量两种语言源(即人或语言模型)的区别。由于几乎没有任何数据可用于这样的任务,大多数解决方案都涉及无监督方法来对齐两个嵌入并预测距离度量的语义变化。为此,我们提出了一种自监督的方法来模拟词汇语义变化,通过在输入语料库中引入词向量的扰动来生成训练样本。我们表明,我们的方法可以用于任何对齐方法的语义变化的检测。此外,它可以用来选择在对齐中使用的标志词,并可以导致对现有的对齐技术的实质性改进。我们使用三个不同的数据集上的实验结果来说明我们的技术的实用性,涉及具有相同或不同含义的单词。我们的方法不仅提供了显着的改进,但也可以导致新的发现LSC问题。
2021-01-30 cs.CL cs.LG
Community-Specific Slang and Entity Detection via Semantic Shift in Fine-Tuned Language Models
Georgia Institute of Technology(佐治亚理工学院)
提出无监督方法,通过测量词在微调前后的语义偏移幅度,从在线社区文本中自动识别俚语、独特实体和民俗用语。
2026-04-19 cs.CL cs.LG cs.SI
SememeASR: Boosting Performance of End-to-End Speech Recognition against Domain and Long-Tailed Data Shift with Sememe Semantic Knowledge
Tsinghua University(清华大学);Peng Cheng Lab(鹏城实验室);The Chinese University of Hong Kong(香港中文大学)
针对纯数据驱动语音识别在领域不匹配和长尾数据场景下的性能瓶颈,提出融合义原语义知识的SememeASR方法,实验验证其可提升识别效果、长尾数据识别能力及领域泛化性。
2023-10-07 cs.CL cs.SD eess.AS
Revealing COVID-19's Social Dynamics: Diachronic Semantic Analysis of Vaccine and Symptom Discourse on Twitter
University of Surrey(萨里大学);Zhejiang University(浙江大学);Harvard University(哈佛大学);University College London(伦敦大学学院)
本文提出无监督动态词嵌入方法,捕捉社交媒体纵向语义变迁,在COVID-19 Twitter数据上揭示疫苗与症状实体的语义演化及与现实统计的相关性。
2024-10-10 cs.CL cs.IR cs.SI
TextEssence: A Tool for Interactive Analysis of Semantic Shifts Between Corpora
University of Pittsburgh(匹兹堡大学);Carnegie Mellon University(卡内基梅隆大学);The Ohio State University(俄亥俄州立大学)
词和概念的嵌入捕捉语言的句法和语义特征;然而,它们作为研究不同语料库的特征以及它们如何相互关联的工具的使用有限。我们介绍TextEssence,一个交互式系统,旨在使使用嵌入语料库的比较分析。TextEssence包括在轻量级的基于Web的界面中嵌入分析的可视、基于邻居和基于相似性的模式。我们进一步提出了一种基于最近邻重叠的嵌入置信度的新度量,以帮助识别用于语料库分析的高质量嵌入。一项关于COVID-19科学文献的案例研究说明了该系统的实用性。TextEssence可从https://github.com/drgriffis/text-essence获得。
2021-03-19 cs.AI cs.CL cs.HC
Stories that (are) Move(d by) Markets: A Causal Exploration of Market Shocks and Semantic Shifts across Different Partisan Groups
University of Oxford(牛津大学)
该研究探究语义偏移与金融市场冲击的因果关联,分析党派倾向对文本市场预测能力及冲击反应的影响,验证突发事件下文本信号的显著性,提出研究新闻媒体与市场冲击双向作用的新实证方法。
2025-02-20 cs.CE cs.CL econ.GN
Diachronic Analysis of German Parliamentary Proceedings: Ideological Shifts through the Lens of Political Biases
University of Mannheim(曼海姆大学);Technische Universität Darmstadt(达姆施塔特工业大学)
我们分析了历史语料库中的偏见,作为历时分布语义模型编码,通过关注两种具体形式的偏见,即政治(即,反共产主义)和种族主义(即,反犹主义(Antizism)1为此,我们使用一个新的语料库德国议会程序,DeuPARL,跨越1867年至2020年期间。我们补充了历时词嵌入的历史偏见的分析与一种新的措施的基础上,长期同现和基于图形的标签传播的偏见。我们的偏见测量的结果与普遍认为的反犹太主义和反共产主义偏见在德国政治的历史趋势在不同的时间段,从而表明使用历史语料库的语义空间分析历史偏见趋势的可行性。
2021-08-13 cs.CL cs.DL
Incremental Sequence Labeling: A Tale of Two Shifts
School of Computer Science and Engineering(计算机科学与工程学院);South China University of Technology(华南理工大学)
本文针对增量序列标注中的两种语义偏移(E2O 和 O2E),提出 IS3 框架,通过知识蒸馏和去偏损失缓解灾难性遗忘,在三个数据集上显著优于现有方法。
2024-05-27 cs.CL cs.LG