LCP-RIT at SemEval-2021 Task 1: Exploring Linguistic Features for Lexical Complexity Prediction
Rochester Institute of Technology（罗切斯特理工学院）
本文描述了LCP-RIT团队提交的SemEval-2021任务1：词汇复杂度预测（LCP）。任务组织者为参与者提供了CompLex的增强版本（Shardlow等人，2020），一个英语多域数据集，其中上下文中的单词使用五点李克特量表就其复杂性进行注释。我们的系统使用逻辑回归和广泛的语言特征（例如心理语言学特征，n元语法，词频，POS标签）来预测该数据集中单个单词的复杂性。我们分析了不同的语言特征在分类性能的影响，我们评估的结果，平均绝对误差，均方误差，皮尔逊相关性，斯皮尔曼相关性。
2021-05-18 cs.CL
Duluth at SemEval-2019 Task 6: Lexical Approaches to Identify and Categorize Offensive Tweets
University of Minnesota（明尼苏达大学）
本文描述了参加SemEval-2019任务6的德卢斯系统，识别和分类社交媒体中的攻击性语言（OffensEval）。在大多数情况下，这些系统采用传统的机器学习方法，从手动标记的训练数据中找到的词汇特征构建分类器。然而，我们最成功的将推文分类为攻击性（或非攻击性）的系统是基于规则的黑名单方法，我们还尝试将来自两个不同但相关的SemEval任务的训练数据结合起来。在三个OffensEval任务中，我们最好的系统都位于比较评估的中间，在任务A中排名第57位，在任务B中排名第39位，在任务C中排名第44位。
2020-07-25 cs.CL
UH-PRHLT at SemEval-2016 Task 3: Combining Lexical and Semantic-based Features for Community Question Answering
Universitat Politècnica de València（瓦伦西亚理工大学）；University of Houston（休斯顿大学）
在这项工作中，我们描述了由休斯顿大学（UH）计算机科学系和模式识别和人类语言技术（PRHLT）研究中心- Universitat Polit`ecnica de Val` Valle：UH-PRHLT为SemEval 2016任务3的三个英语子任务构建的系统。我们的系统代表的实例，同时使用基于词汇和语义的文本对之间的相似性度量。我们的语义功能包括使用分布式表示的话，知识图谱生成的BabelNet多语言语义网络，和FrameNet词汇数据库。实验结果优于随机和谷歌搜索引擎基线在三个英语子任务。与其他任务参与者相比，我们的方法获得了子任务B的最高结果。
2018-07-30 cs.CL
IITK@LCP at SemEval 2021 Task 1: Classification for Lexical Complexity Regression Task
Indian Institute of Technology Kanpur (IIT Kanpur)（印度理工学院坎普尔分校）
本文介绍了我们对SemEval 2021任务1：词汇复杂度预测的贡献。在我们的方法中，我们利用ELECTRA模型，并试图反映数据注释方案。尽管该任务是一个回归任务，但我们表明可以将其视为多个分类和回归模型的聚合。这种有点违反直觉的方法子任务1的MAE得分为0.0654，子任务2的MAE得分为0.0811。此外，我们在工作中使用了Gloss-BERT的弱监督信号概念，它显著提高了子任务1中的MAE分数。
2021-04-02 cs.CL
UWB at SemEval-2020 Task 1: Lexical Semantic Change Detection
University of West Bohemia（西波希米亚大学）；NTIS – New Technologies for the Information Society（NTIS——信息社会新技术研究中心）
在本文中，我们描述了我们的方法检测词汇语义变化，即，词义随着时间的推移而变化。我们研究了两个语料库中的特定单词之间的语义差异，从不同的时间段，英语，德语，拉丁语和瑞典语。我们的方法是为SemEval 2020任务1创建的：\textit{Unsupervised Lexical Semantic Change Detection.}我们在子任务1：二进制变化检测中对$1^{st}$进行排名，在子任务2：排名变化检测中对$4^{th}$进行排名。我们的方法是完全无监督和语言独立的。它包括为每个语料库（较早和较晚）准备一个语义向量空间;使用典型相关分析和正交变换计算较早和较晚空间之间的线性变换;以及测量来自较早语料库的目标词的变换向量之间的余弦和稍后语料库中目标词的向量。
2020-11-30 cs.CL
Shared task: Lexical semantic change detection in German (Student Project Report)
Institute for Natural Language Processing, University of Stuttgart（斯图加特大学自然语言处理研究所）
最近的NLP架构已经以各种方式说明了如何跨时间和域捕获语义变化。然而，在评价方面，缺乏对这些系统的业绩进行相互比较的基准。我们基于Schlechtweg等人提出的评估框架，在德语中提出了第一个无监督词汇语义变化检测（LSCD）共享任务的结果。（2019）。
2020-05-11 cs.CL
NLU-STR at SemEval-2024 Task 1: Generative-based Augmentation and Encoder-based Scoring for Semantic Textual Relatedness
Birzeit University（比尔宰特大学）
本文提出结合生成式数据增强与基于 BERT 的回归评分和余弦相似度方法，在 SemRel-2024 语义文本相关性任务中处理阿拉伯语及方言，并在现代标准阿拉伯语赛道取得第一名。
2024-05-01 cs.CL
SynFlow: A Multidimensional Diachronic Semantic Analysis Toolkit
KU Leuven（鲁汶大学）；Instituut voor de Nederlandse Taal（荷兰语言研究所）；Vrije Universiteit Brussel（布鲁塞尔自由大学）
SynFlow是用于语言使用多维历时分析的开源工具包，支持多维度分析与多种功能，通过案例研究验证其有效性，并在SemEval-2020 Task 1中对比了其表示性能与现有系统。
2026-09-01 cs.CL
OCHADAI-KYOTO at SemEval-2021 Task 1: Enhancing Model Generalization and Robustness for Lexical Complexity Prediction
Ochanomizu University（御茶水女子大学）；Kyoto University（京都大学）
我们提出了一个集成模型来预测词汇和多词表达式（MWE）的词汇复杂度。该模型接收带有目标词或MWE的句子作为输入，并输出其复杂性得分。考虑到这项任务的一个关键挑战是注释数据的大小有限，我们的模型依赖于来自不同的最先进的基于转换器的语言模型（即，BERT和RoBERTa），以及用于进一步增强模型泛化和鲁棒性的各种训练方法：多步微调和多任务学习，以及对抗训练。此外，我们建议通过在训练过程中添加手工制作的功能来丰富上下文表示。我们的模型取得了有竞争力的结果，并在这两个子任务的前10名系统中排名。
2021-06-15 cs.CL
UPB at SemEval-2021 Task 1: Combining Deep Learning and Hand-Crafted Features for Lexical Complexity Prediction
University Politehnica of Bucharest（布加勒斯特理工大学）
阅读是一个复杂的过程，需要正确理解文本，以创造连贯的心理表征。然而，由于难以理解的部分可能会出现理解问题，这可能会给读者带来麻烦，同时考虑到他们特定的语言技能。因此，可以通过准确地识别和评估困难的结构来执行简化这些部分的步骤。在本文中，我们描述了SemEval-2021任务1：词汇复杂度预测竞赛的方法，该竞赛由高级NLP技术的混合物组成，即基于transformer的语言模型，预训练的词嵌入，图卷积网络，胶囊网络，以及一系列手工制作的文本复杂度特征。我们的模型适用于这两个子任务，并取得了良好的性能结果，MAE低于0.07和一个人的相关性为0.73的单字识别，以及MAE低于0.08和一个人的相关性为0.79的多个字的目标。在第一和第二子任务上，我们的结果分别比比赛中获得的最高分数低5.46%和6.5%。
2021-04-14 cs.CL
UoB at SemEval-2020 Task 1: Automatic Identification of Novel Word Senses
University of Birmingham（伯明翰大学）
随着语言使用的社会环境的变化，语言也在不断发展，以适应使用者的需求。词汇语义变化分析是一个新兴的语义分析领域，其目的是跟踪词义随时间的变化。提出了一种适用于新词义识别的基于贝叶斯词义归纳的词义变化检测方法。该方法用于SemEval-2020任务1的提交，该任务表明该方法能够执行SemEval任务。同样的方法也适用于从15年的Twitter数据中收集的语料库，其结果然后用于识别可能是俚语的单词。
2020-10-18 cs.CL
UAlberta at SemEval 2022 Task 2: Leveraging Glosses and Translations for Multilingual Idiomaticity Detection
Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）；University of Alberta（阿尔伯塔大学）
我们描述了阿尔伯塔大学系统的SemEval-2022任务2的多语言习语检测。工作的假设下，习惯表达是noncompositional的，我们的第一种方法集成到一个二元分类的表达的单个单词的含义的信息。进一步假设字面表达和习惯表达的翻译不同，我们的第二种方法在上下文中翻译表达，并使用词汇知识库来确定翻译是否是字面的。我们的方法是基于语言现象，并利用现有的词汇知识来源。我们的研究结果支持这两种方法，特别是前者。
2022-05-27 cs.CL
LAST at SemEval-2021 Task 1: Improving Multi-Word Complexity Prediction Using Bigram Association Measures
Laboratoire d’analyse statistique des textes - LAST（文本统计分析实验室）；Institut de recherche en sciences psychologiques（心理科学研究所）；Université catholique de Louvain（鲁汶天主教大学）
本文描述了由文本分析统计学家（LAST）在SemEval-2021上为词汇复杂度预测共享任务开发的系统。该系统是由一个LightGBM模型美联储从许多词频列表，公布的词汇规范和心理测量数据获得的功能。为了解决多词任务的特殊性，它使用二元组关联措施。尽管使用的唯一上下文特征是句子长度，系统在多词任务中取得了良好的成绩，但在单字任务中表现较差。二元关联措施被发现是有用的，但在有限的程度上。
2021-05-20 cs.CL
BigGreen at SemEval-2021 Task 1: Lexical Complexity Prediction with Assembly Models
Dartmouth College（达特茅斯学院）
本文描述了BigGreen团队提交给LCP 2021的一个系统，用于预测给定上下文中英语单词的词汇复杂度。我们将基于特征工程的模型与基于BERT的深度神经网络模型组装在一起。虽然BERT本身具有竞争力，但我们基于特征工程的模型在极端情况下有所帮助，例如。区分简单和中性难度的实例。我们手工制作的功能包括广泛的词汇、语义、语法和新颖的语音措施。BERT注意力图的可视化提供了对Transformers模型在为词汇复杂度预测进行微调时可能学习的潜在特征的深入了解。我们的集成预测得分相当不错的单字子任务，我们展示了如何利用它们来表现好多字表达子任务。
2021-04-19 cs.AI cs.CL
SChME at SemEval-2020 Task 1: A Model Ensemble for Detecting Lexical Semantic Change
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）
本文介绍了SemEval-2020任务1中使用的一种无监督检测词汇语义变化的方法SChME（Semantic Change Detection with Model Enclusion）。SChME使用一个模型集成结合信号的分布模型（词嵌入）和词频模型，其中每个模型投下一票，表明一个词的概率sufficientsemantic变化根据该功能。更具体地说，我们将词向量的余弦距离与我们命名为映射邻域距离（MAP）的基于邻域的度量相结合，并将词频差分度量作为我们模型的输入信号。此外，我们还探索了基于标记的方法来研究在此过程中使用的地标的重要性。我们的研究结果表明，用于对齐的地标的数量对模型的预测性能有直接的影响。此外，我们表明，语言，sufferless语义变化往往受益于使用大量的地标，而languageswith更多的语义变化受益于一个更谨慎的选择地标数对齐。
2020-12-02 cs.AI cs.CL
Evaluating the Evaluator: Problems with SemEval-2020 Task 1 for Lexical Semantic Change Detection
Department of Linguistics, KU Leuven（KU莱顿大学语言学系）；Instituut voor de Nederlandse Taal（荷兰语研究所）；Department of Linguistics and Literary Studies, Vrije Universiteit Brussel（布鲁塞尔自由大学语言学与文学研究系）
通过操作化、数据质量和基准设计三个框架，批判性分析SemEval-2020任务1的局限性，指出其窄化语义变化模型、数据质量问题及设计缺陷，呼吁未来改进。
2026-05-27 cs.CL
HHMM at SemEval-2019 Task 2: Unsupervised Frame Induction using Contextualized Word Embeddings
University of Hamburg（汉堡大学）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究所）；University of Mannheim（曼海姆大学）；Samsung R&D Institute Russia（三星俄罗斯研发中心）；Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）
我们提出了我们的语义框架归纳系统，该系统在子任务B.1中表现出最佳性能，并在SemEval 2019任务2的子任务A中获得亚军（QasemiZadeh等人，2019年）。我们的方法将这个任务分为两个独立的步骤：动词聚类使用词和它们的上下文嵌入和角色标签结合这些嵌入与句法特征。这些步骤的简单组合显示出非常有竞争力的结果，并且可以扩展到处理其他数据集和语言。
2019-05-05 cs.CL
Keyphrase Extraction from Scholarly Articles as Sequence Labeling using Contextualized Embeddings
NUS（新加坡国立大学）；Bloomberg（彭博）；MIDAS-IIIT-Delhi（德里印德拉普拉斯塔信息技术学院MIDAS）
在本文中，我们制定了从学术文章中提取关键词作为一个序列标签任务解决使用BiLSTM-CRF，在输入文本中的单词表示使用深上下文嵌入。我们在三个不同的基准数据集（Inspec，SemEval 2010，SemEval 2017）上使用上下文化和固定的词嵌入模型来评估所提出的架构，并与现有流行的无监督和监督技术进行比较。我们的研究结果量化的好处（a）使用语境化的嵌入（例如BERT）固定的词嵌入（例如手套）;（b）使用BiLSTM-CRF架构与语境化的词嵌入直接微调的语境化的词嵌入模型，（c）使用特定体裁的语境化的嵌入（SciBERT）。通过错误分析，我们还提供了一些关于为什么特定模型比其他模型更好的见解。最后，我们提出了一个案例研究，我们分析了两个最好的模型（BERT和SciBERT）的不同的自我注意层，以更好地理解每个关键词提取任务的预测。
2019-10-19 cs.CL
SemEval-2024 Task 1: Semantic Textual Relatedness for African and Asian Languages
Cardiff University（卡迪夫大学）；University of Pretoria（比勒陀利亚大学）；Northeastern University（东北大学）；BITS Pilani（pilani bits 学院）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；KU Leuven（鲁汶大学）；Uppsala University（乌普萨拉大学）；IIIT Hyderabad（海德拉巴印度信息技术学院）；University of Toronto（多伦多大学）；Universität Hamburg（汉堡大学）；National Research Council Canada（加拿大国家研究委员会）；Imperial College London（伦敦帝国学院）
本文介绍SemEval-2024首个语义文本相关性共享任务，针对亚非14种低资源语言设置三类赛道，吸引众多团队参与，并总结了各赛道的最优系统与有效方法。
2024-04-17 cs.CL
Unsupervised Learning of Style-sensitive Word Vectors
Tohoku University（东北大学）；National Institute of Advanced Industrial Science and Technology (AIST)（国立研究开发法人产业技术综合研究所（AIST））；Preferred Networks, Inc.（优选网络公司）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
本文提出了第一个研究，旨在捕捉文体相似的词在无监督的方式。我们建议扩展连续词袋（CBOW）模型（Mikolov等人，2013）来在假设话语中所有单词的风格一致的情况下使用更宽的上下文窗口来学习风格敏感的单词向量。此外，我们还引入了一个新的任务来预测词汇风格相似性，并为这个任务创建了一个基准数据集。我们的实验与此数据集支持我们的假设，并表明，所提出的扩展有助于收购风格敏感的词嵌入。
2018-05-15 cs.CL
GloVeInit at SemEval-2020 Task 1: Using GloVe Vector Initialization for Unsupervised Lexical Semantic Change Detection
Delhi Technological University（德里理工大学）
本文介绍了SemEval2020任务1：无监督词汇语义变化检测的向量初始化方法。给定两个属于不同时间段的语料库和一组目标词，该任务要求我们分类一个词是否随着时间的推移获得或失去了一个意义（子任务1），并根据词义的变化对它们进行排名（子任务2）。所提出的方法是基于使用矢量映射方法来对齐GloVe嵌入。我们的想法是连续训练两个语料库的GloVe嵌入，同时使用第一个模型来初始化第二个。本文基于GloVe嵌入比SGNS嵌入更适合于向量插值方法的假设。它给出了这一假设背后的直观推理，并讨论了各种因素和超参数对所提出方法性能的影响。我们的模型在这两个子任务中在33个团队中排名第13和第10。已公开分享实施情况。
2020-07-10 cs.CL cs.LG
Analysing Lexical Semantic Change with Contextualised Word Representations
Institute for Logic, Language and Computation（逻辑、语言与计算研究所）；University of Amsterdam（阿姆斯特丹大学）
本文提出了第一个无监督的方法，利用上下文的词表示的词汇语义变化。我们提出了一种新的方法，利用BERT神经语言模型来获得表示的词的使用，聚类这些表示到使用类型，并测量随着时间的变化与三个建议的指标。我们创建了一个新的评估数据集，并表明模型表示和检测到的语义变化与人类的判断呈正相关。我们大量的定性分析表明，我们的方法捕捉到了各种共时和历时的语言现象。我们希望我们的工作能够激发这方面的进一步研究。
2020-04-29 cs.CL cs.CY
The BD-LSC Dataset: Facilitating the Benchmarking of Models for Lexical Semantic Change Detection in Slang and Standard Usage
The University of Manchester（曼彻斯特大学）；Qassim University（卡西姆大学）
针对词汇语义双向变化及俚语与标准用法混合的挑战，构建BD-LSC和ST-WSD两个基准数据集，评估多种方法，发现稀有俚语义项仍是核心难题。
2026-09-22 cs.CL
Qtrade AI at SemEval-2022 Task 11: An Unified Framework for Multilingual NER Task
Qtrade AI Lab（Qtrade人工智能实验室）；Guangdong Power Grid Corporation（广东电网公司）
本文介绍了我们的系统，在SemEval 2022任务11：MultiCoNER多语言复杂命名实体识别中，在多语言轨道（子任务11）中排名第三，在代码混合轨道（子任务12）中排名第四，在中文轨道（子任务9）中排名第七。本系统的主要贡献如下：1）对于多语言NER任务，我们提供了一个统一的框架，可以很容易地执行单语言或多语言NER任务，2）对于低资源代码混合的NER任务，人们可以很容易地通过实现几个简单的数据增强方法来增强他或她的数据集，3）对于中文任务，我们提出了一个可以捕获中文词汇语义的模型，词汇边界和词汇图结构信息。最后，在测试阶段，我们的系统在子任务11、12和9上分别获得了77.66、84.35和74.00的宏观f1分数。
2022-04-14 cs.AI cs.CL
An Unsupervised Model with Attention Autoencoders for Question Retrieval
Key Laboratory of Computational Linguistics, Peking University, MOE（北京大学计算语言学重点实验室（教育部））
问句检索是社区问答的一个重要子任务。以往的研究主要集中在监督模型上，这些模型严重依赖于训练数据和人工特征工程。在本文中，我们提出了一种新的无监督框架，即减少注意匹配网络（RAMN），计算两个问题之间的语义匹配。我们的RAMN集成在一起的深层语义表示，浅层词汇不匹配信息和初始排名产生的外部搜索引擎。这是第一次，我们提出了注意自动编码器来生成问题的语义表示。此外，我们采用词汇不匹配来捕捉两个问题之间的表面匹配，这是来自每个词在一个问题中的重要性。我们在SemEval-2016和SemEval-2017的开放CQA数据集上进行了实验。实验结果表明，我们的无监督模型获得了与SemEval-2016任务3中最先进的监督方法相当的性能，并且在SemEval-2017任务3中远远优于最好的系统。
2018-03-09 cs.CL
Unsupervised Embedding-based Detection of Lexical Semantic Changes
Volkswagen AG（大众汽车集团）；LMU Munich（慕尼黑大学）
本文介绍了EmbLexChange，一个由“生命语言”团队为SemEval-2020任务1引入的系统，用于无监督检测词汇语义变化。EmbLexChange被定义为在源域和目标域（源域和目标域可以简单地是两个时间帧t1和t2）中单词w的基于嵌入的简档（相对于一组参考单词计算）之间的分歧。基本假设是词w的词汇语义变化会影响其共现词，从而改变嵌入空间中的邻域。我们表明，使用一个restempting框架的参考词的选择，我们可以可靠地检测词汇语义的变化，英语，德语，瑞典语和拉丁语。EmbLexChange在SemEval-2020的语义变化二进制检测中获得第二名。
2020-05-16 cs.AI cs.CL
NLP-CIC @ DIACR-Ita: POS and Neighbor Based Distributional Models for Lexical Semantic Change in Diachronic Italian Corpora
Instituto Politécnico Nacional（国家理工学院）；Instituto Caro y Cuervo（卡罗-奎尔沃研究所）
我们在EVALITA 2020的DIACR-Ita共享任务中展示了我们关于意大利语无监督词汇语义变化的系统和发现。该任务是确定目标词是否随着时间的推移而演变其含义，仅依赖于来自两个特定时间数据集的原始文本。我们提出了两个模型，代表目标词的各个时期预测变化的话，使用阈值和投票计划。我们的第一个模型仅仅依赖于词性的使用和距离测量的集合。第二个模型使用词嵌入表示法提取相邻词在空间上的相对距离，并提出“绝对差平均值”来估计词汇语义变化。我们的模型取得了令人满意的结果，在DIACR-Ita竞赛中排名第三。此外，我们使用第二个模型的k_neighbor参数进行实验，以比较使用“绝对差的平均值”与Hamilton et al.（2016）中使用的余弦距离的影响。
2020-11-07 cs.AI cs.CL
Unsupervised Aspect Term Extraction with B-LSTM & CRF using Automatically Labelled Datasets
Swisscom AG（瑞士电信公司）
体词提取是基于语义体的情感分析竞赛的一项任务，它是对文本中的体词进行识别。用于监督ATE的少量可用数据集和用于方面术语标签的昂贵的人工注释引起了对无监督ATE的需求。在本文中，我们介绍了一种架构，实现一流的性能监督ATE。此外，它可以有效地用于无监督ATE的特征提取和分类。我们的第二个贡献是自动构建ATE数据集的方法。我们训练我们的自动标记的数据集上的分类器，并评估它的人类注释SemEval ABSA测试集。与一个强大的基于规则的基线相比，我们获得了显着更高的F分数，并达到80%以上的精度值。我们的无监督方法击败了SemEval的监督ABSA基线，同时保留了高精度分数。
2017-09-15 cs.CL
UHH-LT at SemEval-2020 Task 12: Fine-Tuning of Pre-Trained Transformer Networks for Offensive Language Detection
University of Hamburg（汉堡大学）
对预训练的Transformer网络（如BERT）进行微调，可为文本分类任务产生最先进的结果。通常，微调是以监督的方式在特定于任务的训练数据集上执行的。还可以通过进一步预训练掩码语言建模（MLM）任务来预先以无监督的方式进行微调。因此，类似于实际分类目标数据集的无监督MLM的域内数据允许模型的领域自适应。在本文中，我们比较了当前预训练的Transformer网络，以及没有MLM微调的攻击性语言检测性能。我们的MLM微调的基于RoberTa的分类器在SemEval 2020共享任务中正式排名第一，英语语言为12。用ALBERT模型进行的进一步实验甚至超过了这一结果。
2020-06-10 cs.CL
NIHRIO at SemEval-2018 Task 3: A Simple and Accurate Neural Network Model for Irony Detection in Twitter
NIHRIO, Newcastle University, UK（英国纽卡斯尔大学NIHRIO）；The University of Melbourne, Australia（澳大利亚墨尔本大学）；Umeå University, Sweden（瑞典于默奥大学）；Deakin University, Australia（澳大利亚迪肯大学）
本文描述了我们的NIHRIO系统SemEval-2018任务3“英语推文中的反讽检测”。我们建议使用一个简单的神经网络架构的多层感知器与各种类型的输入功能，包括：词汇，句法，语义和极性功能。我们的系统实现了非常高的性能，在两个子任务的二进制和多类反讽检测推文。特别是，我们使用准确性度量排名第三，使用F1度量排名第五。我们的代码可在https://github.com/NIHRIO/IronyDetectionInTwitter上获得
2018-04-08 cs.CL
OPI at SemEval 2023 Task 1: Image-Text Embeddings and Multimodal Information Retrieval for Visual Word Sense Disambiguation
National Information Processing Institute（国家信息处理研究所）
本文提出一种融合 CLIP 多模态嵌入、排序学习与知识库检索的视觉词义消歧系统，在 SemEval 2023 多语言任务中获第三名，并在波斯语赛道夺冠。
2023-04-14 cs.CL
CompiLIG at SemEval-2017 Task 1: Cross-Language Plagiarism Detection Methods for Semantic Textual Similarity
Compilatio；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
我们在SemEval-2017上展示了我们提交的语义文本相似性（STS）Track 4系统。给定一对西班牙语-英语句子，每个系统必须通过0到5之间的分数来估计它们的语义相似性。在我们的提交中，我们使用基于语法，基于字典，基于上下文和基于MT的方法。我们还将这些方法以无监督和有监督的方式结合起来。我们的最佳运行在轨道4a上排名第一，与人类注释的相关性为83.02%。
2017-04-05 cs.CL
Explaining and Improving BERT Performance on Lexical Semantic Change Detection
Institute for Natural Language Processing, University of Stuttgart（斯图加特大学自然语言处理研究所）
基于类型和基于标记的嵌入架构仍然在词汇语义变化检测方面竞争。最近基于类型的模型在SemEval-2020任务1中的成功提出了一个问题，为什么基于标记的模型在各种其他NLP任务上的成功并没有转化为我们的领域。我们调查了一系列变量对BERT向量聚类的影响，并表明其低性能在很大程度上是由于目标词的正字法信息，即使在更高的层编码的BERT表示。通过减少拼写法的影响，我们大大提高了BERT的性能。
2021-03-12 cs.CL
Improving the Lexical Ability of Pretrained Language Models for Unsupervised Neural Machine Translation
LMU Munich（慕尼黑大学）
无监督神经机器翻译（UNMT）的成功方法是通过自我监督进行跨语言预训练，通常以掩蔽语言建模或序列生成任务的形式进行，这需要模型对齐两种语言的词汇和高级表示。虽然跨语言预训练适用于具有丰富语料库的相似语言，但它在低资源和遥远的语言中表现不佳。以前的研究表明，这是因为表征没有充分对齐。在本文中，我们加强双语掩蔽语言模型预训练与词汇级信息，通过使用类型级跨语言子词嵌入。实证结果表明，使用我们的方法与UNMT基线相比，UNMT（高达4.5 BLEU）和双语词典归纳的性能都有所改善。
2021-04-14 cs.CL
MANTIS at TSAR-2022 Shared Task: Improved Unsupervised Lexical Simplification with Pretrained Encoders
RWTH Aachen University（亚琛工业大学）；University of Amsterdam（阿姆斯特丹大学）
在本文中，我们提出了我们的贡献，TSAR-2022共享任务的词汇简化EMNLP 2022研讨会的文本简化，可访问性和可读性。我们的方法建立在无监督的词汇简化系统与预训练编码器（LSBert）系统的基础上，并在以下方面进行了扩展：对于简化候选选择的子任务，它利用了RoberTa Transformer语言模型，并扩大了生成的候选列表的大小。在后续的替换排序中，引入新的特征加权方案，并采用基于文本蕴涵的候选词过滤方法，最大化目标词与其简化词之间的语义相似度。我们性能最佳的系统将LSBert的准确性提高了5.9%，并在33个排名解决方案中排名第二。
2022-12-19 cs.CL
For the sake of simplicity: Unsupervised extraction of lexical simplifications from Wikipedia
我们报告了在提取词汇简化方面正在进行的工作（例如，“collaborate”->“work together”），重点是利用简单英语维基百科的编辑历史来完成这项任务。我们考虑两种主要方法：（1）通过考虑不同操作混合的编辑模型导出简化概率，以及（2）使用元数据来关注更可能是简化操作的编辑。我们发现我们的方法优于一个合理的基线，并产生许多高质量的词汇简化不包括在一个独立创建的手动准备的列表。
2010-08-11 cs.CL
Learning Meta Word Embeddings by Unsupervised Weighted Concatenation of Source Embeddings
University of Liverpool（利物浦大学）；Amazon（亚马逊）
给定使用不同算法和词汇资源学习的多个源词嵌入，Meta词嵌入学习方法试图学习更准确和覆盖范围更广的词嵌入。先前关于元嵌入的工作一再发现，源嵌入的简单向量级联是一个有竞争力的基线。然而，目前还不清楚为什么以及何时简单的向量拼接可以产生准确的元嵌入。我们表明，加权级联可以看作是每个源嵌入和元嵌入之间的频谱匹配操作，最大限度地减少成对内积损失。在此理论分析之后，我们提出了两种\emph{unsupervised}方法来学习从给定的源嵌入集合创建元嵌入的最佳级联权重。在多个基准数据集上的实验结果表明，所提出的加权级联元嵌入方法优于先前提出的元嵌入学习方法。
2022-04-26 cs.AI cs.CL cs.LG
Using qualia information to identify lexical semantic classes in an unsupervised clustering task
Universitat Pompeu Fabra（庞培法布拉大学）；Centro de Linguística da Universidade de Lisboa（里斯本大学语言学中心）
获取词汇信息是一个复杂的问题，通常依靠大量的上下文来提供分类信息。在这一领域首先要解决的问题之一是确定这种背景。这里提出的工作提出了使用自动获得的FORMAL角色描述符的功能，用于绘制名词从相同的词汇语义类一起在一个无监督的聚类任务。我们已经处理了三个词汇语义类（人类，位置和事件）在英语中。所获得的结果表明，它是可能的，以区分不同的词汇语义类的元素，仅使用正式的角色信息，从而验证了我们最初的假设。此外，迭代我们的方法准确地解释了词汇类中的细粒度区别，即涉及歧义表达的区别。此外，在提取FORMAL角色描述符中采用的过滤和自举策略被证明可以最大限度地减少稀疏数据和噪声的影响。
2013-03-11 cs.CL
CIRCE at SemEval-2020 Task 1: Ensembling Context-Free and Context-Dependent Word Representations
Osnabrück University（奥斯纳布吕克大学）；Cogent Labs Inc.（科进实验室公司）
本文描述了SemEval-2020任务1的获奖贡献：UG学生实习生团队提交的无监督词汇语义变化检测（子任务2）。我们提出了一个合奏模型，使预测的基础上上下文无关和上下文相关的词表示。主要发现是：（1）上下文无关的单词表示是一个强大而强大的基线，（2）句子分类目标可以用来获得有用的上下文相关的单词表示，（3）将这些表示结合起来可以提高某些数据集的性能，同时降低其他数据集的性能。
2020-10-06 cs.CL cs.LG
CyberWallE at SemEval-2020 Task 11: An Analysis of Feature Engineering for Ensemble Models for Propaganda Detection
Seminar für Sprachwissenschaft（语言学系）；Eberhard Karls Universität Tübingen（蒂宾根大学）
本文介绍了我们参与SemEval-2020任务检测新闻文章中的宣传技巧。我们参与两个子任务：跨度识别（SI）和技术分类（TC）。我们在SI子任务中使用双LSTM架构，并为TC子任务训练复杂的集成模型。我们的架构是使用来自BERT的嵌入并结合额外的词汇特征和广泛的标签后处理来构建的。我们的系统在SI子任务（F1分数：43.86%）和TC子任务（F1分数：57.37%）中的31支球队中的8支球队中实现了排名。
2020-08-22 cs.CL cs.LG
SST-BERT at SemEval-2020 Task 1: Semantic Shift Tracing by Clustering in BERT-based Embedding Spaces
IDSIA（意大利瑞士人工智能研究所）
词汇语义变化检测（也称为语义转移跟踪）是一项识别随着时间的推移已经改变其含义的单词的任务。SemEval2020的重点是无监督语义转移跟踪，这尤其具有挑战性。鉴于无监督设置，在这项工作中，我们建议识别每个目标词的不同出现之间的聚类，将其视为不同词义的代表。因此，所获得的聚类中的不一致自然允许量化四种目标语言中每个目标词的语义转变水平。为了利用这个想法，聚类是在单词出现的上下文（基于BERT）嵌入上执行的。所获得的结果表明，我们的方法在单独（每种语言）和整体上都表现良好，我们超过了所有提供的SemEval基线。
2020-10-02 cs.AI cs.CL
ReFRAME or Remain: Unsupervised Lexical Semantic Change Detection with Frame Semantics
Department of Linguistics, KU Leuven（语言学系，比利时列日大学）；Instituut voor de Nederlandse Taal（荷兰语研究所）；Vrije Universiteit Brussel（布鲁塞尔自由大学）
基于框架语义的无监督词义变化检测方法，有效且可解释，超越传统分布语义模型。
2026-05-04 cs.CL
QMUL-SDS @ DIACR-Ita: Evaluating Unsupervised Diachronic Lexical Semantics Classification in Italian
Queen Mary University of London（伦敦玛丽女王大学）；Imam Abdulrahman bin Faisal University（伊玛目阿卜杜勒拉赫曼·本·费萨尔大学）；Alan Turing Institute（艾伦·图灵研究所）
在本文中，我们介绍了我们的系统的结果和主要发现的DIACR-ITA 2020任务。我们的系统专注于使用不同的训练集和不同的语义检测方法。该任务涉及训练，对齐和预测一个词的向量变化从两个历时意大利语语料库。我们证明了使用时间词嵌入与指南针C-BOW模型相比，不同的方法，包括逻辑回归和前馈神经网络使用精度更有效。我们的模型排名第三，准确率为83.3%。
2020-11-06 cs.CL
Complex Word Identification: Challenges in Data Annotation and System Performance
University of Wolverhampton（伍尔弗汉普顿大学）；Harvard Medical School（哈佛医学院）；University of Sheffield（谢菲尔德大学）
本文重新审视的问题，复杂的词识别（CWI）后续SemEval CWI共享任务。我们使用集成分类器来研究计算方法如何区分复杂和非复杂的单词。此外，我们分析了分类性能，以了解是什么使词汇复杂性具有挑战性。我们的研究结果表明，大多数系统在SemEval CWI数据集上表现不佳，其中一个原因是人类注释的执行方式。
2017-10-13 cs.CL
GM-CTSC at SemEval-2020 Task 1: Gaussian Mixtures Cross Temporal Similarity Clustering
University of Bari（巴里大学）；Dublin City University（都柏林城市大学）
本文描述了SemEval-2020任务1：无监督词汇语义变化检测的系统。我们的方法集中在检测问题上。鉴于在不同时间段的时间词嵌入捕获的单词的语义，我们研究了使用无监督的方法来检测目标词何时获得或失去意义。为此，我们定义了一个新的算法的基础上高斯混合模型的目标相似性计算在两个时期的聚类。我们比较了所提出的方法与一些基于相似性的阈值。我们发现，尽管检测方法的性能在不同的词嵌入算法中有所不同，但高斯混合与时间参考的组合产生了我们最好的系统。
2020-05-20 cs.CL cs.LG
CAMMAR: Culture-Aware Matryoshka for Metaphorical Arabic Representations
Autonomous University of Madrid (UAM)（马德里自治大学）；IE University（IE大学）；Oviedo University（奥维耶多大学）
研究针对阿拉伯语语言模型语义模糊问题，提出CAMMAR框架，通过分阶段语义课程组织意义到嵌套子空间，基于词汇与隐喻表示距离产生隐喻性几何度量，在新数据集上评估，有监督时检测隐喻效果好，还发现基于形态学词根有提升。
2026-07-20 cs.AI cs.CL
LaPraDoR: Unsupervised Pretrained Dense Retriever for Zero-Shot Text Retrieval
University of California, San Diego（加州大学圣地亚哥分校）；Microsoft Research Asia（微软亚洲研究院）；Sun Yat-sen University（中山大学）
在本文中，我们提出了LaPraDoR，这是一种预训练的双塔密集检索器，不需要任何监督数据进行训练。具体来说，我们首先提出迭代对比学习（ICoL），迭代训练查询和文档编码器的缓存机制。ICoL不仅扩大了负实例的数量，而且还将缓存示例的表示保持在相同的隐藏空间中。然后，我们提出了词汇增强的稠密检索（LEDR）作为一个简单而有效的方法来提高稠密检索与词汇匹配。我们评估LaPraDoR最近提出的BEIR基准，包括18个数据集的9个zero-shot文本检索任务。实验结果表明，与有监督的稠密检索模型相比，LaPraDoR具有最先进的性能，进一步的分析揭示了我们的训练策略和目标的有效性。与重新排名相比，我们的词汇增强方法可以在毫秒内运行（快22.5倍），同时实现卓越的性能。
2022-04-27 cs.AI cs.CL cs.IR
Detecting Intentional Lexical Ambiguity in English Puns
Tyumen State University（秋明国立大学）
本文描述了一个双关语的自动分析模型，其中一个词被有意地同时用于两种意义（目标词）。我们采用Roget的词库发现两组单词，在一个双关语，形成围绕两个抽象位的意义（义素）。它们成为一个语义向量，基于此SVM分类器学习识别双关语，F-测量的得分达到0.73。我们采用几种基于规则的方法来定位故意歧义（目标）的话，基于结构和语义标准。结构标准似乎更有效，尽管它可能仅表征测试数据集。考虑到使用监督学习模型和单词统计的效果，我们得到的结果与SemEval-2017比赛（任务7英语双关语的检测和解释）中其他团队的结果相关。
2017-07-18 cs.CL
Unsupervised Domain Adaptation using Lexical Transformations and Label Injection for Twitter Data
J.P.Morgan AI Research（摩根大通人工智能研究院）
该研究从数据集视角出发，通过词汇转换修改源域数据集以缩小领域偏移，在Twitter词性标注任务上大幅提升无监督性能，还通过合成推文扩充数据集实现了该任务的最优表现。
2023-07-14 cs.CL
ERNIE at SemEval-2020 Task 10: Learning Word Emphasis Selection by Pre-trained Language Model
Baidu Inc.（百度公司）
本文介绍了ERNIE团队设计的系统，该系统在SemEval-2020任务10：视觉媒体中书面文本的重点选择中获得了第一名。给定一个句子，我们被要求找出最重要的单词作为自动设计的建议。我们利用无监督的预训练模型，并根据我们的任务微调这些模型。经过我们的调查，我们发现以下模型在这个任务中取得了优异的性能：ERNIE 2.0，XLM-ROBERTA，ROBERTA和ALBERT。我们结合了逐点回归损失和成对排名损失，这更接近最终的M atchm度量来微调我们的模型。我们还发现，额外的特征工程和数据增强可以帮助提高性能。我们的最佳模型获得了0.823的最高分，在各种指标中排名第一
2020-09-08 cs.CL
Incorporating Lexical and Syntactic Knowledge for Unsupervised Cross-Lingual Transfer
Tsinghua University（清华大学）；Beijing Ultrapower Software Co.,Ltd.（北京神州泰岳软件股份有限公司）
针对无监督跨语言迁移中词汇与句法知识未能结合的问题，提出融合两者的 Lexicon-Syntax Enhanced Multilingual BERT 框架，通过代码切换和句法图注意力网络增强 mBERT，在多项零样本任务上持续优于基线。
2024-04-25 cs.CL
GLIMMER: Incorporating Graph and Lexical Features in Unsupervised Multi-Document Summarization
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；School of Information Technology, Deakin University（迪肯大学信息技术学院）；Department of Computer Science, Beijing Technology and Business University（北京工商大学计算机学院）
针对预训练多文档摘要模型依赖大规模语料、领域受限，传统无监督方法易丢失信息的问题，提出融合图与词汇特征的轻量无监督方法GLIMMER，在多个数据集上性能优于现有无监督方法，零样本下ROUGE得分超越主流预训练模型。
2024-08-19 cs.CL
UPLex: Fine-Grained Personality Control in Large Language Models via Unsupervised Lexical Modulation
School of Computer Science, Fudan University（复旦大学计算机学院）
提出UPLex方法，利用无监督构建的个性化词汇表在解码阶段动态调整词概率，实现对大型语言模型人格的细粒度操控，实验验证其有效性和可插拔性。
2025-09-09 cs.CL
Word Sense Disambiguation using Knowledge-based Word Similarity
在自然语言处理中，词义消歧（WSD）是一个悬而未决的问题，它涉及到在特定的上下文中识别单词的正确含义。为了解决这个问题，我们介绍了一种新的基于知识的WSD系统。我们建议在我们的系统中采用两种方法。首先，我们提出了一种新的方法来编码的词向量表示，考虑从词汇知识库的图形语义关系。其次，我们提出了一种方法，从文本中提取的上下文单词分析一个歧义词的词向量表示的相似性的基础上。为了验证我们的词义消歧系统的有效性，我们在五个基准英语词义消歧语料库（Senseval-02，Senseval-03，SemEval-07，SemEval-13和SemEval-15）上进行了实验。实验结果表明，所提出的方法显著提高了WSD的性能。此外，我们的系统优于现有的知识为基础的水务署系统，并表现出性能相媲美的最先进的监督水务署系统。
2020-06-22 cs.CL
