SATLab at SemEval-2022 Task 4: Trying to Detect Patronizing and Condescending Language with only Character and Word N-grams
Statistical Analysis of Text Laboratory (SATLab)（文本统计分析实验室（SATLab））；Université catholique de Louvain（鲁汶天主教大学）
提出了一个逻辑回归模型，只喂养字符和单词n元语法SemEval-2022任务4上的Patronizing和居高临下的语言检测（PCL）。它获得了一个平均水平的性能，远高于一个系统的性能，试图猜测没有使用任何知识的任务，但远低于最好的团队。由于所提出的模型非常类似于在需要自动识别仇恨言论和攻击性内容的任务上表现良好的模型，因此本文证实了PCL检测的难度。
2022-03-10 cs.CL
TM-TREK at SemEval-2024 Task 8: Towards LLM-Based Automatic Boundary Detection for Human-Machine Mixed Text
Samsung R&D Institute China-Beijing（三星中国北京研发院）
本文提出将人机混合文本边界检测转化为 token 分类问题，并利用 LLM 集成模型在 SemEval'24 任务 8 子任务中取得第一名，同时分析了额外层、分割损失和预训练对边界检测能力的影响。
2024-04-01 cs.CL
UTMN at SemEval-2020 Task 11: A Kitchen Solution to Automatic Propaganda Detection
Tyumen State University（秋明国立大学）
本文描述了一种基于特征调整的快速解决方案，用于SemEval-2020任务11中的宣传检测。我们使用每个标记的特征向量化和一个简单的Logistic Regressionclassifier来快速测试关于我们数据的不同假设。我们提出了在我们看来最好的解决方案，然而，我们无法将其与任务组织者建议的度量结果保持一致。我们通过改变训练集中两个类（Propaganda和None）的样本数、令牌矢量化的上下文窗口的大小以及矢量化方法的组合来测试我们的系统如何处理类和特征不平衡。我们的系统在SemEval 2020任务11中的结果是F-score=0.37。
2020-08-22 cs.CL cs.LG
MULTISEM at SemEval-2020 Task 3: Fine-tuning BERT for Lexical Meaning
Université Paris-Saclay（巴黎-萨克雷大学）；CNRS, LIMSI（法国国家科学研究中心，LIMSI实验室）；University of Helsinki（赫尔辛基大学）
我们介绍了提交给SemEval 2020任务3的MULTISEM系统：上下文中的分级单词相似性（GWSC）。我们通过对与GWSC相关的词汇语义任务进行微调，将语义知识注入到预先训练好的BERT模型中。我们使用现有的语义注释的数据集，并建议近似相似性，通过自动生成的词汇替代上下文。我们参与GWSC的两个子任务，并使用两种语言，英语和芬兰语。我们最好的英语模特在这两个子任务的排名中分别占据第三和第四的位置。芬兰模型的性能较低，在相应的子任务中排名中等，突出了数据可用性对微调的重要作用。
2020-07-24 cs.CL
UTFPR at SemEval-2019 Task 5: Hate Speech Identification with Recurrent Neural Networks
Universidade Tecnológica Federal do Paraná（巴拉那联邦理工大学）；Harvard Medical School（哈佛医学院）；University of Wolverhampton（伍尔弗汉普顿大学）
在本文中，我们重新审视了自动识别社交媒体帖子中的仇恨言论的问题。我们使用基于最小组合循环神经网络（RNN）的系统来完成任务。我们在SemEval-2019任务5：Twitter（HatEval）共享任务数据集中针对移民和女性的仇恨言论的多语言检测上测试了我们的方法。HatEval组织者提供的数据集包含从Twitter检索的英文和西班牙文帖子，并注明是否存在仇恨内容及其目标。在本文中，我们提出了我们的系统相比，在共享任务中的其他条目所获得的结果。我们的系统取得了有竞争力的性能排名第七的子任务A的62个系统在英语轨道。
2019-04-16 cs.CL
Galileo at SemEval-2020 Task 12: Multi-lingual Learning for Offensive Language Identification using Pre-trained Language Models
Baidu Inc.（百度公司）
本文描述了Galileo在SemEval-2020任务12中检测和分类社交媒体中的攻击性语言的性能。针对攻击性语言识别问题，提出了一种基于预训练语言模型、ERNIE和XLM-R的多语种识别方法。针对攻击性语言的分类问题，提出了一种基于软标签的知识蒸馏方法。我们的团队参与了所有三个子任务。在子任务A -攻击性语言识别中，我们在所有语言的平均F1分数方面排名第一。我们也是唯一一支在所有语言中排名前三的团队。我们还在子任务B -犯罪类型自动分类和子任务C -犯罪目标识别中获得了第一名。
2020-10-07 cs.CL
BUT-FIT at SemEval-2020 Task 5: Automatic detection of counterfactual statements with deep pre-trained language representation models
Brno University of Technology（布尔诺理工大学）
本文介绍了BUT-FIT在SemEval-2020任务5：语言中的因果推理建模：检测反事实。挑战的重点是检测一个给定的陈述是否包含反事实（子任务1），并从文本中提取反事实的先行和后继部分（子任务2）。我们尝试了各种最先进的语言表示模型（LRM）。我们发现Roberta LRM在这两个子任务中表现最好。我们在子任务2的精确匹配和F1中都获得了第一名，在子任务1中排名第二。
2020-07-28 cs.CL cs.LG stat.ML
UPB at SemEval-2022 Task 5: Enhancing UNITER with Image Sentiment and Graph Convolutional Networks for Multimedia Automatic Misogyny Identification
University Politehnica of Bucharest（布加勒斯特理工大学）
近年来，由于社交媒体的指数增长和此类信息的传播及其影响，在线媒体中仇恨言论，攻击性或辱骂性语言的检测已成为NLP研究的重要主题。厌女症检测虽然在仇恨言语检测中起着重要的作用，但却没有得到同样的重视。在本文中，我们描述了我们的分类系统提交给SemEval-2022任务5：MAMI -多媒体自动厌女症识别。共同的任务旨在通过分析模因图像及其文本标题来识别多模态设置中的厌女症内容。为此，我们提出了两个模型的基础上预先训练的UNITER模型，一个增强了图像情感分类器，而第二个利用词汇图卷积网络（VGCN）。此外，我们探索使用上述模型的合奏。我们最好的模型在子任务A中达到了71.4%的F1分数，在子任务B中达到了67.3%，使我们的团队处于排行榜的前三分之一。我们在GitHub上发布了我们模型的代码和实验
2022-05-29 cs.AI cs.CL
ULD@NUIG at SemEval-2020 Task 9: Generative Morphemes with an Attention Model for Sentiment Analysis in Code-Mixed Text
Insight SFI Research Centre for Data Analytics（Insight SFI数据分析研究中心）；Data Science Institute, National University of Ireland Galway（爱尔兰国立高威大学数据科学研究所）
语码混用是多语言社会中的一种常见现象，人们出于各种原因从一种语言转换到另一种语言。最近在不同社交媒体网站上的公共交流取得了进展，导致书面语言中代码混合使用的频率增加。在本文中，我们介绍了带有注意力的生成语素（GenMA）模型情感分析系统，该系统为SemEval 2020任务9 SentiMix做出了贡献。该系统的目的是预测给定的英语-印地语代码混合推文的情感，而不使用词级语言标签，而是使用形态模型自动推断。该系统基于一种新型的深度神经网络（DNN）架构，该架构在测试数据集和验证数据集上的表现优于基线F1分数。我们的结果可以在“Sentimix印地语英语”页面上的用户名“koustava”下找到
2020-07-27 cs.CL
SemEval 2019 Shared Task: Cross-lingual Semantic Parsing with UCCA - Call for Participation
我们宣布了一项关于UCCA英语、德语和法语解析的共享任务，并呼吁参与者提交他们的系统。UCCA是一个跨语言适用的语义表示框架，它建立在广泛的类型学工作基础上，支持快速注释。UCCA对现有的解析技术提出了挑战，因为它表现出可重入性（导致DAG结构），不连续结构和非终结节点对应于复杂的语义单元。鉴于最近的语义解析共享任务（SDP和AMR）的成功，我们希望该任务对UCCA解析的进步有重大贡献，特别是一般的语义解析。此外，现有的基于UCCA的语义评估应用程序将大大受益于更好的自动UCCA解析方法。比赛网址为https://competitions.codalab.org/competitions/19160
2021-02-03 cs.CL
AMS_ADRN at SemEval-2022 Task 5: A Suitable Image-text Multimodal Joint Modeling Method for Multi-task Misogyny Identification
Tencent. Inc（腾讯公司）
女性在网络上很有影响力，特别是在Twitter和Instagram等基于图像的社交媒体上。然而，网络环境中的许多内容都含有性别歧视和攻击性信息，放大了性别刻板印象和性别不平等。因此，对性别歧视等非法内容的过滤对于维护健康的社交网络环境至关重要。在本文中，我们描述了我们的团队为SemEval-2022任务5：多媒体自动厌女症识别开发的系统。更具体地说，我们引入了两个新的系统来分析这些帖子：一个多模态多任务学习架构，将Bertweet用于文本编码与ResNet-18用于图像表示相结合，以及一个单流Transformer结构，将BERT-Embeddings的文本嵌入和EfficientNet和ResNet等几个不同模块的图像嵌入相结合。通过这种方式，我们可以正确地揭示它们背后的信息。我们的方法在当前比赛的两个子任务中的每一个上都取得了良好的性能，子任务A排名第15（0.746宏观F1分数），子任务B排名第11（0.706宏观F1分数），同时超过了官方基线结果。
2022-04-20 cs.CL
Amobee at SemEval-2019 Tasks 5 and 6: Multiple Choice CNN Over Contextual Embedding
Amobee Inc.（Amobee公司）
本文介绍了Amobee参与“HatEval：Twitter中针对移民和女性的仇恨言论的多语言检测”（任务5）和“OffensEval：识别和分类社交媒体中的攻击性语言”（任务6）。任务5的目标是发现针对妇女和移民的仇恨言论。任务6的目标是识别和分类社交媒体中的攻击性语言，并确定攻击目标。我们提出了一种新型的卷积神经网络，称为“多选择CNN”（MC-CNN），我们使用了我们新开发的上下文嵌入，Rozental等人。（2019）。对于这两个任务，我们使用了这种架构，并在任务5中以0.53的F1得分获得了69名参与者中的第4名，在任务6中，在子任务B中获得了第2名（75名中）-犯罪类型的自动分类（我们的模型在任务6中分别达到了子任务A，B和C的103/75/65中的18/2/7）。
2019-04-17 cs.CL
UCSC at SemEval-2025 Task 3: Context, Models and Prompt Optimization for Automated Hallucination Detection in LLM Output
University of California, Santa Cruz（加州大学圣克ruz分校）
本文提出 UCSC 系统，通过上下文检索、虚假内容识别、片段映射和自动提示优化，在 SemEval-2025 Mu-SHROOM 多语言幻觉检测任务中取得所有语言平均排名第 1 的最佳性能。
2025-05-05 cs.CL
Team ACK at SemEval-2025 Task 2: Beyond Word-for-Word Machine Translation for English-Korean Pairs
Adobe Inc.（Adobe公司）；CU Boulder（科罗拉多大学博尔德分校）；KAIST（韩国科学技术院）；New York University（纽约大学）；UBC（不列颠哥伦比亚大学）
本研究评估13个英韩翻译模型，发现LLMs优于传统MT系统但在文化适应的实体翻译上仍有困难，通过构建错误分类法揭示了自动评估指标的不足。
2025-04-29 cs.CL cs.IR
MALTO at SemEval-2024 Task 6: Leveraging Synthetic Data for LLM Hallucination Detection
Politecnico di Torino（托尼诺理工学院）
MALTO通过合成数据增强和投票集成方法，提升LLM幻觉检测的准确性与鲁棒性。
2024-03-01 cs.CL cs.LG
Kungfupanda at SemEval-2020 Task 12: BERT-Based Multi-Task Learning for Offensive Language Detection
Center for Artificial Intelligence Research (CAiRE)（人工智能研究中心）；The Hong Kong University of Science and Technology（香港科技大学）
如今，社交媒体中的攻击性内容已成为一个严重的问题，自动检测攻击性语言是一项必不可少的任务。在本文中，我们建立了一个攻击性语言检测系统，它结合了多任务学习和基于BERT的模型。使用预先训练的语言模型，如BERT，我们可以有效地学习社交媒体中嘈杂文本的表示。此外，为了提高攻击性语言检测的性能，我们利用了其他相关任务的监督信号。在OffensEval-2020竞赛中，我们的模型在英语子任务A中获得了91.51%F1的分数，与第一名（92.23%F1）相当。最后，通过实证分析，说明了本文方法的有效性.
2020-07-20 cs.CL cs.LG
A Dataset for Analysing News Framing in Chinese Media
本文构建首个 Chinese News Framing 数据集，并通过 XLM-RoBERTa-Base 微调和 GPT-4o 零样本实验建立中文新闻框架检测基准。
2025-03-06 cs.CL
WOLI at SemEval-2020 Task 12: Arabic Offensive Language Identification on Different Twitter Datasets
WideBot（宽博科技（WideBot））
通过社交平台进行沟通已成为个人沟通和互动的主要手段之一。不幸的是，健康的沟通经常受到攻击性语言的干扰，这可能对用户产生破坏性影响。在社交媒体上打击攻击性语言的关键是存在自动攻击性语言检测系统。本文介绍了SemEval-2020的结果和主要发现，任务12 OffensEval子任务A Zampieri et al.（2020），关于识别和分类社交媒体中的攻击性语言。该任务基于阿拉伯语OffensEval数据集Mubarak et al.（2020）。在本文中，我们描述了WideBot AI Lab提交的共享任务系统，该系统在CodaLab用户名为“yasserotiefy”的黄金数据集上，在52名参与者中排名第10位，Macro-F1为86.9%。我们实验了各种模型，最好的模型是线性SVM，其中我们使用字符和单词n-gram的组合。我们还引入了一种神经网络方法，增强了我们系统的预测能力，包括CNN、高速公路网络、Bi-LSTM和注意力层。
2020-09-11 cs.CL cs.SI
problemConquero at SemEval-2020 Task 12: Transformer and Soft label-based approaches
Indian Institute of Technology Kanpur (IITK)（印度理工学院坎普尔分校）
在本文中，我们介绍了我们的团队problemConquero为SemEval-2020提交的各种系统共享任务12社交媒体中的多语言攻击性语言识别。我们参与了OffensEval-2020的所有三个子任务，我们在评估阶段的最终提交包括基于transformer的方法和基于软标签的方法。为子任务A（攻击性推文识别）的每种语言提交基于BERT的微调模型。提出了基于RoberTa的子任务B（犯罪类型自动分类）的微调模型。我们为子任务C（攻击目标识别）提交了两个模型，一个使用软标签，另一个使用基于BERT的微调模型。我们在子任务A中的排名是希腊语-37人中有19人，土耳其语-46人中有22人，丹麦语-39人中有26人，阿拉伯语-53人中有39人，英语-85人中有20人。我们在子任务B的43个任务中获得了28分。使用基于BERT的微调模型，子任务C的最佳排名为39分中的20分。
2020-07-21 cs.CL cs.LG
MasonNLP+ at SemEval-2023 Task 8: Extracting Medical Questions, Experiences and Claims from Social Media using Knowledge-Augmented Pre-trained Language Models
George Mason University（乔治梅森大学）；CGI Inc.（CGI集团）
本研究针对SemEval-2023任务8的社交媒体医疗信息提取需求，提出知识增强的预训练语言模型提取系统，在两个子任务中均获第三名，还探索了领域专用模型与外部知识的应用效果。
2023-04-26 cs.CL cs.LG
LogSigma at SemEval-2026 Task 3: Uncertainty-Weighted Multitask Learning for Dimensional Aspect-Based Sentiment Analysis
University of Göttingen（哥廷根大学）；LKA NRW（北莱茵-威斯特法伦州刑事警察局）
本文提出 LogSigma 系统，针对 SemEval-2026 任务 3 的维度方面情感分析，通过学习同方差不确定性平衡回归目标，结合语言特定编码器和多种子集成，在五个数据集上取得第一名。
2026-03-26 cs.AI cs.CL
IITK at SemEval-2024 Task 1: Contrastive Learning and Autoencoders for Semantic Textual Relatedness in Multilingual Texts
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
针对 SemEval-2024 多语言语义文本相关性任务，本文提出基于 BERT 的对比学习与相似度方法处理监督赛道，并探索自动编码器及负采样构建二元语料库以改进词嵌入。
2024-04-06 cs.AI cs.CL cs.LG
Mast Kalandar at SemEval-2024 Task 8: On the Trail of Textual Origins: RoBERTa-BiLSTM Approach to Detect AI-Generated Text
IIIT Hyderabad（印度国际信息技术研究所海得拉巴分校）
本文针对 SemEval-2024 多生成器、多领域、多语言黑盒机器生成文本检测任务，提出 RoBERTa-BiLSTM 分类器，并在 125 个系统中以 80.83% 准确率位列第 46 名。
2024-07-03 cs.AI cs.CL
Detecting Intentional Lexical Ambiguity in English Puns
Tyumen State University（秋明国立大学）
本文描述了一个双关语的自动分析模型，其中一个词被有意地同时用于两种意义（目标词）。我们采用Roget的词库发现两组单词，在一个双关语，形成围绕两个抽象位的意义（义素）。它们成为一个语义向量，基于此SVM分类器学习识别双关语，F-测量的得分达到0.73。我们采用几种基于规则的方法来定位故意歧义（目标）的话，基于结构和语义标准。结构标准似乎更有效，尽管它可能仅表征测试数据集。考虑到使用监督学习模型和单词统计的效果，我们得到的结果与SemEval-2017比赛（任务7英语双关语的检测和解释）中其他团队的结果相关。
2017-07-18 cs.CL
Improving Hypernymy Extraction with Distributional Semantic Classes
University of Hamburg（汉堡大学）；University of Mannheim（曼海姆大学）；Ural Federal University（乌拉尔联邦大学）
在本文中，我们展示了如何分布诱导的语义类可以帮助提取上位词。我们提出的方法，使用分布式语义，并使用这些诱导的语义类过滤嘈杂的上位关系的感知语义类。上位词的去噪通过用其上位词标记每个语义类来执行。一方面，这使我们能够使用分布相似意义的全局结构来过滤错误的提取。另一方面，我们通过标签传播到集群术语来推断缺失的上位词。我们进行了大规模的众包研究表明，使用我们的方法自动提取上位词的处理提高了上位词提取的精度和召回的质量。此外，我们展示了我们的方法在领域分类归纳任务中的实用性，在分类归纳的SemEval'16任务上取得了最先进的结果。
2018-02-28 cs.CL
Semantic Change Detection for the Romanian Language
University Politehnica of Bucharest（布加勒斯特理工大学）
本研究针对罗马尼亚语语义变化检测问题，分析构建Word2Vec、ELMo两类词嵌入模型的不同策略，在英语及罗马尼亚语数据集上实验，明确了低资源语言语义变化特征及影响检测效果的核心因素。
2023-08-23 cs.AI cs.CL
Can Word Sense Distribution Detect Semantic Changes of Words?
University of Liverpool（利物浦大学）；Cardiff University（卡迪夫大学）；Tokyo Metropolitan University（东京都立大学）；Amazon（亚马逊）
本研究探索利用词义分布比较不同时间语料库中目标词的义项分布，通过预训练静态义项嵌入和散度度量，在SemEval 2020 Task 1上验证了该方法能准确检测多语言词语的语义变化。
2023-10-16 cs.AI cs.CL cs.LG
