QiaoNing at SemEval-2020 Task 4: Commonsense Validation and Explanation system based on ensemble of language model
Northeastern University(东北大学)
在本文中,我们介绍了提交给SemEval-2020任务4竞赛的语言模型系统:“常识验证和解释”。我们参与子任务A的两个子任务:验证和子任务B:解释。我们使用预训练的语言模型(BERT,XLNet,RoBERTa和AL BERT)实现了迁移学习,并在此任务中对其进行了微调。然后,我们比较了他们的特点,在这个任务中,以帮助未来的研究人员更好地理解和使用这些模型。集成模型较好地解决了这一问题,使得模型在子任务A上的准确率达到95.9%,仅比人类的准确率低3%。
2020-09-06 cs.AI cs.CL
BAMO at SemEval-2024 Task 9: BRAINTEASER: A Novel Task Defying Common Sense
Iran University of Science and Technology(伊朗科学与技术大学)
本文针对 SemEval-2024 BRAINTEASER 任务,结合微调 BERT/RoBERTa、多模型 CoT 零样本提示及 ReConcile 多智能体共识方法,在句子谜题子任务上达到 85% 准确率。
2024-06-07 cs.CL
SFE-AI at SemEval-2022 Task 11: Low-Resource Named Entity Recognition using Large Pre-trained Language Models
Ping An Healthcare Technology(平安医疗科技);Ping An Puhui Enterprise Management Co. Ltd(平安普惠企业管理有限公司)
大规模预训练模型在命名实体识别(NER)任务中得到了广泛的应用。然而,通过参数平均或投票的模式集成不能充分发挥不同模式的差异化优势,特别是在开放域。本文描述了我们在SemEval 2022 task11:MultiCoNER中的NER系统。我们提出了一个有效的系统,自适应集成预训练的语言模型的Transformer层。通过为不同的输入为每个模型分配不同的权重,我们采用了Transformer层来有效地集成不同模型的优点。实验结果表明,我们的方法在波斯语和荷兰语中取得了优异的性能。
2022-05-29 cs.CL
PetKaz at SemEval-2024 Task 8: Can Linguistics Capture the Specifics of LLM-generated Text?
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出融合 RoBERTa-base 嵌入与多样性特征并重采样训练数据的英语机器生成文本检测方法,在 SemEval-2024 任务 8 单语言赛道排名第 12,展现出良好的跨模型与跨领域泛化能力。
2024-04-08 cs.AI cs.CL
ApplicaAI at SemEval-2020 Task 11: On RoBERTa-CRF, Span CLS and Whether Self-Training Helps Them
本文介绍了宣传技术分类(TC)任务的优胜制和宣传跨度识别(SI)任务的亚军制。TC任务的目的是确定一个实用的宣传技术给定的宣传文本片段。SI任务的目标是找到包含至少一种宣传技巧的特定文本片段。这两种解决方案都使用了自我训练的半监督学习技术。有趣的是,尽管CRF很少用于基于transformer的语言模型,但SI任务是用Roberta-CRF架构来处理的。提出了一个基于RoberTa的模型集成TC任务,其中一个使用我们在本文中介绍的跨度CLS层。除了描述提交的系统之外,还研究了架构决策和训练方案的影响,以及关于具有较低计算预算的相同或更好质量的训练模型的评论。最后给出了误差分析结果。
2020-09-05 cs.CL
UPB at SemEval-2020 Task 6: Pretrained Language Models for Definition Extraction
University Politehnica of Bucharest(布加勒斯特理工大学)
这项工作介绍了我们在SemEval-2020的第六个任务的背景下的贡献:从教科书中的自由文本中提取定义(DeftEval)。该竞赛由三个具有不同粒度水平的子任务组成:(1)将句子分类为定义性或非定义性,(2)标记定义性句子,以及(3)关系分类。我们使用各种预训练的语言模型(即,BERT、XLNet、RoBERTa、Sci BERT和AL BERT)来解决竞赛的三个子任务中的每一个。具体来说,对于每个语言模型变体,我们通过冻结其权重并对其进行微调来进行实验。我们还探索了一个多任务架构,该架构经过训练,可以联合预测第二和第三个子任务的输出。我们在DeftEval数据集上评估的表现最好的模型获得了第一个子任务的第32位和第二子任务的第37位。该代码可在https://github.com/avramandrei/DeftEval上进行进一步研究。
2020-09-16 cs.AI cs.CL cs.IR
Taygete at SemEval-2022 Task 4: RoBERTa based models for detecting Patronising and Condescending Language
C2FO(C2FO公司);IIIT-Delhi(德里印度理工学院信息技术学院)
这项工作描述了不同模型的开发,以检测新闻文章摘录中的屈尊俯就和居高临下的语言,作为SemEval 2022竞赛(任务4)的一部分。这项工作基于预训练的RoBERTa语言模型以及LSTM和CNN层探索了不同的模型。最好的模型子任务A达到15个$^{th}$等级,F1得分为0.5924,子任务B达到12个$^{th}$等级,宏观F1得分为0.3763。
2022-04-22 cs.CL cs.LG
Edinburgh Clinical NLP at SemEval-2024 Task 2: Fine-tune your model unless you have access to GPT-4
School of Informatics, University of Edinburgh(爱丁堡大学信息学院);Usher Institute, University of Edinburgh(爱丁堡大学厄舍研究所);Edinburgh Futures Institute, University of Edinburgh(爱丁堡未来学院);School of Literatures, Languages and Cultures, University of Edinburgh(爱丁堡大学文学、语言与文化学院)
本文研究临床试验NLI任务中LLM的推理一致性,提出合并三元组与语言建模目标微调的PEFT适配器方法,虽提升F1和一致性,但仍不及GPT-4。
2024-03-30 cs.CL
PALI at SemEval-2021 Task 2: Fine-Tune XLM-RoBERTa for Word in Context Disambiguation
Ping An Life Insurance, Ltd.(平安人寿保险股份有限公司)
本文介绍了PALI团队在SemEval-2021任务2:多语言和跨语言上下文消歧中的获奖系统。我们微调XLM-RoBERTa模型来解决上下文消歧的任务,即,以确定两个上下文中的目标词是否包含相同的含义。在实现过程中,我们首先专门设计了一个输入标签来强调上下文中的目标词。其次,我们在XLM-RoBERTA的微调嵌入上构造一个新的向量,并将其馈送到一个全连接网络,以输出上下文中目标词是否具有相同含义的概率。新的向量是通过连接[CLS]标记的嵌入和上下文中目标词的嵌入来获得的。在训练中,我们探索了几个技巧,例如Ranger优化器,数据增强和对抗训练,以提高模型预测。因此,我们在所有四个跨语言任务中获得第一名。
2021-06-07 cs.AI cs.CL
aschern at SemEval-2020 Task 11: It Takes Three to Tango: RoBERTa, CRF, and Transfer Learning
National Research University Higher School of Economics(国立研究大学高等经济学院);Qatar Computing Research Institute, HBKU(卡塔尔计算研究所,哈马德·本·哈利法大学)
我们描述了我们的系统SemEval-2020任务11关于检测新闻文章中的宣传技巧。我们开发了集成模型,使用基于RoberTa的神经架构,额外的CRF层,两个子任务之间的迁移学习,以及高级后处理来处理任务的多标签性质,嵌套跨度,重复和训练中类似跨度的标签之间的一致性。我们在基线微调的RoBERTa模型上取得了相当大的改进,官方评估将我们的系统在跨度识别子任务的36个团队中排名第三(几乎与第二并列),F1得分为0.491,在技术分类子任务的31个团队中排名第二(几乎与第一并列),F1得分为0.62。
2020-08-06 cs.AI cs.CL cs.IR
Sharif-STR at SemEval-2024 Task 1: Transformer as a Regression Model for Fine-Grained Scoring of Textual Semantic Relations
Ferdowsi University of Mashhad(马什哈德费尔多西大学);Sharif University of Technology(谢里夫理工大学);Iran Broadcasting University(伊朗广播大学)
本文提出 Sharif-STR,在 SemEval-2024 任务 1 监督赛道中将微调 RoBERTa 作为回归模型进行句子级语义文本相关性评分,验证其跨语言效果并报告英、西、阿语结果。
2024-07-17 cs.AI cs.CL
SG-UniBuc-NLP at SemEval-2026 Task 6: Multi-Head RoBERTa with Chunking for Long-Context Evasion Detection
Human Language Technologies Research Center(人类语言技术研究中心);Faculty of Mathematics and Computer Science(数学与计算机科学学院);University of Bucharest(布加勒斯特大学)
本文提出一种基于多头RoBERTa的长上下文回避检测方法,通过滑动窗口分块和最大池化技术处理长文本,结合多任务学习提升分类性能,达到子任务1的宏F1值0.80和子任务2的0.51。
2026-04-29 cs.AI cs.CL cs.LG
UCSC NLP at SemEval-2026 Task 10: Boundary-Aware Span Extraction and RoBERTa Classification for Conspiracy Detection
UC Santa Cruz(加州大学圣克鲁兹分校)
该研究针对SemEval-2026任务10的阴谋标记提取和文档级阴谋检测,提出用多标签跨度分类提取标记,用序列分类器进行文档分类,还采用了多种策略,在官方测试集上子任务1获第7名,子任务2获第11名。
2026-07-08 cs.CL cs.SI
COGNAC at SemEval-2026 Task 5: LLM Ensembles for Human-Level Word Sense Plausibility Rating in Challenging Narratives
Florida International University Knight Foundation School of Computing and Information Sciences(佛罗里达国际大学骑士基金会计算与信息科学学院)
本文提出使用多个闭源商业LLM的集成方法,通过三种提示策略提升短篇故事中多义词词义可信度评估的准确性,最终在比赛中获得第四名。
2026-03-16 cs.AI cs.CL
Solomon at SemEval-2020 Task 11: Ensemble Architecture for Fine-Tuned Propaganda Detection in News Articles
Samsung R&D Institute India Bangalore(三星印度班加罗尔研发中心)
本文介绍了我们的系统(所罗门)的细节和参加SemEval 2020任务11“检测新闻文章中的宣传技术”\cite{DaSanMartinoSemeval20task11}的结果。我们参加了任务“技术分类”(TC),这是一个多类分类任务。为了解决TC任务,我们使用基于RoBERTa的Transformer架构对宣传数据集进行微调。RoBERTa的预测通过类依赖少数类分类器进一步微调。一个特殊的分类器,它采用动态适应最小公共子序列算法,用于适应复杂的重复类。与其他参与系统相比,我们的提交在排行榜上排名第四。
2020-09-16 cs.AI cs.CL
Mao-Zedong At SemEval-2023 Task 4: Label Represention Multi-Head Attention Model With Contrastive Learning-Enhanced Nearest Neighbor Mechanism For Multi-Label Text Classification
Qifu Technology(奇富科技);Peking University(北京大学)
本文针对 SemEval-2023 任务 4 的多标签人类价值观识别问题,提出基于 Roberta 的标签表示多头注意力模型,并结合对比学习增强的 K 近邻机制,最终在测试集上取得 F1 分数 0.533、排名第四的成绩。
2023-07-11 cs.CL
UIT-E10dot3 at SemEval-2021 Task 5: Toxic Spans Detection with Named Entity Recognition and Question-Answering Approaches
University of Information Technology(信息技术大学);Vietnam National University Ho Chi Minh City(越南国立大学胡志明市分校)
网络空间有毒评论的增加对其他脆弱的用户造成了巨大的影响。出于这个原因,人们付出了相当大的努力来处理这个问题,SemEval-2021任务5:有毒Spans检测就是其中之一。这个任务要求参赛者从给定的文本中提取具有毒性的span,我们在做实验之前做了几次分析以了解其结构。本文采用spaCy库的命名实体识别和RoBERTa结合ToxicBERT的问答两种方法解决了这一问题,前者获得了最高的F1分数66.99%.
2021-04-15 cs.CL
Rudolf Christoph Eucken at SemEval-2023 Task 4: An Ensemble Approach for Identifying Human Values from Arguments
State University of New York at Buffalo(纽约州立大学布法罗分校)
针对论证文本中人类价值观识别问题,提出由蕴含模型和两个Roberta分类器组成的集成方法,最佳组合在主测试集上取得F1分数0.48。
2023-05-09 cs.CL
UHH-LT at SemEval-2020 Task 12: Fine-Tuning of Pre-Trained Transformer Networks for Offensive Language Detection
University of Hamburg(汉堡大学)
对预训练的Transformer网络(如BERT)进行微调,可为文本分类任务产生最先进的结果。通常,微调是以监督的方式在特定于任务的训练数据集上执行的。还可以通过进一步预训练掩码语言建模(MLM)任务来预先以无监督的方式进行微调。因此,类似于实际分类目标数据集的无监督MLM的域内数据允许模型的领域自适应。在本文中,我们比较了当前预训练的Transformer网络,以及没有MLM微调的攻击性语言检测性能。我们的MLM微调的基于RoberTa的分类器在SemEval 2020共享任务中正式排名第一,英语语言为12。用ALBERT模型进行的进一步实验甚至超过了这一结果。
2020-06-10 cs.CL
NLRG at SemEval-2021 Task 5: Toxic Spans Detection Leveraging BERT-based Token Classification and Span Prediction Techniques
BITS Pilani(Pilani校区);Pune University(浦那大学);UNC-Greensboro(北卡罗来纳大学格林斯伯勒分校)
文本的毒性检测是近年来自然语言处理的一个热门课题。在SemEval-2021任务-5毒性跨度检测中,重点是检测通道内的毒性跨度。大多数最先进的跨度检测方法采用各种技术,其中的每一种可以大致分为令牌分类或跨度预测方法。在我们的论文中,我们探讨了这两种方法的简单版本及其在任务中的表现。具体地说,我们使用基于BERT的模型-- BERT、RoBERTa和Span BERT。我们还结合这些方法并对其进行修改,以改进毒性跨度预测。为此,我们调查结果的四种混合方法-多跨度,跨度+令牌,LSTM-CRF,并结合预测偏移使用工会/交集。此外,我们进行了彻底的消融分析和分析我们观察到的结果。我们最好的提交-SpanBERT Span Predictor和RoBERTa Token Classifier预测的组合-在测试集上获得了0.6753的F1分数。我们最好的评估后F1分数是0.6895,来自前3个RoBERTa令牌分类检查点的预测偏移量的交叉点。这些方法比共享基线模型RNNSL和SpaCy NER的性能平均提高了3%。
2021-06-26 cs.CL cs.LG
OCHADAI at SemEval-2022 Task 2: Adversarial Training for Multilingual Idiomaticity Detection
Ochanomizu University(御茶水女子大学)
我们提出了一个多语言对抗训练模型,用于确定句子是否包含惯用表达。考虑到这项任务的一个关键挑战是注释数据的大小有限,我们的模型依赖于来自不同的多语言最先进的基于转换器的语言模型(即,多语言BERT和XLM-RoBERTa),以及对抗训练,用于进一步增强模型泛化和鲁棒性的训练方法。在不依赖任何人工特征、知识库或目标数据集以外的其他数据集的情况下,我们的模型取得了有竞争力的结果,在SubTask A(zero-shot)设置中排名第6位,在SubTask A(one-shot)设置中排名第15位。
2022-06-07 cs.CL
HULAT at SemEval-2023 Task 10: Data augmentation for pre-trained transformers applied to the detection of sexism in social media
本文介绍了我们参与SemEval-2023任务10,其目标是检测社交媒体中的性别歧视。我们将探讨一些最流行的Transformer模型,如BERT、DistilBERT、RoBERTa和XLNet。我们还研究了不同的数据增强技术来增加训练数据集。在开发阶段,我们通过对任务B和C使用RoBERTa和数据增强获得了最佳结果。然而,使用合成数据并不能改善任务C的结果。我们参与了三个子任务。我们的方法仍然有很大的改进空间,特别是在两个细粒度的分类。我们所有的代码都可以在存储库https://github.com/isegura/hulat_edos中找到。
2023-03-01 cs.AI cs.CL cs.LG
KCLarity at SemEval-2026 Task 6: Encoder and Zero-Shot Approaches to Political Evasion Detection
King’s College London(伦敦国王学院)
本文探讨了政治话语中模糊性和逃避技术分类的两种建模方法,并评估了不同模型在零样本设置下的表现。
2026-04-14 cs.CL
UPB at SemEval-2020 Task 12: Multilingual Offensive Language Detection on Social Media by Fine-tuning a Variety of BERT-based Models
University Politehnica of Bucharest(布加勒斯特理工大学)
攻击性语言检测是自然语言处理领域中最具挑战性的问题之一,这是由于在线社交媒体中这种现象的不断增加而引起的。本文描述了我们基于transformer的解决方案,用于识别Twitter上五种语言的攻击性语言(即,英语、阿拉伯语、丹麦语、希腊语和土耳其语),用于Offenseval 2020共享任务的子任务A。几种神经架构(即,BERT、mBERT、Roberta、XLM-Roberta和ALBERT),使用单语言和多语言语料库进行预训练,使用多种数据集组合进行微调和比较。最后,得分最高的模型被用于我们在比赛中提交的作品,我们的团队在英语、阿拉伯语、丹麦语、希腊语和土耳其语中分别排名85位中的第21位、53位中的第28位、39位中的第19位、37位中的第16位和46位中的第10位。
2020-10-27 cs.CL cs.LG
UoT-UWF-PartAI at SemEval-2021 Task 5: Self Attention Based Bi-GRU with Multi-Embedding Representation for Toxicity Highlighter
University of Tabriz(大不里士大学);University of West Florida(西佛罗里达大学);Part AI Research Center(Part人工智能研究中心)
有毒跨度检测(TSD)任务被定义为突出显示使文本有毒的跨度。已经做了许多工作来将给定的评论或文档分类为有毒或无毒。然而,这些提议的模型都不能在令牌级别上工作。在本文中,我们提出了一种基于自注意力的双向门控递归单元(BiGRU)与令牌的多嵌入表示。我们提出的模型通过GPT-2,GloVe和RoBERTa嵌入的组合丰富了表示,这导致了有希望的结果。实验结果表明,我们提出的方法是非常有效的检测跨度令牌。
2021-04-27 cs.CL
UPB at SemEval-2021 Task 5: Virtual Adversarial Training for Toxic Spans Detection
University Politehnica of Bucharest(布加勒斯特理工大学)
网络领域的两极分化和毒性对现实世界的影响标志着2020年底和今年年初的负面影响。Semeval-2021,任务5 -毒性跨度检测基于Jigsaw非预期偏倚数据集子集的新注释,是第一个专门用于识别毒性级别跨度的语言毒性检测任务。在这项任务中,参与者必须自动检测短评论中的字符跨度,使消息成为有毒的。我们的模型考虑在几个基于transformer的模型(即,BERT和RoBERTa)与条件随机场的组合。我们的方法导致性能改进和更强大的模型,使我们能够在正式提交中获得65.73%的F1分数,并在评估后进一步调整后获得66.13%的F1分数。
2021-04-17 cs.CL
UTNLP at SemEval-2022 Task 6: A Comparative Analysis of Sarcasm Detection Using Generative-based and Mutation-based Data Augmentation
University of Tehran(德黑兰大学)
Sarcasm是一个术语,指的是使用词语来嘲笑,激怒或娱乐某人。它通常在社交媒体上使用。讽刺的隐喻性和创造性本质给基于情感计算的情感分析系统带来了很大的困难。本文介绍了我们的团队UTNLP在SemEval-2022共享任务6中关于讽刺检测的方法和结果。我们将不同的模型和数据增强方法用于测试,并报告哪种方法效果最好。测试从传统的机器学习模型开始,然后发展到基于transformer和基于注意力的模型。我们采用了基于数据突变和数据生成的数据增强。使用RoBERTa和基于突变的数据增强,我们的最佳方法在比赛的评估阶段实现了0.38的F1讽刺。比赛结束后,我们修复了模型的缺陷,获得了0.414的F1讽刺。
2022-06-28 cs.CL
Unmasking Propaganda: A Comparative Analysis of Masked and Causal Language Models
University of Bucharest(布加勒斯特大学)
本文通过比较掩码与因果语言模型,在SemEval-2020 Task 11上评估宣传技巧检测,最佳模型F1达63.62,并提出微调与集成可提升性能。
2026-10-05 cs.CL
Robust Dual-Signal Fusion: Hybrid Neuro-Symbolic Gating with Compressed Chain-of-Thought Refinement for Irony Detection in Social Media Texts
Indian Institute of Technology Kharagpur(印度理工学院克勒格布尔分校)
提出RDS融合框架,结合神经符号架构与压缩链式思维推理,在TweetEval和iSarcasm数据集上达到与微调BERTweet相当的性能,并显著优于监督方法。
2026-09-09 cs.AI cs.CL
Fine-tuning Large Language Models for Multigenerator, Multidomain, and Multilingual Machine-Generated Text Detection
Newcastle University(纽卡斯尔大学);University of Reading(雷丁大学)
针对 SemEval-2024 Task 8 的多生成器、多领域、多语言机器文本检测,本文比较传统 ML 与微调 LLM,证明 LoRA-RoBERTa 结合多数投票效果最佳。
2024-01-22 cs.AI cs.CL
A Dataset for Analysing News Framing in Chinese Media
本文构建首个 Chinese News Framing 数据集,并通过 XLM-RoBERTa-Base 微调和 GPT-4o 零样本实验建立中文新闻框架检测基准。
2025-03-06 cs.CL
Large Language Models for Propaganda Detection
University of Zurich(苏黎世大学)
研究评估了GPT-3和GPT-4在SemEval-2020数据集上的宣传检测性能,发现GPT-4通过提示工程与微调达到了与RoBERTa最先进方法相当的效果。
2023-11-27 cs.AI cs.CL
BUT-FIT at SemEval-2020 Task 5: Automatic detection of counterfactual statements with deep pre-trained language representation models
Brno University of Technology(布尔诺理工大学)
本文介绍了BUT-FIT在SemEval-2020任务5:语言中的因果推理建模:检测反事实。挑战的重点是检测一个给定的陈述是否包含反事实(子任务1),并从文本中提取反事实的先行和后继部分(子任务2)。我们尝试了各种最先进的语言表示模型(LRM)。我们发现Roberta LRM在这两个子任务中表现最好。我们在子任务2的精确匹配和F1中都获得了第一名,在子任务1中排名第二。
2020-07-28 cs.CL cs.LG stat.ML
Stanford MLab at SemEval-2023 Task 10: Exploring GloVe- and Transformer-Based Methods for the Explainable Detection of Online Sexism
Stanford University(斯坦福大学)
本研究探索了多种模型(包括GloVe、BERT、RoBERTa、DeBERTa及集成方法)用于在线性别歧视的可解释检测,通过三个分类任务预测性别歧视并分类子类别,发现预训练Transformer显著提升性能,集成和混合增强了鲁棒性。
2023-05-07 cs.CL cs.LG
UPB at SemEval-2020 Task 9: Identifying Sentiment in Code-Mixed Social Media Texts using Transformers and Multi-Task Learning
University Politehnica of Bucharest(布加勒斯特理工大学)
情感分析是一种广泛用于当今进行的意见挖掘活动的过程。这种现象在各种领域中有应用,特别是在收集与用户对特定主题的态度或满意度有关的信息方面。然而,当它应用于倾向于结合两种语言来表达思想和想法的文化时,管理这样一个过程的任务变得明显更加困难。通过交错两种语言的单词,用户可以轻松地表达,但代价是使文本对于那些不熟悉这种技术的人以及标准的意见挖掘算法来说都不太容易理解。在本文中,我们描述了我们的团队为SemEval-2020任务9开发的系统,旨在涵盖两种着名的代码混合语言:印地语-英语和西班牙语-英语。我们打算通过引入一种解决方案来解决这个问题,该解决方案利用了几种神经网络方法以及预训练的词嵌入。我们的方法(多语言BERT)在印地语-英语任务上取得了令人满意的表现,平均F1分数为0.6850,在比赛排行榜上注册,在62名参赛者中排名第16位。对于西班牙语-英语任务,我们使用另一种基于多语言转换器的模型XLM-RoBERTA获得了平均F1分数0.7064,在29名参与者中排名第17。
2020-09-06 cs.CL
SemEval-2020 Task 10: Emphasis Selection for Written Text in Visual Media
University of Houston(休斯顿大学);Adobe Research(Adobe 研究院)
在本文中,我们提出了主要的研究结果,并比较SemEval-2020任务10的结果,重点选择书面文字在视觉媒体。这个共享的任务的目标是设计自动方法强调选择,即选择候选人强调文本内容,使自动设计辅助创作。主要关注社交媒体的短文本实例,包括各种示例,从社交媒体帖子到鼓舞人心的引用。参与者被要求使用纯文本来模拟强调,没有来自用户或其他设计考虑的额外上下文。SemEval-2020重点选择共享任务在早期阶段吸引了197名参与者,共有31个团队提交了该任务。排名最高的提交达到0.823 Matchm分数。对提交给任务的系统的分析表明,BERT和RoBERTa是使用的预训练模型的最常见选择,并且词性标记(POS)是最有用的特征。完整的结果可以在任务的网站上找到。
2020-08-07 cs.CL cs.LG
NLP-LTU at SemEval-2023 Task 10: The Impact of Data Augmentation and Semi-Supervised Learning Techniques on Text Classification Performance on an Imbalanced Dataset
Luleå University of Technology(吕勒奥理工大学)
该研究面向 SemEval-2023 在线性别歧视检测任务,构建 BERTweet、RoBERTa 与 DeBERTa 微调集成模型,并评估回译增强和半监督学习对不平衡数据分类性能的影响。
2023-04-25 cs.CL
KInITVeraAI at SemEval-2023 Task 3: Simple yet Powerful Multilingual Fine-Tuning for Persuasion Techniques Detection
Kempelen Institute of Intelligent Technologies(肯佩伦智能技术研究所);Brno University of Technology(布尔诺理工大学)
本文提出一种基于 XLM-RoBERTa large 的多语言联合微调方法,通过分别校准已见与意外语言的置信度阈值,在 SemEval-2023 任务 3 子任务 3 的说服技术检测中取得最佳性能。
2023-04-24 cs.CL cs.LG
YNU-HPCC at SemEval-2025 Task 11: Bridging the Gap in Text-Based Emotion Using Multiple Prediction Headers
Yunnan University(云南大学)
YNU-HPCC 团队在 SemEval-2025 任务 11 中采用 RoBERTa 模型,通过改进输出头并翻译数据集,实现了 0.44 的官方分数,并发现单预测头与统一英文训练更优。
2026-09-18 cs.AI cs.CL
Ustnlp16 at SemEval-2025 Task 9: Improving Model Performance through Imbalance Handling and Focal Loss
Department of Computer Science and Engineering, The Hong Kong University of Science and Technology (HKUST), Hong Kong SAR(计算机科学与工程系,香港科学与技术大学(HKUST),香港特别行政区)
本文针对食品危害检测中的数据不平衡问题,基于 BERT 和 RoBERTa 模型,结合随机过采样、EDA 和 focal loss 等策略,有效提升了分类准确率、F1分数及模型鲁棒性。
2025-04-24 cs.AI cs.CL
Sharif-MGTD at SemEval-2024 Task 8: A Transformer-Based Approach to Detect Machine Generated Text
Ferdowsi University of Mashhad(马什哈德费尔多西大学);Amirkabir University of Technology(阿米尔卡比尔理工大学);University of Tehran(德黑兰大学);Sharif University of Technology(谢里夫理工大学)
本文提出微调 RoBERTa-base 的二分类系统用于 SemEval-2024 任务 8 子任务 A 的英语 MGT 检测,在有限硬件条件下取得 78.9% 准确率。
2024-07-16 cs.AI cs.CL
Shrome at Touché: Soft-Vote Ensembling and Counter-Causal Augmentation for Causality Extraction
University of Zurich(苏黎世大学)
针对Touché 2026反因果新闻声明任务,提出每子任务单模型方案:检测用微调分类器加跨任务规则,抽取用三个RoBERTa-large标注器软投票集成,极性用大模型生成反因果句增强,在CCNC测试集上抽取F1达0.728居首。
2026-10-05 cs.CL
Addressing Data Imbalance in Transformer-Based Multi-Label Emotion Detection with Weighted Loss
Manchester Metropolitan University(曼彻斯特 Metropolitan 大学)
本文提出通过加权损失函数解决基于Transformer的多标签情感检测中的数据不平衡问题,实验表明该方法在提升高频情感类别性能方面有效,但对少数类别影响有限。
2026-02-04 cs.CL
BCAmirs at SemEval-2024 Task 4: Beyond Words: A Multimodal and Multilingual Exploration of Persuasion in Memes
University of British Columbia(不列颠哥伦比亚大学)
本文针对 SemEval-2024 任务 4 的迷因说服技巧识别问题,提出引入 GPT-4 字幕生成步骤,并结合 RoBERTa 与 CLIP 多模态微调,在全部 12 个子任务中大幅超越基线。
2024-06-11 cs.CL cs.CV cs.IT
tmn at SemEval-2023 Task 9: Multilingual Tweet Intimacy Detection using XLM-T, Google Translate, and Ensemble Learning
University of Tyumen(秋明大学)
本文面向 SemEval-2023 多语言推文亲密程度检测任务,提出结合 XLM-T、Google Translate 与集成学习的方案,在跨语言测试中排名第 4。
2023-04-08 cs.AI cs.CL cs.IR
Analyzing Persuasive Strategies in Meme Texts: A Fusion of Language Models with Paraphrase Enrichment
Concordia University(康考迪亚大学)
本文通过微调多种语言模型并结合释义增强与均值集成,研究模因文本中说服技术的多标签检测,发现平衡训练集优于更大的不平衡训练集,并指出不当引入释义可能带来噪声。
2024-07-01 cs.AI cs.CL cs.LG