CSIRO-LT at SemEval-2025 Task 11: Adapting LLMs for Emotion Recognition for Multiple Languages
CSIRO Data61(CSIRO数据61研究所);Macquarie University(麦考瑞大学)
针对跨语言情感识别挑战,研究LLM任务适配策略,发现对多语言LLM按语言分别用LoRA微调最有效。
2025-08-02 cs.CL
SemEval-2024 Task 8: Multidomain, Multimodel and Multilingual Machine-Generated Text Detection
MBZUAI(穆罕默德·本·扎耶德人工智能大学);TU Darmstadt(达姆施塔特工业大学);University of Cambridge(剑桥大学);Institute of Information Science Technology(信息技术研究所);New York University Abu Dhabi(纽约大学阿布扎比分校)
本文介绍了 SemEval-2024 Task 8 的机器生成文本检测任务,涵盖二元分类、来源检测和转变点识别三个子任务,发现表现最佳的系统均使用了 LLM。
2024-04-22 cs.CL
Zhestyatsky at SemEval-2021 Task 2: ReLU over Cosine Similarity for BERT Fine-tuning
Moscow Institute of Physics and Technology(莫斯科物理技术学院);ABBYY;HSE University(俄罗斯国立高等经济学院)
本文介绍了我们对SemEval-2021任务2:多语言和跨语言上下文消歧(MCL-WiC)的贡献。我们的实验涵盖英语(EN-EN)子轨道从多语种设置的任务。我们用几个预先训练好的语言模型进行实验,并研究不同顶层对微调的影响。我们发现余弦相似性和ReLU激活的组合导致最有效的微调过程。我们最好的模型的准确率为92.7%,这是EN-EN子轨道中第四好的分数。
2021-04-13 cs.CL
KInIT at SemEval-2024 Task 8: Fine-tuned LLMs for Multilingual Machine-Generated Text Detection
Kempelen Institute of Intelligent Technologies(肯佩伦智能技术研究所);Faculty of Informatics, Masaryk University(马萨里克大学信息学院)
本文提出融合语言识别、参数高效微调 LLM、逐语言阈值校准与统计检测指标的多语言机器生成文本检测系统,在 SemEval-2024 任务 8 中排名第四。
2024-06-17 cs.AI cs.CL
IDS at SemEval-2020 Task 10: Does Pre-trained Language Model Know What to Emphasize?
Seoul National University(首尔大学)
我们提出了一种新的方法,使我们能够确定值得强调的文字从书面文字在视觉媒体,只依赖于信息的自我注意力分布的预训练语言模型(PLM)。通过大量的实验和分析,我们表明:1)我们的zero-shot方法是优于一个合理的基线,采用TF-IDF和2)有几个注意力头在PLM专门用于强调选择,确认PLM是能够识别句子中的重要单词。
2020-07-24 cs.CL
Mast Kalandar at SemEval-2024 Task 8: On the Trail of Textual Origins: RoBERTa-BiLSTM Approach to Detect AI-Generated Text
IIIT Hyderabad(印度国际信息技术研究所海得拉巴分校)
本文针对 SemEval-2024 多生成器、多领域、多语言黑盒机器生成文本检测任务,提出 RoBERTa-BiLSTM 分类器,并在 125 个系统中以 80.83% 准确率位列第 46 名。
2024-07-03 cs.AI cs.CL
PetKaz at SemEval-2024 Task 8: Can Linguistics Capture the Specifics of LLM-generated Text?
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出融合 RoBERTa-base 嵌入与多样性特征并重采样训练数据的英语机器生成文本检测方法,在 SemEval-2024 任务 8 单语言赛道排名第 12,展现出良好的跨模型与跨领域泛化能力。
2024-04-08 cs.AI cs.CL
Augmenters at SemEval-2023 Task 1: Enhancing CLIP in Handling Compositionality and Ambiguity for Zero-Shot Visual WSD through Prompt Augmentation and Text-To-Image Diffusion
University of Maryland, College Park(马里兰大学帕克分校);Duolingo, Inc.(多邻国公司)
针对零样本视觉词义消歧中 CLIP 难以处理语言组合性、短语焦点变化和图文多对多匹配的问题,提出 LLM 提示增强、跨语言 CLIP 与 Stable Diffusion 采样方法。
2023-07-09 cs.CL
HU at SemEval-2024 Task 8A: Can Contrastive Learning Learn Embeddings to Detect Machine-Generated Text?
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校);University of Houston(休斯顿大学)
本文提出基于对比学习和数据增强的单一模型,仅用基线约40%的参数,在SemEval-2024任务8A机器生成文本检测中取得与多模型集成相当的性能。
2024-03-27 cs.AI cs.CL cs.LG
Humor@IITK at SemEval-2021 Task 7: Large Language Models for Quantifying Humor and Offensiveness
Indian Institute of Technology Kanpur (IIT Kanpur)(印度理工学院坎普尔分校)
幽默和冒犯的使用具有很强的主观性,这是由于词义的多样性、文化知识和语用能力的影响。因此,准确检测幽默和攻击性文本在推荐系统和个性化内容审核中有几个引人注目的用例。然而,由于缺乏一个广泛的标记数据集,在这一领域的大多数先前的工作还没有探索大型神经模型的主观幽默理解。本文探讨了大型神经模型及其集成是否可以捕捉与幽默/冒犯检测和评级相关的复杂性。我们在SemEval-2021 Task 7:HaHackcraft上的实验表明,我们可以使用这些模型开发合理的幽默和攻击检测系统。我们的模型在子任务1b中排名第三,并且在其余子任务中一直排名在排行榜的前33%左右。
2021-04-02 cs.CL
SemEval-2025 Task 9: The Food Hazard Detection Challenge
Stockholm University(斯德哥尔摩大学);Athens University of Economics and Business(雅典经济与商业大学);Archimedes, Athena Research Center(阿基米德雅典娜研究中心);Agroknow(阿格罗诺公司)
该挑战研究长尾分布下的文本食品危害预测,分两个子任务,发现大语言模型合成数据可有效过采样,且三类微调系统性能相当,并发布了6,644份人工标注报告。
2025-03-25 cs.CL
ERNIE at SemEval-2020 Task 10: Learning Word Emphasis Selection by Pre-trained Language Model
Baidu Inc.(百度公司)
本文介绍了ERNIE团队设计的系统,该系统在SemEval-2020任务10:视觉媒体中书面文本的重点选择中获得了第一名。给定一个句子,我们被要求找出最重要的单词作为自动设计的建议。我们利用无监督的预训练模型,并根据我们的任务微调这些模型。经过我们的调查,我们发现以下模型在这个任务中取得了优异的性能:ERNIE 2.0,XLM-ROBERTA,ROBERTA和ALBERT。我们结合了逐点回归损失和成对排名损失,这更接近最终的M atchm度量来微调我们的模型。我们还发现,额外的特征工程和数据增强可以帮助提高性能。我们的最佳模型获得了0.823的最高分,在各种指标中排名第一
2020-09-08 cs.CL
X-PuDu at SemEval-2022 Task 6: Multilingual Learning for English and Arabic Sarcasm Detection
Baidu(百度);Shanghai Pudong Development Bank(上海浦东发展银行)
从人们的主观陈述中检测讽刺和言语讽刺对于理解他们在社会场景中的意图和真实情感和位置至关重要。本文介绍了X-PuDu系统,参加了SemEval-2022任务6,iSarcasmEval -有意讽刺检测英语和阿拉伯语,其目的是检测有意讽刺自然语言理解的各种设置。我们的解决方案在多语言设置下微调预训练的语言模型,如ERNIE-M和DeBERTa,以识别阿拉伯语和英语文本中的讽刺。我们的系统在43个任务中排名第二,在32个任务中排名第九:英语和阿拉伯语的一句话检测;在22个任务中排名第五:英语的二进制多标签分类;在16个任务中排名第一,在13个任务中排名第五:英语和阿拉伯语的双对检测。
2022-11-30 cs.CL
MSA at SemEval-2025 Task 3: High Quality Weak Labeling and LLM Ensemble Verification for Multilingual Hallucination Detection
Faculty of Computer Science, MSA University(计算机科学学院,MSA大学)
本文提出结合提示工程与LLM集成验证机制的多语言幻觉检测系统,通过主模型提取片段并辅以三模型概率投票和模糊匹配,在SemEval-2025 Task 3多语言任务中取得优异成绩。
2025-05-27 cs.CL
Lacuna Inc. at SemEval-2025 Task 4: LoRA-Enhanced Influence-Based Unlearning for LLMs
HSE University(俄罗斯高等经济大学)
本文提出 LIBU 算法,通过 LoRA 增强的基于影响的遗忘方法,在不损害模型整体效用的情况下从大语言模型中移除特定知识,实验证明其适用于多种遗忘任务。
2025-06-04 cs.AI cs.CL
AILS-NTUA at SemEval-2025 Task 3: Leveraging Large Language Models and Translation Strategies for Multilingual Hallucination Detection
School of Electrical and Computer Engineering(电气与计算机工程学院);AILS Laboratory(AILS实验室);National Technical University of Athens(雅典国家技术大学)
针对多语言幻觉检测探索不足的问题,提出无需训练的LLM提示策略,通过将多语言文本译为英文提升检测效果,在多语言上取得竞争力排名,低资源语言获两项第一,验证了该翻译策略的通用性。
2025-03-04 cs.CL
NCL-UoR at SemEval-2025 Task 3: Detecting Multilingual Hallucination and Related Observable Overgeneration Text Spans with Modified RefChecker and Modified SeflCheckGPT
School of Computing, Newcastle University(新萨勒姆大学计算机学院);Department of Computer Science, University of Reading(阅读大学计算机科学系);Previously at School of Computing, Newcastle University(新萨勒姆大学计算机学院)
针对 SemEval-2025 Mu-SHROOM 的多语言幻觉及文本片段定位任务,提出改进的 RefChecker 与 SelfCheckGPT,通过声明式事实验证、外部知识和增强提示实现有效检测。
2025-05-12 cs.AI cs.CL
OPDAI at SemEval-2024 Task 6: Small LLMs can Accelerate Hallucination Detection with Weakly Supervised Data
Interactive Entertainment Group of Netease Inc.(网易公司互动娱乐集团)
本文提出利用提示工程与少样本学习筛选优质大语言模型生成弱监督数据,并通过微调证明小型大语言模型在幻觉检测上可媲美大型模型及GPT-4提示方法。
2024-02-20 cs.CL
UPB at SemEval-2020 Task 6: Pretrained Language Models for Definition Extraction
University Politehnica of Bucharest(布加勒斯特理工大学)
这项工作介绍了我们在SemEval-2020的第六个任务的背景下的贡献:从教科书中的自由文本中提取定义(DeftEval)。该竞赛由三个具有不同粒度水平的子任务组成:(1)将句子分类为定义性或非定义性,(2)标记定义性句子,以及(3)关系分类。我们使用各种预训练的语言模型(即,BERT、XLNet、RoBERTa、Sci BERT和AL BERT)来解决竞赛的三个子任务中的每一个。具体来说,对于每个语言模型变体,我们通过冻结其权重并对其进行微调来进行实验。我们还探索了一个多任务架构,该架构经过训练,可以联合预测第二和第三个子任务的输出。我们在DeftEval数据集上评估的表现最好的模型获得了第一个子任务的第32位和第二子任务的第37位。该代码可在https://github.com/avramandrei/DeftEval上进行进一步研究。
2020-09-16 cs.AI cs.CL cs.IR
RFBES at SemEval-2024 Task 8: Investigating Syntactic and Semantic Features for Distinguishing AI-Generated and Human-Written Texts
Amirkabir University of Technology(阿米尔卡比尔理工大学);University of Ottawa(渥太华大学);Shahid Beheshti University(沙希德·贝赫什提大学)
本文研究如何区分 AI 生成文本与人类撰写文本,从语义和句法两方面探究特征,并提出一个基于 M4 数据集的 AI 模型,在多语言和单语言任务上均取得高准确率,发现语义方法更有效,句法方法仍有改进空间。
2024-02-19 cs.AI cs.CL cs.LG
Sharif-STR at SemEval-2024 Task 1: Transformer as a Regression Model for Fine-Grained Scoring of Textual Semantic Relations
Ferdowsi University of Mashhad(马什哈德费尔多西大学);Sharif University of Technology(谢里夫理工大学);Iran Broadcasting University(伊朗广播大学)
本文提出 Sharif-STR,在 SemEval-2024 任务 1 监督赛道中将微调 RoBERTa 作为回归模型进行句子级语义文本相关性评分,验证其跨语言效果并报告英、西、阿语结果。
2024-07-17 cs.AI cs.CL
Kungfupanda at SemEval-2020 Task 12: BERT-Based Multi-Task Learning for Offensive Language Detection
Center for Artificial Intelligence Research (CAiRE)(人工智能研究中心);The Hong Kong University of Science and Technology(香港科技大学)
如今,社交媒体中的攻击性内容已成为一个严重的问题,自动检测攻击性语言是一项必不可少的任务。在本文中,我们建立了一个攻击性语言检测系统,它结合了多任务学习和基于BERT的模型。使用预先训练的语言模型,如BERT,我们可以有效地学习社交媒体中嘈杂文本的表示。此外,为了提高攻击性语言检测的性能,我们利用了其他相关任务的监督信号。在OffensEval-2020竞赛中,我们的模型在英语子任务A中获得了91.51%F1的分数,与第一名(92.23%F1)相当。最后,通过实证分析,说明了本文方法的有效性.
2020-07-20 cs.CL cs.LG
keepitsimple at SemEval-2025 Task 3: LLM-Uncertainty based Approach for Multilingual Hallucination Span Detection
IIIT Hyderabad(海得拉巴印度理工学院)
针对多语言幻觉跨度检测任务,提出基于LLM不确定性的方法,利用采样响应的熵分歧识别幻觉,无需额外训练,成本低且适应性强。
2025-05-23 cs.AI cs.CL
Fane at SemEval-2025 Task 10: Zero-Shot Entity Framing with Large Language Models
University of Arizona(亚利桑那大学);Arizona State University(亚利桑那州立大学)
本文评估大语言模型在新闻实体框架角色分类中的零样本能力,发现先识别宏观角色再识别细粒度角色的分层方法优于单步分类,并强调针对子任务优化提示与输入上下文的重要性。
2025-04-29 cs.CL cs.CY
mcdok at SemEval-2026 Task 13: Finetuning LLMs for Detection of Machine-Generated Code
Faculty of Information Technology, Brno University of Technology(布拉格技术学院);Kempelen Institute of Intelligent Technologies(智能技术研究所)
本文通过微调大语言模型,针对多领域机器生成代码检测问题,提出了改进的mcdok方法,提升了对不同编程语言代码片段的检测能力,但在部分子任务上仍有提升空间。
2026-04-23 cs.AI cs.CL cs.LG
LIIR at SemEval-2021 task 6: Detection of Persuasion Techniques In Texts and Images using CLIP features
KU Leuven(鲁汶大学)
我们描述了我们的方法SemEval-2021任务6在多模态内容(模因)的说服技术的检测。我们的系统结合了预训练的多模态模型(CLIP)和链式分类器。此外,我们建议通过数据增强技术来丰富数据。我们的提交在测试集上的F1-micro和F1-macro方面达到了8/16的排名。
2021-05-31 cs.CL
Luminoso at SemEval-2018 Task 10: Distinguishing Attributes Using Text Corpora and Relational Knowledge
Luminoso Technologies, Inc.(Luminoso科技公司)
Luminoso参与了SemEval 2018的“捕获区别性属性”任务,该任务基于ConceptNet系统,ConceptNet是一个专注于一般知识的开放知识图谱。在本文中,我们描述了如何在少量语义信息特征上训练线性分类器,以在任务上获得0.7368的$F_1$分数,接近任务的最高分数0.75。
2018-12-11 cs.CL
LT3 at SemEval-2020 Task 9: Cross-lingual Embeddings for Sentiment Analysis of Hinglish Social Media Text
Ghent University(根特大学)
本文描述了我们对SemEval-2020任务9的贡献,该任务是关于代码混合社交媒体文本的情感分析。我们研究了两种解决印度式英语情感分析任务的方法。第一种方法使用跨语言嵌入,这是通过在同一空间中投射Hinglish和预先训练的英语FastText词嵌入而产生的。第二种方法结合了预先训练的英语嵌入,这些嵌入是用一组Hinglish tweets进行增量再训练的。结果表明,第二种方法的性能最好,在保留的测试数据上的F1分数为70.52%。
2020-10-21 cs.CL
SemEval-2020 Task 6: Definition extraction from free text with the DEFT corpus
Adobe Inc.(Adobe公司);Adobe Research(Adobe研究院)
关于定义提取的研究已经进行了十多年,主要是对所考虑的定义类型的重大限制。在这项工作中,我们提出了DeftEval,SemEval共享的任务,参与者必须提取自由文本的定义使用术语定义对语料库,反映了复杂的现实定义在自然语言。自由文本中的定义和注释通常没有明确的指示符,跨越句子边界,或以其他复杂的语言方式出现。DeftEval涉及3个不同的子任务:1)句子分类,2)序列标记,和3)关系抽取。
2020-08-31 cs.CL
NoPropaganda at SemEval-2020 Task 11: A Borrowed Approach to Sequence Tagging and Text Classification
ABBYY ARD NLP(ABBYY ARD 自然语言处理部门);Lomonosov Moscow State University(莫斯科国立罗蒙诺索夫大学);MIPT ABBYY Lab(莫斯科物理技术学院 ABBYY 实验室)
本文介绍了我们对SemEval-2020任务11的贡献:检测新闻文章中的宣传技巧。我们从简单的LSTM基线开始,然后转移到自回归Transformer解码器,以预测第一个子任务的长时间连续宣传跨度。我们还采用了一种方法,从关系抽取包围跨度上述与特殊的令牌的宣传技术分类的第二子任务。相应地,我们的模型报告了这些任务的F分数为44.6%,微平均F分数为58.2%。
2020-07-25 cs.CL
NUAA-QMUL at SemEval-2020 Task 8: Utilizing BERT and DenseNet for Internet Meme Emotion Analysis
本文描述了我们对SemEval 2020任务8:情感分析的贡献。我们的系统从文本和图像中学习多模态嵌入,以便根据情感对互联网模因进行分类。我们的模型使用BERT学习文本嵌入,并使用DenseNet从图像中提取特征,随后通过拼接将两个特征结合起来。我们还将我们的结果与DenseNet,ResNet,BERT和BERT-ResNet产生的结果进行了比较。我们的研究结果表明,图像分类模型有可能帮助分类模因,DenseNet优于ResNet。然而,添加文本特征并不总是有助于情感分析。
2020-11-09 cs.CL
BFCAI at SemEval-2022 Task 6: Multi-Layer Perceptron for Sarcasm Detection in Arabic Texts
Benha University(本哈大学)
本文介绍了系统提交给iSarcasm的共享任务。iSarcasm的目的是识别阿拉伯语和英语文本中的讽刺内容。我们的团队参加了阿拉伯语的iSarcasm。提出了一种基于多层机器学习的阿拉伯语讽刺语检测模型。在该模型中,一个向量空间TF-IDF已被用来作为特征表示。所提交的系统是简单的,不需要任何外部资源。测试结果显示了令人鼓舞的结果。
2022-05-18 cs.CL
MasonTigers at SemEval-2024 Task 8: Performance Analysis of Transformer-based Models on Machine-Generated Text Detection
George Mason University(乔治梅森大学)
该工作提出 MasonTigers 系统,面向 SemEval-2024 任务 8 的三个机器生成文本检测赛道,集成判别式 transformer、sentence transformer、统计学习及 FLAN-T5 提示/微调方案。
2024-04-05 cs.CL
IUST at SemEval-2020 Task 9: Sentiment Analysis for Code-Mixed Social Media Text using Deep Neural Networks and Linear Baselines
Iran University of Science and Technology(伊朗科技大学)
情感分析是自然语言处理的一个研究领域。然而,社交媒体的快速增长和其中的嘈杂内容对用成熟的方法和工具解决这个问题提出了重大挑战。其中一个挑战是代码混合,这意味着在社交媒体文本中使用不同的语言来传达思想。我们的团队名为IUST(用户名:TAHA),参加了SemEval-2020共享任务9关于代码混合社交媒体文本的情感分析,我们试图开发一个系统来预测给定代码混合推文的情感。我们使用了不同的预处理技术,并建议使用不同的方法,从NBSVM到更复杂的深度神经网络模型。我们的最佳执行方法获得了0.751的F1分数的西班牙语-英语子任务和0.706的印地语-英语子任务。
2020-07-24 cs.CL
UBC-DLNLP at SemEval-2023 Task 12: Impact of Transfer Learning on African Sentiment Analysis
The University of British Columbia(不列颠哥伦比亚大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文介绍 UBC-DLNLP 在 AfriSenti-SemEval 中面向 14 种非洲语言的情感分析系统,通过六种语言模型的进一步预训练与微调,验证迁移学习在监督和零样本设置下的效果。
2023-04-25 cs.CL
Decision Tree J48 at SemEval-2020 Task 9: Sentiment Analysis for Code-Mixed Social Media Text (Hinglish)
University of Leeds(利兹大学);School of Computing(计算机学院)
本文讨论了用于为SemEval-2020任务9中给出的问题提供解决方案的系统的设计,其中需要执行代码混合语言印地语和英语的情感分析。该系统使用Weka作为工具来提供用于推文分类的分类器,并且使用python来从所提供的文件中加载数据并对其进行清理。仅将部分训练数据提供给系统以用于对测试数据集中的推文进行分类,在该测试数据集中对系统进行了评估。系统性能使用官方竞争评估指标F1-score进行评估。在两组训练数据上训练分类器,得到F1分数为0.4972和0.5316。
2020-08-26 cs.CL
NITS-Hinglish-SentiMix at SemEval-2020 Task 9: Sentiment Analysis For Code-Mixed Social Media Text Using an Ensemble Model
National Institute of Technology Silchar(西尔恰尔国立技术学院)
情感分析是一个解读句子所表达的情感并将其分为积极、消极或中性的过程。近年来,印度活跃的社交媒体用户数量大量涌入,这导致了大量非结构化文本数据。由于印度人通常都能流利地使用印地语和英语,他们最终会生成代码混合的印度式英语社交媒体文本,即印地语的表达,用罗马字母和其他英语单词一起书写。充分理解这些文本中的概念的能力确实是必要的。我们的团队rns 2020参与了SemEval 2020的任务9,旨在设计一个系统来对代码混合的社交媒体文本进行情感分析。本文提出了一个名为NITS-Hinglish-SentiMix的系统来完成对这种代码混合的Hinglish文本的情感分析。所提出的框架在测试数据上记录了0.617的F分数。
2020-09-04 cs.CL
OPI at SemEval 2023 Task 1: Image-Text Embeddings and Multimodal Information Retrieval for Visual Word Sense Disambiguation
National Information Processing Institute(国家信息处理研究所)
本文提出一种融合 CLIP 多模态嵌入、排序学习与知识库检索的视觉词义消歧系统,在 SemEval 2023 多语言任务中获第三名,并在波斯语赛道夺冠。
2023-04-14 cs.CL
ATLANTIS at SemEval-2025 Task 3: Detecting Hallucinated Text Spans in Question Answering
Airbus AI Research(空客人工智能研究)
本文介绍 ATLANTIS 团队在 SemEval-2025 任务 3 中检测问答系统幻觉文本片段的方法,通过少样本提示、词元分类及微调模型,在西班牙语中获最高排名,凸显上下文整合与微调的重要性。
2025-08-07 cs.CL
RIGA at SemEval-2016 Task 8: Impact of Smatch Extensions and Character-Level Neural Translation on AMR Parsing Accuracy
University of Latvia, IMCS and LETA(拉脱维亚大学数学与计算机科学研究所及LETA)
AMR smatch评分脚本的两个扩展。第一个扩展将smatch评分脚本与C6.0基于规则的分类器相结合,以生成关于评分AMR图中观察到的错误模式频率的人类可读报告。第一个扩展通过向CAMR基线解析器添加一个手工制作的包装器来修复已识别的CAMR解析器错误,从而比最先进的CAMR基线解析器提高了4%。第二个扩展结合了每句smatch与en-encryption方法,用于在同一句的AMR图集合中选择最佳AMR图。第二个修改自动产生进一步0.4%的增益时,ap-plied两个非确定性AMR解析器的输出:一个CAMR+包装器解析器和一个新的字符级神经翻译AMR解析器。对于AMR解析任务,字符级神经翻译比精心优化的单词级神经翻译获得了令人惊讶的7%的增益。总体而言,我们在SemEval-2016官方评分集上实现了smatch F1=62%,在LDC 2015 E86测试集上实现了F1=67%。
2016-04-05 cs.CL
HausaNLP at SemEval-2025 Task 11: Hausa Text Emotion Detection
HausaNLP;University of the Witwatersrand(沃斯兰大学);Federal Polytechnic Daura(达乌拉联邦理工学院);Kaduna State University(卡杜纳州大学)
本文针对低资源豪萨语的多标签情感检测,微调 AfriBERTa 模型,在 SemEval 任务中取得 74.00% 准确率和 73.50% F1 分数,验证了 transformer 模型在低资源语言中的有效性。
2025-06-23 cs.CL
SemEval-2022 Task 7: Identifying Plausible Clarifications of Implicit and Underspecified Phrases in Instructional Texts
University of Stuttgart(斯图加特大学);Institute for Natural Language Processing(自然语言处理研究所)
本文介绍 SemEval-2022 任务 7,研究教学文本中隐式与欠明确短语的澄清合理性自动判断,最佳系统准确率达 68.9%,并证明其预测可用于识别多合理澄清语境。
2023-09-21 cs.CL
AMS_ADRN at SemEval-2022 Task 5: A Suitable Image-text Multimodal Joint Modeling Method for Multi-task Misogyny Identification
Tencent. Inc(腾讯公司)
女性在网络上很有影响力,特别是在Twitter和Instagram等基于图像的社交媒体上。然而,网络环境中的许多内容都含有性别歧视和攻击性信息,放大了性别刻板印象和性别不平等。因此,对性别歧视等非法内容的过滤对于维护健康的社交网络环境至关重要。在本文中,我们描述了我们的团队为SemEval-2022任务5:多媒体自动厌女症识别开发的系统。更具体地说,我们引入了两个新的系统来分析这些帖子:一个多模态多任务学习架构,将Bertweet用于文本编码与ResNet-18用于图像表示相结合,以及一个单流Transformer结构,将BERT-Embeddings的文本嵌入和EfficientNet和ResNet等几个不同模块的图像嵌入相结合。通过这种方式,我们可以正确地揭示它们背后的信息。我们的方法在当前比赛的两个子任务中的每一个上都取得了良好的性能,子任务A排名第15(0.746宏观F1分数),子任务B排名第11(0.706宏观F1分数),同时超过了官方基线结果。
2022-04-20 cs.CL
Team A at SemEval-2025 Task 11: Breaking Language Barriers in Emotion Detection with Multilingual Models
HKBK College of Engineering(HKBK工程学院);National Institute of Technology Agartala(阿加尔塔拉国家理工学院)
团队A在SemEval-2025任务11中,采用多语言嵌入结合全连接层的方法,在六类情感检测任务上取得最佳性能,验证了多语言表示的有效性。
2025-02-27 cs.CL
gundapusunil at SemEval-2020 Task 9: Syntactic Semantic LSTM Architecture for SENTIment Analysis of Code-MIXed Data
Language Technologies Research Centre(语言技术研究中心);KCIS, IIIT Hyderabad(海得拉巴国际信息技术研究所知识计算与集成系统中心)
语码混合是指多种语言的词汇和句法在同一话语中混合使用的现象。这在多语言社会中更为明显。在本文中,我们开发了一个系统SemEval 2020:任务9对代码混合社交媒体文本的情感分析。我们的系统首先为社交媒体文本生成两种类型的嵌入。其中,第一个是字符级嵌入,用于编码字符级信息并处理词汇表外的条目,第二个是FastText词嵌入,用于捕获形态和语义。这两个嵌入被传递到LSTM网络,系统的性能优于基线模型。
2020-10-09 cs.CL
IIT Gandhinagar at SemEval-2020 Task 9: Code-Mixed Sentiment Classification Using Candidate Sentence Generation and Selection
Indian Institute of Technology Gandhinagar(印度理工学院甘地讷格尔分校)
语码混用是指在同一话语中使用多种语言的现象。这是一种在各种平台上经常使用的交流模式,例如社交媒体网站、在线游戏、产品评论等。单语文本的情感分析是一项深入研究的任务。语码混合增加了分析文本情感的挑战,这是由于非标准的写作风格。我们在基于Bi-LSTM的神经分类器之上提出了一种基于候选句子生成和选择的方法,将Hinglish代码混合文本分类为三种情感类别之一:积极,消极或中性。与基于Bi-LSTM的神经分类器相比,所提出的方法显示了系统性能的改善。这些结果为理解文本数据中代码混合的各种其他细微差别提供了机会,例如幽默检测,意图分类等。
2020-07-23 cs.CL
ULD@NUIG at SemEval-2020 Task 9: Generative Morphemes with an Attention Model for Sentiment Analysis in Code-Mixed Text
Insight SFI Research Centre for Data Analytics(Insight SFI数据分析研究中心);Data Science Institute, National University of Ireland Galway(爱尔兰国立高威大学数据科学研究所)
语码混用是多语言社会中的一种常见现象,人们出于各种原因从一种语言转换到另一种语言。最近在不同社交媒体网站上的公共交流取得了进展,导致书面语言中代码混合使用的频率增加。在本文中,我们介绍了带有注意力的生成语素(GenMA)模型情感分析系统,该系统为SemEval 2020任务9 SentiMix做出了贡献。该系统的目的是预测给定的英语-印地语代码混合推文的情感,而不使用词级语言标签,而是使用形态模型自动推断。该系统基于一种新型的深度神经网络(DNN)架构,该架构在测试数据集和验证数据集上的表现优于基线F1分数。我们的结果可以在“Sentimix印地语英语”页面上的用户名“koustava”下找到
2020-07-27 cs.CL
ML_LTU at SemEval-2022 Task 4: T5 Towards Identifying Patronizing and Condescending Language
Luleå University of Technology(吕勒奥理工大学)
本文描述了LTU的机器学习小组在SemEval-2022任务4的子任务1中使用的系统:Patronizing and Condensing Language(PCL)Detection。我们的系统包括微调预训练的文本到文本传输Transformer(T5),并创新地减少其类外预测。本文的主要贡献是:1)描述了我们使用的T5模型的实现细节,2)分析了该模型在这项任务中的成功和困难,3)在正式提交之外进行了消融研究,以确定数据分割的相对重要性。我们的模型在官方测试集上的F1得分为0.5452。
2022-05-05 cs.CL
MIDAS at SemEval-2020 Task 10: Emphasis Selection using Label Distribution Learning and Contextual Embeddings
NSIT-Delhi(德里奈塔吉苏巴斯理工学院);IIIT Delhi(德里 Indraprastha 信息技术学院);IIT Dhanbad(丹巴德印度理工学院);Bloomberg LP(彭博有限合伙企业)
本文介绍了我们提交给SemEval 2020 -任务10的书面文本中的重点选择。我们把这个重点选择问题看作是一个序列标签任务,我们用各种上下文嵌入模型来表示底层文本。我们还采用标签分布学习来解释注释者的分歧。我们对模型架构的选择、层的可训练性和不同的上下文嵌入进行了实验。我们表现最好的架构是不同模型的组合,整体匹配得分为0.783,在31个参赛团队中排名第15。最后,我们分析的结果,在词性标记,句子长度和单词排序。
2020-09-06 cs.CL
FlairNLP at SemEval-2023 Task 6b: Extraction of Legal Named Entities from Legal Texts using Contextual String Embeddings
Univeristy of Colorado, Boulder(科罗拉多大学博尔德分校)
针对印度法院判决书的法律命名实体识别任务,论文比较多种序列标注架构,发现基于 Flair Embeddings 的 Bi-LSTM 效果最佳,并发布 BIO 格式数据集。
2023-06-03 cs.CL
C1 at SemEval-2020 Task 9: SentiMix: Sentiment Analysis for Code-Mixed Social Media Text using Feature Engineering
Capital One(第一资本)
在当今互联互通的多语言世界中,社交媒体上的语言代码混合是一种常见现象。虽然许多自然语言处理(NLP)任务(如情感分析)已经成熟,并且针对单语文本进行了良好的设计,但将这些任务应用于代码混合文本的技术仍然值得探索。本文描述了我们的特征工程方法,用于SemEval-2020任务9:SentiMix的代码混合社交媒体文本中的情感分析。我们利用一组手工设计的词汇,情感和元数据功能来解决这个问题,设计一个分类器,可以消除“积极”,“消极”和“中性”的情绪之间的歧义。通过这个模型,我们能够获得加权的F1得分为0.65的“印度式英语”任务和0.63的“西班牙式英语”任务
2020-08-09 cs.CL cs.LG
UAlberta at SemEval-2023 Task 1: Context Augmentation and Translation for Multilingual Visual Word Sense Disambiguation
Alberta Machine Intelligence Institute(阿尔伯塔机器智能研究所);University of Alberta(阿尔伯塔大学)
阿尔伯塔大学团队为SemEval-2023 V-WSD任务提出结合BabelNet释义与多模态编码器的新算法,通过语言模型生成描述增强短上下文以提升准确率,最终在56支队伍中排名第18。
2023-06-24 cs.CL
Mao-Zedong At SemEval-2023 Task 4: Label Represention Multi-Head Attention Model With Contrastive Learning-Enhanced Nearest Neighbor Mechanism For Multi-Label Text Classification
Qifu Technology(奇富科技);Peking University(北京大学)
本文针对 SemEval-2023 任务 4 的多标签人类价值观识别问题,提出基于 Roberta 的标签表示多头注意力模型,并结合对比学习增强的 K 近邻机制,最终在测试集上取得 F1 分数 0.533、排名第四的成绩。
2023-07-11 cs.CL
AIpom at SemEval-2024 Task 8: Detecting AI-produced Outputs in M4
HSE University(高等经济大学);CAIT;Applied AI Institute(应用人工智能研究所);University of Oslo(奥斯陆大学);Toloka AI(托洛卡人工智能公司)
AIpom 系统通过两阶段流水线结合指令微调解码器与编码器序列标注器,用于检测人机混合文本边界,在 SemEval-2024 任务 8 子任务 C 中取得第二名及 15.94 的平均绝对误差。
2024-03-28 cs.CL