UoB at SemEval-2020 Task 1: Automatic Identification of Novel Word Senses
University of Birmingham(伯明翰大学)
随着语言使用的社会环境的变化,语言也在不断发展,以适应使用者的需求。词汇语义变化分析是一个新兴的语义分析领域,其目的是跟踪词义随时间的变化。提出了一种适用于新词义识别的基于贝叶斯词义归纳的词义变化检测方法。该方法用于SemEval-2020任务1的提交,该任务表明该方法能够执行SemEval任务。同样的方法也适用于从15年的Twitter数据中收集的语料库,其结果然后用于识别可能是俚语的单词。
2020-10-18 cs.CL
PunFields at SemEval-2017 Task 7: Employing Roget's Thesaurus in Automatic Pun Recognition and Interpretation
Tyumen State University(秋明国立大学)
本文描述了一个基于Roget叙词表的英语双关语自动解释模型及其实现PunFields。在双关语中,该算法发现属于两个主要语义场的两组单词。这些字段成为一个语义向量,SVM分类器基于该语义向量学习识别双关语。一个基于规则的模型,然后应用于识别故意模糊(目标)的话,他们的定义。在SemEval任务7中,PunFields在双关语分类中表现出了相当好的效果,但在目标词及其定义的搜索方面需要改进。
2017-07-18 cs.CL
SHROOM-INDElab at SemEval-2024 Task 6: Zero- and Few-Shot LLM-Based Classification for Hallucination Detection
University of Amsterdam(阿姆斯特丹大学)
本文介绍 SHROOM-INDElab 系统,通过上下文特定提示定义与自动生成示例扩展 LLM 幻觉检测分类器,在 SemEval-2024 Task 6 两个赛道分获第四、第六名,并发现零样本优于自动少样本。
2024-04-04 cs.AI cs.CL
NAYEL at SemEval-2020 Task 12: TF/IDF-Based Approach for Automatic Offensive Language Detection in Arabic Tweets
Benha University(本哈大学)
在本文中,我们介绍了提交给“SemEval-2020任务12”的系统。该系统旨在自动识别阿拉伯语推文中的冒犯性语言。一个基于机器学习的方法已被用来设计我们的系统。采用随机梯度下降(SGD)算法实现了一个线性分类器。模型在发育集和测试集上的f1-得分分别为84.20%和81.82%。性能最好的系统和排名最后的系统在测试集上的f1分数分别为90.17%和44.51%。
2020-07-27 cs.CL cs.IR
UTMN at SemEval-2020 Task 11: A Kitchen Solution to Automatic Propaganda Detection
Tyumen State University(秋明国立大学)
本文描述了一种基于特征调整的快速解决方案,用于SemEval-2020任务11中的宣传检测。我们使用每个标记的特征向量化和一个简单的Logistic Regressionclassifier来快速测试关于我们数据的不同假设。我们提出了在我们看来最好的解决方案,然而,我们无法将其与任务组织者建议的度量结果保持一致。我们通过改变训练集中两个类(Propaganda和None)的样本数、令牌矢量化的上下文窗口的大小以及矢量化方法的组合来测试我们的系统如何处理类和特征不平衡。我们的系统在SemEval 2020任务11中的结果是F-score=0.37。
2020-08-22 cs.CL cs.LG
BUT-FIT at SemEval-2020 Task 5: Automatic detection of counterfactual statements with deep pre-trained language representation models
Brno University of Technology(布尔诺理工大学)
本文介绍了BUT-FIT在SemEval-2020任务5:语言中的因果推理建模:检测反事实。挑战的重点是检测一个给定的陈述是否包含反事实(子任务1),并从文本中提取反事实的先行和后继部分(子任务2)。我们尝试了各种最先进的语言表示模型(LRM)。我们发现Roberta LRM在这两个子任务中表现最好。我们在子任务2的精确匹配和F1中都获得了第一名,在子任务1中排名第二。
2020-07-28 cs.CL cs.LG stat.ML
SATLab at SemEval-2022 Task 4: Trying to Detect Patronizing and Condescending Language with only Character and Word N-grams
Statistical Analysis of Text Laboratory (SATLab)(文本统计分析实验室(SATLab));Université catholique de Louvain(鲁汶天主教大学)
提出了一个逻辑回归模型,只喂养字符和单词n元语法SemEval-2022任务4上的Patronizing和居高临下的语言检测(PCL)。它获得了一个平均水平的性能,远高于一个系统的性能,试图猜测没有使用任何知识的任务,但远低于最好的团队。由于所提出的模型非常类似于在需要自动识别仇恨言论和攻击性内容的任务上表现良好的模型,因此本文证实了PCL检测的难度。
2022-03-10 cs.CL
UPB at SemEval-2022 Task 5: Enhancing UNITER with Image Sentiment and Graph Convolutional Networks for Multimedia Automatic Misogyny Identification
University Politehnica of Bucharest(布加勒斯特理工大学)
近年来,由于社交媒体的指数增长和此类信息的传播及其影响,在线媒体中仇恨言论,攻击性或辱骂性语言的检测已成为NLP研究的重要主题。厌女症检测虽然在仇恨言语检测中起着重要的作用,但却没有得到同样的重视。在本文中,我们描述了我们的分类系统提交给SemEval-2022任务5:MAMI -多媒体自动厌女症识别。共同的任务旨在通过分析模因图像及其文本标题来识别多模态设置中的厌女症内容。为此,我们提出了两个模型的基础上预先训练的UNITER模型,一个增强了图像情感分类器,而第二个利用词汇图卷积网络(VGCN)。此外,我们探索使用上述模型的合奏。我们最好的模型在子任务A中达到了71.4%的F1分数,在子任务B中达到了67.3%,使我们的团队处于排行榜的前三分之一。我们在GitHub上发布了我们模型的代码和实验
2022-05-29 cs.AI cs.CL
UPB at SemEval-2021 Task 5: Virtual Adversarial Training for Toxic Spans Detection
University Politehnica of Bucharest(布加勒斯特理工大学)
网络领域的两极分化和毒性对现实世界的影响标志着2020年底和今年年初的负面影响。Semeval-2021,任务5 -毒性跨度检测基于Jigsaw非预期偏倚数据集子集的新注释,是第一个专门用于识别毒性级别跨度的语言毒性检测任务。在这项任务中,参与者必须自动检测短评论中的字符跨度,使消息成为有毒的。我们的模型考虑在几个基于transformer的模型(即,BERT和RoBERTa)与条件随机场的组合。我们的方法导致性能改进和更强大的模型,使我们能够在正式提交中获得65.73%的F1分数,并在评估后进一步调整后获得66.13%的F1分数。
2021-04-17 cs.CL
SemEval-2022 Task 7: Identifying Plausible Clarifications of Implicit and Underspecified Phrases in Instructional Texts
University of Stuttgart(斯图加特大学);Institute for Natural Language Processing(自然语言处理研究所)
本文介绍 SemEval-2022 任务 7,研究教学文本中隐式与欠明确短语的澄清合理性自动判断,最佳系统准确率达 68.9%,并证明其预测可用于识别多合理澄清语境。
2023-09-21 cs.CL
ULD@NUIG at SemEval-2020 Task 9: Generative Morphemes with an Attention Model for Sentiment Analysis in Code-Mixed Text
Insight SFI Research Centre for Data Analytics(Insight SFI数据分析研究中心);Data Science Institute, National University of Ireland Galway(爱尔兰国立高威大学数据科学研究所)
语码混用是多语言社会中的一种常见现象,人们出于各种原因从一种语言转换到另一种语言。最近在不同社交媒体网站上的公共交流取得了进展,导致书面语言中代码混合使用的频率增加。在本文中,我们介绍了带有注意力的生成语素(GenMA)模型情感分析系统,该系统为SemEval 2020任务9 SentiMix做出了贡献。该系统的目的是预测给定的英语-印地语代码混合推文的情感,而不使用词级语言标签,而是使用形态模型自动推断。该系统基于一种新型的深度神经网络(DNN)架构,该架构在测试数据集和验证数据集上的表现优于基线F1分数。我们的结果可以在“Sentimix印地语英语”页面上的用户名“koustava”下找到
2020-07-27 cs.CL
AMS_ADRN at SemEval-2022 Task 5: A Suitable Image-text Multimodal Joint Modeling Method for Multi-task Misogyny Identification
Tencent. Inc(腾讯公司)
女性在网络上很有影响力,特别是在Twitter和Instagram等基于图像的社交媒体上。然而,网络环境中的许多内容都含有性别歧视和攻击性信息,放大了性别刻板印象和性别不平等。因此,对性别歧视等非法内容的过滤对于维护健康的社交网络环境至关重要。在本文中,我们描述了我们的团队为SemEval-2022任务5:多媒体自动厌女症识别开发的系统。更具体地说,我们引入了两个新的系统来分析这些帖子:一个多模态多任务学习架构,将Bertweet用于文本编码与ResNet-18用于图像表示相结合,以及一个单流Transformer结构,将BERT-Embeddings的文本嵌入和EfficientNet和ResNet等几个不同模块的图像嵌入相结合。通过这种方式,我们可以正确地揭示它们背后的信息。我们的方法在当前比赛的两个子任务中的每一个上都取得了良好的性能,子任务A排名第15(0.746宏观F1分数),子任务B排名第11(0.706宏观F1分数),同时超过了官方基线结果。
2022-04-20 cs.CL
Team ACK at SemEval-2025 Task 2: Beyond Word-for-Word Machine Translation for English-Korean Pairs
Adobe Inc.(Adobe公司);CU Boulder(科罗拉多大学博尔德分校);KAIST(韩国科学技术院);New York University(纽约大学);UBC(不列颠哥伦比亚大学)
本研究评估13个英韩翻译模型,发现LLMs优于传统MT系统但在文化适应的实体翻译上仍有困难,通过构建错误分类法揭示了自动评估指标的不足。
2025-04-29 cs.CL cs.IR
Zero-shot narrative detection in social messaging
Universidad Nacional de Educación a Distancia(西班牙国家远程教育大学);Zurich University of Applied Sciences(苏黎世应用科学大学)
本研究验证了大型语言模型在零样本条件下,结合人类撰写的描述和多数投票集成,能有效检测社交消息中的隐藏叙事,性能可媲美监督系统。
2026-09-17 cs.CL
UCSC at SemEval-2025 Task 3: Context, Models and Prompt Optimization for Automated Hallucination Detection in LLM Output
University of California, Santa Cruz(加州大学圣克ruz分校)
本文提出 UCSC 系统,通过上下文检索、虚假内容识别、片段映射和自动提示优化,在 SemEval-2025 Mu-SHROOM 多语言幻觉检测任务中取得所有语言平均排名第 1 的最佳性能。
2025-05-05 cs.CL
Mao-Zedong At SemEval-2023 Task 4: Label Represention Multi-Head Attention Model With Contrastive Learning-Enhanced Nearest Neighbor Mechanism For Multi-Label Text Classification
Qifu Technology(奇富科技);Peking University(北京大学)
本文针对 SemEval-2023 任务 4 的多标签人类价值观识别问题,提出基于 Roberta 的标签表示多头注意力模型,并结合对比学习增强的 K 近邻机制,最终在测试集上取得 F1 分数 0.533、排名第四的成绩。
2023-07-11 cs.CL
SemEval 2023 Task 6: LegalEval - Understanding Legal Texts
Indian Institute of Technology Kanpur (IIT-K)(印度理工学院坎普尔分校);Thoughtworks(思特沃克);Agami;EkStep;NUJS, West Bengal(西孟加拉邦国立大学法学研究学院)
SemEval 2023组织了LegalEval法律文本理解共享任务,设三个子任务,26支全球团队参赛,系统均超基线但仍有提升空间,本文介绍任务并分析参赛技术。
2023-05-01 cs.AI cs.CL cs.LG
MALTO at SemEval-2024 Task 6: Leveraging Synthetic Data for LLM Hallucination Detection
Politecnico di Torino(托尼诺理工学院)
MALTO通过合成数据增强和投票集成方法,提升LLM幻觉检测的准确性与鲁棒性。
2024-03-01 cs.CL cs.LG
Human Variability vs. Machine Consistency: A Linguistic Analysis of Texts Generated by Humans and Large Language Models
University of Konstanz(康斯坦茨大学)
本文基于M4数据集和250个语言特征,结合LFTK、句法深度、语义与情感度量及PCA分析,识别人类与LLM文本在特征变异性、认知负荷和内容丰富度上的差异。
2024-12-04 cs.CL
SemEval-2020 Task 10: Emphasis Selection for Written Text in Visual Media
University of Houston(休斯顿大学);Adobe Research(Adobe 研究院)
在本文中,我们提出了主要的研究结果,并比较SemEval-2020任务10的结果,重点选择书面文字在视觉媒体。这个共享的任务的目标是设计自动方法强调选择,即选择候选人强调文本内容,使自动设计辅助创作。主要关注社交媒体的短文本实例,包括各种示例,从社交媒体帖子到鼓舞人心的引用。参与者被要求使用纯文本来模拟强调,没有来自用户或其他设计考虑的额外上下文。SemEval-2020重点选择共享任务在早期阶段吸引了197名参与者,共有31个团队提交了该任务。排名最高的提交达到0.823 Matchm分数。对提交给任务的系统的分析表明,BERT和RoBERTa是使用的预训练模型的最常见选择,并且词性标记(POS)是最有用的特征。完整的结果可以在任务的网站上找到。
2020-08-07 cs.CL cs.LG
Induce, Align, Predict: Zero-Shot Stance Detection via Cognitive Inductive Reasoning
Shenzhen Technology University(深圳技术大学);University of Science and Technology of China(中国科学技术大学)
本文提出CIRF框架,通过认知归纳推理实现零样本立场检测,实现高效且可解释的推理,在低资源环境下取得新突破。
2026-01-26 cs.CL
MoPrO-SD: Modular Prompt Optimization for Stance Detection
Kansas State University(堪萨斯州立大学);University of Illinois Chicago(芝加哥伊利诺伊大学)
本研究提出面向立场检测的模块化提示优化框架MoPrO-SD,引入新基准VaccineStance,通过三类优化策略在多数据集与多LLM上验证其性能优于人工提示,相关资源已开源。
2026-10-12 cs.CL
SemEval 2024 -- Task 10: Emotion Discovery and Reasoning its Flip in Conversation (EDiReF)
IIIT Delhi(德里印度信息技术学院);NTU(南洋理工大学);IIT Delhi(德里印度理工学院)
该研究提出 SemEval-2024 任务10(EDiReF),围绕英语及印地语-英语混合对话设置情绪识别与情绪翻转推理三个子任务,并基于人工标注数据评估24支团队的系统表现。
2024-02-29 cs.AI cs.CL
Adam-Smith at SemEval-2023 Task 4: Discovering Human Values in Arguments with Ensembles of Transformer-based Models
TU Munich(慕尼黑工业大学)
本文提出Adam Smith方法,通过集成Transformer模型并优化全局决策阈值,在SemEval-2023任务4中识别论证中的人类价值观,取得最佳性能,并证明系统可大幅精简。
2023-05-15 cs.AI cs.CL
WLV-RIT at SemEval-2021 Task 5: A Neural Transformer Framework for Detecting Toxic Spans
University of Wolverhampton(伍尔弗汉普顿大学);Rochester Institute of Technology(罗切斯特理工学院)
近年来,社交媒体的广泛使用导致在线平台上有毒和攻击性内容的产生增加。作为回应,社交媒体平台一直致力于开发自动检测方法,并雇用人类版主来应对这种攻击性内容的泛滥。虽然各种最先进的统计模型已被应用于检测有毒帖子,但只有少数研究专注于检测使帖子具有攻击性的词语或表达。这激发了SemEval-2021任务5:有毒跨度检测竞赛的组织,该竞赛为参与者提供了一个包含英文帖子中有毒跨度注释的数据集。在本文中,我们介绍了SemEval-2021任务5的WLV-RIT条目。我们表现最好的神经Transformer模型达到了$0.68$ F1分数。此外,我们开发了一个开源框架,用于多语言检测攻击性跨度,即,MUDES,基于神经Transformers,检测文本中的有毒跨度。
2021-05-27 cs.AI cs.CL cs.LG
Enhancing Pre-Trained Language Models with Sentence Position Embeddings for Rhetorical Roles Recognition in Legal Opinions
Nantes Université(南特大学);École Centrale Nantes(南特中央理工学院);CNRS(法国国家科学研究中心);LS2N(南特数字科学实验室);Peoples' Friendship University of Russia (RUDN University)(俄罗斯人民友谊大学(RUDN大学));Joint Institute for Nuclear Research(联合核研究所);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);University of Skövde(舍夫德大学)
本研究针对法律意见书修辞角色识别难题,提出融合句子位置信息的预训练语言模型架构,在LegalEval@SemEval2023语料上以更低参数和计算成本实现了优异性能,验证了位置信息与注意力机制的提升作用。
2023-10-08 cs.CL
IITK at SemEval-2024 Task 1: Contrastive Learning and Autoencoders for Semantic Textual Relatedness in Multilingual Texts
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校)
针对 SemEval-2024 多语言语义文本相关性任务,本文提出基于 BERT 的对比学习与相似度方法处理监督赛道,并探索自动编码器及负采样构建二元语料库以改进词嵌入。
2024-04-06 cs.AI cs.CL cs.LG
Prompt-Based Clarity Evaluation and Topic Detection in Political Question Answering
Research Spark Hub Inc.;Emerald High School
本文研究了基于提示的清晰度评估与政治问答主题检测,发现思维链提示显著提升清晰度和主题识别准确性,但细粒度逃避检测仍具挑战性。
2026-01-13 cs.AI cs.CL
TIB-VA at SemEval-2022 Task 5: A Multimodal Architecture for the Detection and Classification of Misogynous Memes
TIB – Leibniz Information Centre for Science and Technology(TIB——莱布尼茨科学技术信息中心);Leibniz University Hannover(汉诺威莱布尼茨大学);L3S Research Center(L3S研究中心)
检测社交媒体上的攻击性、仇恨性内容是一个具有挑战性的问题,每天都会影响许多在线用户。仇恨内容通常用于针对基于种族,性别,宗教和其他因素的人群。对女性的仇恨或蔑视在社交平台上越来越多。当文本和视觉模态被组合以形成单个上下文时,例如,嵌入在图像顶部的覆盖文本,也称为模因。在本文中,我们提出了一个多模态架构,结合文本和视觉特征,以检测厌恶女性的模因内容。在SemEval-2022任务5:MAMI -多媒体自动厌女症识别挑战中,以TIB-VA团队的名义对所提出的架构进行了评估。我们的解决方案在任务B中获得了最好的结果,其中的挑战是对给定的文档是否是厌恶女性的进行分类,并进一步确定羞辱,刻板印象,客观化和暴力的主要子类。
2022-04-13 cs.AI cs.CL cs.CV
A Dataset for Analysing News Framing in Chinese Media
本文构建首个 Chinese News Framing 数据集,并通过 XLM-RoBERTa-Base 微调和 GPT-4o 零样本实验建立中文新闻框架检测基准。
2025-03-06 cs.CL
How Document Pre-processing affects Keyphrase Extraction Performance
CNRS(法国国家科学研究中心);Université de Nantes(南特大学)
SemEval-2010基准数据集重新引起了人们对自动关键词提取任务的关注。该数据集由从PDF格式自动转换为纯文本的科学文章组成,因此需要仔细的预处理,以便文本的无关跨度不会对关键词提取性能产生负面影响。在以前的工作中,广泛的文档预处理技术进行了描述,但它们对关键词提取模型的整体性能的影响仍然是未开发的。在这里,我们重新评估几个关键词提取模型的性能,并衡量其对日益复杂的文档预处理水平的鲁棒性。
2016-10-25 cs.CL
CL-UZH at SemEval-2023 Task 10: Sexism Detection through Incremental Fine-Tuning and Multi-Task Learning with Label Descriptions
University of Zurich(苏黎世大学)
针对 EDOS 2023 在线性别歧视检测,本文提出先在相关任务上增量微调、再利用标签描述进行多任务成对分类的模型,并在三个子任务上显著优于 DeBERTa-V3 基线。
2023-06-06 cs.CL cs.CY
SemEval-2021 Task 11: NLPContributionGraph -- Structuring Scholarly NLP Contributions for a Research Knowledge Graph
TIB Leibniz Information Centre for Science and Technology(TIB莱布尼茨科学与技术信息中心);University of Minnesota(明尼苏达大学)
目前,学术出版物的自然语言表达与其结构化语义内容建模之间存在差距,以实现智能内容搜索。随着研究的数量每年呈指数级增长,在语义结构化内容上运行的搜索功能是引人注目的。SemEval-2021共享任务NLP贡献图(也称为“NCG任务”)要求参与者开发自动化系统,结构化英语NLP学术文章的贡献。作为SemEval系列中的第一个,该任务在三个信息粒度级别上发布了NLP学术文章的结构化数据,即在句子级别,短语级别和短语组织为三元组,以构建知识图谱(KG)。论文级的注释,只有几句关于文章贡献的话。短语级注释是来自投稿句的科学术语和谓语短语。最后,三重性构成了KG的研究综述。对于共享任务,参与系统将自动分类贡献句子,从句子中提取科学术语和关系,并将它们组织为KG三元组。总体而言,这项任务吸引了7个团队和27名参与者的强烈参与。最好的端到端任务系统分类贡献句在57.27%F1,短语在46.41%F1,和三元组在22.28%F1。虽然生成三元组的绝对性能仍然很低,但在本文的结论中,强调了生成此类数据的难度以及建模的结果。
2021-10-15 cs.AI cs.CL cs.DL
FRAKE: Fusional Real-time Automatic Keyword Extraction
Computerized Intelligence Systems Laboratory, Department of Computer Engineering, University of Tabriz(计算机工程系计算机智能系统实验室,大不里士大学);Department of Computer Engineering, University of Tabriz(计算机工程系,大不里士大学)
关键词提取是尽最大努力识别表达文本主要概念的单词或短语的过程。电子基础设施每天都在创造大量的文本。由于文件数量庞大,人力资源几乎不可能对其进行研究和管理。尽管如此,在许多方面显然需要高效率和有效地查阅这些文件。博客,新闻文章或技术说明被认为是相对较长的文本,因为读者的目的是根据关键字或主题来学习主题。我们的方法包括两个模型的组合:图中心特征和纹理特征。该方法利用度、介数、特征向量、贴近度中心度等图中心度和大小写、词位、词频归一化、词异句、词性标注等文本中心度的最佳组合,从候选关键词中提取最佳关键词。也有人尝试将关键词与候选短语区分开来,并将它们考虑在单独的关键词上。为了评估所提出的方法,使用了七个数据集:Semeval 2010、SemEval 2017、Inspec、fao 30、Thesis 100、pak 2018和Wikinews,结果报告为精度、召回率和F-测量。与文献中的方法相比,我们提出的方法在所有审查数据集的评估指标方面表现得更好。F-score指标增加了约16.9%,而英语数据集的Inspec和放弃语言的WikiNews的增幅更大。
2021-10-01 cs.AI cs.CL
Stance Detection with Bidirectional Conditional Encoding
University College London(伦敦大学学院);University of Sheffield(谢菲尔德大学)
立场检测是将文本中表达的对目标(如希拉里·克林顿)的态度分类为“积极”、“消极”或“中立”的任务。以前的工作假设目标在文本中被提及,或者每个目标的训练数据被给出。本文认为这一任务更具挑战性的版本,目标并不总是提到,没有训练数据可用于测试目标。我们实验了条件LSTM编码,它构建了一个依赖于目标的tweet表示,并证明了它优于单独编码tweet和目标。当用双向编码增强条件模型时,性能进一步提高。我们在SemEval 2016 Task 6 Twitter Stance Detection语料库上评估了我们的方法,其性能仅次于在测试目标的半自动标记推文上训练的系统。当这种弱监督被添加时,我们的方法实现了最先进的结果。
2016-09-26 cs.CL cs.LG cs.NE