UoB at SemEval-2021 Task 5: Extending Pre-Trained Language Models to Include Task and Domain-Specific Information for Toxic Span Prediction
School of Computer Science（计算机学院）；University of Birmingham（伯明翰大学）；United Kingdom（英国（注：根据机构粒度要求，国家不属于机构，此处仅为示例说明原文中作者所属机构包含的部分））
毒性在社交媒体中普遍存在，对在线社区的健康构成重大威胁。最近引入的预训练语言模型在许多NLP任务中取得了最先进的成果，改变了我们处理自然语言处理的方式。然而，预培训的固有性质意味着他们不太可能捕获特定于任务的统计信息或学习特定于领域的知识。此外，这些模型的大多数实现通常不采用条件随机场，这是一种用于同时标记分类的方法。我们表明，这些修改可以提高SemEval-2021中有毒跨度检测任务的模型性能，以达到最佳表现团队的4个百分点内的得分。
2021-10-07 cs.CL
Enhancing Answer Selection in Community Question Answering with Pre-trained and Large Language Models
PricewaterhouseCoopers（普华永道）
本文提出基于预训练BERT的问答交叉注意力网络QAN，并利用大语言模型生成外部知识进行知识增强，在SemEval2015和SemEval2017上提升了答案选择的准确率。
2023-11-29 cs.CL
DFKI-MLT at SemEval-2026 TASK 7: Steering Multilingual Models Towards Cultural Knowledge
German Research Center for Artificial Intelligence (DFKI GmbH)（德国人工智能研究中心（DFKI GmbH））；Saarland Informatics Campus（萨尔布吕肯信息学校区）；Barcelona Supercomputing Center (BSC-CNS)（巴塞罗那超级计算中心（BSC-CNS））
本研究提出使用从并行 FLORES 数据中提取的语言向量进行激活引导，在推理时调整多语言模型以提升文化知识，并在 SemEval-2026 任务 7 的 MCQ 赛道上取得 86.96% 准确率，排名第 7。
2026-05-21 cs.CL
AILS-NTUA at SemEval-2025 Task 4: Parameter-Efficient Unlearning for Large Language Models using Data Chunking
National Technical University of Athens（希腊国家技术大学）
针对大语言模型敏感内容遗忘需求，提出结合LoRA、层级微调与数据分块的参数高效遗忘方法，在SemEval-2025任务4中取得榜首，实现优异的遗忘-保留平衡。
2025-03-04 cs.CL
Archimedes-AUEB at SemEval-2024 Task 5: LLM explains Civil Procedure
Athens University of Economics and Business（雅典经济与商业大学）；Athena Research Center（雅典娜研究中心）
针对SemEval民事诉讼论证推理任务中现有法律大模型推理依据存疑的问题，提出以ChatGPT为教师模型，基于真实人类分析生成解释与合成变异数据，微调小型学生模型，性能超教师模型且获法律专家验证，还公开了相关数据与提示词。
2024-05-14 cs.CL
UniParma at SemEval-2021 Task 5: Toxic Spans Detection Using CharacterBERT and Bag-of-Words Model
University of Parma（帕尔马大学）
随着数字信息的不断增加，有毒内容也在增加。因此，检测这种类型的语言至关重要。我们利用最先进的预训练语言模型（bitterBERT）和传统的词袋技术的组合来解决这个问题。由于内容中充满了有毒的单词，这些单词并没有按照字典拼写，因此对单个字符的关注至关重要。因此，我们使用了基于词字符的特征提取方法。它由一个从上下文中学习字符嵌入的CNN模块组成。然后，这些被馈送到众所周知的BERT架构中。另一方面，词袋法通过确保一些经常使用的有毒词得到相应的标签来进一步改进。我们的系统与一线队相差4%，在比赛中排名第36位。该代码可用于进一步的研究和复制的结果。
2021-04-09 cs.CL
MasonTigers at SemEval-2024 Task 9: Solving Puzzles with an Ensemble of Chain-of-Thoughts
George Mason University（乔治梅森大学）
该研究面向 SemEval-2024 任务 9 的谜题理解，使用专有与开源 LLM 比较零样本、少样本及迭代思维链提示，并通过思维链提示集成在两个子任务中分获第 2 和第 13 名。
2024-04-03 cs.CL
TUM-MiKaNi at SemEval-2025 Task 3: Towards Multilingual and Knowledge-Aware Non-factual Hallucination Identification
本文针对 LLM 幻觉研究多集中于英语的问题，提出结合 Wikipedia 检索式事实核查与微调 BERT 的两部分流水线，在 SemEval-2025 Mu-SHROOM 多语言任务中于八种语言进入前十，并支持超出任务范围的更多语言。
2025-07-01 cs.AI cs.CL
FLANS at SemEval-2026 Task 7: RAG with Open-Sourced Smaller LLMs for Everyday Knowledge Across Diverse Languages and Cultures
Insilico Medicine AI Limited（英矽智能人工智能有限公司）；University of Groningen（格罗宁根大学）；Leiden University（莱顿大学）；Leiden University Medical Center（莱顿大学医学中心）
FLANS在SemEval-2026任务7中使用开源小型LLM和文化意识知识库进行跨语言日常知识检索增强生成。
2026-03-02 cs.AI cs.CL
XRJL-HKUST at SemEval-2021 Task 4: WordNet-Enhanced Dual Multi-head Co-Attention for Reading Comprehension of Abstract Meaning
The Hong Kong University of Science and Technology（香港科技大学）
本文介绍了我们提交的系统SemEval 2021任务4：抽象意义的阅读理解。我们的系统使用一个大型的预训练语言模型作为编码器和一个额外的双多头共同注意层，以加强段落和问答对之间的关系，遵循当前最先进的模型DUMA。主要区别在于，我们将问题注意力模块和问题注意力模块叠加在一起，而不是计算注意力模块来模拟再思考过程。我们还增加了一个层归一化模块，以提高我们的模型的性能。此外，为了整合我们已知的抽象概念知识，我们从WordNet中检索候选答案的定义，并将它们作为额外的输入提供给模型。我们的系统，称为WordNet增强的双多头协同注意（WN-DUMA），子任务1和子任务2的官方盲测试集上分别达到86.67%和89.99%的准确率。
2021-03-30 cs.CL cs.LG
Lacuna Inc. at SemEval-2025 Task 4: LoRA-Enhanced Influence-Based Unlearning for LLMs
HSE University（俄罗斯高等经济大学）
本文提出 LIBU 算法，通过 LoRA 增强的基于影响的遗忘方法，在不损害模型整体效用的情况下从大语言模型中移除特定知识，实验证明其适用于多种遗忘任务。
2025-06-04 cs.AI cs.CL
SHA256 at SemEval-2025 Task 4: Selective Amnesia -- Constrained Unlearning for Large Language Models via Knowledge Isolation
Texas A&M University（德克萨斯农工大学）
针对大语言模型选择性遗忘特定数据关联的问题，提出结合因果中介分析与分层优化的两阶段方法，通过实验确定关键层并应用联合损失函数，在SemEval-2025任务4中获10亿模型赛道第2名且保持88%基线准确率。
2025-04-17 cs.AI cs.CL
NCL-UoR at SemEval-2025 Task 3: Detecting Multilingual Hallucination and Related Observable Overgeneration Text Spans with Modified RefChecker and Modified SeflCheckGPT
School of Computing, Newcastle University（新萨勒姆大学计算机学院）；Department of Computer Science, University of Reading（阅读大学计算机科学系）；Previously at School of Computing, Newcastle University（新萨勒姆大学计算机学院）
针对 SemEval-2025 Mu-SHROOM 的多语言幻觉及文本片段定位任务，提出改进的 RefChecker 与 SelfCheckGPT，通过声明式事实验证、外部知识和增强提示实现有效检测。
2025-05-12 cs.AI cs.CL
Cyber for AI at SemEval-2025 Task 4: Forgotten but Not Lost: The Balancing Act of Selective Unlearning in Large Language Models
TCS Research（塔塔咨询服务研究中心）
本文针对大语言模型选择性遗忘问题，提出基于全局权重修改的方法以平衡遗忘效果、知识保留与模型实用性，并在SemEval 2025任务4中取得有前景的测试结果。
2025-03-02 cs.AI cs.CL
MasonNLP+ at SemEval-2023 Task 8: Extracting Medical Questions, Experiences and Claims from Social Media using Knowledge-Augmented Pre-trained Language Models
George Mason University（乔治梅森大学）；CGI Inc.（CGI集团）
本研究针对SemEval-2023任务8的社交媒体医疗信息提取需求，提出知识增强的预训练语言模型提取系统，在两个子任务中均获第三名，还探索了领域专用模型与外部知识的应用效果。
2023-04-26 cs.CL cs.LG
Zero-Shot Commonsense Validation and Reasoning with Large Language Models: An Evaluation on SemEval-2020 Task 4 Dataset
College of Information Technology（信息技术学院）；Lusail University（卢赛尔大学）；Qatar University（卡塔尔大学）
本研究在SemEval-2020 Task 4数据集上零样本评估多款大语言模型的常识验证与解释能力，发现大模型常识验证接近人类水平，但常识解释能力仍有不足，暴露了因果与推断推理的局限。
2025-02-19 cs.AI cs.CL
JARVix at SemEval-2022 Task 2: It Takes One to Know One? Idiomaticity Detection using Zero and One-Shot Learning
Georgia Institute of Technology（佐治亚理工学院）
大语言模型通过捕获文本表示的组合性，在各种各样的自然语言处理任务中取得了成功。尽管它们取得了巨大的成功，但这些向量表示未能捕捉到惯用多词表达（MWE）的含义。在本文中，我们专注于使用二进制分类的成语检测。我们使用的数据集组成的字面和习惯用法的MWE在英语和葡萄牙语。之后，我们在两种不同的设置下进行分类：zero shot和one shot，以确定给定的句子是否包含成语。该任务的N个镜头分类由训练集和测试集之间的N个常见习惯用法定义。在本文中，我们在这两种设置中训练多个大语言模型，并在zero shot设置中实现了0.73的F1得分（宏），在one shot设置中实现了0.85的F1得分（宏）。我们工作的实现可以在https://github.com/ashwinpathak20/Idiomaticity_Detection_Using_Few_Shot_Learning上找到。
2022-06-23 cs.AI cs.CL cs.LG
HU at SemEval-2024 Task 8A: Can Contrastive Learning Learn Embeddings to Detect Machine-Generated Text?
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；University of Houston（休斯顿大学）
本文提出基于对比学习和数据增强的单一模型，仅用基线约40%的参数，在SemEval-2024任务8A机器生成文本检测中取得与多模型集成相当的性能。
2024-03-27 cs.AI cs.CL cs.LG
REFIND at SemEval-2025 Task 3: Retrieval-Augmented Factuality Hallucination Detection in Large Language Models
Pohang University of Science and Technology (POSTECH)（浦项科技大学）
REFIND 提出利用检索文档和上下文敏感度比率 CSR 来检测大语言模型输出中的幻觉片段，在九种语言上显著优于基线模型。
2025-04-08 cs.AI cs.CL
ZJUKLAB at SemEval-2025 Task 4: Unlearning via Model Merging
Zhejiang University（浙江大学）；National University of Singapore（新加坡国立大学）
本文提出基于TIES-Merging模型合并的遗忘系统，在SemEval-2025任务4中排名第二，并分析遗忘过程与评估指标不足，强调需更全面的评估方法。
2025-04-20 cs.AI cs.CL cs.CV
Sharif-STR at SemEval-2024 Task 1: Transformer as a Regression Model for Fine-Grained Scoring of Textual Semantic Relations
Ferdowsi University of Mashhad（马什哈德费尔多西大学）；Sharif University of Technology（谢里夫理工大学）；Iran Broadcasting University（伊朗广播大学）
本文提出 Sharif-STR，在 SemEval-2024 任务 1 监督赛道中将微调 RoBERTa 作为回归模型进行句子级语义文本相关性评分，验证其跨语言效果并报告英、西、阿语结果。
2024-07-17 cs.AI cs.CL
KaLM at SemEval-2020 Task 4: Knowledge-aware Language Models for Comprehension And Generation
Sun Yat-Sen University（中山大学）
本文介绍了我们在SemEval 2020任务4中的策略：常识验证和解释。我们提出了一种新的方法来搜索证据，并选择不同的大规模预训练模型作为三个子任务的骨干。结果表明，我们的证据搜索方法提高了模型在常识解释任务上的表现。我们的团队在子任务C中根据人类评估得分排名第二。
2020-07-24 cs.CL
ConceptNet at SemEval-2017 Task 2: Extending Word Embeddings with Multilingual Relational Knowledge
Luminoso Technologies, Inc.（卢米诺索技术公司）
本文介绍了Luminoso参与SemEval 2017任务2“多语言和跨语言语义词相似度”的情况，该系统基于ConceptNet。ConceptNet是一个开放的、多语言的知识图谱，它侧重于与单词和短语的含义相关的一般知识。我们提交给SemEval的是对以前工作的更新，该工作从ConceptNet和分布式语义的组合中构建高质量的多语言词嵌入。我们的系统在这两个子任务中都取得了第一名。它在5种独立语言中的4种中排名第一，并且在所有10种跨语言语言对中排名第一。
2018-12-11 cs.CL
Yuanfudao at SemEval-2018 Task 11: Three-way Attention and Relational Knowledge for Commonsense Machine Comprehension
Yuanfudao Research（猿辅导研究部）
本文描述了我们的系统SemEval-2018任务11：使用常识知识的机器理解。我们使用三向注意网络（TriAN）来模拟文章、问题和答案之间的交互。为了结合常识知识，我们用来自一般知识ConceptNet的图的关系嵌入来增强输入（Speer等人，2017年）的报告。因此，我们的系统达到了最先进的性能与官方测试数据的准确率为83.95%。代码可在https://github.com/intfloat/commonsense-rc上公开获取
2018-05-15 cs.CL
Distilling Knowledge from Pre-trained Language Models via Text Smoothing
Baidu Inc.（百度公司）
本文研究压缩预训练的语言模型，如BERT（Devlin et al.，2019），通过师生知识蒸馏。以前的工作通常迫使学生模型严格模仿教师BERT预测的平滑标签。作为替代方案，我们提出了一种新的BERT蒸馏方法，即，要求教师生成平滑的词ID而不是标签，用于在知识蒸馏中教授学生模型。我们称这种方法为文本平滑。实际上，我们使用BERT中的掩蔽语言模型（MLM）的softmax预测来生成给定文本的单词分布，并使用预测的软单词id来平滑这些输入文本。我们假设平滑后的标签和文本都可以隐式地扩充输入语料库，而文本平滑由于可以在一个神经网络前向步骤中生成更多的实例，因此直观上更有效，在GLUE和SQuAD上的实验结果表明，与现有的BERT提取方法相比，我们的解决方案可以获得有竞争力的结果。
2020-05-08 cs.CL cs.SD eess.AS
Reed at SemEval-2020 Task 9: Fine-Tuning and Bag-of-Words Approaches to Code-Mixed Sentiment Analysis
Reed College（里德学院）
我们探索的任务情感分析的印度式英语（代码混合印度语-英语）推文的SemEval-2020比赛的任务9的参与者，被称为SentiMix任务。我们有两个主要的方法：1）通过微调预训练的BERT模型来应用迁移学习，以及2）在词袋表示上训练前馈神经网络。在比赛的评估阶段，我们使用最佳模型获得了71.3%的F分数，这使得$4^{th}$在官方系统排名中脱颖而出。
2020-08-04 cs.CL
kpfriends at SemEval-2022 Task 2: NEAMER -- Named Entity Augmented Multi-word Expression Recognizer
Alexa AI（Alexa人工智能部门）
我们提出了NEAMER --命名实体增强的多词表达式识别器。该系统的灵感来自命名实体和惯用表达式之间共享的非组合性特征。我们利用迁移学习和局部特征来增强习语分类任务。该系统是我们为SemEval任务2提交的：多语言习语检测和句子嵌入子任务一个OneShot共享任务。在后评估阶段，我们实现了SOTA，F1为0.9395。我们还观察到训练稳定性的改善。最后，我们实验了非组合性知识转移，跨语言微调和局部特征，我们也介绍了本文。
2022-04-17 cs.CL
KnowGraph@IITK at SemEval-2021 Task 11: Building KnowledgeGraph for NLP Research
Indian Institute of Technology Kanpur (IIT Kanpur)（印度理工学院坎普尔分校）
自然语言处理的研究进展迅速，发表了大量的研究论文。寻找相关的研究论文及其对该领域的贡献是一个具有挑战性的问题。在本文中，我们通过SemEval 2021任务11：NLP贡献图来解决这一挑战，通过开发一个基于自然语言处理文献的研究论文贡献的知识图谱系统。该任务分为三个子任务：提取论文中的重要贡献句，从贡献句中提取短语，预测论文中的信息单元以及从短语中形成三元组。所提出的系统是不可知的主题领域，并可用于建立一个知识图谱的任何领域。我们发现，基于transformer的语言模型可以显着改善现有的技术，并利用基于SciBERT的模型。我们的第一个子任务使用堆叠在SciBERT模型层之上的双向LSTM（BiLSTM），而第二个子任务则使用带有BiLSTM的SciBERT之上的条件随机场（CRF）。第三个子任务使用组合的基于SciBERT的神经方法与用于短语的信息单元预测和三元组形成的统计学。我们的系统在端到端管道测试、短语提取测试和三元组提取测试中分别获得了0.38、0.63和0.76的F1分数。
2021-04-04 cs.CL
SATLab at SemEval-2022 Task 4: Trying to Detect Patronizing and Condescending Language with only Character and Word N-grams
Statistical Analysis of Text Laboratory (SATLab)（文本统计分析实验室（SATLab））；Université catholique de Louvain（鲁汶天主教大学）
提出了一个逻辑回归模型，只喂养字符和单词n元语法SemEval-2022任务4上的Patronizing和居高临下的语言检测（PCL）。它获得了一个平均水平的性能，远高于一个系统的性能，试图猜测没有使用任何知识的任务，但远低于最好的团队。由于所提出的模型非常类似于在需要自动识别仇恨言论和攻击性内容的任务上表现良好的模型，因此本文证实了PCL检测的难度。
2022-03-10 cs.CL
IXA/Cogcomp at SemEval-2023 Task 2: Context-enriched Multilingual Named Entity Recognition using Knowledge Bases
University of the Basque Country UPV/EHU（巴斯克大学（UPV/EHU））；University of Pennsylvania（宾夕法尼亚大学）
针对现有NER基准未覆盖细粒度新兴实体分类等实际挑战，本文提出含实体候选识别、知识库链接、细粒度类别预测三步的级联方法，在MultiCoNER2任务及低资源语言场景下均实现稳健性能。
2023-04-27 cs.CL
Knowledge-enriched Two-layered Attention Network for Sentiment Analysis
Indian Institute of Technology Patna（印度理工学院巴特那分校）；Kyoto University（京都大学）
提出了一种基于双向长短期记忆的双层注意力网络用于情感分析。新的两层注意力网络利用外部知识库来提高情感预测。它使用WordNet生成的知识图谱嵌入。我们建立我们的模型相结合的两层注意力网络和基于支持向量回归的监督模型，使用多层感知器网络的情感分析。我们在SemEval 2017任务5的基准数据集上评估了我们的模型。实验结果表明，该模型优于SemEval 2017 Task 5的顶级系统。该模型通过将SemEval 2017任务5的最先进系统分别提高1.7和3.7分（子轨道1和2），表现明显更好。
2018-06-16 cs.CL
PUM at SemEval-2020 Task 12: Aggregation of Transformer-based models' features for offensive language recognition
Poznan University of Technology（波兹南理工大学）
在本文中，我们描述了PUM团队参加SemEval-2020任务12的情况。创建我们的解决方案涉及利用自然语言处理中使用的两个著名的预训练模型：BERT和XLNet，它们在多个NLP任务中实现了最先进的结果。这些模型分别针对每个子任务进行了微调，从隐藏层中提取的特征被组合起来，并输入到一个完全连接的神经网络中。该模型使用聚合的Transformer特征，可以作为一个强大的工具，攻击性语言识别问题。我们的团队在子任务C -进攻目标识别中排名第7，宏观F1得分为64.727%，在子任务A -进攻语言识别中排名第64，得分为89.726%。
2020-10-05 cs.CL
OPI at SemEval 2023 Task 1: Image-Text Embeddings and Multimodal Information Retrieval for Visual Word Sense Disambiguation
National Information Processing Institute（国家信息处理研究所）
本文提出一种融合 CLIP 多模态嵌入、排序学习与知识库检索的视觉词义消歧系统，在 SemEval 2023 多语言任务中获第三名，并在波斯语赛道夺冠。
2023-04-14 cs.CL
CNRL at SemEval-2020 Task 5: Modelling Causal Reasoning in Language with Multi-Head Self-Attention Weights based Counterfactual Detection
BITS Pilani（比尔拉科学技术学院）
在本文中，我们描述了一种方法，通过使用多头自注意权重检测文本中的反事实，在自然语言的因果推理建模。我们使用预训练的Transformer模型从文本中提取上下文嵌入和自我注意力权重。我们展示了卷积层的使用，从这些自我注意力权重中提取特定于任务的特征。此外，我们描述了一个微调的方法与一个共同的基础模型之间的知识共享的两个密切相关的子任务反事实检测。我们在实验中分析和比较了各种Transformer模型的性能。最后，我们进行了定性分析与多头自我注意力的权重来解释我们的模型的动力学。
2020-05-31 cs.CL
Word Sense Disambiguation using Knowledge-based Word Similarity
在自然语言处理中，词义消歧（WSD）是一个悬而未决的问题，它涉及到在特定的上下文中识别单词的正确含义。为了解决这个问题，我们介绍了一种新的基于知识的WSD系统。我们建议在我们的系统中采用两种方法。首先，我们提出了一种新的方法来编码的词向量表示，考虑从词汇知识库的图形语义关系。其次，我们提出了一种方法，从文本中提取的上下文单词分析一个歧义词的词向量表示的相似性的基础上。为了验证我们的词义消歧系统的有效性，我们在五个基准英语词义消歧语料库（Senseval-02，Senseval-03，SemEval-07，SemEval-13和SemEval-15）上进行了实验。实验结果表明，所提出的方法显著提高了WSD的性能。此外，我们的系统优于现有的知识为基础的水务署系统，并表现出性能相媲美的最先进的监督水务署系统。
2020-06-22 cs.CL
FlairNLP at SemEval-2023 Task 6b: Extraction of Legal Named Entities from Legal Texts using Contextual String Embeddings
Univeristy of Colorado, Boulder（科罗拉多大学博尔德分校）
针对印度法院判决书的法律命名实体识别任务，论文比较多种序列标注架构，发现基于 Flair Embeddings 的 Bi-LSTM 效果最佳，并发布 BIO 格式数据集。
2023-06-03 cs.CL
UCSC at SemEval-2025 Task 3: Context, Models and Prompt Optimization for Automated Hallucination Detection in LLM Output
University of California, Santa Cruz（加州大学圣克ruz分校）
本文提出 UCSC 系统，通过上下文检索、虚假内容识别、片段映射和自动提示优化，在 SemEval-2025 Mu-SHROOM 多语言幻觉检测任务中取得所有语言平均排名第 1 的最佳性能。
2025-05-05 cs.CL
LightRel SemEval-2018 Task 7: Lightweight and Fast Relation Classification
DFKI（德国人工智能研究中心（DFKI） Saarbrücken（萨尔布吕肯）分部（注：DFKI全称为German Research Center for Artificial Intelligence，通常译为德国人工智能研究中心，此处保留英文缩写并按机构含义直译， Saarbrücken作为城市名未按要求提取））
我们提出了LightRel，一个轻量级和快速的关系分类器。我们的目标是为不同的关系抽取任务开发一个高基线。通过只定义非常少的数据内部，字级特征和外部知识源的形式，词集群和词嵌入，我们训练一个快速和简单的线性分类器。
2018-04-19 cs.AI cs.CL
SST-BERT at SemEval-2020 Task 1: Semantic Shift Tracing by Clustering in BERT-based Embedding Spaces
IDSIA（意大利瑞士人工智能研究所）
词汇语义变化检测（也称为语义转移跟踪）是一项识别随着时间的推移已经改变其含义的单词的任务。SemEval2020的重点是无监督语义转移跟踪，这尤其具有挑战性。鉴于无监督设置，在这项工作中，我们建议识别每个目标词的不同出现之间的聚类，将其视为不同词义的代表。因此，所获得的聚类中的不一致自然允许量化四种目标语言中每个目标词的语义转变水平。为了利用这个想法，聚类是在单词出现的上下文（基于BERT）嵌入上执行的。所获得的结果表明，我们的方法在单独（每种语言）和整体上都表现良好，我们超过了所有提供的SemEval基线。
2020-10-02 cs.AI cs.CL
UPB at SemEval-2020 Task 9: Identifying Sentiment in Code-Mixed Social Media Texts using Transformers and Multi-Task Learning
University Politehnica of Bucharest（布加勒斯特理工大学）
情感分析是一种广泛用于当今进行的意见挖掘活动的过程。这种现象在各种领域中有应用，特别是在收集与用户对特定主题的态度或满意度有关的信息方面。然而，当它应用于倾向于结合两种语言来表达思想和想法的文化时，管理这样一个过程的任务变得明显更加困难。通过交错两种语言的单词，用户可以轻松地表达，但代价是使文本对于那些不熟悉这种技术的人以及标准的意见挖掘算法来说都不太容易理解。在本文中，我们描述了我们的团队为SemEval-2020任务9开发的系统，旨在涵盖两种着名的代码混合语言：印地语-英语和西班牙语-英语。我们打算通过引入一种解决方案来解决这个问题，该解决方案利用了几种神经网络方法以及预训练的词嵌入。我们的方法（多语言BERT）在印地语-英语任务上取得了令人满意的表现，平均F1分数为0.6850，在比赛排行榜上注册，在62名参赛者中排名第16位。对于西班牙语-英语任务，我们使用另一种基于多语言转换器的模型XLM-RoBERTA获得了平均F1分数0.7064，在29名参与者中排名第17。
2020-09-06 cs.CL
NLP at UC Santa Cruz at SemEval-2024 Task 5: Legal Answer Validation using Few-Shot Multi-Choice QA
Baskin School of Engineering（巴斯金工程学院）；University of California, Santa Cruz（加利福尼亚大学圣克鲁兹分校）
本文针对SemEval-2024法律答案验证任务，提出微调BERT领域模型和GPT少样本多项选择问答重构两种方法，最佳模型在20队中排名第7。
2024-04-04 cs.AI cs.CL
Simorgh at SemEval-2026 task 7: Region-Aware Hybrid Retrieval for Low-Resource Cultural Reasoning in Multilingual Question Answering
University of Tabriz（塔布里兹大学）
提出区域感知混合检索方法，结合BM25和稠密语义相似度与区域加权启发式，以提升多语言文化问答的跨语言稳定性。
2026-05-26 cs.CL
CS-Embed at SemEval-2020 Task 9: The effectiveness of code-switched word embeddings for sentiment analysis
University of Birmingham（伯明翰大学）；Birmingham City University（伯明翰城市大学）
社交媒体帖子的情感分析的日益普及和应用自然导致了对以多种语言撰写的帖子的情感分析，这种做法被称为代码切换。虽然最近对代码转换帖子的研究集中在使用多语言词嵌入上，但这些嵌入并没有在代码转换数据上进行训练。在这项工作中，我们提出了在代码切换推文上训练的词嵌入，特别是那些使用西班牙语和英语的推文，称为西班牙式英语。我们探索嵌入空间，以发现它们如何捕捉两种语言中单词的含义。我们通过参加SemEval 2020任务9：~ \emph{Sentiment Analysis on Code-Mixed Social Media Text}来测试这些嵌入的有效性。我们利用它们来训练情感分类器，其F-1得分为0.722。这高于0.656的比赛基线，我们的团队（codalab用户名\emph{francesita}）在29个参赛团队中排名第14，击败了基线。
2020-09-07 cs.CL cs.LG cs.NE
Multilingual Word Sense Disambiguation with Unified Sense Representation
HKUST（香港科技大学）；Tencent AI lab（腾讯人工智能实验室）
词义消歧是自然语言处理的一项重要任务，它评估自然语言处理模型在特定语境下对词汇语义的理解能力。得益于大规模标注，当前的词义消歧系统通过将监督学习与词汇知识相结合，在英语中取得了令人印象深刻的性能。然而，这样的成功是很难被复制在其他语言中，我们只有有限的annotations.In本文中，基于多语种词典BabelNet描述跨语言的同一组概念，我们提出了建立知识和监督为基础的多语种词义消歧（MWSD）系统。我们为多种语言建立统一的意义表示，并通过将注释从丰富的语言转移到贫穷的语言来解决MWSD的注释稀缺问题。通过统一的意义表示，可以联合训练来自多种语言的注释，以使MWSD任务受益。SemEval-13和SemEval-15数据集的评估证明了我们方法的有效性。
2022-10-14 cs.CL
Team ACK at SemEval-2025 Task 2: Beyond Word-for-Word Machine Translation for English-Korean Pairs
Adobe Inc.（Adobe公司）；CU Boulder（科罗拉多大学博尔德分校）；KAIST（韩国科学技术院）；New York University（纽约大学）；UBC（不列颠哥伦比亚大学）
本研究评估13个英韩翻译模型，发现LLMs优于传统MT系统但在文化适应的实体翻译上仍有困难，通过构建错误分类法揭示了自动评估指标的不足。
2025-04-29 cs.CL cs.IR
Knowledge-based Word Sense Disambiguation using Topic Models
Carnegie Mellon University（卡内基梅隆大学）
词义消歧是自然语言处理中的一个开放性问题，它在无监督环境中特别具有挑战性和有用，其中任何给定文本中的所有单词都需要在不使用任何标记数据的情况下消歧。典型地，WSD系统使用句子或目标词周围的词的小窗口作为用于消歧的上下文，因为它们的计算复杂性与上下文的大小成指数比例。在本文中，我们利用主题模型的形式主义，设计了一个词义消歧系统，在上下文中的单词的数量线性缩放。因此，我们的系统是能够利用整个文件作为上下文的一个词要消除歧义。所提出的方法是潜在的狄利克雷分配的一个变种，其中的主题比例为一个文件被替换为同义词集的比例。我们进一步利用WordNet中的信息分配一个非均匀的前同义词集分布的话和一个逻辑正常的前文档分布的同义词集。我们在Senseval-2，Senseval-3，SemEval-2007，SemEval-2013和SemEval-2015英语全词WSD数据集上评估了所提出的方法，并表明它的性能明显优于最先进的无监督基于知识的WSD系统。
2018-01-05 cs.CL cs.LG
Emotion helps Sentiment: A Multi-task Model for Sentiment and Emotion Analysis
Indian Institute of Technology Patna（印度理工学院巴特那分校）；Kyoto University（京都大学）
在本文中，我们提出了一个两层的多任务的注意力为基础的神经网络，通过情感分析执行情感分析。该方法基于双向长短期记忆，并使用分布式主题词表作为外部知识源，以提高情感和情绪预测。所提出的系统有两个层次的关注，分层建立一个有意义的表示。我们在SemEval 2016 Task 6的基准数据集上评估了我们的系统，并将其与Stance Sentiment Emotion Corpus上的最先进系统进行了比较。实验结果表明，该系统在SemEval 2016 Task 6数据集上的情感分析性能提高了3.2个F分数点。我们的网络还提高了5个F分数点的立场情绪情感语料库的情感分析的性能。
2019-11-28 cs.CL
TreeMatch: A Fully Unsupervised WSD System Using Dependency Knowledge on a Specific Domain
University of Houston-Downtown（休斯顿市中心大学）；University of Massachusetts-Boston（马萨诸塞大学波士顿分校）
本文提出完全无监督的 WSD 系统 TreeMatch，利用面向特定领域构建的知识库中的依存知识，并在 SemEval 2010 Task 17 上取得优于最频繁选择基线的精确率。
2025-01-05 cs.AI cs.CL
Language-Specific versus Cross-Lingual Knowledge Graphs for Implicit Aspect Identification in Arabic: A Comparative Study of Reasoning and Adaptation Strategies
Saudi Electronic University（沙特电子大学）
研究阿拉伯语隐式方面识别中特定语言与跨语言知识图谱策略，在混合管道中比较两种策略及生成提取器的零样本提示和特定任务微调两种适应策略，发现阿拉伯语本地KG效果更好，特定任务微调提升显著。
2026-07-23 cs.AI cs.CL
