Leveraging Weakly Annotated Data for Hate Speech Detection in Code-Mixed Hinglish: A Feasibility-Driven Transfer Learning Approach with Large Language Models
Dundalk Institute of Technology(唐道克理工学院)
针对代码混合印地英语仇恨言论检测缺乏标注数据的问题,本文构建100条YouTube评论并弱标注,评估多种LLM零样本、单样本和少样本提示方法,发现BART large零样本与ChatGPT-3少样本提示表现最佳。
2024-03-04 cs.AI cs.CL
XplaiNLP at CheckThat! 2025: Multilingual Subjectivity Detection with Finetuned Transformers and Prompt-Based Inference with Large Language Models
Quality and Usability Lab, Technische Universität Berlin, Berlin, Germany(柏林技术大学质量与可用性实验室);German Research Center for Artificial Intelligence (DFKI), Berlin, Germany(德国人工智能研究中心(DFKI))
本文提出XplaiNLP方案,通过微调Transformer编码器和LLM零样本提示推理完成多语言主观性检测,在意大利语和罗马尼亚语等任务中取得优异成绩。
2025-09-15 cs.CL
Model and Data Transfer for Cross-Lingual Sequence Labelling in Zero-Resource Settings
HiTZ Basque Center for Language Technologies(HiTZ巴斯克语言技术中心);University of the Basque Country UPV/EHU(巴斯克大学UPV/EHU)
本文对比零资源跨语言序列标注的数据迁移与模型迁移,发现零样本高容量多语言语言模型整体优于翻译与标注投影,但后者在缺乏此类模型时仍具竞争力。
2023-04-27 cs.CL
Automatic Labelling with Open-source LLMs using Dynamic Label Schema Integration
J.P. Morgan Chase(摩根大通);Snorkel AI
针对开源模型自动标注中标签模式集成性能不佳的问题,提出检索增强分类(RAC),动态集成标签描述,通过逐标签推理提升标注质量,并可在质量与覆盖率间权衡。
2025-01-21 cs.AI cs.CL cs.LG
Argument Mining in Data Scarce Settings: Cross-lingual Transfer and Few-shot Techniques
HiTZ Center - Ixa, University of the Basque Country UPV/EHU(巴斯克大学UPV/EHU HiTZ中心 - Ixa)
本文实证表明,在数据稀缺的论点挖掘任务中,数据迁移优于模型迁移,微调优于小样本方法,且数据集领域、任务类型和采样方法是关键因素。
2024-07-04 cs.AI cs.CL
WADER at SemEval-2023 Task 9: A Weak-labelling framework for Data augmentation in tExt Regression Tasks
Netaji Subhas University of Technology(内塔吉·苏巴斯理工大学);Northeastern University(东北大学)
亲密关系是人际关系的重要组成部分,语言是表达亲密关系的重要手段,文本亲密关系分析可以揭示不同语境下的社会规范,并作为测试计算模型理解社会信息能力的基准。在本文中,我们提出了一种新的弱标记策略,用于文本回归任务中的数据增强,称为WADER。WADER使用数据增强来解决数据不平衡和数据稀缺的问题,并提供了一种跨语言、zero-shot任务的数据增强方法。我们使用WADER对最先进的预训练多语言语言模型的性能进行了基准测试,并分析了抽样技术的使用,以减轻数据中的偏差并最佳地选择增强候选者。我们的研究结果表明,WADER优于基线模型,并为减轻文本回归任务中的数据不平衡和稀缺性提供了方向。
2023-03-05 cs.CL cs.LG
Show Less, Instruct More: Enriching Prompts with Definitions and Guidelines for Zero-Shot NER
University of Siena(锡耶纳大学)
针对现有零样本NER大模型微调实体类与测试集重叠的问题,提出SLIMER方法,用含定义和指南的丰富提示、少量示例指导模型处理未见实体标签,性能达SOTA且训练设置更公平鲁棒。
2024-09-18 cs.CL
Know What You Don't Know: Modeling a Pragmatic Speaker that Refers to Objects of Unknown Categories
Bielefeld University(比勒费尔德大学);University of Potsdam(波茨坦大学)
语言与视觉中的零样本学习是正确标记(或命名)新类别的对象的任务。L&V中的另一个工作链旨在提供实用信息,而不是“正确”的对象描述,例如在参考游戏中。我们结合这些线的研究和模型zero-shot参考游戏,扬声器需要成功地指一个新的对象在图像中。受“理性言语行为”模型的启发,我们扩展了一个神经发生器,使其成为一个实用的说话人对不确定对象类别的推理。作为这种推理的结果,与字面说话者相比,生成器产生更少的名词和分心物类别的名称。我们表明,这种会话策略处理新的对象往往提高沟通的成功,在自动监听器的分辨率精度。
2019-06-13 cs.CL
An Empirical Study on Large-Scale Multi-Label Text Classification Including Few and Zero-Shot Labels
Athens University of Economics and Business(雅典经济与商业大学);NCSR “Demokritos”(德谟克利特国家科学研究中心);University of Sheffield(谢菲尔德大学)
大规模多标签文本分类(LMTC)在自然语言处理(NLP)领域有着广泛的应用,同时也带来了一些有趣的挑战。首先,由于LMTC数据集的标签集非常大,并且标签分布不均匀,因此并非所有标签都能在训练集中得到很好的表示。此外,标签层次结构和人类标签指南的差异可能会影响图形感知的注释接近度。最后,标签层次结构定期更新,需要能够zero-shot泛化的LMTC模型。当前最先进的LMTC模型采用标签式注意力网络(LWAN),其(1)通常将LMTC视为平面多标签分类;(2)可以使用标签层次结构来改进零样本学习,尽管这种做法在很大程度上未得到充分研究;(3)尚未与预训练的Transformers(例如BERT)相结合,这已经在几个NLP基准测试中产生了最先进的结果。在这里,我们第一次经验性地评估了一系列LMTC方法,从香草LWAN到分层分类方法和迁移学习,在来自不同领域的三个数据集上进行频繁,少量和零样本学习。我们表明,基于概率标签树(PLT)的分层方法优于LWAN。此外,我们表明,基于变换器的方法优于国家的最先进的两个数据集,我们提出了一个新的国家的最先进的方法,结合BERT与LWAN。最后,我们提出了新的模型,利用标签层次结构,以改善少数和零样本学习,考虑在每个数据集上的图形感知的注释接近度的措施,我们介绍。
2020-10-04 cs.CL
Language Independent Sequence Labelling for Opinion Target Extraction
University of the Basque Country (UPV/EHU)(巴斯克地区大学(UPV/EHU))
在本研究报告中,我们提出了一个独立于语言的系统,将意见目标提取(OTE)建模为序列标签任务。该系统由一组简单的浅局部特征上实现的聚类特征组合组成。基于方面的情感分析(ABSA)基准测试的实验表明,我们的方法是非常有竞争力的跨语言,在七个不同的数据集上获得最佳结果的六种语言。此外,结果提供了进一步的洞察序列标记任务的聚类特征的行为。在这项工作中产生的系统和模型可供公众使用,并促进结果的再现性。
2019-01-28 cs.CL
Cross-lingual Word Segmentation and Morpheme Segmentation as Sequence Labelling
Uppsala University(乌普萨拉大学)
本文介绍了我们为MLP 2017跨语言分词和词素分割共享任务开发的分割系统。我们将单词和词素分割建模为字符级序列标签任务。采用以条件随机场为输出接口的双向递归神经网络作为基线系统,并通过集成解码对其进行进一步改进。我们的通用系统适用于所有官方数据集,并对其进行了广泛评价,而没有进行任何针对具体语文的调整。官方的评估结果表明,该模型实现了出色的准确性,无论是在各种类型的所有语言的词和语素分割相比,其他参与系统。
2017-09-12 cs.CL
Automatically Extracting Information in Medical Dialogue: Expert System And Attention for Labelling
Rensselaer Polytechnic Institute(伦斯勒理工学院);University of Luxembourg(卢森堡大学)
医学对话信息抽取是现代医学中一个日益重要的问题。由于电子病历数量庞大,很难从其中提取关键信息。以前,研究人员提出了基于注意力的模型来从EMR中检索特征,但它们的局限性反映在它们无法识别医学对话中的不同类别。在本文中,我们提出了一个新的模型,专家系统和注意力标记(ESAL)。我们使用专家和预训练的BERT的混合来检索不同类别的语义,使模型能够融合它们之间的差异。在我们的实验中,ESAL被应用到一个公共数据集,实验结果表明,ESAL显着提高了医疗信息分类的性能。
2023-03-11 cs.CL
Vietnamese Semantic Role Labelling
Hanoi University of Science, Vietnam National University, Hanoi(越南国立大学河内科学大学);FPT University, Hanoi(FPT大学河内校区);Dalat University, Lamdong(大叻大学林同省)
本文研究了自然语言句子语义解析的一个子任务--语义角色标注(SRL)及其在越南语中的应用。我们目前的努力,建立越南PropBank,第一个越南语SRL语料库和软件系统标记的越南语文本的语义角色。特别是,我们提出了一种新的成分提取算法的参数候选识别步骤,这是更适合和更准确的比常见的节点映射方法。在机器学习部分,我们的系统集成了两个最近的无监督学习模型在两个学习的统计分类器的分布式单词特征,并利用整数线性规划推理过程,以提高准确率。通过一系列的实验对该系统进行了评价,取得了良好的效果,$F_1$的评分为74.77%。我们的系统,包括语料库和软件,可作为一个开源项目的免费研究,我们相信,这是一个很好的基线,为未来的越南SRL系统的发展。
2017-11-28 cs.CL
Building a Semantic Role Labelling System for Vietnamese
FPT University(FPT大学);Hanoi University of Science(河内科学大学)
语义角色标注(SRL)是自然语言处理中的一项任务,它检测和分类与句子谓词相关的语义论元。这是理解自然语言含义的重要一步。对于英语、汉语或日语等学习良好的语言,存在SRL系统,但对于越南语,没有任何这样的系统。在本文中,我们提出了第一个SRL系统越南令人鼓舞的准确性。我们首先证明,简单应用为英语开发的SRL技术无法为越南语提供良好的准确性。然后,我们介绍了一种新的算法提取候选句法成分,这是更准确的比常见的节点映射算法通常用于识别步骤。最后,在分类步骤中,除了常见的语言特征,我们提出了新的和有用的功能,用于SRL。我们的SRL系统实现了$F_1$得分为73.53\%的越南PropBank语料库。这个系统,包括软件和语料库,是作为一个开源项目,我们相信,这是一个很好的基线,为未来的越南SRL系统的发展。
2017-05-11 cs.CL
HyperLoader: Integrating Hypernetwork-Based LoRA and Adapter Layers into Multi-Task Transformers for Sequence Labelling
MBZUAI(穆罕默德·本·扎耶德人工智能大学);IIMAS(墨西哥国立自治大学应用数学与系统研究所)
提出HyperLoader,利用超网络基于任务和层位置生成LoRA与Adapter权重,有效缓解多任务干扰,在高低资源场景下超越全量微调并取得最佳平均性能。
2024-08-25 cs.CL
Hierarchical Pre-training for Sequence Labelling in Spoken Dialog
LTCI, Telecom Paris, Institut Polytechnique de Paris(巴黎理工学院巴黎电信学院LTCI);IBM GBS France(IBM法国全球企业咨询服务部);IBM Research Zurich(IBM苏黎世研究院)
序列标记任务,如对话行为和情感/情感识别是口语对话系统的关键组成部分。在这项工作中,我们提出了一种新的方法来学习通用表示适应口语对话,我们评估一个新的基准,我们称之为序列标签评估benChmark或口语laNguagE基准(\texttt{SILICONE})。\texttt{SILICONE}与模型无关,包含10个不同大小的数据集。我们得到我们的表示与分层编码器的基础上Transformer架构,我们扩展了两个众所周知的预训练目标。预训练是在OpenSubtitles上执行的:OpenSubtitles是一个包含超过$2.3$十亿个令牌的大型口语对话语料库。我们展示了分层编码器如何实现具有竞争力的结果,与最先进的模型相比,参数始终更少,我们展示了它们对预训练和微调的重要性。
2021-02-08 cs.AI cs.CL
Language-Independent Sentiment Labelling with Distant Supervision: A Case Study for English, Sepedi and Setswana
University of Johannesburg, South Africa(约翰内斯堡大学);IU International University of Applied Sciences, Germany(国际应用科学大学);University of the Witwatersrand, South Africa(沃尔特·斯皮克兰大学)
本文提出一种语言无关的情感标注方法,利用emoji和词语信息,对英语、塞佩迪语和塞斯瓦纳语的推文进行情感标注,准确率分别达到66%、69%和63%。
2025-11-25 cs.AI cs.CL
Modelling Instance-Level Annotator Reliability for Natural Language Labelling Tasks
University of Manchester(曼彻斯特大学);National Centre for Text Mining(国家文本挖掘中心)
在构建从多个注释器产生的噪声标签中学习的模型时,准确估计注释器的可靠性非常重要。注释者可能会提供质量不一致的标签,因为他们在某个领域的专业知识和可靠性各不相同。以前的研究大多集中在估计每个注释者在整个注释任务上的总体可靠性。然而,在实践中,注释器的可靠性可能取决于每个特定的实例。只有有限数量的研究调查了建模的实例可靠性,这些只考虑了二进制标签。在本文中,我们提出了一个无监督的模型,可以处理二进制和多类标签。它可以自动估计每个注释器的每个实例的可靠性以及每个实例的正确标签。我们指定我们的模型作为一个概率模型,它结合了神经网络来模拟潜在变量和实例之间的依赖关系。对于评估,所提出的方法适用于合成和真实数据,包括两个标签任务:文本分类和文本蕴涵。实验结果表明,我们的新方法不仅可以准确地估计不同实例中注释器的可靠性,而且与最先进的基线相比,在预测正确的标签和检测最不可靠的注释器方面具有优异的性能。
2019-05-13 cs.CL cs.LG
Modeling Disagreement in Automatic Data Labelling for Semi-Supervised Learning in Clinical Natural Language Processing
Imperial College London(帝国理工学院);Queen Mary University of London(伦敦玛丽女王大学);University of Cambridge(剑桥大学)
计算模型提供了准确的估计,其不确定性是至关重要的风险管理与决策在医疗环境。这一点尤其正确,因为许多最先进的系统都是使用自动标记的数据(自监督模式)进行训练的,并且往往过拟合。在这项工作中,我们调查的质量的不确定性估计从一系列目前国家的最先进的预测模型应用到放射学报告中的观察检测的问题。这个问题在医疗保健领域的自然语言处理中仍然研究不足。我们证明了高斯过程(GP)在基于负对数预测概率(NLPP)评估指标和平均最大预测置信水平(MMPCL)量化3个不确定性标签的风险方面提供了卓越的性能,同时保留了强大的预测性能。
2022-06-07 cs.CL cs.LG stat.ML
POSSCORE: A Simple Yet Effective Evaluation of Conversational Search with Part of Speech Labelling
University of Nottingham(诺丁汉大学);Nokia Bell Labs(诺基亚贝尔实验室);Renmin University of China(中国人民大学)
诸如Google Assistant和Microsoft Cortana之类的对话搜索系统提供了一种新的搜索范例,其中允许用户经由自然语言对话与搜索系统进行通信。由于搜索结果是以自然语言句子的格式呈现的,因此评估这样的系统是非常具有挑战性的。鉴于可能的答复数量无限,收集所有可能答复的相关性评估是不可行的。在本文中,我们提出了POSSCORE,一个简单而有效的对话搜索自动评估方法。建议的嵌入为基础的度量考虑到响应中的术语的词性(POS)的影响。据最好的知识,我们的工作是第一次系统地展示了纳入句法信息,如POS标签,会话搜索评估的重要性。实验结果表明,我们的指标可以与人类的喜好,实现了显着的改进,国家的最先进的基线指标。
2021-09-07 cs.AI cs.CL cs.IR