Ecologically Valid Explanations for Label Variation in NLI
The Ohio State University(俄亥俄州立大学);The University of Chicago(芝加哥大学);UCLouvain(鲁汶大学)
研究构建了LiveNLI数据集以探究NLI中标签变异的来源,发现解释对理解标签内变异至关重要,并指出大模型少样本生成解释存在不一致性。
2023-10-20 cs.CL
A New Dataset for Natural Language Inference from Code-mixed Conversations
Microsoft Research India(微软研究院印度分院);Microsoft Corporation(微软公司)
自然语言推理(NLI)是推理前提和假设之间的逻辑关系的任务,通常是蕴涵或矛盾。语码混合是指在同一会话或话语中使用一种以上的语言,在世界各地的多语言社区中普遍存在。在本文中,我们提出了第一个数据集的代码混合NLI,其中的前提和假设是在代码混合印地语-英语。我们使用的数据从印地语电影(宝莱坞)的前提下,和众包的假设,从印地语-英语双语。我们进行了一项试点注释研究,并根据试点的观察结果描述了最终的注释协议。目前,收集的数据包括400个前提的形式代码混合的对话片段和2240代码混合的假设。我们进行了广泛的分析,以推断在所获得的数据集中通常观察到的语言现象。我们使用标准的基于mBERT的NLI管道评估数据集并报告结果。
2020-04-13 cs.CL
Can current NLI systems handle German word order? Investigating language model performance on a new German challenge set of minimal pairs
Mannheim University(曼海姆大学);Heidelberg University(海德堡大学)
本文提出首个德语词序对抗 NLI 数据集 WOGLI,利用仅词序和形态变化不同的最小对立体,评估并揭示德语模型在翻译数据训练后处理词序推理的局限。
2023-06-07 cs.CL
Affective-NLI: Towards Accurate and Interpretable Personality Recognition in Conversation
The Hong Kong Polytechnic University(香港理工大学)
针对对话人格识别忽视情绪与人格语义的问题,提出Affective-NLI,结合对话情绪识别微调与NLI蕴含框架,提升准确性和可解释性,并显著优于现有方法。
2024-04-03 cs.AI cs.CL
Improving Domain-Specific Retrieval by NLI Fine-Tuning
Allegro sp. z o.o.(Allegro 有限责任公司)
本文研究利用NLI数据微调单语和多语句子编码器,在英波双语检索与排序任务中验证其性能提升,并通过嵌入均匀性与对齐性分析解释域外泛化效果。
2023-08-06 cs.CL cs.IR
Evaluating the Effectiveness of Natural Language Inference for Hate Speech Detection in Languages with Limited Labeled Data
University of Zurich(苏黎世大学)
针对标注数据有限的多语言仇恨言论检测问题,验证自然语言推理模型的效用,对比直接微调、英语中间微调等方案,给出低资源语言仇恨言论检测的实践建议。
2023-06-10 cs.CL cs.CY
I can tell whether you are a Native Hawlêri Speaker! How ANN, CNN, and RNN perform in NLI-Native Language Identification
University of Kurdistan Hewlêr(库尔德斯坦休勒大学)
本研究通过ANN、CNN和RNN模型评估了Hewlêri亚方言的NLI性能,发现RNN在5秒音频分割中准确率高达95.92%。
2026-02-11 cs.CL
Structure, Association, and Decision Value: Representation-Based Difficulty Estimation for Adaptive Inference in African-Language NLI
University of Lagos(拉各斯大学)
该研究探究非洲语言NLI自适应推断的基于表示的难度估计,发现内部表示统计量无法为该场景提供有用的示例级难度信号,且自适应路由的表现不如始终高开销的推断。
2026-08-20 cs.CL
Agree, Disagree, Explain: Decomposing Human Label Variation in NLI through the Lens of Explanations
Faculty of Computer Science, UniVie(维也纳大学计算机科学系);Doctoral School Computer Science, Faculty of Philological and Cultural Studies, University of Vienna, Austria(维也纳大学哲学与文化研究系计算机科学博士学院);MaiNLP, Center for Information and Language Processing, LMU Munich, Germany(慕尼黑大学信息与语言处理中心MaiNLP);Munich Center for Machine Learning, Germany(慕尼黑机器学习中心);FNRS, CENTAL, UCLouvain, Belgium(比利时列日大学FNRS、CENTAL)
本文通过分析解释视角,探讨自然语言推理中人类标注变异的多样性,揭示标注者在推理类别和标签上的分歧,强调推理类别一致性比标签一致性更能反映解释的语义相似性。
2026-04-20 cs.CL
OCNLI: Original Chinese Natural Language Inference
Indiana University, Bloomington(印第安纳大学伯明顿分校);Allen Institute for Artificial Intelligence, Seattle(艾伦人工智能研究所);Chinese Language Understanding Evaluation (CLUE) benchmark(中文语言理解评估(CLUE)基准测试(注:CLUE作为一个基准测试,严格来说不属于机构,但根据提取范围,此处明确出现作者单位,按要求提取))
尽管最近在自然语言推理(NLI)方面取得了巨大的进展,这主要是由对新数据集的大规模投资(例如,SNLI,MNLI)和建模的进步,由于缺乏世界上大多数语言的可靠数据集,大多数进展仅限于英语。在本文中,我们提出了第一个大规模的NLI数据集(包括约56,000注释的句子对)的中文称为原始中文自然语言推理数据集(OCNLI)。与最近将NLI扩展到其他语言的尝试不同,我们的数据集不依赖于任何自动翻译或非专家注释。相反,我们从语言学专业的母语人士那里得到注释。我们密切关注用于MNLI的注释协议,但创建新的策略来引出不同的假设。我们使用最先进的中国预训练模型在我们的数据集上建立了几个基线结果,并发现即使是表现最好的模型也远远超过人类表现(约12%的绝对性能差距),使其成为一个具有挑战性的新资源,我们希望这将有助于加速中国NLU的进展。据我们所知,这是第一个非英语语言的人类引发的MNLI风格语料库。
2020-10-12 cs.CL
Probing Multilingual Sentence Representations With X-Probe
University of Oslo(奥斯陆大学)
本文扩展了探测句子表征的任务,在多语言领域的语言洞察力。在这样做的时候,我们做了两个贡献:首先,我们提供数据集的多语言探测,来自维基百科,在五种语言,即英语,法语,德语,西班牙语和俄语。其次,我们评估每种语言的六个句子编码器,每个编码器都是通过将句子表示映射到英语句子表示来训练的,使用平行语料库中的句子。我们发现,跨语言映射的表示往往更好地保留某些语言信息比表示来自英语编码器训练自然语言推理(NLI)作为下游任务。
2019-06-12 cs.CL
AMR4NLI: Interpretable and robust NLI measures from semantic graphs
Heidelberg University(海德堡大学);Georgetown University(乔治城大学)
该研究提出利用上下文嵌入与语义图(AMR)作为可解释度量,判断假设是否为前提的语义子结构,在三个英文基准上验证了两种表示互补且可混合使用。
2023-09-05 cs.CL cs.IR
Unravelling Interlanguage Facts via Explainable Machine Learning
Università di Milano(米兰大学);Consiglio Nazionale delle Ricerche(意大利国家研究委员会)
母语识别(NLI)是训练(通过监督机器学习)猜测文本作者母语的分类器的任务。在过去的十年中,这项任务得到了广泛的研究,NLI系统的性能在过去几年中稳步提高。我们专注于NLI任务的另一个方面,即,分析由\emph{explainable}机器学习算法训练的NLI分类器的内部结构,以获得对其分类决策的解释,最终目标是深入了解哪些语言现象“泄露了说话者的母语”。我们使用这个视角来处理NLI和一个(研究得少得多的)伴随任务,即,猜测文本是由本族语者还是非本族语者撰写的。使用三个不同来源的数据集(两个英语学习者的文章数据集和一个社交媒体帖子数据集),我们调查了哪种语言特征(词汇,形态,句法和统计)对解决我们的两个任务最有效,即,最能表明说话者的L1。我们还提出了两个案例研究,一个西班牙语和一个意大利语的英语学习者,在其中我们分析了个人的语言特征,分类器已经挑出最重要的发现这些L1。总的来说,我们的研究表明,使用可解释的机器学习可以是一个有价值的工具,
2022-08-02 cs.AI cs.CL
Native Language Identification on Text and Speech
University of Wolverhampton(伍尔弗汉普顿大学);University of Bucharest(布加勒斯特大学)
本文提出了一个集成系统相结合的输出多个SVM分类器的母语识别(NLI)。该系统被提交给NLI共享任务2017融合轨道,其中包括学生论文和11种母语的非英语母语者的音频transmittance和iVectors形式的口语回答。我们的系统以ZCD团队的名义参加了挑战赛,并且基于在字符n-gram上训练的SVM分类器的集合,实现了83.58%的准确率,并在共享任务中排名第三。
2017-07-22 cs.CL
Multilingual and Multilabel Emotion Recognition using Virtual Adversarial Training
ShareChat
虚拟对抗训练(VAT)在监督和半监督设置下学习计算机视觉和NLP任务的鲁棒模型方面一直很有效。然而,增值税的多语言和多标签文本分类的有效性还没有被探索过。在这项工作中,我们探索了多标签情感识别的VAT,重点是利用来自不同语言的未标记数据来提高模型性能。我们在SemEval2018多标签和多语言情感识别数据集上进行了广泛的半监督实验,并在相同数量的标记数据(训练数据的10%)下,与监督学习相比,性能提高了6.2%(阿拉伯语),3.8%(西班牙语)和1.8%(英语)。我们还将西班牙语,阿拉伯语和英语的现有最先进水平分别提高了7%,4.5%和1%(Jaccard指数),并进行了探测实验,以了解不同层次的上下文模型的影响。
2021-11-11 cs.CL
Asking Crowdworkers to Write Entailment Examples: The Best of Bad Options
New York University(纽约大学)
大规模自然语言推理(NLI)数据集,如SNLI或MNLI,是通过要求众包工作者阅读一个前提并编写三个新假设来创建的,每个假设对应一种可能的语义关系(蕴涵、矛盾和中性)。虽然该协议已被用于创建有用的基准数据,但仍不清楚基于书写的注释协议是否对任何目的都是最佳的,因为它尚未被直接评估。此外,有充分的证据表明,众包写作可以在数据中引入工件。我们研究了两种替代协议,自动创建候选人(前提,假设)对标注。使用这些协议和基于写作的基线,我们收集了几个新的英语NLI数据集,每个数据集都有超过3k个示例,每个数据集都使用固定的注释时间,但示例数量不同,以适应时间预算。我们对NLI和迁移学习的实验显示了负面的结果:没有一个替代协议在NLI内的泛化评估或迁移到外部目标任务上优于基线。我们的结论是,众包写作仍然是蕴涵数据的最佳选择,强调需要进一步的数据汇集工作,专注于改善基于写作的注释过程。
2020-10-13 cs.CL
Logical Inferences with Comparatives and Generalized Quantifiers
Ochanomizu University(御茶水女子大学);Keio University(庆应义塾大学)
比较构式是自然语言推理中的一个难题,它的任务是确定文本是否包含假设。比较级在结构上是复杂的,因为它们与其他语言现象,如量词,数词和词汇反义词相互作用。在形式语义学中,有大量关于比较级和等级表达式的工作使用了度的概念。然而,一个逻辑推理系统的比较还没有得到充分的发展,用于在NLI任务。在本文中,我们提出了一个组合语义,映射各种比较结构在英语中的语义表示,通过组合范畴语法(CCG)解析器,并结合它与推理系统的基础上自动定理证明。我们评估我们的系统在三个NLI数据集,包含复杂的逻辑推理比较,广义量词和数字。我们表明,该系统优于以前的基于逻辑的系统以及最近的基于深度学习的模型。
2020-05-16 cs.CL
Logical Inference for Counting on Semi-structured Tables
The University of Tokyo(东京大学)
最近,自然语言推理(NLI)任务已被研究的半结构化表,没有严格的格式。虽然神经方法在各种类型的NLI中取得了很高的性能,包括半结构化表格和文本之间的NLI,但它们仍然难以执行数字类型的推理,例如计数。为了处理数字类型的推理,我们提出了一个逻辑推理系统的半结构化表格和文本之间的推理。我们使用逻辑表示作为表格和文本的意义表示,并使用模型检验来处理文本和表格之间的数值类型的推理。为了评估我们的系统可以在多大程度上进行推理与数值比较,我们做了一个评估协议,侧重于半结构化的表格和文本之间的数字理解英语。我们表明,与当前的神经方法相比,我们的系统可以更鲁棒地在需要数值理解的表格和文本之间进行推理。
2022-04-25 cs.CL
LiTEx: A Linguistic Taxonomy of Explanations for Understanding Within-Label Variation in Natural Language Inference
MaiNLP, Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心 MaiNLP);Munich Center for Machine Learning(慕尼黑机器学习中心);FNRS, CENTAL, UCLouvain(比利时法语区科学研究基金、鲁汶大学自然语言处理中心);Faculty of Computer Science and UniVie Doctoral School Computer Science, University of Vienna(维也纳大学计算机科学学院与维也纳大学计算机科学博士学院)
针对NLI中标签内变异被忽视的问题,提出语言学分类体系LITEX,用于分类自由文本解释,并证明基于该分类引导的解释生成更接近人类解释。
2025-10-08 cs.CL
VariErr NLI: Separating Annotation Error from Human Label Variation
LMU Munich(慕尼黑大学);FNRS(比利时国家科学研究基金会);UCLouvain(鲁汶大学)
本文提出 VariErr NLI 数据集和两轮标注方法,用于区分标注错误与人类标签变异,并发现现有自动错误检测方法及 GPT-4 仍不及人类表现。
2024-06-06 cs.CL
Probing the Natural Language Inference Task with Automated Reasoning Tools
Advancing Machine and Human Reasoning (AMHR) Lab(推进机器与人类推理(AMHR)实验室);University of South Florida(南佛罗里达大学)
自然语言推理(NLI)任务是现代NLP中的一项重要任务,因为它提出了一个广泛的问题,许多其他任务可以简化为:给定一对句子,第一个是否包含第二个?虽然NLI的当前基准数据集的最新技术是基于深度学习的,但值得使用其他技术来检查NLI任务的逻辑结构。我们这样做是通过测试如何以及面向机器的控制自然语言(Attempto控制英语)可以用来解析NLI句子,以及如何自动定理证明可以在由此产生的公式的原因。为了提高性能,我们开发了一套语法和语义转换规则。我们报告他们的表现,并讨论NLI和基于逻辑的NLP的影响。
2020-05-06 cs.AI cs.CL cs.SC
XED: A Multilingual Dataset for Sentiment Analysis and Emotion Detection
University of Helsinki(赫尔辛基大学)
我们介绍了XED,一个多语言的细粒度情感数据集。该数据集包括人类注释的芬兰语(25k)和英语句子(30k),以及30种其他语言的预测注释,为许多低资源语言提供了新的资源。我们使用Plutchik的核心情感来注释数据集,并添加中性来创建多标签多类数据集。该数据集使用特定语言的BERT模型和SVM进行了仔细评估,以表明XED与其他类似数据集的性能相当,因此是情感分析和情感检测的有用工具。
2020-11-06 cs.CL
Turkish Native Language Identification V2
University of Zurich(苏黎世大学)
本文首次将母语识别应用于土耳其语,利用 Turkish Learner Corpus 比较词性 n-gram 与保留功能词的混合模型,有效识别阿尔巴尼亚语、阿拉伯语和波斯语母语者的 L1 迁移特征。
2025-11-07 cs.CL
Multilingual Sentence-T5: Scalable Sentence Encoders for Multilingual Applications
Nagoya University(名古屋大学);PKSHA Technology Inc.(PKSHA Technology 公司)
本文提出基于NLI的多语言句子嵌入模型m-ST5,利用LoRA技术将Sentence T5扩展至57亿参数,实验证明其性能优于先前方法且随模型规模提升,低资源语言获益更多。
2024-03-26 cs.CL
The Effectiveness of Intermediate-Task Training for Code-Switched Natural Language Understanding
Indian Institute of Technology, Bombay(印度理工学院孟买分校)
虽然最近的基准测试已经激发了许多关于改进预训练的多语言模型在多语言任务上的泛化的新工作,但改进代码转换自然语言理解任务的技术却很少被探索。在这项工作中,我们提出使用双语中间预训练作为一种可靠的技术,以获得大的和一致的性能增益在三个不同的NLP任务使用代码切换文本。我们实现了7.87%,20.15%,和10.99%,平均准确率和F1分数比以前的国家的最先进的系统印地语-英语自然语言推理(NLI),问答(QA)任务,西班牙语-英语情感分析(SA)分别大幅绝对改善。我们表现出一致的性能增益四个不同的代码切换语言对(印地语-英语,西班牙语-英语,泰米尔语-英语和马拉雅拉姆语-英语)SA。我们还提出了一种代码切换的掩蔽语言建模(MLM)预训练技术,与使用真正代码切换文本的标准MLM预训练相比,该技术始终有利于SA。
2021-07-21 cs.CL cs.LG
NL-Eye: Abductive NLI for Images
Technion - IIT(以色列理工学院);Google Research(谷歌研究院)
本文提出NL-Eye基准,将溯因自然语言推理任务扩展到视觉领域,通过350个三元组示例评估视觉语言模型的视觉溯因推理能力,实验表明现有模型表现接近随机水平,揭示了其在多模态推理上的不足。
2024-10-03 cs.AI cs.CL cs.CV
Mapping the Multilingual Margins: Intersectional Biases of Sentiment Analysis Systems in English, Spanish, and Arabic
Columbia University(哥伦比亚大学)
随着自然语言处理系统变得越来越普遍,有必要解决其实施和部署中的公平性问题,以确保其对社会的负面影响得到理解和最小化。然而,使用多语言和交叉框架或下游任务研究公平性的工作有限。在本文中,我们介绍了四个多语种的公平评估语料库,补充测试集,旨在衡量社会偏见,和一个新的统计框架,研究自然语言处理中的单一和交叉的社会偏见。我们使用这些工具来测量性别,种族,民族和跨部门的社会偏见,在英语,西班牙语和阿拉伯语的情绪回归任务训练的五个模型。我们发现,许多系统表现出统计上显着的单一和交叉的社会偏见。
2022-04-07 cs.CL
ESNLIR: A Spanish Multi-Genre Dataset with Causal Relationships
本文针对西班牙语NLI资源稀缺问题,提出了多体裁且包含因果关系的ESNLIR数据集,并通过BERT家族模型验证了体裁丰富性有助于提升模型泛化能力。
2025-03-11 cs.CL
ConCSE: Unified Contrastive Learning and Augmentation for Code-Switched Embeddings
Chung-Ang University(中央大学);University of British Columbia(不列颠哥伦比亚大学)
针对英韩语码转换(CS)场景,本文构建了Koglish-GLUE和Koglish-NLI数据集,并提出统一对比学习与增强方法ConCSE,有效提升了CS句子的语义表示能力。
2024-12-20 cs.AI cs.CL
Evaluating Emotion Arcs Across Languages: Bridging the Global Divide in Sentiment Analysis
University of Alberta(阿尔伯塔大学);National Research Council Canada(加拿大国家研究委员会);LMU Munich(慕尼黑大学)
本研究首次系统性定量评估自动生成的情感弧,对比机器学习与纯词典方法,通过多语言多数据集实验证明纯词典方法聚合多实例可生成准确情感弧,且英语词典自动翻译能为资源匮乏语言生成高质量情感弧,助力全球多语言情感研究。
2023-11-04 cs.CL
HeBERT & HebEMO: a Hebrew BERT Model and a Tool for Polarity Analysis and Emotion Recognition
本文介绍了HeBERT和HebEMO。HeBERT是一个基于transformer的现代希伯来语文本模型,它依赖于BERT(Transformers的双向编码器表示)架构。BERT已被证明在情感分析中优于替代架构,并且被建议特别适合于MRL。分析多个BERT规范,我们发现,虽然模型复杂度与语言任务的高性能相关,旨在理解句子中的术语,更简约的模型更好地捕捉整个句子的情感。无论哪种方式,基于BERT的语言模型在所有公共语言任务上都优于所有现有的希伯来语替代品。HebEMO是一个使用HeBERT检测极性并从希伯来语UGC中提取情感的工具。HebEMO是在我们为这项研究收集和注释的独特的Covid-19相关UGC数据集上训练的。数据汇集和注释遵循旨在最大化可预测性的主动学习程序。我们表明,HebEMO产生了很高的F1分数为0.96极性分类。对于各种目标情绪,情绪检测达到F1-分数0.78-0.97,除了模型未能捕获的惊喜(F1 = 0.41)。这些结果优于最好的报告的性能,即使在英语语言模型的情绪检测。
2021-02-25 cs.CL
Building domain specific lexicon based on TikTok comment dataset
The University of Adelaide(阿德莱德大学)
在情感分析任务中,预测句子的情感倾向是一个重要分支。以往的研究多集中在英语的情感分析上,如基于句子的配价、唤醒、支配等分析句子的情感倾向。两种语言的情感倾向不同。例如,汉语和英语之间的句子顺序可能会呈现不同的情感。本文尝试了一种建立领域专用词典的方法。这样,该模型就可以对具有情感倾向的汉语词汇进行分类。该方法在文献[13]的基础上,通过中文TikTok评论和情感词典源(种子词)的词嵌入,训练超密集空间嵌入表。该模型的结果是一个特定领域的词汇,它代表了词的情感倾向。我收集了中国TikTok的评论作为训练数据。通过将训练结果与PCA方法进行比较,评价了该模型在中文情感分类中的性能,结果表明,该模型在中文情感分类中取得了较好的效果。源代码已经发布在github上:https://github.com/h2222/douyin_comment_dataset
2020-12-16 cs.AI cs.CL
Cross-lingual Transfer or Machine Translation? On Data Augmentation for Monolingual Semantic Textual Similarity
CyberAgent(赛博代理)
针对非英语单语语义文本相似度性能落后的问题,对比跨语言迁移与机器翻译两种数据增强技术,发现二者性能相当,且维基百科领域数据优于NLI领域数据,结合后可提升单语STS性能。
2024-03-08 cs.CL
EVOKE: Emotion Vocabulary Of Korean and English
本文介绍了EVOKE情感词汇库,包含韩英情感词汇及多对多翻译,系统标注了819个韩语和924个英语形容词和动词,揭示了多义情感词和隐喻关系,为情感研究提供系统工具。
2026-04-10 cs.CL
Native Language Identification using i-vector
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学)
仅基于说话者的第二语言的讲话来确定他的母语的任务被称为母语识别或NLI。由于其在语音信号处理的各个领域中的应用越来越多,近年来已成为一个重要的研究领域。在本文中,我们提出了一个基于i向量的方法来开发一个自动NLI系统,使用MFCC和GFCC功能。为了评估我们的方法,我们在2016年ComparE母语子挑战数据集上测试了我们的框架,该数据集有来自11种不同母语背景的英语语言使用者。我们提出的方法优于基线系统的准确性提高了21.95%的MFCC特征为基础的i-向量框架和22.81%的GFCC特征为基础的i-向量框架。
2018-11-09 cs.CL cs.LG cs.SD
MICE: A Crosslinguistic Emotion Corpus in Malay, Indonesian, Chinese and English
Nanyang Technological University(南洋理工大学)
MICE是目前正在开发的一个四种语言的情感词汇语料库。本研究分为两个部分,第一部分:情感词语料库和第二部分:情感词调查。在第1部分中,将描述如何为四种语言中的每一种语言挑选情感数据的方法,并提供非常初步的数据。我们总共识别了3,750个马来语的情感表达,6,657个印尼语,3,347个普通话和8,683个英语。我们目前正在评估和复查语料库,并对这些情感表达的分布做进一步的分析。第二部分情感词调查包括一个在线语言调查,收集了说话者如何将情感词划分为基本情感类别,情感词的效价和强度以及所有受访者的简历信息。
2021-06-09 cs.CL
EmoAra: Emotion-Preserving English Speech Transcription and Cross-Lingual Translation with Arabic Text-to-Speech
MBZUAI(穆罕默德·本·拉希德智能技术研究所)
EmoAra通过整合语音情感识别、自动语音识别、机器翻译和文本到语音技术,实现英语语音转录与阿拉伯语音输出的跨语言翻译,保留情感细微差别。
2026-02-01 cs.CL
A Multilingual Perspective Towards the Evaluation of Attribution Methods in Natural Language Inference
Boğaziçi University(博阿齐奇大学);UNC Chapel Hill(北卡罗来纳大学教堂山分校);Technion – Israel Institute of Technology(以色列理工学院)
针对归因方法评估偏重英语的问题,本文提出基于词对齐的跨语言忠实性评估策略,结合多种输出与聚合机制全面评估 NLI 归因方法,并构建带高亮解释的多语言 XNLI 数据集。
2023-06-05 cs.AI cs.CL
DepecheMood++: a Bilingual Emotion Lexicon Built Through Simple Yet Powerful Techniques
Universidad Politécnica de Madrid(马德里理工大学);University of Twente(特文特大学);reciTAL(reciTAL公司);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
NLP社区已经开发了几个用于情感分析的词汇。虽然大多数这些都带有单词极性注释(例如积极/消极),但为更细粒度的情感分析(例如幸福,悲伤)构建词汇的尝试最近引起了极大的关注。这样的词汇通常被用作开发需要情感识别的学习模型的过程中的构建块,和/或用作比较模型性能的基线。在这项工作中,我们贡献了两个新的资源社区:a)现有的和广泛使用的英语情感词汇的扩展;和b)一个新版本的词汇针对意大利语。此外,我们还展示了如何在监督和无监督的实验环境中使用简单的技术来提高不同领域特异性程度的数据集和任务的性能。
2018-10-08 cs.CL cs.CY
KorNLI and KorSTS: New Benchmark Datasets for Korean Natural Language Understanding
Kakao Brain
自然语言推理(NLI)和语义文本相似性(STS)是自然语言理解(NLU)的关键任务。虽然这些任务的几个基准数据集已经以英语和其他几种语言发布,但没有公开可用的韩语NLI或STS数据集。出于这一动机,我们构建和发布新的数据集韩国NLI和STS,分别称为KorNLI和KorSTS。按照以前的方法,我们机器翻译现有的英语训练集,并手动将开发和测试集翻译成韩语。为了加速对韩国NLU的研究,我们还建立了KorNLI和KorSTS的基线。我们的数据集可在https://github.com/kakaobrain/KorNLUDatasets上公开获取。
2020-10-05 cs.CL
A Principled Framework for Constructing Natural Language Interfaces To Temporal Databases
大多数现有的数据库自然语言接口(NLIDB)被设计为与"快照“数据库系统一起使用,这些系统为操纵时间相关数据提供了非常有限的设施。因此,大多数国家法定假日银行对时间概念的支持也非常有限。数据库社区对时态数据库系统越来越感兴趣。这些系统的目的是以有原则的方式存储和处理信息,不仅是关于现在,而且是关于过去和未来。本文在时体理论、时态逻辑和时态数据库的研究基础上,提出了一个构建英语时态数据库NLITDBs的原则框架。首先,我探讨了时间语言现象,可能会出现在英语问题的NLITDBs。利用现有的语言学理论的时间,我制定了大量的这些现象,是足够简单,以体现在实际的NLITDBs帐户。利用时间逻辑的想法,然后我定义了一个时间意义的表示语言,TOP,我展示了如何HPSG语法理论可以修改,将本论文的时态和方面的帐户,并映射到广泛的英语问题,涉及时间适当的TOP表达式。最后,我提出并证明了从TOP到TSQL 2的转换方法的正确性,TSQL 2是SQL-92数据库语言的时态扩展。通过这种方式,我建立了一个健全的路线,从英语问题,涉及时间的通用时态数据库语言,可以作为一个原则性的框架建设NLITDBs。为了证明这个框架是可行的,我用它来开发一个原型NLITDB,使用ALE和Prolog实现。
1996-09-23 cmp-lg cs.CL
ArNLI: Arabic Natural Language Inference for Entailment and Contradiction Detection
Arab International University(阿拉伯国际大学)
针对阿拉伯语低资源矛盾检测难题,构建了含超12k句的ArNLI数据集,提出结合矛盾向量与语言模型向量的机器学习方法,利用Random Forest在ArNLI上达到75%准确率。
2022-09-28 cs.AI cs.CL cs.LG
KPC-cF: Aspect-Based Sentiment Analysis via Implicit-Feature Alignment with Corpus Filtering
Hongik University(弘益大学);MODULABS(MODULABS机构)
针对韩语工业评论ABSA研究不足的问题,提出KPC-cF框架,整合翻译基准与未标记数据,通过伪标记、LaBSE和MSP双重过滤实现隐式特征对齐,在低资源下提升性能,F1和准确率仅比英语ABSA低约3%,并将开源数据集与代码。
2025-04-16 cs.AI cs.CL
Cross-lingual and Multilingual Speech Emotion Recognition on English and French
University of Stuttgart(斯图加特大学)
多语言语音情感识别研究面临的问题是,大多数可用的语音语料库在重要方面,如注释方法或交互场景彼此不同。这些不一致性使构建多语言系统变得复杂。我们目前的结果跨语言和多语言的情感识别英语和法语的语音数据具有相似的特点,在互动(人与人的对话)。此外,我们探索了微调预训练的跨语言模型的可能性,只有少量的样本从目标语言,这是非常感兴趣的低资源语言。为了更深入地了解部署的卷积神经网络所学习的内容,我们对网络内部的注意力机制进行了分析。
2018-03-01 cs.CL
Evaluating CxG Generalisation in LLMs via Construction-Based NLI Fine Tuning
University of Bath(巴斯大学);DEVCOM Army Research Laboratory(陆军研究实验室)
本文提出ConTest-NLI基准,通过8万句覆盖八种英语构式的合成NLI数据评估大语言模型的构式语法泛化能力,发现对抗数据准确率下降24%,微调仅提升9%,揭示了当前模型的抽象差距。
2025-09-19 cs.CL
Evaluation of Chinese-English Machine Translation of Emotion-Loaded Microblog Texts: A Human Annotated Dataset for the Quality Assessment of Emotion Translation
University of Surrey(萨里大学);Xi’an International Studies University(西安外国语大学)
本文提出基于多维质量指标(MQM)的评估框架,分析谷歌翻译对情感负载微博文本的翻译质量,发现约50%的输出丢失原始情感,并识别出情感词、多义词、否定和缩写等主要错误来源。
2023-06-20 cs.CL
LLMs Struggle with NLI for Perfect Aspect: A Cross-Linguistic Study in Chinese and Japanese
the University of Tokyo(东京大学);RIKEN(日本学术振兴会)
针对汉语和日语完成体中时态形式缺失对NLI的挑战,本文构建了每种语言1350对的模板数据集,实验发现先进大语言模型在细微时态与参照时间推理上仍存在明显不足,凸显跨语言时间语义评估的重要性。
2025-08-16 cs.CL
Towards Emotion Recognition in Hindi-English Code-Mixed Data: A Transformer Based Approach
Netaji Subhas University of Technology(贾瓦哈拉尔·尼赫鲁技术大学);Department of Computer Engineering(计算机工程系)
在过去的几年中,社交媒体文本中的情感检测已经成为一个流行的问题,因为它在更好地理解消费者,心理学,帮助人类与计算机交互,设计智能系统等方面的广泛应用,由于社交媒体中经常用于表达情感和意见的大量数据的可用性,这个问题已经引起了极大的关注。在本文中,我们提出了一个标记为情绪检测的Hinglish数据集。我们强调了一种基于深度学习的方法,用于检测印地语-英语代码混合推文中的情绪,使用来自FastText和Word 2 Vec方法的双语词嵌入,以及基于Transformer的模型。我们尝试了各种深度学习模型,包括CNN、LSTM、双向LSTM(有注意力和无注意力),以及BERT、RoBERTa和ALBERT等Transformers。基于Transformer的BERT模型优于所有其他模型,其精度为71.43%。
2021-02-28 cs.CL
StockEmotions: Discover Investor Emotions for Financial Sentiment Analysis and Multivariate Time Series
The University of Sydney(悉尼大学);The University of Western Australia(西澳大学);KPMG Australia(毕马威澳大利亚)
本文提出StockEmotions数据集,包含来自StockTwits的1万条评论和12类细粒度投资者情绪,实验表明DistilBERT在情感分类中表现最佳,而融合价格、文本与情绪的时序注意力LSTM在多元时间序列预测中效果最优。
2023-02-06 cs.AI cs.CL cs.LG
PO-EMO: Conceptualization, Annotation, and Modeling of Aesthetic Emotions in German and English Poetry
Max Planck Institute for Empirical Aesthetics(马克斯·普朗克经验美学研究所);Technische Universitat Darmstadt(达姆施塔特工业大学);University of Stuttgart(斯图加特大学)
大多数社交媒体、文学、新闻和其他领域的情感分析方法都只关注Ekman或Plutchik定义的基本情感类别。然而,艺术(如文学)使人们能够参与更广泛的更复杂和微妙的情感。这些已经被证明也包括混合的情绪反应。我们认为诗歌中的情感是在读者中引发的,而不是在文本中表达的或作者的意图。因此,我们概念化了一组美学情感,这些情感可以预测读者的审美欣赏,并允许每行多个标签的注释在其上下文中捕获混合的情感。我们在一个注释实验中评估了这种新颖的设置,该实验由经过精心训练的专家和众包完成。我们与专家的注释导致Kappa = .70的可接受的一致性,从而为未来的大规模分析提供一致的数据集。最后,我们进行了第一次情感分类实验的基础上BERT,表明识别审美情感是具有挑战性的,在我们的数据,与高达.52 F1-微的德国子集。有关数据和资源,请访问https://github.com/tnhaider/poetry-emotion
2021-06-23 cs.CL
Can We Still Trace L1 Signals? Investigating the Resilience of Native Language Signals in the LLM Era
Graduate School of Informatics, Nagoya University(名古屋大学信息学研究科)
研究通过分析ACL论文集不同时期的母语识别趋势,探讨大语言模型对科研论文同质化的影响,发现后LLM时代出现异常波动,部分语言表现更趋明显。
2026-09-17 cs.AI cs.CL
MasonTigers at SemEval-2024 Task 10: Emotion Discovery and Flip Reasoning in Conversation with Ensemble of Transformers and Prompting
George Mason University(乔治梅森大学)
MasonTigers 团队参加 SemEval-2024 任务 10,针对英语及印地语-英语语码混合对话中的情绪识别与翻转推理提出方法,在三个子任务中分别取得 0.78、0.79、0.79 的 F1 分数,并获得两项第一和一项第二。
2024-06-30 cs.CL
Emotion Classification in Short English Texts using Deep Learning Techniques
School of Computer Science and Engineering(计算机科学与工程学院);Manipal University Jaipur(斋浦尔马尼帕尔大学)
针对资源匮乏语言有限文本情感检测的难题,研究探究深度学习在英文短文本情感分类中的应用,构建含6372条样本的SmallEnglishEmotions数据集,验证了迁移学习与BERT嵌入的分类性能优势。
2024-03-10 cs.AI cs.CL
EmoMix-3L: A Code-Mixed Dataset for Bangla-English-Hindi Emotion Detection
George Mason University(乔治梅森大学)
针对现有语码混合情感检测数据集多为双语、缺乏三语数据的问题,该研究发布了包含孟加拉语、英语、印地语三语混合的多标签情感检测数据集EmoMix-3L,并通过实验验证MuRIL模型在该数据集上性能最优。
2024-05-11 cs.CL