Detecting and Mitigating Hallucinations in Machine Translation: Model Internal Workings Alone Do Well, Sentence Similarity Even Better
Meta AI
虽然神经机器翻译中的幻觉问题早已被认识到,但到目前为止,其缓解进展甚微。事实上,最近的事实证明,如果没有人为地鼓励模型产生幻觉,以前现有的方法就不够了,甚至标准的序列对数概率也更有信息量。这意味着模型内部的特征可以提供比我们预期的更多的信息,在使用外部模型和度量之前,我们首先需要问:如果我们只使用翻译模型本身,我们能走多远?我们建议使用一种方法来评估源贡献对生成的翻译的百分比。直觉上,幻觉是与源“分离”的翻译,因此它们可以通过低源贡献来识别。该方法将最严重幻觉的检测准确性提高了2倍,并且能够在测试时减轻幻觉,与依赖于外部模型的先前最佳方法相当。接下来,如果我们远离内部模型特征并允许外部工具,我们表明使用跨语言嵌入的句子相似性进一步改善了这些结果。
2022-12-20 cs.CL
TextShield: Beyond Successfully Detecting Adversarial Sentences in Text Classification
Johns Hopkins University(约翰斯·霍普金斯大学);Tsinghua University(清华大学);Tencent AI Lab(腾讯人工智能实验室);China Agricultural University(中国农业大学)
对抗攻击是NLP中神经网络模型面临的主要挑战,这阻碍了模型在安全关键应用中的部署。最近的一项工作,基于检测的防御,旨在区分敌对的句子和良性的句子。然而,{以前的检测方法的核心限制是无法对对抗性句子给出正确的预测,这与其他范式的防御方法不同。针对这一问题,本文提出了文本屏蔽:(1)发现文本攻击与显著性信息之间的联系,提出了一种基于显著性的检测器,可以有效地检测输入句子是否具有对抗性。(2)我们设计了一个基于显著性的校正器,它将检测到的敌对句子转换为良性的。通过结合基于显著性的检测器和校正器,TextShield将仅检测范式扩展为检测-校正范式,从而填补了现有基于检测的防御的空白。综合实验表明,(a)在不同基准的各种攻击中,TextShield始终比最先进的防御方法具有更高或相当的性能。(b)我们的基于显著性的检测器在检测对抗性句子方面优于现有的检测器。
2023-02-03 cs.AI cs.CL
Contextual Sentence Classification: Detecting Sustainability Initiatives in Company Reports
Imperial College London(帝国理工学院);University of Cambridge(剑桥大学);ALTA Institute(ALTA研究所)
我们介绍了在公司报告中检测可持续发展举措的新任务。在一份完整的报告中,目标是自动识别公司为解决特定社会问题而开展的实际活动。需要开发识别连续句跨度的新方法,以捕捉单个可持续性举措的多句结构。我们发布了一个新的公司报告数据集,其中的文本已经手动注释了可持续发展计划。我们还评估了不同的主动检测模型,介绍了一种新的聚合和评估方法。我们提出的架构使用连续的句子序列来考虑上下文信息时,在个别句子级别的分类决策。
2022-03-03 cs.AI cs.CL cs.LG
UPB @ ACTI: Detecting Conspiracies using fine tuned Sentence Transformers
University Politehnica of Bucharest(布加勒斯特理工大学)
针对 ACTI @ EVALITA 2023 阴谋论检测任务,本文结合预训练 sentence Transformer 与数据增强进行微调,在二分类和细粒度主题分类两个子任务中均排名第一。
2023-09-28 cs.AI cs.CL
Article Reranking by Memory-Enhanced Key Sentence Matching for Detecting Previously Fact-Checked Claims
University of Chinese Academy of Sciences(中国科学院大学);Key Lab of Data Engineering and Knowledge Engineering, Renmin University of China(中国人民大学数据工程与知识工程重点实验室)
之前经过事实核查的虚假声明仍然可以在社交媒体上传播。为了减缓其持续蔓延,检测先前经过事实核查的说法是必不可少的。给定一个声明,现有的工作集中于通过对BM 25检索到的候选事实检查文章(FC-文章)进行重新排序来提供检测的证据。然而,这些性能可能是有限的,因为它们忽略了FC-文章的以下特征:(1)经常引用声明来描述检查的事件,提供语义之外的词汇信息;(2)用于引入或揭穿声明的句子模板在文章中很常见,提供模式信息。忽略这两个方面的模型只利用语义相关性,可能会被描述相似但不相关事件的句子误导。在本文中,我们提出了一种新的reranker,MTM(记忆增强的Transformers for Matching)排名FC文章使用的事件(词汇和语义)和模式信息选择的关键句。对于事件信息,我们提出了一个ROUGE引导的Transformer,它是用ROUGE回归进行微调的。对于模式信息,我们生成用于与句子匹配的模式向量。通过融合事件和模式信息,我们选择关键句来代表一篇文章,然后预测文章是否使用声明,关键句和模式对给定的声明进行事实检查。在两个真实数据集上的实验表明,MTM优于现有的方法。人工评估证明,MTM可以捕捉关键句子进行解释。代码和数据集位于https://github.com/ICTMCG/MTM。
2021-12-20 cs.CL cs.IR
Understanding and Detecting Supporting Arguments of Diverse Types
Northeastern University(东北大学)
我们调查的问题,从相关文档中的用户指定的索赔的证据级别的支持参数检测。从在线辩论网站idebate.org收集了一个包含索赔和相关引用文章的数据集。然后,我们手动标记文件中的句子级别的支持论点及其类型为研究,事实,观点或推理。我们进一步表征不同类型的参数,并探讨是否利用类型信息可以促进支持参数检测任务。实验结果表明,LambdaMART(Burges,2010)排名器使用参数类型通知的功能比没有类型信息训练的相同排名器产生更好的性能。
2017-05-02 cs.CL
Propagate-Selector: Detecting Supporting Sentences for Question Answering via Graph Neural Networks
Seoul National University(首尔国立大学);Adobe Research(奥多比研究院)
在这项研究中,我们提出了一种新的图神经网络称为传播选择器(PS),它传播信息的句子,以了解信息时,不能推断孤立地考虑句子。首先,我们设计了一个图结构,其中每个节点代表一个单独的句子,并根据文本结构选择性地连接一些节点对。然后,我们开发了一个迭代的注意聚集和跳过合并方法,其中一个节点与它的邻居节点进行交互,以积累必要的信息。为了评估所提出的方法的性能,我们用标准的HotpotQA数据集进行实验。实证结果表明,我们所提出的方法,它获得了最好的性能,相比广泛使用的答案选择模型,不考虑intermittential关系的优越性。
2020-02-16 cs.AI cs.CL cs.LG
Wat zei je? Detecting Out-of-Distribution Translations with Variational Transformers
University of Oxford(牛津大学)
我们使用Transformer模型的贝叶斯深度学习等价物检测神经机器翻译中的训练分布外句子。为此,我们开发了一种新的不确定性测量方法,专门用于离散随机变量的长序列,即输出句子中的单词。我们的新措施的不确定性解决了一个主要的棘手问题,在天真的应用现有的方法对长句。我们使用我们的新措施上的Transformer模型训练辍学近似推理。在使用WMT13和Europarl进行德英翻译的任务中,我们证明了在辍学不确定性的情况下,我们的措施能够识别何时使用与德语相同的单词类型的荷兰语源句子,而不是德语。
2020-06-08 cs.CL cs.LG stat.ML
Detecting AI-Generated Sentences in Human-AI Collaborative Hybrid Texts: Challenges, Strategies, and Insights
Centre for Learning Analytics, Monash University(莫纳什大学学习分析中心);National Engineering Research Center of Educational Big Data, Central China Normal University(华中师范大学教育大数据国家工程研究中心)
本研究利用CoAuthor数据集,提出两步分割法检测人机协作混合文本中的AI生成句子,发现任务挑战大,并建议根据片段长度选择分割或逐句分类策略。
2024-05-23 cs.AI cs.CL
Fake Sentence Detection as a Training Task for Sentence Encoding
Stony Brook University(石溪大学)
句子编码器通常在具有大型未标记数据集的语言建模任务上进行训练。虽然这些编码器在许多高级任务上实现了最先进的结果,但它们很难用长的训练周期进行训练。我们引入假句检测作为学习句子编码器的新训练任务。我们通过从源集合中破坏原始句子来自动生成假句子,并训练编码器以产生有效检测假句子的表示。这种二进制分类任务对于训练句子编码器来说非常有效。我们将在此任务上训练的基本BiLSTM编码器与在语言建模任务上训练的强句子编码模型(Skipthought和FastSent)进行了比较。我们发现,BiLSTM在使用少量数据(1M而不是64M句子)进行假句子检测时的训练速度要快得多(20小时而不是几周)。进一步的分析表明,学习的表征捕捉到了许多句法和语义属性,期望从良好的句子表征。
2018-08-24 cs.CL
Detecting Ongoing Events Using Contextual Word and Sentence Embeddings
Universidad Nacional del Sur(南方国立大学);Dalhousie University(达尔豪斯大学)
本文介绍了正在进行的事件检测(OED)任务,这是一个特定的事件检测任务,其目标是检测正在进行的事件只提到,而不是历史,未来,假设,或其他形式或事件,既不新鲜也不当前。任何需要从非结构化文本中提取关于正在发生的事件的结构化信息的应用程序都可以利用OED系统。本文的主要贡献如下:(1)介绍了OED任务以及为该任务手动标记的数据集;(2)提出了一个用于该任务的RNN模型的设计和实现,该模型使用BERT嵌入来定义上下文单词和上下文句子嵌入作为属性,据我们所知,这在以前从未用于检测新闻中的正在进行的事件;(3)它提出了一个广泛的经验评估,包括(i)不同架构和超参数的探索,(ii)研究每个属性的影响的消融测试,以及(iii)与最先进模型的复制进行比较。结果提供了几个见解的重要性,上下文嵌入,并表明该方法是有效的,在OED的任务,优于基线模型。
2021-02-05 cs.CL cs.LG
IIT_kgp at FinCausal 2020, Shared Task 1: Causality Detection using Sentence Embeddings in Financial Reports
IIT Kharagpur(印度理工学院克勒格布尔分校)
本文描述了该团队提交给FinCausal 2020共享任务的工作。这项工作是与第一个子任务,确定句子中的因果关系。实验中使用的各种模型试图获得每个句子的潜在空间表示。对这些表示进行线性回归,以分类句子是否是因果关系。实验结果表明,BERT(大)表现最好,给出了0.958的F1分数,在检测金融文本和报告中的句子的因果关系的任务。类不平衡处理修改后的损失函数,以提供一个更好的度量评分的评价。
2020-11-16 cs.CL
Detecting Label Errors in Token Classification Data
Cleanlab;MIT(麻省理工学院)
错误标记的示例是真实世界数据中的常见问题,特别是对于像令牌分类这样的任务,其中必须在细粒度的基础上选择许多标签。在这里,我们考虑在标记分类数据集中找到包含标签错误的句子的任务。我们研究了11种不同的直接方法,这些方法基于(任何)令牌分类模型(通过任何程序训练)输出的预测类概率对令牌/句子进行评分。在精确召回评估的基础上,在现实世界中的标签错误的实体识别数据从CoNLL-2003,我们确定了一个简单而有效的方法,一贯检测这些句子时,应用不同的标记分类模型包含标签错误。
2022-10-08 cs.CL cs.LG
SocCogCom at SemEval-2020 Task 11: Characterizing and Detecting Propaganda using Sentence-Level Emotional Salience Features
Institute of High Performance Computing (IHPC)(高性能计算研究所);Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局)
本文介绍了一个系统开发的检测宣传技巧,从新闻文章。我们专注于研究如何从新闻片段中提取的情感显着性特征可以帮助描述和预测宣传技术的存在。相关性分析显示出有趣的模式,例如,“加载语言”和“口号”技术与效价和快乐强度呈负相关,但与愤怒,恐惧和悲伤强度呈正相关。相比之下,“挥舞旗帜”和“诉诸恐惧偏见”的模式正好相反。通过预测实验,结果进一步表明,而BERT的功能获得F1分数为0.548,情绪强度功能和BERT混合功能能够获得F1分数为0.570,当一个简单的前馈网络被用作在两种设置中的分类器。在黄金测试数据上,我们的系统在14种宣传技术的总体检测效率上获得了0.558的微平均F1分数。它在检测“装语言”(F1 = 0.772)、“名称呼叫和标记”(F1 = 0.673)、“怀疑”(F1 = 0.604)和“挥舞旗帜”(F1 = 0.543)方面表现相对较好。
2020-08-29 cs.CL cs.CY
Covid-Transformer: Detecting COVID-19 Trending Topics on Twitter Using Universal Sentence Encoder
Tabriz University(大不里士大学);Snap Inc(Snap公司)
新型冠状病毒病(也称为COVID-19)已导致大流行,影响全球200多个国家。由于其全球影响,COVID-19已成为几乎世界各地人们的主要关注点,因此世界各地都有大量关于COVID-19相关主题的推文。在这项工作中,我们试图分析推文,并检测Twitter上人们的热门话题和主要关注点,这可以使我们更好地了解情况,并制定更好的计划。更具体地说,我们提出了一个模型的基础上,通用的句子编码器来检测最近几个月的推文的主要主题。我们使用通用的句子编码器,以获得的语义表示和相似性的鸣叫。然后,我们使用句子相似性和它们的嵌入,并将它们馈送到K-means聚类算法,以将相似的推文(在语义意义上)分组。然后,使用基于深度学习的文本摘要算法获得聚类摘要,该算法可以揭示每个聚类的底层主题。通过实验结果,我们表明,我们的模型可以检测非常翔实的主题,通过处理大量的句子级别的推文(这可以保持推文的整体意义)。由于该框架对特定数据分布没有限制,因此可用于检测来自任何其他社交媒体和任何其他背景的热门话题,而不是COVID-19。实验结果表明,我们提出的方法优于其他基线,包括TF-IDF,和潜在的Dirichlet分配(LDA)。
2020-09-19 cs.CL cs.LG
Detecting Propaganda on the Sentence Level during the COVID-19 Pandemic
Tunghai University(东海大学)
随着COVID-19大流行,社交媒体上的虚假信息、阴谋、可疑内容和外国对手操纵的信息传播激增。这种恶意的网络行为可能会导致社会两极分化、健康危机和财产损失。在本文中,我们使用在Reddit上训练的微调上下文嵌入,解决了2020年3月COVID-19疫情被确认为大流行期间此类用户账户及其在Twitter上的目标问题的宣传检测。我们的研究结果显示,亲中国的群体似乎比中立群体多发了35到115倍。与此同时,中立群体在推特上发布了更多积极态度的内容,并对COVID-19疫情发出警报。这个亲中国的团体也在政治问题上使用了更多呼吁采取行动的措辞,而这些问题不一定与中国有关。
2021-07-31 cs.CL cs.CY cs.LG
Detecting Concrete Visual Tokens for Multimodal Machine Translation
PAR Government Systems Corporation(PAR政府系统公司);Air Force Research Laboratory(空军研究实验室)
针对多模态机器翻译的视觉接地与掩码挑战,提出多种具体视觉标记检测与选择方法,基于GRAM架构在合成多模态数据集上训练,实现了性能与视觉语境利用率的提升。
2024-03-05 cs.CL
Transfer Learning for Causal Sentence Detection
Causaly(Causaly公司);Athens University of Economics and Business(雅典经济与商业大学)
我们认为检测表达因果关系的句子的任务,作为从文本中挖掘因果关系的一步。为了绕过关系抽取数据集中因果实例的稀缺性,我们利用迁移学习,即ELMO和BERT,使用具有自我注意力的双向GRU(BIGRUATT)作为基线。我们实验与通用公共关系抽取数据集和一个新的生物医学因果句检测数据集,其中的一个子集,我们公开。我们发现,迁移学习只在非常小的数据集上有帮助。对于较大的数据集,BIGRUATT达到性能平台,然后较大的数据集和迁移学习没有帮助。
2019-06-20 cs.CL
Detecting Sexual Content at the Sentence Level in First Millennium Latin Texts
Inria(法国国家信息与自动化研究所)
本研究提出使用深度学习方法对公元一千年拉丁语文本进行句子级性内容语义分类,构建了新语料库并验证了HAN模型的高精确率与TPR,同时发现元数据嵌入会导致过拟合。
2024-03-26 cs.AI cs.CL
An Algorithm for Aligning Sentences in Bilingual Corpora Using Lexical Information
在本文中,我们描述了一个算法,在双语语料库中使用的词汇信息的语言与他们的翻译对齐的句子。现有的有效算法忽略了词的身份,只考虑句子的长度(布朗,1991年;盖尔和教会,1993年)。对于源语言文本中的一个句子,该算法利用词汇信息和一定的语义学从目标语言文本中挑选最可能的翻译。它不使用句子长度进行统计分析。该算法是语言独立的。它还有助于检测翻译中文本的添加和删除。该算法在大多数情况下给出了与现有算法相当的结果,而在统计算法没有给出良好结果的情况下,它做得更好。
2003-02-12 cs.CL
Detecting Redundant Health Survey Questions Using Language-agnostic BERT Sentence Embedding (LaBSE)
College of Natural Sciences, Seoul National University(首尔大学自然科学学院);College of Nursing, Seoul National University(首尔大学护理学院);The Research Institute of Nursing Science, Seoul National University(首尔大学护理科学研究所);Samsung Medical Center(三星医疗中心);David Geffen School of Medicine, University of California Los Angeles(加州大学洛杉矶分校大卫·格芬医学院)
本研究为促进基于调查的PGHD标准化,收集英韩双语健康调查问题构建STS数据集,对比三种分类器后发现SBERT-LaBSE跨语言语义相似度评估表现最佳,ROC和精确召回曲线下面积超0.99,为跨语言PGHD语义互操作提供支持。
2024-12-05 cs.CL
Are there identifiable structural parts in the sentence embedding whole?
Idiap Research Institute(Idiap研究所);University of Geneva(日内瓦大学)
本文研究 transformer 句子嵌入是否包含可分离的结构信息层,并通过语块结构数据集与语言智能任务及内部表征分析验证了该假设。
2024-07-02 cs.CL
Obligation and Prohibition Extraction Using Hierarchical RNNs
Athens University of Economics and Business(雅典经济与商业大学);Cognitiv+ Ltd.(Cognitiv+有限公司)
我们考虑的任务是检测合同义务和禁令。我们表明,自我注意力机制提高了BILSTM分类器的性能,该任务的现有技术,通过允许它专注于指示性标记。我们还介绍了一个分层的BILSTM,它将每个句子转换为一个嵌入,并处理句子嵌入来分类每个句子。除了训练更快之外,层次BILSTM的表现优于平面BILSTM,即使后者考虑了周围的句子,因为层次模型具有更广泛的话语视野。
2018-05-10 cs.CL
Basic tasks of sentiment analysis
School of Computer Science and Engineering, Nanyang Technological University(南洋理工大学计算机科学与工程学院)
主观性检测是识别客观和主观句子的任务。客观句是那些不表现任何情感的句子。因此,期望情感分析引擎找到并分离目标句子以用于进一步分析,例如,极性检测在主观句中,观点通常可以表达一个或多个主题。方面提取是情感分析的子任务,其在于识别意见文本中的意见目标,即,在检测产品或服务的特定方面时,意见持有者是在赞扬还是在抱怨。
2017-10-18 cs.CL
Detecting Media Bias in News Articles using Gaussian Bias Distributions
Paderborn University(帕德博恩大学);Bauhaus-Universität Weimar(魏玛包豪斯大学)
媒体在塑造公众舆论方面发挥着重要作用。有偏见的媒体可以影响人们在不可取的方向,因此应该被揭露。我们观察到,基于特征和神经文本分类方法,只依赖于低层次的词汇信息的分布无法检测媒体偏见。这一弱点在关于新事件的文章中最为明显,这些文章中的词语出现在新的上下文中,因此它们的“偏见预测性”不清楚。因此,在本文中,我们研究了文章中关于有偏见的陈述的二阶信息如何有助于提高检测效率。特别是,我们利用概率分布的频率,位置和顺序的词汇和信息的重复水平的偏见在高斯混合模型。在现有的媒体偏见数据集上,我们发现有偏见的陈述的频率和位置强烈影响文章水平的偏见,而它们的确切顺序是次要的。使用一个标准的模型,为文章级的偏见检测,我们提供了经验证据表明,文章级的偏见检测器,使用二阶信息明显优于那些没有。
2020-10-20 cs.CL
Detecting (Un)Important Content for Single-Document News Summarization
Redfin Inc.(Redfin公司);University of Akron(阿克伦大学);University of Pennsylvania(宾夕法尼亚大学)
我们提出了一个强大的方法来检测内在的句子重要性的新闻,通过训练两个语料库的文档摘要对。当用于单文档摘要,我们的方法,结合“文档开头”的启发式,优于一个国家的最先进的摘要和文章的自动和手动评估的基准。这些结果代表了一个重要的进步,因为在没有跨文档重复的情况下,新闻的单文档摘要器无法始终优于强大的文章摘要基线。
2017-02-26 cs.CL
WikiContradiction: Detecting Self-Contradiction Articles on Wikipedia
National Cheng Kung University(台湾成功大学);Wikimedia Foundation(维基媒体基金会)
虽然维基百科已被用于事实核查和声明验证,以揭穿错误信息和虚假信息,但无论是提高文章质量还是排除嘈杂的文章都是至关重要的。自相矛盾是维基百科中质量较低的条目类型之一。在这项工作中,我们提出了一个任务,在维基百科中检测自相矛盾的文章。基于“自矛盾”模板,我们创建了一个新的数据集的自矛盾检测任务。传统的矛盾检测侧重于比较句子或声明对,但自矛盾检测需要进一步推理文章的语义,并同时从所有句子对中学习矛盾意识比较。因此,我们提出了第一个模型,成对矛盾神经网络(PCNN),不仅可以有效地识别自相矛盾的文章,但也突出了最矛盾的对矛盾的句子。PCNN的主要思想是双重的。首先,为了减轻数据稀缺对自相矛盾文章的影响,我们使用SNLI和MNLI基准对成对矛盾学习模块进行了预训练。其次,我们选择具有最高矛盾概率值的前K个句子对,并对其相关性进行建模,以确定相应的文章是否属于自相矛盾。在WikiContradiction数据集上进行的实验表明,PCNN可以产生令人满意的性能,并全面突出矛盾所在的句子对。
2021-11-16 cs.CL cs.IR cs.LG
Explicating the Implicit: Argument Detection Beyond Sentence Boundaries
Bar-Ilan University(巴伊兰大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of Washington(华盛顿大学)
本文提出一种基于文本蕴含的跨句论元检测方法,将语义关系编码为独立命题并检验其是否被全文蕴含,无需直接监督,在文档级基准上优于部分有监督方法和当代语言模型。
2024-08-08 cs.CL
Impact of Target Word and Context on End-to-End Metonymy Detection
Heidelberg Institute for Theoretical Studies(海德堡理论研究所)
借代是一种修辞格,其中一个实体被另一个相关实体所指代。借代检测的任务是区分借代标记和字面标记。到目前为止,转喻检测方法试图消除一个句子中的单个名词短语,通常是位置名称或组织名称。在本文中,我们通过将转喻检测重新定义为序列标记任务来消除句子中的每个词的歧义。我们还研究了目标词和语境对转喻识别的影响。我们表明,目标词是有用的检测在我们的数据集中的借代。另一方面,在上下文中与特定领域的单词相关联的实体类型更容易解决。这表明语境词对于检测借代更有意义。
2021-12-06 cs.CL
Exploring syntactic information in sentence embeddings through multilingual subject-verb agreement
Idiap Research Institute(伊迪亚普研究所);University of Geneva(日内瓦大学)
本文通过新的多项选择任务和Blackbird Language Matrices数据集,采用两级架构研究多语言预训练语言模型的句法表征,发现其存在语言特异性差异,句法结构在密切相关语言间也不共享。
2024-11-29 cs.CL
Holistic Sentence Embeddings for Better Out-of-Distribution Detection
Peking University(北京大学)
检测分发外(OOD)实例对于NLP模型的安全部署具有重要意义。在最近基于预训练语言模型(PLM)的文本OOD检测工作中,基于距离的方法表现出优越的性能。然而,他们估计样本距离得分在最后一层CLS嵌入空间,因此没有充分利用语言信息的PLM。为了解决这个问题,我们建议通过导出更全面的句子嵌入来提高OOD检测。在观察到令牌平均和层组合有助于提高OOD检测的基础上,我们提出了一种简单的嵌入方法,称为平均,平均所有的令牌表示从每个中间层的句子嵌入,并显着超过了国家的最先进的一套全面的基准测试的9.33% FAR95保证金。此外,我们的分析表明,它确实有助于保存一般的语言知识,微调PLM和大大有利于检测背景变化。简单而有效的嵌入方法可以应用于微调PLM,可以忽略不计的额外成本,在OOD检测中提供免费的增益。我们的代码可在https://github.com/lancopku/Avg-Avg上获得。
2022-10-14 cs.AI cs.CL
dzStance at StanceEval2024: Arabic Stance Detection based on Sentence Transformers
LCPTS;FGE-USTHB;CRSTDLA;Algiers 01 University(阿尔及尔第一大学)
本研究比较TF-IDF与句子转换器在阿拉伯语立场检测中的性能,证明后者更优,并在StanceEval2024竞赛中取得第13名(71.77%),展示了其处理社会议题的潜力。
2024-07-18 cs.CL
Grammatical information in BERT sentence embeddings as two-dimensional arrays
University of Geneva(日内瓦大学)
本研究针对一维Transformer句向量难提取语法规则的问题,将其重塑为二维数组,证明多种架构可借此从少量简单数据学习主谓一致规律并泛化到复杂数据,揭示了句向量的分布式语法信息特性,助力少样本学习发展。
2023-12-15 cs.CL
"Having 2 hours to write a paper is fun!": Detecting Sarcasm in Numerical Portions of Text
IIT Bombay(印度理工学院孟买分校)
由于文本中数字部分的存在而发生的讽刺已经被引用为过去自动讽刺检测方法所犯的错误。我们提出了第一个研究检测讽刺的数字,如在案件的句子“爱在凌晨4点醒来”。我们分析了这个问题的挑战,并提出了基于规则的,机器学习和深度学习的方法来检测文本的数字部分的讽刺。我们的深度学习方法在推特数据集上的讽刺检测和基于规则的机器学习方法方面优于过去的四项工作,获得了0.93的F1分数。这表明,特别注意包含数字的文本可能有助于提高讽刺检测的最新技术水平。
2017-09-06 cs.CL
BERT Transformer model for Detecting Arabic GPT2 Auto-Generated Tweets
Ferhat Abbas University, Setif 1(费尔哈特·阿巴斯大学塞提夫第一大学);Qatar Computing Research Institute(卡塔尔计算研究所);Hamad Bin Khalifa University (HBKU)(哈马德·本·哈利法大学)
在过去的二十年里,我们逐渐转向互联网和社交媒体来寻找新闻,娱乐对话和分享意见。最近,OpenAI开发了一个名为GPT-2的机器学习系统,用于生成预训练的Transformer-2,它可以生成deepfake文本。它可以根据简短的写作提示生成文本块,看起来像是人类写的,从而促进虚假或自动生成的文本的传播。根据这一进展,并为了对抗潜在的危险,已经提出了几种方法来检测这些语言模型编写的文本。在本文中,我们提出了一个基于迁移学习的模型,该模型将能够检测阿拉伯语句子是由人类写的还是由机器人自动生成的。我们的数据集基于以前工作中的推文,我们使用Twitter API对其进行了抓取和扩展。我们使用GPT 2-Small-Arabic来生成假的阿拉伯语句子。为了进行评估,我们比较了基于不同递归神经网络(RNN)词嵌入的基线模型,即:LSTM,BI-LSTM,GRU和BI-GRU,以及基于transformer的模型。我们新的迁移学习模型获得了高达98%的准确率。据我们所知,这项工作是第一项将ARABERT和GPT 2结合起来检测和分类阿拉伯语自动生成文本的研究。
2021-01-22 cs.CL
Fine-Grained Spoiler Detection from Large-Scale Review Corpora
University of California, San Diego(加州大学圣地亚哥分校);Amazon.com, Inc(亚马逊公司)
本文提出了计算方法,自动检测关键情节曲折的媒体产品的评论。首先,我们创建了一个大规模的书评数据集,其中包括在书评级别的细粒度剧透注释,以及书籍和(匿名)用户信息。其次,我们仔细分析了这个数据集,发现:剧透语言往往是特定于书籍的;剧透分布在书籍和评论作者之间差异很大;剧透句子往往共同出现在评论的后半部分。第三,受这些发现的启发,我们开发了一个端到端的神经网络架构来检测评论语料库中的剧透句子。定量和定性结果表明,所提出的方法大大优于现有的基线。
2019-05-31 cs.CL
Detecting Levels of Depression in Text Based on Metrics
Trinity College Dublin(都柏林圣三一学院)
抑郁症是最常见的,也是社会关注的主要问题之一。使用有助于检测的设备进行适当的监测可能有助于预防这一切。苦恼分析访谈语料库(DAIC)被用来建立一个基于度量的抑郁检测。我们设计了一个指标来描述抑郁的水平,使用消极的句子,并相应地对参与者进行分类。然后将算法产生的分数提高,以表示抑郁的强度。结果表明,在不考虑其他因素的情况下,单纯使用文本测量抑郁是非常复杂的。此外,本文还指出了使用文本测量抑郁的局限性,并提出了未来的建议。
2018-07-09 cs.CL
X-PuDu at SemEval-2022 Task 6: Multilingual Learning for English and Arabic Sarcasm Detection
Baidu(百度);Shanghai Pudong Development Bank(上海浦东发展银行)
从人们的主观陈述中检测讽刺和言语讽刺对于理解他们在社会场景中的意图和真实情感和位置至关重要。本文介绍了X-PuDu系统,参加了SemEval-2022任务6,iSarcasmEval -有意讽刺检测英语和阿拉伯语,其目的是检测有意讽刺自然语言理解的各种设置。我们的解决方案在多语言设置下微调预训练的语言模型,如ERNIE-M和DeBERTa,以识别阿拉伯语和英语文本中的讽刺。我们的系统在43个任务中排名第二,在32个任务中排名第九:英语和阿拉伯语的一句话检测;在22个任务中排名第五:英语的二进制多标签分类;在16个任务中排名第一,在13个任务中排名第五:英语和阿拉伯语的双对检测。
2022-11-30 cs.CL
UTNLP at SemEval-2021 Task 5: A Comparative Analysis of Toxic Span Detection using Attention-based, Named Entity Recognition, and Ensemble Models
University of Tehran(德黑兰大学)
检测句子的哪些部分导致了句子的毒性,而不是提供一个令人讨厌的判决,这将增加模型的可解释性,并允许人类主持人更好地理解系统的输出。本文介绍了我们团队的UTNLP方法和SemEval-2021共享任务5中关于有毒跨度检测的结果。我们测试了多个模型和上下文嵌入,并报告了最好的设置。实验从基于关键字的模型开始,然后是基于注意力的,基于命名实体的,基于变换器的和集成模型。我们最好的方法,合奏模型,在比赛的评估阶段达到了0.684的F1。
2021-04-10 cs.CL
WSDMS: Debunk Fake News via Weakly Supervised Detection of Misinforming Sentences with Contextualized Social Wisdom
Hong Kong Baptist University(香港浸会大学);Singapore Management University(新加坡管理大学);Jinan University(暨南大学)
针对假新闻辟谣中缺乏句子级标注数据集的挑战,本文提出弱监督模型WSDMS,仅需包级标签即可结合情境化社交媒体对话推断句子级错误信息和文章级真实性,并在三个基准上优于现有基线。
2023-10-25 cs.CL
Expect the unexpected: Harnessing Sentence Completion for Sarcasm Detection
Indian Institute of Technology Bombay(印度孟买理工学院);Monash University(莫纳什大学);IITB-Monash Research Academy(IITB-莫纳什研究学院)
本文将讽刺检测建模为观察词与预期词的不协调识别,利用基于双向 LSTM 的 Context2Vec 预测预期词,并提出全词与仅不协调词两种方法,验证了句子完成用于讽刺检测的潜力。
2017-07-19 cs.CL
Active Learning for Mention Detection: A Comparison of Sentence Selection Strategies
University of Maryland(马里兰大学);IBM T.J. Watson Research Center(IBM托马斯·J·沃森研究中心)
我们提出并比较了各种句子选择策略的主动学习的任务,检测提到的实体。最佳策略采用在数据的不同视图上训练的两个统计分类器的置信度之和。我们的实验结果表明,与随机选择策略相比,该策略减少了超过50%的所需标记的训练数据,而达到相同的性能。当仅考虑命名提及时,效果甚至更显著:系统仅使用随机选择策略所需的训练数据的42%来实现相同的性能。
2009-11-10 cs.AI cs.CL
Detecting Linguistic Indicators for Stereotype Assessment with Large Language Models
Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所);Lamarr Germany(德国拉马尔研究所)
提出基于SCSC框架的语言学指标检测方法,利用大语言模型上下文学习自动评估句子中的刻板印象,并通过评分函数量化其强度,实验验证了模型性能与规模的关系。
2025-02-26 cs.AI cs.CL
Do Sentence Interactions Matter? Leveraging Sentence Level Representations for Fake News Classification
Carnegie Mellon University(卡内基梅隆大学)
通过在线媒体渠道传播的虚假新闻和误导性信息的不断增长需要一种自动检测此类新闻文章的方法。在区分可信与其他类型的新闻文章(讽刺,宣传,恶作剧)的少数有限作品中,没有一个在文档中建模句子交互。我们观察到一个有趣的模式,在不同类型的新闻文章的句子相互作用的方式。为了捕捉长新闻文章的这类信息,我们提出了一种基于图神经网络的模型,该模型不需要特征工程来进行细粒度的假新闻分类。通过实验,我们证明了我们提出的方法击败了强大的神经基线,并在现有数据集上达到了最先进的精度。此外,我们建立了我们的模型,通过评估其性能在域外的情况下的泛化能力。代码可在https://github.com/MysteryVaibhav/fake_news_semantics上获得
2019-10-27 cs.CL cs.LG stat.ML
Expressions Causing Differences in Emotion Recognition in Social Networking Service Documents
Hosei University(法政大学)
通常很难从在线交换的文本中正确推断作者的情感,并且作者和读者之间的识别差异可能是有问题的。在本文中,我们提出了一个新的框架来检测句子,创造作家和读者之间的情感识别的差异,并检测各种表达,造成这种差异。建议的框架包括一个双向编码器表示从Transformers(BERT)为基础的检测器,检测句子引起的差异,情感识别和分析,获得的表达,典型地出现在这样的句子。该检测器,基于一个日本SNS文档数据集的作者和三个读者的社交网络服务(SNS)文档的情感标签注释,检测到“隐藏的愤怒的句子”AUC = 0.772,这些句子引起了差异的愤怒的识别。由于SNS文档包含许多句子,其含义是非常难以解释的,通过分析该检测器检测到的句子,我们得到了几个表达式,出现在隐藏的愤怒句子的特点。被检测到的句子和表情并没有明确表达愤怒,很难推断出作者的愤怒,但如果指出隐含的愤怒,就有可能猜测作者为什么生气。投入实际使用后,这一框架可能有能力减轻基于误解的问题。
2022-09-03 cs.AI cs.CL cs.LG
Check-worthy Claim Detection across Topics for Automated Fact-checking
Queen Mary University of London(伦敦玛丽女王大学);Taif University(塔伊夫大学)
自动事实核查系统的一个重要组成部分是索赔核查价值检测系统,该系统通过根据需要对句子进行优先级排序来进行检查。尽管有大量的研究在处理这项任务,但以前的研究忽略了在不同主题中识别值得检查的声明的挑战性。在本文中,我们评估并量化了检测新的、看不见的主题的值得检查的声明的挑战。在强调了这个问题之后,我们提出了AraCWA模型来减轻在检测跨主题的值得检查的声明时的性能恶化。AraCWA模型通过整合用于少样本学习和数据增强的两个组件来提高新主题的性能。使用一个公开的数据集的阿拉伯语推文组成的14个不同的主题,我们表明,我们提出的数据增强策略实现了实质性的改善,在整个主题的改善程度各不相同的主题。此外,我们分析了主题之间的语义相似性,这表明相似性度量可以用作代理,以确定一个看不见的主题的难度水平之前,进行标记的基本句子的任务。
2022-12-16 cs.CL
Detecting Speculative Language in Biomedical Texts using Recurrent Neural Tensor Networks
Stevens Institute of Technology(史蒂文斯理工学院)
利用分布式句子表示和深度学习技术,提出递归神经张量网络(RNTN)用于自动检测生物医学文献中的推测性语言,性能略优于线性双元SVM(F1=0.885 vs 0.881)。
2026-06-09 cs.AI cs.CL
Translation Error Detection as Rationale Extraction
University of Sheffield(谢菲尔德大学);Imperial College London(伦敦帝国理工学院)
最近基于多语言预训练表示的质量估计(QE)模型在预测翻译句子的整体质量时取得了非常有竞争力的结果。预测翻译错误,即具体检测哪些单词是不正确的,是一项更具挑战性的任务,特别是在训练数据有限的情况下。我们假设,与人类不同,成功的QE模型依赖于翻译错误来预测整体句子质量。通过探索一组特征归因方法,将相关性得分分配给输入以解释模型预测,我们研究了最先进的量化宽松模型的行为,并表明从这些模型中提取的解释(即理由)确实可以用于检测翻译错误。因此,我们(i)引入了一种新的半监督方法,用于词级QE和(ii)建议使用QE任务作为一个新的基准来评估特征属性的可解释性,即如何解释模型解释是人类。
2021-08-27 cs.CL
ARPA: Armenian Paraphrase Detection Corpus and Models
Russian-Armenian University(俄罗斯-亚美尼亚大学);Ivannikov Laboratory for System Programming(伊万尼科夫系统编程实验室)
在这项工作中,我们采用了一种半自动的方法,基于回译生成一个亚美尼亚语的原始释义语料库。最初收集的句子从亚美尼亚语翻译成英语,然后再翻译两次,结果是成对的词汇上遥远但语义上相似的句子。然后,对生成的释义进行手动审查和注释。使用该方法创建了训练和测试数据集,总共包含2360个释义。此外,这些数据集被用来训练和评估基于BERT的亚美尼亚语释义检测模型,取得了与其他语言的最先进水平相当的结果。
2020-09-26 cs.CL
Language-Agnostic Analysis of Speech Depression Detection
Saintgits College of Engineering(圣吉茨工程学院);IIIT Hyderabad(印度信息技术研究所海得拉巴分校);Cognitive Science Lab, IIIT Hyderabad(印度信息技术研究所海得拉巴分校认知科学实验室);Language Technologies Research Center, IIIT Hyderabad(印度信息技术研究所海得拉巴分校语言技术研究中心)
本研究分析跨英语和马拉雅拉姆语的语音抑郁检测,利用IViE语料库数据和CNN模型识别抑郁相关声学特征,验证其跨语言有效性,为开发语言无关的抑郁检测系统提供支持。
2024-09-23 cs.CL
UnScientify: Detecting Scientific Uncertainty in Scholarly Full Text
Université de Franche-Comté(弗朗什-孔泰大学);Institut Universitaire de France (IUF)(法国大学研究院(IUF))
UnScientify是一个交互式系统,采用弱监督和细粒度标注方案,结合模式匹配等方法,自动检测学术全文中的科学不确定性,并提供可解释结果以支持多种文本处理应用。
2023-07-26 cs.AI cs.CL cs.DL
Actionable Phrase Detection using NLP
可诉性句子是指在最基本的意义上,暗示采取特定行动的必要性的术语。在语言学术语中,它们是实现操作的步骤,通常通过使用动作动词。例如,“明天之前完成你的家庭作业”这句话是可诉的,因为它要求采取一个具体的行动(在这种情况下,完成家庭作业)。相比之下,一个简单的句子,如“我喜欢弹吉他”,并不符合可操作的短语,因为它只是陈述了一个人的个人选择,而不是要求完成一项任务。在本文中,目的是探索是否可以使用从头开始设计的语言过滤器从原始文本中提取可识别项。这些过滤器专门用于使用迁移学习作为主导角色来识别可操作的文本。可操作检测可用于在危机期间检测紧急任务,急救指导准确性,也可用于制作生产力工具,如会议中的自动ToDo列表生成器。为了实现这一点,我们使用安然电子邮件数据集,并在清理后的文本数据上应用我们的语言过滤器。然后,我们使用迁移学习和通用句子编码器来训练一个模型,以分类给定的原始文本字符串是否可操作。
2022-10-30 cs.CL
Sticking to the Mean: Detecting Sticky Tokens in Text Embedding Models
Zhejiang University(浙江大学);Quantstamp;Huzhou Institute of Industrial Control Technology(湖州工业控制技术研究院)
本文定义并检测文本嵌入模型中的粘性 token,提出 STD 方法,在 14 个模型系列的 40 个检查点中发现 868 个异常 token,并揭示其来源、注意力主导机制及对聚类和检索最高 50% 的性能损害。
2025-07-24 cs.AI cs.CL
Detecting Emotion Drift in Mental Health Text Using Pre-Trained Transformers
Author(作者)
本研究利用预训练变换器模型检测心理健康文本中的情绪变化,通过分析句子层面的情感来识别情绪漂移模式。
2025-12-15 cs.AI cs.CL