The Imitation Game: Detecting Human and AI-Generated Texts in the Era of ChatGPT and BARD
本研究引入一个包含散文、故事、诗歌和Python代码的人类与LLM生成文本数据集,采用多种机器学习模型进行分类,发现模型在二元分类中表现优越,但区分GPT生成文本更具挑战性,为AI文本检测提供了启示。
2023-11-12 cs.AI cs.CL
Threads of Subtlety: Detecting Machine-Generated Texts Through Discourse Motifs
University of Minnesota Twin Cities(明尼苏达大学双城分校);Kumoh National Institute of Technology(金乌工业大学);Grammarly(Grammarly公司)
本文提出利用层次化解析树和递归超图捕捉文本话语母题,以增强人类与机器生成文本的区分能力,并在分布外及改写样本上验证了层次化话语特征的有效性。
2024-06-06 cs.AI cs.CL
SEFD: Semantic-Enhanced Framework for Detecting LLM-Generated Text
本文提出语义增强框架SEFD,通过检索机制融合文本语义与传统检测器,在改写场景下显著提升LLM生成文本检测准确率,同时保持对标准生成内容的鲁棒性。
2024-11-17 cs.AI cs.CL cs.IR
Ghostbuster: Detecting Text Ghostwritten by Large Language Models
Computer Science Division, UC Berkeley(加州大学伯克利分校计算机科学系)
本文提出 Ghostbuster 文本检测系统,通过弱语言模型特征组合与分类器训练识别黑盒 LLM 生成文本,并发布三个基准,在跨域、提示和模型泛化上显著优于现有检测器。
2024-04-05 cs.AI cs.CL
Decoding the AI Pen: Techniques and Challenges in Detecting AI-Generated Text
Microsoft(微软公司)
本文探讨LLMs广泛使用带来的挑战,重点研究AI生成文本检测的现有策略、理论可行性及未来研究方向。
2024-06-26 cs.AI cs.CL cs.LG
NCL-UoR at SemEval-2025 Task 3: Detecting Multilingual Hallucination and Related Observable Overgeneration Text Spans with Modified RefChecker and Modified SeflCheckGPT
School of Computing, Newcastle University(新萨勒姆大学计算机学院);Department of Computer Science, University of Reading(阅读大学计算机科学系);Previously at School of Computing, Newcastle University(新萨勒姆大学计算机学院)
针对 SemEval-2025 Mu-SHROOM 的多语言幻觉及文本片段定位任务,提出改进的 RefChecker 与 SelfCheckGPT,通过声明式事实验证、外部知识和增强提示实现有效检测。
2025-05-12 cs.AI cs.CL
Sarang at DEFACTIFY 4.0: Detecting AI-Generated Text Using Noised Data and an Ensemble of DeBERTa Models
National Institute of Technology, Tiruchirapalli(印度特里奇拉巴利国家理工学院)
本文提出一种结合噪声数据与 DeBERTa 模型集成的 AI 生成文本检测方法,在 Defactify 4.0 共享任务的两个子任务中均获第一,F1 分数分别为 1.0 和 0.9531。
2025-02-24 cs.AI cs.CL
AuthentiGPT: Detecting Machine-Generated Text via Black-Box Language Models Denoising
MIT EECS(麻省理工学院电气工程与计算机科学系)
AuthentiGPT利用黑盒语言模型去噪输入文本并语义比较,以单参数高效区分机器与人类文本,在领域数据集上AUROC达0.918,优于商业算法。
2023-11-13 cs.AI cs.CL cs.LG
Short-PHD: Detecting Short LLM-generated Text with Topological Data Analysis After Off-topic Content Insertion
The University of Hong Kong(香港大学);University of Delaware(特拉华大学)
本文提出Short-PHD方法,通过在输入前插入无关主题内容以稳定短文本的持久同调维数估计,从而在零样本设定下有效检测短LLM生成文本。
2025-04-01 cs.CL
Assessing Classical Machine Learning and Transformer-based Approaches for Detecting AI-Generated Research Text
University of Peradeniya(佩拉德尼亚大学)
本研究比较经典机器学习与Transformer模型在检测ChatGPT-3.5生成研究摘要上的性能,发现DistilBERT最优,集成未超越单一模型,为构建更鲁棒检测框架奠定基础。
2025-09-20 cs.AI cs.CL
Detecting text level intellectual influence with knowledge graph embeddings
School of Information Sciences, University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校信息科学学院)
针对多学科中追溯学术思想传播与影响的需求,提出结合Gemini LLM构建知识图谱与新型图神经网络嵌入的方法,在引用关系预测任务上性能优于现有方法,为挖掘学术影响提供了新思路。
2024-10-31 cs.CL
Exploring the Limitations of Detecting Machine-Generated Text
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);University of Edinburgh(爱丁堡大学)
本研究针对机器生成文本检测系统受文本风格和复杂度影响的不明确问题,通过多风格文本评估审计检测性能,发现分类器对风格、复杂度敏感,易读文本易被误分类,呼吁未来研究关注相关风格与阅读难度因素。
2024-12-12 cs.CL
MatSci-NLP: Evaluating Scientific Language Models on Materials Science Language Tasks Using Text-to-Schema Modeling
University of Montreal(蒙特利尔大学);Mila - Quebec AI(Mila - 魁北克人工智能研究所);Intel Labs(英特尔实验室)
提出材料科学NLP基准MatSci-NLP,涵盖七项任务,验证科学预训练语言模型优势,并引入文本到模式多任务学习方法,优于传统微调。
2023-05-14 cond-mat.mtrl-sci cs.AI cs.CL
Detecting undisclosed LLM-generated content in parliamentary texts
Chalmers University of Technology(查尔姆斯理工大学);University of Cambridge(剑桥大学)
本研究训练可解释文本分类器,检测英国和瑞典议会文本中未披露的LLM使用情况,发现自2022年起两国议会中未披露的LLM使用持续增加。
2026-06-15 cs.CL
SearchLLM: Detecting LLM Paraphrased Text by Measuring the Similarity with Regeneration of the Candidate Source via Search Engine
National Institute of Information and Communications Technology, Japan(日本信息与通信技术国家研究所);Nagoya University, Japan(日本名古屋大学)
SearchLLM通过搜索引擎检索候选源文本并测量相似性,有效检测LLM改写文本并提升检测器性能。
2026-01-23 cs.CL
DeTeCtive: Detecting AI-generated Text via Multi-Level Contrastive Learning
ByteDance(字节跳动);University of Chinese Academy of Sciences(中国科学院大学)
针对 AI 生成文本检测泛化不足的问题,提出 DeTeCtive 多层级对比学习框架,结合多任务辅助与稠密检索,显著提升多编码器的 OOD 零样本检测性能。
2024-10-28 cs.AI cs.CL cs.LG
SsciBERT: A Pre-trained Language Model for Social Science Texts
Nanjing University of Science and Technology(南京理工大学);Nanjing Agricultural University(南京农业大学);Wuhan University(武汉大学)
社会科学学术文献是记录人类文明、研究人类社会问题的文献。随着其大规模的发展,如何快速找到相关问题的已有研究成果成为研究者的迫切需求。之前的研究,如SciBERT,已经表明使用特定领域的文本进行预训练可以提高自然语言处理任务的性能。然而,到目前为止,用于社会科学的预训练语言模型还不可用。有鉴于此,本研究提出了一个基于社会科学引文索引(SSCI)期刊上发表的摘要的预训练模型。这些模型可在GitHub(https://github.com/S-T-Full-Text-Knowledge-Mining/SSCI-BERT)上获得,在学科分类、抽象结构-功能识别和社会科学文献的命名实体识别任务方面表现出色。
2022-11-25 cs.CL
LLM-Measure: Generating Valid, Consistent, and Reproducible Text-Based Measures for Social Science Research
Hong Kong University of Science and Technology(香港科技大学)
本文提出LLM-Measure方法,利用大语言模型内部隐藏状态学习概念向量并投影生成文本度量,经三项复制研究验证,该方法在社会科学研究中产生有效、一致且可复现的度量。
2024-09-19 cs.CL
Beyond Turing: A Comparative Analysis of Approaches for Detecting Machine-Generated Text
MBZUAI(穆罕默德·本·扎耶德人工智能大学);Institut Teknologi Bandung(万隆理工学院);University of Zagreb(萨格勒布大学)
针对预训练语言模型发展下人机文本区分难度攀升的问题,本文评估了浅层学习、LM微调、多语言模型微调三种检测方法的性能,发现其效果差异显著,为NLP领域该方向的后续研究提供参考。
2024-05-15 cs.CL
Prompt Selection Matters: Enhancing Text Annotations for Social Sciences with Large Language Models
Université Paris 1 Panthéon-Sorbonne(巴黎第一大学先贤祠-索邦大学);Université Paris-Saclay(巴黎萨克雷大学);Institut Jean Nicod(让·尼科德研究所);Ecole Normale Supérieure(巴黎高等师范学院);PSL-EHESS-CNRS(巴黎文理研究大学-法国高等社会科学研究院-法国国家科学研究中心)
本文研究提示选择对大型语言模型社会科学文本标注准确性的影响,发现不同提示性能差异显著,并提出自动提示优化方法以系统构建高质量提示,同时提供浏览器实现工具。
2025-03-10 cs.AI cs.CL cs.CY
SCALE: Towards Collaborative Content Analysis in Social Science with Large Language Model Agents and Human Intervention
Arizona State University(亚利桑那州立大学);NC State University(北卡罗来纳州立大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
SCALE通过大语言模型代理和人工干预,实现了社会科学中复杂内容分析的高效模拟与提升。
2025-07-06 cs.AI cs.CL cs.MA
PhantomHunter: Detecting Unseen Privately-Tuned LLM-Generated Text via Family-Aware Learning
University of Chinese Academy of Sciences(中国科学院大学)
针对私有微调LLM生成文本检测难题,提出族感知学习框架PhantomHunter,捕获基础模型族级特征,在三个模型族上F1超96%,优于现有方法。
2025-06-18 cs.CL cs.CY
TSM-Bench: Detecting LLM-Generated Text in Real-World Wikipedia Editing Practices
King’s College London(伦敦国王学院);Wikimedia Foundation(维基媒体基金会)
针对维基百科等用户生成内容平台,提出多语言、多生成器、多任务的TSM-Bench基准,发现现有检测器在任务特定MGT上准确率下降10-40%,且存在泛化不对称性。
2026-05-29 cs.CL
Detecting AI-Generated Text: Factors Influencing Detectability with Current Methods
National Research Council Canada(加拿大国家研究委员会)
本研究针对AI生成文本检测的挑战性与重要性,综述水印、统计文体分析等最新检测方法及现有数据集,分析影响AIGT可检测性的关键因素并为未来工作提建议。
2025-04-14 cs.CL cs.CY
Almost AI, Almost Human: The Challenge of Detecting AI-Polished Writing
First Author Affiliation(第一作者单位);Second Author Affiliation(第二作者单位)
本文系统评估了12种先进AI文本检测器在14.7K样本的APT-Eval数据集上的表现,发现其难以区分AI润色程度并存在模型偏见,揭示了现有检测方法的不足。
2025-05-05 cs.AI cs.CL cs.HC
AISPACE at SemEval-2024 task 8: A Class-balanced Soft-voting System for Detecting Multi-generator Machine-generated Text
Samsung R&D Institute China-Beijing(三星中国研发研究院)
本文针对SemEval-2024任务8子任务B的多类机器生成文本检测问题,提出基于Transformer微调、加权交叉熵和软投票集成的系统,最终排名第一。
2024-04-01 cs.CL
Navigating the Risks of Using Large Language Models for Text Annotation in Social Science Research
Stony Brook University(石溪大学)
本文面向社会科学文本标注,提出将 LLM 用作主要编码决策者或助手的评估框架,系统检验其有效性、可靠性、可复现性与透明度风险,并给出实用指南。
2025-07-25 cs.CL cs.CY
Deciphering Textual Authenticity: A Generalized Strategy through the Lens of Large Language Semantics for Detecting Human vs. Machine-Generated Text
The University of Texas at San Antonio(圣安东尼奥德克萨斯大学);Secure AI and Autonomy Lab(安全人工智能与自主实验室)
针对真实场景中多生成器、多领域机器文本检测泛化不足的问题,提出 T5LLMCipher,融合预训练 T5 编码器与 LLM 嵌入子聚类,显著提升跨域 F1 并准确识别生成器。
2024-04-03 cs.CL cs.LG
Detecting LLM-Generated Tokens in Human--LLM Coauthored Text
School of Mathematics, University of Birmingham(伯明翰大学数学学院);School of Statistics and Data Science, Shanghai University of Finance and Economics(上海财经大学统计与数据科学学院);Department of Statistics, The London School of Economics and Political Science(伦敦政治经济学院统计系)
针对人类与大语言模型合作撰写文本中难以检测大语言模型生成内容的问题,提出在令牌级别运行、基于现有分数并平滑分数降低变异性的新方法,在合成与真实数据集上性能强,还部署了网站。
2026-07-24 cs.AI stat.ME
TextShield: Beyond Successfully Detecting Adversarial Sentences in Text Classification
Johns Hopkins University(约翰斯·霍普金斯大学);Tsinghua University(清华大学);Tencent AI Lab(腾讯人工智能实验室);China Agricultural University(中国农业大学)
对抗攻击是NLP中神经网络模型面临的主要挑战,这阻碍了模型在安全关键应用中的部署。最近的一项工作,基于检测的防御,旨在区分敌对的句子和良性的句子。然而,{以前的检测方法的核心限制是无法对对抗性句子给出正确的预测,这与其他范式的防御方法不同。针对这一问题,本文提出了文本屏蔽:(1)发现文本攻击与显著性信息之间的联系,提出了一种基于显著性的检测器,可以有效地检测输入句子是否具有对抗性。(2)我们设计了一个基于显著性的校正器,它将检测到的敌对句子转换为良性的。通过结合基于显著性的检测器和校正器,TextShield将仅检测范式扩展为检测-校正范式,从而填补了现有基于检测的防御的空白。综合实验表明,(a)在不同基准的各种攻击中,TextShield始终比最先进的防御方法具有更高或相当的性能。(b)我们的基于显著性的检测器在检测对抗性句子方面优于现有的检测器。
2023-02-03 cs.AI cs.CL
Detecting Emotion Drift in Mental Health Text Using Pre-Trained Transformers
Author(作者)
本研究利用预训练变换器模型检测心理健康文本中的情绪变化,通过分析句子层面的情感来识别情绪漂移模式。
2025-12-15 cs.AI cs.CL
Detecting Everyday Scenarios in Narrative Texts
Universität des Saarlandes(萨尔大学);Universität Stuttgart(斯图加特大学)
脚本知识包括日常活动的详细信息。这些信息在文本中往往被认为是理所当然的,需要读者进行推断。因此,文字知识是语言理解的核心组成部分。以前表示脚本的工作主要是基于大量的手工工作或限于可以在大型语料库中找到足够冗余的场景。我们介绍的任务,场景检测,在其中,我们确定引用脚本。在这项任务中,我们解决了广泛的不同的脚本(200个场景),我们试图确定所有引用他们在一系列的叙事文本。我们提出了第一个基准数据集和一个基线模型,它使用主题分割和文本分类技术来处理场景检测。
2019-06-10 cs.AI cs.CL
Network psychometrics and cognitive network science open new ways for detecting, understanding and tackling the complexity of math anxiety: A review
University of Exeter(埃克塞特大学)
数学焦虑是一种在数学相关情境中损害认知加工的临床病理学。数学焦虑最初被认为只会影响缺乏经验、成绩差的学生,但最近的调查显示,即使在成绩好的学生中,数学焦虑也会广泛传播。这篇对数据知情研究的综述将数学焦虑概述为一个复杂的系统:(i)在意识和潜意识层面上削弱幸福感、自信心和信息处理,(ii)可以通过社会交往传播,就像病原体一样,并因扭曲的感知而恶化,(iii)在全球64个教育系统中,有63个系统的学生约占20%,但与学习成绩的相关性很弱,(iv)对学生的福祉构成具体威胁,计算素养和科学职业前景。这些模式强调了超越表现来评估数学焦虑的重要性。网络心理测量学和认知网络科学的最新进展为检测、解释和干预此类临床状况提供了理想的框架。融合教育研究,心理学和数据科学,这里回顾的方法重建心理结构作为复杂的系统,表示为多元相关模型(如图形探索性分析)或作为语义/情感关联的认知网络(如自由联想网络或形式网络)。这些相互关联的网络不仅可以检测数学焦虑的隐藏水平,而且更重要的是,它们可以揭示特定人群中数学焦虑背后的相互作用因素的具体布局,例如关键来源和目标。正如这里所讨论的,这些网络方法为揭示学生的感知,情绪和心理健康开辟了具体的方法,并可以使未来强大的数据信息干预解开数学焦虑。
2021-08-31 cs.CL cs.SI math.HO
Detecting AI-Generated Sentences in Human-AI Collaborative Hybrid Texts: Challenges, Strategies, and Insights
Centre for Learning Analytics, Monash University(莫纳什大学学习分析中心);National Engineering Research Center of Educational Big Data, Central China Normal University(华中师范大学教育大数据国家工程研究中心)
本研究利用CoAuthor数据集,提出两步分割法检测人机协作混合文本中的AI生成句子,发现任务挑战大,并建议根据片段长度选择分割或逐句分类策略。
2024-05-23 cs.AI cs.CL
DeepPavlov at SemEval-2024 Task 8: Leveraging Transfer Learning for Detecting Boundaries of Machine-Generated Texts
Moscow Institute of Physics and Technology(莫斯科物理技术学院)
针对人机混合写作的文本边界检测需求,DeepPavlov团队提出基于DeBERTaV3有监督微调的数据增强流水线,在SemEval-2024任务8中取得了最优MAE成绩。
2024-05-17 cs.AI cs.CL
DependencyAI: Detecting AI Generated Text through Dependency Parsing
Sketch Recognition Lab, Texas A&M University(德克萨斯大学阿姆斯特朗实验室)
DependencyAI通过依存解析检测AI生成文本,利用语言依存关系标签实现高可解释性和跨语言性能,揭示语法结构差异并提升跨领域泛化能力。
2026-02-17 cs.CL
Transformer Encoder for Social Science
Princeton University(普林斯顿大学);Boston University(波士顿大学)
高质量的文本数据已经成为社会科学家的重要数据来源。我们已经见证了预训练的深度神经网络模型的成功,例如BERT和RoBERTa,在最近的社会科学研究中。在本文中,我们提出了一个紧凑的预训练深度神经网络,Transformer Encoder for Social Science(TESS),旨在解决社会科学研究中的文本处理任务。使用两个验证测试,我们证明了TESS优于BERT和RoBERTa平均16.7%的训练样本的数量是有限的(<1,000训练实例)。结果显示TESS在社会科学文本处理任务上优于BERT和RoBERTa。最后,我们讨论了我们的模型的局限性和未来的研究提出了建议。
2022-08-17 cs.AI cs.CL
Detecting Propaganda Techniques in Code-Switched Social Media Text
Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学(MBZUAI))
针对社交媒体中代码切换文本的宣传检测难题,构建了英语-罗马乌尔都语双语语料库并标注20种宣传技巧,实验表明直接建模多语言优于翻译,且微调策略至关重要。
2024-03-15 cs.AI cs.CL
"Having 2 hours to write a paper is fun!": Detecting Sarcasm in Numerical Portions of Text
IIT Bombay(印度理工学院孟买分校)
由于文本中数字部分的存在而发生的讽刺已经被引用为过去自动讽刺检测方法所犯的错误。我们提出了第一个研究检测讽刺的数字,如在案件的句子“爱在凌晨4点醒来”。我们分析了这个问题的挑战,并提出了基于规则的,机器学习和深度学习的方法来检测文本的数字部分的讽刺。我们的深度学习方法在推特数据集上的讽刺检测和基于规则的机器学习方法方面优于过去的四项工作,获得了0.93的F1分数。这表明,特别注意包含数字的文本可能有助于提高讽刺检测的最新技术水平。
2017-09-06 cs.CL
VoteTRANS: Detecting Adversarial Text without Training by Voting on Hard Labels of Transformations
KDDI Research, Inc.(KDDI综合研究所);National Institute of Informatics(国立信息学研究所)
针对现有对抗文本检测依赖训练数据的问题,提出无需训练的 VoteTRANS,通过比较输入文本及其变换预测的硬标签进行投票检测,并在多种攻击、模型和数据集上验证有效。
2023-06-02 cs.CL
KUCST@LT-EDI-ACL2022: Detecting Signs of Depression from Social Media Text
Centre for Language Technology(语言技术中心);Department of Nordic Studies and Linguistics(北欧研究与语言学系);University of Copenhagen(哥本哈根大学)
在本文中,我们提出了从社交媒体文本中检测抑郁症迹象的方法。我们的模型依赖于单词单字,词性标签,可读性措施和第一,第二或第三人称的使用和单词的数量。我们最好的模型获得了0.439的宏观F1分数,在31支球队中排名第25位。我们进一步利用逻辑回归模型的可解释性,并尝试解释模型系数,希望这些将有助于进一步研究的主题。
2022-04-09 cs.CL
Detecting Knowledge Inconsistencies Across Text, Tables, and Knowledge Graphs
EURECOM(欧洲电信学院)
研究跨文本、表格和知识图谱的知识不一致性检测问题,提出\textsc{Kontrast}框架,通过文本到SPARQL和语言模型推理比较并分类不一致性,实验表明跨模态不一致性常见且有价值,为知识审计提供工具并建立基准。
2026-11-09 cs.AI cs.CL
SEPP: Similarity Estimation of Predicted Probabilities for Defending and Detecting Adversarial Text
KDDI Research, Inc.(KDDI研究所)
有两种情况描述分类器如何处理输入文本,即错误分类和正确分类。就错误分类的文本而言,分类器处理具有不正确预测和对抗性文本的文本,这些文本是为了欺骗分类器而生成的,被称为受害者。这两种类型都被受害者误解,但它们仍然可以被其他分类器识别。这导致受害者和其他分类器之间的预测概率存在很大差距。相比之下,受害者正确分类的文本通常会被其他人成功预测,并导致小的差距。在本文中,我们提出了一个集成模型的基础上相似性估计的预测概率(SEPP),利用大差距的错误分类的预测,在正确的分类小差距。然后,SEPP纠正错误分类文本的错误预测。我们通过不同类型的受害者分类器,分类任务和对抗攻击证明了SEPP在防御和检测对抗文本方面的弹性。
2021-10-13 cs.CL
Detecting multiword phrases in mathematical text corpora
Cologne University of Applied Sciences(科隆应用科学大学);Institute of Information Science(信息科学研究所)
本文提出了一种在数学文本语料库中检测多词短语的方法。所使用的方法是基于数学术语的特征。它使用一个名为Lingo的软件工具,可以通过以前定义的词典识别特定的词类,如形容词,人名或名词。多字组的检测是通过算法完成的。索引和信息检索的方法可能的优点和应用基于字典的自动索引的方法,而不是词干程序的结论进行了讨论。
2012-10-02 cs.CL cs.IR
On Detecting Messaging Abuse in Short Text Messages using Linguistic and Behavioral patterns
Symantec Ltd.(赛门铁克公司)
在过去几年中,在社交媒体和即时消息中使用短文本消息已经成为流行的通信渠道。这种日益流行的趋势导致了邮件威胁的增加,如垃圾邮件、网络钓鱼或恶意软件以及其他威胁。这些短文本消息威胁的处理可能会带来额外的挑战,例如词汇变体的存在,SMS类缩写或高级混淆,这些都会降低传统过滤解决方案的性能。通过使用来自美国的大型电信运营商和社交媒体语料库的真实短信数据集,本文分析了基于语言和行为模式的机器学习过滤器的有效性,以检测短文本垃圾邮件和网络中的滥用用户。我们还探索了不同的方法来处理短文本消息的挑战,如令牌化和实体检测使用文本规范化和子串聚类技术。结果表明,所提出的解决方案的有效性,通过增强基线的方法。
2014-08-18 cs.AI cs.CL cs.SI
Detecting and assessing contextual change in diachronic text documents using context volatility
Leipzig University(莱比锡大学)
历时文本语料库中的术语可能表现出高度的语义动态性,这仅部分地被语义变化的共同概念所捕获。我们提出的上下文波动性的新度量模型的程度,在文本集合中,随着时间的推移,术语改变上下文。词的上下文波动性的计算依赖于其共现项的重要性值和相应的共现等级在连续的时间跨度。我们定义了一个基线,并提出了一个有效的计算方法,以克服相关的问题,在数据结构的计算问题。结果进行评估,用于模拟上下文变化的合成文件,和一个真实的例子的基础上,英国报纸文本。
2017-11-15 cs.CL
Detecting Bot-Generated Text by Characterizing Linguistic Accommodation in Human-Bot Interactions
University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
语言生成模型的民主化使许多领域受益,从回答与健康相关的问题到通过提供人工智能驱动的辅导服务来加强教育。然而,语言生成模型的民主化也使其更容易大规模地生成用于邪恶活动的类人文本,从传播错误信息到针对特定群体的仇恨言论。因此,了解人们如何与机器人交互并开发检测机器人生成的文本的方法至关重要。这篇论文表明,如果我们使用人们如何回应的信息,而不是直接使用机器人的文本,机器人生成的文本检测方法在数据集和模型中更鲁棒。我们还分析了语言对齐,深入了解人与人和人与机器人对话之间的差异。
2021-06-02 cs.CL
KnowBias: Detecting Political Polarity in Long Text Content
MIT PRIMES(MIT PRIMES项目);Weston High School(韦斯顿高中)
我们引入了一个分类方案,用于检测长文本内容(如报纸观点文章)中的政治偏见。获取足够规模的长文本数据和注释进行训练是困难的,但通过作者身份从推文中提取政治极性相对容易。我们对推文进行训练,并对文章进行推理。通用句子编码器和其他现有的方法,旨在解决这个领域的适应情况下提供不准确和不一致的预测文章,我们表明,这是由于在推文和文章之间的意见集中的差异。我们提出了一个两步分类方案,该方案使用在推文上训练的中性检测器从文章中删除中性句子,以调整意见集中度,从而提高该领域的准确性。我们的实现可在https://knowbias.ml上公开使用。
2019-11-20 cs.CL
Detecting and Explaining Causes From Text For a Time Series Event
Language Technology Institute(语言技术研究所);Carnegie Mellon University(卡内基梅隆大学)
解释事件的潜在原因或影响是一项具有挑战性但有价值的任务。我们定义了一个新的问题,产生一个时间序列事件的解释(1)搜索的原因和影响的时间序列与文本数据的关系和(2)构建它们之间的连接链,以产生一个解释。为了从文本中检测因果特征,我们提出了一种新的方法,基于从文本中提取的特征(如N-gram,主题,情感及其组成)之间的时间序列的Granger因果关系。因果实体序列的生成需要具有高效推理的常识因果知识库。为了确保良好的可解释性和适当的词汇使用,我们结合了符号和神经表征,使用在常识因果元组上训练的神经推理算法来预测下一个原因步骤。我们的定量和人工分析表明,我们的方法成功地提取了有意义的因果关系的时间序列与文本特征之间的实证证据,并产生适当的解释。
2017-07-27 cs.AI cs.CL cs.LG
UnScientify: Detecting Scientific Uncertainty in Scholarly Full Text
Université de Franche-Comté(弗朗什-孔泰大学);Institut Universitaire de France (IUF)(法国大学研究院(IUF))
UnScientify是一个交互式系统,采用弱监督和细粒度标注方案,结合模式匹配等方法,自动检测学术全文中的科学不确定性,并提供可解释结果以支持多种文本处理应用。
2023-07-26 cs.AI cs.CL cs.DL
DAMAGE: Detecting Adversarially Modified AI Generated Text
Pangram Labs, Inc.(Pangram实验室)
针对AI人性化工具规避文本检测的问题,本文评估19种工具,提出以数据为中心的增强检测模型,并通过自攻击验证其跨工具泛化与稳健性。
2025-01-06 cs.CL
Detecting Incongruity Between News Headline and Body Text via a Deep Hierarchical Encoder
Seoul National University(首尔国立大学);Automation and Systems Research Institute(自动化与系统研究所);Qatar Computing Research Institute(卡塔尔计算研究所);KAIST(韩国科学技术院);Institute for Basic Science(基础科学研究所)
一些新闻标题误导读者高估或虚假信息,并提前识别它们将更好地帮助读者选择合适的新闻故事进行消费。本研究引入百万级的带有不一致标签的新闻标题和正文数据集,可以唯一地用于检测具有误导性标题的新闻故事。在这个数据集上,我们开发了两个具有分层架构的神经网络,它们对新闻文章的复杂文本表示进行建模,并测量标题和正文之间的不一致性。我们还提出了一种数据增强方法,通过独立调查新闻故事的每一段,大大减少了模型处理的文本输入大小,从而进一步提高了性能。我们的实验和定性评估表明,所提出的方法优于现有的方法,并有效地检测新闻故事与误导性的标题在现实世界中。
2019-02-08 cs.CL
Detecting Machine-Translated Text using Back Translation
KDDI Research, Inc.(KDDI综合研究所);The University of Tokyo(东京大学)
机器翻译文本在使用不同语言的人们的交流中起着至关重要的作用。但是,攻击者可以将此类文本用于恶意目的,例如剽窃和虚假评论。现有的方法只利用文本的内在内容来检测机器翻译文本,但它们不适合对具有相同含义的机器翻译文本和人类书写文本进行分类。我们提出了一种方法来提取用于区分机器/人类文本的基础上的相似性的内在文本和它的回翻译的特征。对法语翻译句子的检测结果表明,该方法的准确率和F值均达到75.0%。它优于现有的方法,其最好的准确率为62.8%,F-分数为62.7%。该方法甚至可以更有效地检测回译文本,准确率为83.4%,高于之前最佳准确率的66.7%。我们也取得了类似的结果,不仅与F-分数,而且与日本有关的类似实验。此外,我们证明了我们的检测器可以识别机器翻译和机器回译文本,而无需用于生成这些机器文本的语言信息。它演示了我们的方法在低资源和富资源语言的各种应用程序中的持久性。
2019-10-15 cs.CL
Integration of Text and Graph-based Features for Detecting Mental Health Disorders from Voice
Isfahan University of Technology(伊斯法罕理工大学)
随着智能手机等语音设备的出现,可以更早地发现和治疗心理健康障碍,特别是在大流行后。当前的方法涉及直接从音频信号中提取特征。在本文中,两种方法来丰富语音分析抑郁症检测:语音信号的图形变换,和自然语言处理的成绩单的基础上表示学习,融合在一起,产生最终的类标签。DAIC-WOZ数据集的实验结果表明,整合基于文本的语音分类和从低级别和基于图形的语音信号特征中学习可以提高对抑郁症等精神障碍的检测。
2022-05-14 cs.AI cs.CL cs.LG