DetectGPT-SC: Improving Detection of Text Generated by Large Language Models through Self-Consistency with Masked Predictions
Macao Polytechnic University(澳门理工大学);Iowa State University(爱荷华州立大学);HKUST (GZ)(香港科技大学(广州))
针对AI生成文本的检测问题,提出基于掩码预测自洽性的DetectGPT-SC方法,利用零样本和简单提示进行掩码与自洽性预测,在多种任务上超越了现有最先进检测器。
2023-10-23 cs.CL
Understanding the Effects of Human-written Paraphrases in LLM-generated Text Detection
School of Electronic Engineering and Computer Science, Queen Mary University of London(伦敦玛丽女王大学电子工程与计算机科学学院)
本研究构建首个包含人类改写文本的HLPC数据集,实验发现人类改写文本显著影响LLM检测器性能,可提升TPR@1%FPR但可能牺牲AUROC和准确率。
2024-11-06 cs.CL
Human Variability vs. Machine Consistency: A Linguistic Analysis of Texts Generated by Humans and Large Language Models
University of Konstanz(康斯坦茨大学)
本文基于M4数据集和250个语言特征,结合LFTK、句法深度、语义与情感度量及PCA分析,识别人类与LLM文本在特征变异性、认知负荷和内容丰富度上的差异。
2024-12-04 cs.CL
Don't Take the Premise for Granted: Evaluating the Premise Critique Ability of Large Language Models
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院);Engineering Research Center of Knowledge-Driven Human-Machine Intelligence, MOE, China(知识驱动人机智能工程研究中心,教育部,中国);International Center of Future Science, Jilin University(未来科学国际中心,吉林大学)
本研究提出前提批判基准,评估大语言模型在面对错误前提时的批判能力,揭示其在推理与前提批判上的差异及改进需求。
2025-11-24 cs.CL
Mixture of Detectors: A Compact View of Machine-Generated Text Detection
Computer Science & Engineering, NIT Silchar(计算机科学与工程系,西里char理工学院);Electrical Engineering, NIT Silchar(电气工程系,西里char理工学院)
本文构建BMAS English英文数据集,系统研究文档级分类、生成器归属、句子级人机文本分割及对抗攻击下的机器生成文本检测。
2025-09-26 cs.CL
MAGE: Machine-generated Text Detection in the Wild
Tencent AI Lab(腾讯AI实验室);Jilin University(吉林大学);Westlake University(西湖大学);Zhejiang University(浙江大学);The University of Hong Kong(香港大学)
针对现有AI生成文本检测方法局限于特定领域与模型、难适配真实场景的问题,本研究构建了多来源的综合测试平台MAGE,验证了分布外检测的挑战与可行性,并开源相关资源。
2024-05-21 cs.CL
Detecting undisclosed LLM-generated content in parliamentary texts
Chalmers University of Technology(查尔姆斯理工大学);University of Cambridge(剑桥大学)
本研究训练可解释文本分类器,检测英国和瑞典议会文本中未披露的LLM使用情况,发现自2022年起两国议会中未披露的LLM使用持续增加。
2026-06-15 cs.CL
Robust Detection of LLM-Generated Text: A Comparative Analysis
Purdue University(普渡大学);University of Chicago(芝加哥大学)
本研究针对LLM生成文本检测的二分类任务,基于开源数据集比较了传统机器学习、基于转换器的模型及利用LLM自身的检测方法,重点评估了模型泛化、对抗攻击鲁棒性与准确性,并总结了实验结果与未来方向。
2024-11-09 cs.CL
Can You Make It Sound Like You? Post-Editing LLM-Generated Text for Personal Style
III University of Maryland(III 马里兰大学)
研究探讨用户通过后编辑LLM生成文本来塑造个人风格的效果,发现后编辑提高了文本与用户自身写作的相似性,但降低了与LLM生成文本的相似性,同时减少了风格多样性。
2026-04-27 cs.CL
JaccDiv: A Metric and Benchmark for Quantifying Diversity of Generated Marketing Text in the Music Industry
Technical University of Munich(慕尼黑技术大学)
本文针对音乐行业营销文本生成中的重复问题,提出基于LLM的data-to-text方法并设定基准,同时引入JaccDiv指标量化文本多样性,适用于多种内容生成领域。
2025-04-29 cs.CL
LLM-Detector: Improving AI-Generated Chinese Text Detection with Open-Source LLM Instruction Tuning
Macao Polytechnic University(澳门理工大学);Fudan University(复旦大学);Wuhan University(武汉大学)
针对现有AI生成中文文本检测模型域内过拟合、域外及句子级检测效果差的问题,提出基于开源LLM指令微调的LLM-Detector,在两级检测任务上均优于基线且泛化性强、易部署。
2024-02-02 cs.CL
Who Wrote This? The Key to Zero-Shot LLM-Generated Text Detection Is GECScore
University of Macau(澳门大学);Harbin Institute of Technology(哈尔滨工业大学)
本文提出一种黑盒零样本检测方法GECScore,利用人类文本比LLM生成文本包含更多语法错误的特性进行区分,在XSum和Writing Prompts数据集上平均AUROC达98.62%,优于现有SOTA方法且抗改写攻击。
2025-03-01 cs.CL
Task Diversity Shortens the ICL Plateau
Harvard University(哈佛大学);Samsung Research(三星研究所);KRAFTON;UC Berkeley(加州大学伯克利分校);UCLA(加州大学洛杉矶分校)
研究发现在多个多样的ICL任务上同时训练能缩短损失平台期,使任务更易学习,表明语言模型大规模训练的成功也得益于自然语言数据多样性带来的更易优化。
2025-08-12 cs.CL cs.LG
factgenie: A Framework for Span-based Evaluation of Generated Texts
Institute of Formal and Applied Linguistics(形式与应用语言学研究所);Faculty of Mathematics and Physics, Charles University(查理大学数学与物理学院)
本文提出了factgenie框架,通过Web界面支持人类众包工人和大语言模型对生成文本中的词跨度进行标注与可视化,以捕捉语义不准确等现象,并提供可扩展的代码库。
2024-07-25 cs.CL
EVIL-Detect for NLPCC 2026 Shared Task 6: LLM-Generated Text Detection
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
针对中文场景下LLM生成文本检测需求,提出带冲突感知融合的多信号集成框架EVIL-Detect,整合多类信号并校准决策边界,在NLPCC 2026共享任务6中获宏F1 0.8888且排名第一。
2026-08-12 cs.CL
EnsemJudge: Enhancing Reliability in Chinese LLM-Generated Text Detection through Diverse Model Ensembles
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
本文提出EnsemJudge框架,通过定制策略和集成投票机制,有效检测中文LLM生成文本,优于基线方法并在NLPCC2025任务中取得第一,验证了其可靠性。
2026-03-30 cs.CL
Applying Ensemble Methods to Model-Agnostic Machine-Generated Text Detection
Georgia Institute of Technology(佐治亚理工学院)
针对生成模型未知的机器生成文本检测问题,将集成方法用于DetectGPT分类器输出,零样本下AUROC达0.73,监督方法可达0.94,为构建高精度模型无关检测器提供了可能。
2024-06-18 cs.CL
Comparing LLM-generated and human-authored news text using formal syntactic theory
Universidade da Coruña, CITIC(科鲁尼亚大学,CITIC);Palacký University at Olomouc, Department of Asian Studies(奥洛穆茨帕拉茨基大学,亚洲研究系)
本文首次基于HPSG形式句法理论,系统比较六个LLM生成的纽约时报风格文本与人类撰写文本的语法类型分布差异,揭示了二者在句法行为上的系统性区别。
2025-06-02 cs.CL
Learning to Rewrite: Generalized LLM-Generated Text Detection
Columbia University(哥伦比亚大学);Rutgers University(罗格斯大学)
本文提出Learning2Rewrite框架,通过训练LLM放大其改写AI文本与人类文本时的编辑距离差异,实现跨领域、抗对抗攻击的生成文本检测。
2025-02-15 cs.CL
Synthetically generated text for supervised text analysis
Michigan State University(密歇根州立大学)
针对监督文本模型应用中人工标注成本高、稀有样本难获取及版权隐私问题,提出用大语言模型可控生成合成文本的方案,给出技术选择指导、伦理讨论及质量提升方法,并通过三个应用验证其实用性。
2023-03-28 cs.CL
mdok of KInIT: Robustly Fine-tuned LLM for Binary and Multiclass AI-Generated Text Detection
Kempelen Institute of Intelligent Technologies(凯普伦智能技术研究所)
本文提出 mdok 方法,通过微调较小 LLM 进行文本分类,在 Voight-Kampff 生成式 AI 检测 2025 的二元与多元检测任务中均获第一名,实现鲁棒的 AI 生成文本检测。
2025-09-18 cs.CL
On the Zero-Shot Generalization of Machine-Generated Text Detectors
Peking University(北京大学);Johns Hopkins University(约翰斯·霍普金斯大学);University of Washington(华盛顿大学)
本研究聚焦机器生成文本检测器对未训练过的新型生成器的零样本泛化问题,通过多LLM数据实验发现中等规模LLM训练的检测器可泛化到更大模型,据此提出基于中等模型数据集成的鲁棒检测器构建方案。
2023-10-08 cs.CL
CAMF: Collaborative Adversarial Multi-agent Framework for Machine Generated Text Detection
Stanford University(斯坦福大学);College of Information Technology(信息科技学院);School of Business(商学院)
本文提出协作对抗多智能体框架CAMF,通过多维语言特征提取、对抗一致性探测和综合判断聚合三阶段协同检测机器生成文本,实验证明其显著优于现有零样本检测方法。
2025-08-16 cs.CL
Beyond Turing: A Comparative Analysis of Approaches for Detecting Machine-Generated Text
MBZUAI(穆罕默德·本·扎耶德人工智能大学);Institut Teknologi Bandung(万隆理工学院);University of Zagreb(萨格勒布大学)
针对预训练语言模型发展下人机文本区分难度攀升的问题,本文评估了浅层学习、LM微调、多语言模型微调三种检测方法的性能,发现其效果差异显著,为NLP领域该方向的后续研究提供参考。
2024-05-15 cs.CL
Prolonged Reasoning Is Not All You Need: Certainty-Based Adaptive Routing for Efficient LLM/MLLM Reasoning
ByteDance(字节跳动);FuDan University(复旦大学)
针对过度依赖思维链推理导致LLM/MLLM效率低、简单任务性能下降的问题,提出基于确定性的自适应推理框架CAR,依困惑度动态切换短答案与长推理,在多基准上实现准确率与效率的最优平衡。
2025-05-21 cs.AI cs.CL cs.MM
Linguistic and Embedding-Based Profiling of Texts generated by Humans and Large Language Models
Department of Politics and Public Administration University of Konstanz(政治与公共管理系 康斯坦茨大学)
本研究针对LLM生成文本与人类文本难区分的问题,通过多层面语言学特征及风格嵌入分析8领域11种LLM的文本,发现人类文本句法更简单语义更多样,且新模型生成文本呈同质化趋势。
2025-09-30 cs.AI cs.CL
Variation is the Key: A Variation-Based Framework for LLM-Generated Text Detection
Tianjin University(天津大学)
本文提出VaryBalance框架,通过量化人类文本与LLM重写文本的差异,有效检测LLM生成文本,实验显示其在AUROC指标上优于现有方法。
2026-01-27 cs.AI cs.CL
Transforming Chatbot Text: A Sequence-to-Sequence Approach
San Jose State University(圣何塞州立大学)
针对GPT生成文本易被检测的问题,提出用T5-small、BART等Seq2Seq模型对抗性变换文本以更像人类文本的方法,既验证了该方法可降低检测准确率,也发现重训练分类器能恢复高检测精度,推动AI文本攻防研究。
2025-06-15 cs.CL cs.LG
Detecting ChatGPT: A Survey of the State of Detecting ChatGPT-Generated Text
Technical University of Munich(慕尼黑工业大学)
本综述探讨了区分人类与ChatGPT生成文本的关键问题,全面梳理了相关数据集构建、检测方法及文本特征定性分析,并总结出一般性见解。
2023-09-14 cs.AI cs.CL
Enhancing Text Authenticity: A Novel Hybrid Approach for AI-Generated Text Detection
University of Pittsburgh(匹兹堡大学);University of Maryland Eastern Shore(马里兰大学东海岸分校);Miami University(迈阿密大学);San Francisco Bay University(旧金山湾大学);Boston University(波士顿大学);Northern Arizona University(北亚利桑那大学)
针对AI生成文本难以辨别的问题,本文提出融合TF-IDF与贝叶斯、SGD、CatBoost及12个Deberta-v3-large实例的混合检测方法,并在综合数据集上验证其优于现有方法。
2024-06-01 cs.AI cs.CL
The Imitation Game: Detecting Human and AI-Generated Texts in the Era of ChatGPT and BARD
本研究引入一个包含散文、故事、诗歌和Python代码的人类与LLM生成文本数据集,采用多种机器学习模型进行分类,发现模型在二元分类中表现优越,但区分GPT生成文本更具挑战性,为AI文本检测提供了启示。
2023-11-12 cs.AI cs.CL
Understanding the Effects of RLHF on the Quality and Detectability of LLM-Generated Texts
Queen Mary University of London(伦敦玛丽女王大学)
本研究探究RLHF对LLM生成文本质量及检测性能的影响,发现RLHF虽提升文本质量,但会使文本更易检测、更长且重复度更高,同时基于训练的检测器对短文本和含代码文本鲁棒性弱于零样本检测器。
2025-03-23 cs.AI cs.CL
Teaching the Pre-trained Model to Generate Simple Texts for Text Simplification
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Center for Data Science, Peking University(北京大学数据科学中心);School of Interactive Computing, Georgia Institute of Technology(佐治亚理工学院交互计算学院)
本文提出一种持续预训练策略,通过继续预训练 BART 得到 SimpleBART,显著提升了词汇、句子和文档级文本简化任务的性能,并与代表性大语言模型进行了比较。
2023-05-21 cs.AI cs.CL
Detecting AI-Generated Texts in Cross-Domains
Miner School of Computer \& Information Sciences \ of Massachusetts, Lowell, MA, USA
本文提出微调RoBERTa-Ranker排序分类器,仅需少量新领域标注数据即可提升跨领域AI生成文本检测性能,并优于DetectGPT和GPTZero。
2024-10-17 cs.AI cs.CL
Deciphering Textual Authenticity: A Generalized Strategy through the Lens of Large Language Semantics for Detecting Human vs. Machine-Generated Text
The University of Texas at San Antonio(圣安东尼奥德克萨斯大学);Secure AI and Autonomy Lab(安全人工智能与自主实验室)
针对真实场景中多生成器、多领域机器文本检测泛化不足的问题,提出 T5LLMCipher,融合预训练 T5 编码器与 LLM 嵌入子聚类,显著提升跨域 F1 并准确识别生成器。
2024-04-03 cs.CL cs.LG
A Survey of AI-generated Text Forensic Systems: Detection, Attribution, and Characterization
Arizona State University(亚利桑那州立大学);Stanford University(斯坦福大学);Amazon GenAI(亚马逊生成式人工智能部门)
本文综述AI生成文本取证系统,围绕检测、归因与特征刻画构建分类体系,梳理现有研究与资源,并讨论该领域挑战及未来方向。
2024-03-02 cs.AI cs.CL
Mast Kalandar at SemEval-2024 Task 8: On the Trail of Textual Origins: RoBERTa-BiLSTM Approach to Detect AI-Generated Text
IIIT Hyderabad(印度国际信息技术研究所海得拉巴分校)
本文针对 SemEval-2024 多生成器、多领域、多语言黑盒机器生成文本检测任务,提出 RoBERTa-BiLSTM 分类器,并在 125 个系统中以 80.83% 准确率位列第 46 名。
2024-07-03 cs.AI cs.CL
Differentiate ChatGPT-generated and Human-written Medical Texts
South China University of Technology(华南理工大学);University of Georgia(佐治亚大学);University of Texas at Arlington(德克萨斯大学阿灵顿分校);Massachusetts General Hospital and Harvard Medical School(马萨诸塞总医院和哈佛医学院)
本研究首次在医学领域分析人类与ChatGPT生成文本的语言差异,并设计基于BERT的检测模型,F1值超过95%。
2023-04-23 cs.AI cs.CL
A Systematic Analysis of Linguistic Features in AI-Generated English Text Detection Across Domains and Models
Institute for Natural Language Processing, University of Stuttgart(斯图加特大学自然语言处理研究所);Interchange Forum for Reflecting on Intelligent Systems, University of Stuttgart(智能系统反思交流论坛,斯图加特大学);GESIS Leibniz Institute for the Social Sciences(莱比锡社会科学院);Heinrich-Heine University Düsseldorf(杜塞尔多夫海因里希-海涅大学)
通过大规模实证研究,系统评估284个可解释语言特征在27个LLM和10个文本领域中的鲁棒性,发现词汇丰富度是跨模型和领域的最可靠信号。
2026-11-03 cs.AI cs.CL
KatFishNet: Detecting LLM-Generated Korean Text through Linguistic Feature Analysis
Yonsei University(延世大学)
本文提出首个韩语LLM生成文本检测基准KatFish及检测方法KatFishNet,通过分析分隔、词性和逗号使用等语言特征,将AUROC较现有最佳方法平均提升19.78%。
2025-09-19 cs.AI cs.CL
Zero-Shot Detection of LLM-Generated Text via Implicit Reward Model
School of Computer Science and Technology, Beijing Institute of Technology(计算机科学与技术学院,北京理工大学)
本文提出IRM方法,利用隐式奖励模型实现LLM生成文本的零样本检测,无需偏好收集或额外训练,在DetectRL基准上表现优于现有方法。
2026-04-23 cs.AI cs.CL
The Science of Detecting LLM-Generated Texts
Rice University(莱斯大学)
本文综述现有 LLM 生成文本检测技术,总结其成就与挑战,并指出评估指标和开源模型威胁等未来研究重点。
2023-06-02 cs.AI cs.CL
I Know You Did Not Write That! A Sampling Based Watermarking Method for Identifying Machine Generated Text
TOBB University of Economics & Technology(TOBB经济与技术大学);Bilkent University(比尔肯特大学);Qatar University(卡塔尔大学)
针对机器生成文本检测问题,本文提出一种干预 token 采样过程并嵌入可追溯模式的水印方法,实验表明其可在保持文本质量的同时实现高检测率。
2023-12-11 cs.AI cs.CL
A Survey on LLM-Generated Text Detection: Necessity, Methods, and Future Directions
University of Macau(澳门大学);Institute of Collaborative Innovation(协同创新研究院);Peking University(北京大学)
本综述全面梳理了LLM生成文本检测的必要性、现有方法(水印、统计、神经网络及人工辅助)与挑战,并展望未来方向,旨在推动负责任AI的发展。
2024-04-19 cs.AI cs.CL
States of LLM-generated Texts and Phase Transitions between them
NTR Labs(NTR实验室);Higher IT School of Tomsk State University(托木斯克国立大学高等信息技术学院)
该研究借鉴固体物理中物质状态与自相关衰减规律的联系,通过实验证明LLM在不同温度参数下生成的文本可呈现固态、临界态或气态,揭示了生成文本状态之间的相变现象。
2025-03-08 cond-mat.stat-mech cs.AI cs.CL
Fighting Fire with Fire: Can ChatGPT Detect AI-generated Text?
Arizona State University(亚利桑那州立大学)
本文评估 ChatGPT 在零样本设置下区分人类撰写与 AI 生成文本的检测能力,并基于公开数据集检验其双向检测的对称性,为自动化检测流水线提供利用 LLM 的新思路。
2023-08-17 cs.AI cs.CL
Tracing Thought: Using Chain-of-Thought Reasoning to Identify the LLM Behind AI-Generated Text
Department of Computer Science and Engineering(计算机科学与工程系);Indian Institute of Technology Guwahati(印度理工学院瓜哇蒂)
本文提出COT Fine-tuned框架,利用链式思维推理进行双任务检测,既能区分AI生成与人类文本,又能识别生成文本的具体LLM,实验证明其高准确率和可解释性。
2025-04-23 cs.AI cs.CL
Threads of Subtlety: Detecting Machine-Generated Texts Through Discourse Motifs
University of Minnesota Twin Cities(明尼苏达大学双城分校);Kumoh National Institute of Technology(金乌工业大学);Grammarly(Grammarly公司)
本文提出利用层次化解析树和递归超图捕捉文本话语母题,以增强人类与机器生成文本的区分能力,并在分布外及改写样本上验证了层次化话语特征的有效性。
2024-06-06 cs.AI cs.CL
Real or Fake Text?: Investigating Human Ability to Detect Boundaries Between Human-Written and Machine-Generated Text
University of Pennsylvania(宾夕法尼亚大学)
随着由大语言模型生成的文本的激增,了解人类如何与这些文本互动,以及他们是否能够检测到他们正在阅读的文本何时不是来自人类作者变得至关重要。先前关于生成文本的人类检测的工作集中在整个段落是人类书写或机器生成的情况下。在本文中,我们研究了一个更现实的设置,文本开始作为人类书写和过渡到正在生成的最先进的神经语言模型。我们发现,虽然注释者经常在这项任务中挣扎,但注释者的技能存在很大差异,并且如果给予适当的激励,注释者可以随着时间的推移在这项任务中提高。此外,我们进行了详细的对比研究,分析了各种变量(模型大小,解码策略,微调,提示体裁等)影响人体检测性能。最后,我们从我们的参与者收集错误注释,并使用它们来表明,某些文本类型的影响模型,使不同类型的错误和某些注释水平的功能高度相关的注释者选择。我们发布RoFT数据集:超过21,000个人工注释的集合与错误分类配对,以鼓励未来在人工检测和评估生成的文本方面的工作。
2022-12-24 cs.AI cs.CL cs.HC
Distinguishing Human Generated Text From ChatGPT Generated Text Using Machine Learning
United International University (UIU)(联合国际大学(UIU));University of Asia Pacific (UAP)(亚太大学(UAP))
本文提出基于机器学习的 ChatGPT 生成文本检测方法,在含 10,000 条文本的 Kaggle 数据集上比较 11 种算法,并在 GPT-3.5 语料上达到 77% 准确率。
2023-05-26 cs.AI cs.CL cs.LG
Vietnamese AI Generated Text Detection
University of Information Technology(信息科技大学);Vietnam National University, Ho Chi Minh City(越南国家大学胡志明市分校)
本文构建了包含 6,800 个越南语文章样本的 ViDetect 数据集,并评估 ViT5、BartPho、PhoBERT 等多种模型在越南语 AI 生成文本检测中的表现,为该领域提供基础与参考。
2024-05-06 cs.AI cs.CL
GenAI Content Detection Task 3: Cross-Domain Machine-Generated Text Detection Challenge
University of Pennsylvania(宾夕法尼亚大学);Qatar Computing Research Institute(卡塔尔计算研究所);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本研究依托新发布的RAID基准开展跨域机器生成文本检测共享任务,9支团队提交23个检测器,实验显示在保持5%假阳性率下检测准确率超99%,验证了检测器跨多领域多模型的稳健检测能力。
2025-01-15 cs.CL cs.LG
On the Detectability of LLM-Generated Text: What Exactly Is LLM-Generated Text?
École Normale Supérieure (ENS) - Université Paris Sciences et Lettres (PSL)(巴黎 sciences et lettres 大学(PSL)- 法国规范大学(ENS));Laboratoire Lattice (CNRS, ENS-PSL, Université Sorbonne Nouvelle)(晶格实验室(CNRS、ENS-PSL、索邦大学))
本文探讨LLM生成文本检测的模糊性,指出缺乏统一定义及人类编辑影响,主张检测结果仅作参考而非决定性指标。
2025-10-23 cs.AI cs.CL cs.CY
Detecting LLM-Generated Text in Computing Education: A Comparative Study for ChatGPT Cases
University of Toronto Mississauga(多伦多大学密西沙加校区);Maranatha Christian University(马拉纳塔基督教大学);Escuela Superior Politécnica del Litoral(滨海高等理工学院)
本文针对 ChatGPT 文本检测问题,用 124 份学生作业和 40 份 ChatGPT 生成内容比较八个检测器,发现 CopyLeaks、GPTKit 与 GLTR 各有优势,并指出代码、多语言和改写会降低检测效果。
2023-07-10 cs.CL cs.CY