Variation is the Key: A Variation-Based Framework for LLM-Generated Text Detection
Tianjin University(天津大学)
本文提出VaryBalance框架,通过量化人类文本与LLM重写文本的差异,有效检测LLM生成文本,实验显示其在AUROC指标上优于现有方法。
2026-01-27 cs.AI cs.CL
A Survey on LLM-Generated Text Detection: Necessity, Methods, and Future Directions
University of Macau(澳门大学);Institute of Collaborative Innovation(协同创新研究院);Peking University(北京大学)
本综述全面梳理了LLM生成文本检测的必要性、现有方法(水印、统计、神经网络及人工辅助)与挑战,并展望未来方向,旨在推动负责任AI的发展。
2024-04-19 cs.AI cs.CL
KatFishNet: Detecting LLM-Generated Korean Text through Linguistic Feature Analysis
Yonsei University(延世大学)
本文提出首个韩语LLM生成文本检测基准KatFish及检测方法KatFishNet,通过分析分隔、词性和逗号使用等语言特征,将AUROC较现有最佳方法平均提升19.78%。
2025-09-19 cs.AI cs.CL
The Science of Detecting LLM-Generated Texts
Rice University(莱斯大学)
本文综述现有 LLM 生成文本检测技术,总结其成就与挑战,并指出评估指标和开源模型威胁等未来研究重点。
2023-06-02 cs.AI cs.CL
Blinded by Generated Contexts: How Language Models Merge Generated and Retrieved Contexts When Knowledge Conflicts?
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文研究大语言模型在知识冲突时如何合并生成上下文与检索上下文,发现GPT-4/3.5和Llama2存在偏向生成上下文的显著偏差,并揭示了上下文相似性和检索分段破坏完整性两个关键成因。
2024-06-11 cs.AI cs.CL
Gender Bias in LLM-generated Interview Responses
Rutgers University(罗格斯大学);University of Pittsburgh(匹兹堡大学);Korea University(高丽大学);Korean National Police University(韩国警察大学);Ewha Womans University(梨花女子大学)
本研究评估GPT-3.5、GPT-4、Claude三个LLM生成的面试回答,发现其性别偏见与性别刻板印象及岗位主导性高度一致,为系统检查该类偏见并推动相关应用的偏见缓解提供了依据。
2024-11-28 cs.AI cs.CL
Investigating Cost-Efficiency of LLM-Generated Training Data for Conversational Semantic Frame Analysis
Kyoto University(京都大学);National Institute of Informatics(情报学研究所)
该研究针对对话语义框架分析任务,探究人工与LLM生成训练数据的成本效率权衡,通过GPT-4合成数据及多预算实验,发现二者结合可实现最优成本效率,且预算越低越适合提高LLM生成数据占比。
2024-10-09 cs.AI cs.CL
Zero-Shot Detection of LLM-Generated Text via Implicit Reward Model
School of Computer Science and Technology, Beijing Institute of Technology(计算机科学与技术学院,北京理工大学)
本文提出IRM方法,利用隐式奖励模型实现LLM生成文本的零样本检测,无需偏好收集或额外训练,在DetectRL基准上表现优于现有方法。
2026-04-23 cs.AI cs.CL
CASPER in the Machine: Insights into Character Variety in LLM-Generated Stories
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Georgia Institute of Technology(佐治亚理工学院);University of Michigan(密歇根大学)
本文借用叙事学定义,从八个维度分析LLM与人类创作故事中角色的刻画,发现两者在角色类型和多样性上既有相似也有差异。
2026-08-31 cs.AI cs.CL
I Learn Better If You Speak My Language: Understanding the Superior Performance of Fine-Tuning Large Language Models with LLM-Generated Responses
University of Adelaide(阿德莱德大学);University of Technology Sydney(悉尼科技大学)
本文研究了LLM生成响应在微调大型语言模型时的优越性能,发现LLM对自身生成响应的熟悉性是提升学习效果的关键因素。
2025-12-07 cs.AI cs.CL
"I know myself better, but not really greatly": How Well Can LLMs Detect and Explain LLM-Generated Texts?
School of Cyber Science and Engineering, Shanghai Jiao Tong University, China(上海交通大学信息科学与工程学院);Department of Computing Science, University of Aberdeen, UK(阿伯丁大学计算机科学系);Institute of Cyber Security for Society (iCSS) & School of Computing, University of Kent, UK(社会网络安全研究所(iCSS)及肯特大学计算机学院)
本文研究LLM检测和解释生成文本的能力,发现自我检测优于交叉检测,三元分类提升性能,但存在依赖不准确特征、幻觉和推理缺陷等局限。
2025-06-24 cs.AI cs.CL
Under the Surface: Tracking the Artifactuality of LLM-Generated Data
University of Minnesota(明尼苏达大学)
该研究首次汇总各类LLM生成文本数据,通过多基准压力测试对比其与人类数据,揭示复杂任务下二者的隐性差异,指出LLM复现人类特质的不足,强调数据创建与LLM使用需遵循伦理规范。
2024-01-30 cs.AI cs.CL
Understanding the Effects of RLHF on the Quality and Detectability of LLM-Generated Texts
Queen Mary University of London(伦敦玛丽女王大学)
本研究探究RLHF对LLM生成文本质量及检测性能的影响,发现RLHF虽提升文本质量,但会使文本更易检测、更长且重复度更高,同时基于训练的检测器对短文本和含代码文本鲁棒性弱于零样本检测器。
2025-03-23 cs.AI cs.CL
How good is my story? Towards quantitative metrics for evaluating LLM-generated XAI narratives
Universiteit Antwerpen(安特卫普大学)
针对LLM生成的XAI叙事缺乏非人工评估方式的问题,本研究提出评估框架与自动化指标,用于表格分类任务解释叙事的质量评测,对比了多款前沿LLM,并识别出相关的LLM幻觉新挑战。
2024-12-13 cs.AI cs.CL
Beyond speculation: Measuring the growing presence of LLM-generated texts in multilingual disinformation
Kempelen Institute of Intelligent Technologies(智能技术研究所);The Pennsylvania State University(宾夕法尼亚州立大学);MIT Lincoln Laboratory(麻省理工学院林赛实验室)
本研究通过实证数据证明了LLM在多语言虚假信息中的增长,揭示了不同语言、平台和时间周期中的关键模式。
2026-02-04 cs.AI cs.CL
Benchmarking the Detection of LLMs-Generated Modern Chinese Poetry
NLP 2 CT Lab, Department of Computer and Information Science, University of Macau(计算机与信息科学系,澳门大学);Department of Portuguese, Faculty of Arts and Humanities, University of Macau(文学与人文学院,澳门大学)
针对AI生成中国现代诗歌难检测、扰乱诗歌生态的问题,本文构建含专业诗人作品与主流LLM生成作品的高质量数据集,提出新型检测基准,经多检测器评估发现现有工具检测可靠性不足,为后续研究奠基。
2025-09-01 cs.AI cs.CL
Seeing Through AI's Lens: Enhancing Human Skepticism Towards LLM-Generated Fake News
University of Houston(休斯顿大学)
本研究针对LLM生成假新闻难检测、平台缺乏防护的问题,构建含3.9万篇不同虚假程度新闻的数据集,提出基于信息论的ESAS指标筛选判别特征,验证了其高效性,助力提升人类对AI假新闻的辨识怀疑能力。
2024-06-20 cs.AI cs.CL
Towards Reliable Detection of LLM-Generated Texts: A Comprehensive Evaluation Framework with CUDRT
Renmin University of China(中国人民大学);Shanghai University of Finance and Economics(上海财经大学);Institute for Advanced Algorithms Research(高级算法研究院)
提出CUDRT综合评估框架及中英双语基准,涵盖创建、更新、删除、改写和翻译五种操作,以评估和优化LLM生成文本检测器的可靠性、跨语言适应性和准确性。
2024-12-17 cs.AI cs.CL
Evaluating LLM-Generated Versus Human-Authored Responses in Role-Play Dialogues
Utrecht University(乌得勒支大学)
本研究通过人类评估和LLM-as-a-judge方法,发现LLM在多轮角色扮演对话中回应质量随时间下降,而人类回应逐步提升,并提出了验证的混合评估框架。
2025-10-08 cs.AI cs.CL
The "LLM World of Words" English free association norms generated by large language models
University of Pisa(比萨大学);University of Trento(特伦托大学);National Research Council of Italy(意大利国家研究委员会)
本文构建约12,000词的 LWOW 自由联想数据集,通过 Mistral、Llama3 和 Haiku 对齐 SWOW,并建立语义记忆网络以分析人类与 LLM 的隐性偏见。
2024-12-02 cs.AI cs.CL
Using LLMs to Detect LLM-Generated Texts: A Cross-Generation Analysis
University of Kent(肯特大学);Shanghai Jiao Tong University(上海交通大学);University of Birmingham(伯明翰大学)
本研究系统评估15个跨代LLM作为生成器和检测器的表现,发现检测效能主要取决于检测器能力而非生成器来源,且自检测无系统性优势,同时揭示了代际偏差转移现象。
2026-09-29 cs.AI cs.CL
Not too long do read: Evaluating LLM-generated extreme scientific summaries
Department of Data Science(数据科学系);City University of Hong Kong(香港城市大学)
本文提出BiomedTLDR数据集,评估LLM生成科学摘要的性能,发现LLM更倾向于提取而非抽象,且在词汇和修辞结构上更接近原文。
2025-12-29 cs.AI cs.CL
Evaluating Feedback Focus and Pedagogical Adaptivity in LLM-Generated Feedback on Student Writing
University of Pittsburgh(匹兹堡大学)
本研究通过构建FeedType基准,评估了六种LLM在三种提示策略下生成反馈的焦点类型与适应性,发现其虽覆盖多数焦点类型但分布不均且适应性不及专家教师。
2026-09-24 cs.AI cs.CL
"Kelly is a Warm Person, Joseph is a Role Model": Gender Biases in LLM-Generated Reference Letters
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University Of Southern California(南加利福尼亚大学);Adobe Research(奥多比研究院)
本文通过语言风格、词汇内容及幻觉偏见三个维度评估ChatGPT和Alpaca生成的推荐信,揭示其中存在显著性别偏见,警示未经审查使用此类模型可能损害女性申请者,并强调研究大语言模型职业文书中隐藏偏见的重要性。
2023-12-01 cs.AI cs.CL
On the Effectiveness of LLM-Specific Fine-Tuning for Detecting AI-Generated Text
Faculty of Mathematics and Information Science, Warsaw University of Technology(华沙技术大学数学与信息科学学院);Faculty of Modern Languages and Literatures, Adam Mickiewicz University(亚当·密茨凯维奇大学现代语言与文学学院)
本文通过大规模语料库和新颖训练策略,提出Per LLM和Per LLM family微调方法,开发出在词级准确率上达99.6%的AI生成文本检测模型。
2026-01-27 cs.AI cs.CL
New Conditions for Philosophers to Catch the Wave of Citizen Deliberation in the Age of Artificial Intelligence in advance
National Centre for Scientific Research(国家科学研究中心);Centre de recherches politiques de Sciences Po(巴黎政治学院政治研究中心)
针对AI时代公民审议中LLM应用未实现的潜力,民主公地项目从哲学与计算机科学跨学科视角,提出五项民主原则并聚焦政治偏见,探究LLM在实验性公民参与中民主使用的条件。
2026-09-15 cs.AI
SEFD: Semantic-Enhanced Framework for Detecting LLM-Generated Text
本文提出语义增强框架SEFD,通过检索机制融合文本语义与传统检测器,在改写场景下显著提升LLM生成文本检测准确率,同时保持对标准生成内容的鲁棒性。
2024-11-17 cs.AI cs.CL cs.IR
On the Detectability of LLM-Generated Text: What Exactly Is LLM-Generated Text?
École Normale Supérieure (ENS) - Université Paris Sciences et Lettres (PSL)(巴黎 sciences et lettres 大学(PSL)- 法国规范大学(ENS));Laboratoire Lattice (CNRS, ENS-PSL, Université Sorbonne Nouvelle)(晶格实验室(CNRS、ENS-PSL、索邦大学))
本文探讨LLM生成文本检测的模糊性,指出缺乏统一定义及人类编辑影响,主张检测结果仅作参考而非决定性指标。
2025-10-23 cs.AI cs.CL cs.CY
SELF-[IN]CORRECT: LLMs Struggle with Discriminating Self-Generated Responses
Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出统一框架比较 LLM 的生成与辨别能力,发现模型并不可靠地更擅长辨别自身先前生成的备选回答,从而质疑 LLM 仅凭自我判断改进输出的可行性。
2024-09-06 cs.AI cs.CL cs.LG
Literary Non-Style in LLM-Generated Text
研究大语言模型生成文本与人类文本差异,通过分析n元语法统计分布及定性分析,揭示大语言模型风格不足,得出风格和语义问题不可完全分离的结论。
2026-07-21 cs.CL
States of LLM-generated Texts and Phase Transitions between them
NTR Labs(NTR实验室);Higher IT School of Tomsk State University(托木斯克国立大学高等信息技术学院)
该研究借鉴固体物理中物质状态与自相关衰减规律的联系,通过实验证明LLM在不同温度参数下生成的文本可呈现固态、临界态或气态,揭示了生成文本状态之间的相变现象。
2025-03-08 cond-mat.stat-mech cs.AI cs.CL
Regurgitative Training: The Value of Real Data in Training Large Language Models
School of Economics and Management, Tsinghua University(清华大学经济管理学院);School of Computing, National University of Singapore(新加坡国立大学计算机学院);Carlson School of Management, University of Minnesota(明尼苏达大学卡尔森管理学院)
研究“反刍式训练”对LLM性能的负面影响,发现其导致错误率升高和词汇多样性降低,并提出三种数据策略部分缓解该问题,强调真实人类数据的不可替代性。
2024-07-25 cs.AI cs.CL stat.ML
Understanding the Effects of Human-written Paraphrases in LLM-generated Text Detection
School of Electronic Engineering and Computer Science, Queen Mary University of London(伦敦玛丽女王大学电子工程与计算机科学学院)
本研究构建首个包含人类改写文本的HLPC数据集,实验发现人类改写文本显著影响LLM检测器性能,可提升TPR@1%FPR但可能牺牲AUROC和准确率。
2024-11-06 cs.CL
Short-PHD: Detecting Short LLM-generated Text with Topological Data Analysis After Off-topic Content Insertion
The University of Hong Kong(香港大学);University of Delaware(特拉华大学)
本文提出Short-PHD方法,通过在输入前插入无关主题内容以稳定短文本的持久同调维数估计,从而在零样本设定下有效检测短LLM生成文本。
2025-04-01 cs.CL
Neural Retrievers are Biased Towards LLM-Generated Content
Huawei Noah's Ark Lab(华为诺亚方舟实验室)
本文首次定量揭示神经检索与重排序模型对LLM生成内容存在系统性来源偏向,并从文本压缩角度解释成因,提出即插即用去偏约束,同时发布两个新基准以警示IR社区。
2024-07-31 cs.AI cs.CL cs.IR
HindSight: Evaluating LLM-Generated Research Ideas via Future Impact
Temple University(特拉华大学)
本文提出HindSight框架,通过匹配生成想法与真实未来出版物,评估研究想法的质量,揭示LLM生成想法与实际研究影响的差异。
2026-03-17 cs.AI cs.CL cs.LG
Spotting LLMs With Binoculars: Zero-Shot Detection of Machine-Generated Text
University of Maryland(马里兰大学);Carnegie Mellon University(卡内基梅隆大学);New York University(纽约大学);ELLIS Institute Tübingen, MPI Intelligent Systems(埃利斯研究所蒂宾根分部、马克斯·普朗克智能系统研究所)
针对检测 LLM 生成文本困难的问题,提出名为 Binoculars 的零样本检测方法,通过对比两个相关预训练语言模型的分数来区分人机文本,无需训练数据即实现 SOTA 准确率,在 0.01% 误报率下检测出超 90% 的 ChatGPT 生成样本。
2024-10-13 cs.AI cs.CL cs.LG
GermanPartiesQA: Benchmarking Commercial Large Language Models and AI Companions for Political Alignment and Sycophancy
TUM(慕尼黑大学);TUB(慕尼黑大学)
GermanPartiesQA研究了六个商业LLMs在政治倾向和趋炎附势方面的表现,揭示了LLMs在生成事实性政党立场上的局限性以及模型特定的意识形态倾向模式。
2025-11-29 cs.CL cs.CY
Can You Make It Sound Like You? Post-Editing LLM-Generated Text for Personal Style
III University of Maryland(III 马里兰大学)
研究探讨用户通过后编辑LLM生成文本来塑造个人风格的效果,发现后编辑提高了文本与用户自身写作的相似性,但降低了与LLM生成文本的相似性,同时减少了风格多样性。
2026-04-27 cs.CL
XMark: Reliable Multi-Bit Watermarking for LLM-Generated Texts
University of Nevada, Reno(内华达大学林肯分校);Oak Ridge National Laboratory(橡树岭国家实验室)
XMark通过改进编码器和解码器实现高效多比特水印,提升解码准确性并保持文本质量,在多种下游任务中表现优于现有方法。
2026-04-16 cs.AI cs.CL cs.CR
Measuring Negative Campaigning across Languages with Large Language Models: A Study of 18 Million Tweets in 19 Countries
该研究利用大语言模型对19个国家1800万条推文进行分析,评估其用于负面竞选跨语言分类的可行性。通过此方法进行跨国研究,基于战略激励框架得出不同类型政党负面竞选程度不同的结论,为相关研究提供新证据并展示了大语言模型的作用。
2026-07-28 cs.CL
Who's Your Judge? On the Detectability of LLM-Generated Judgments
Arizona State University(亚利桑那州立大学);Emory University(埃默里大学)
本文形式化仅依据评判分数与候选内容识别LLM生成评判的任务,提出融合语言及LLM增强特征的轻量透明检测器J-Detector,实验验证其检测效果、偏见量化能力与实际效用。
2025-09-29 cs.AI
Ranking Over Scoring: Towards Reliable and Robust Automated Evaluation of LLM-Generated Medical Explanatory Arguments
HiTZ Center - Ixa, University of the Basque Country UPV/EHU(巴斯克大学UPV/EHU HiTZ中心 - Ixa);Cruces University Hospital(克鲁塞斯大学医院)
本文提出基于代理任务和排序的评估方法,以少量人工示例实现对LLM生成医学解释性论证的可靠、稳健且与人类标准一致的自动评估。
2024-09-30 cs.CL
Robust Detection of LLM-Generated Text: A Comparative Analysis
Purdue University(普渡大学);University of Chicago(芝加哥大学)
本研究针对LLM生成文本检测的二分类任务,基于开源数据集比较了传统机器学习、基于转换器的模型及利用LLM自身的检测方法,重点评估了模型泛化、对抗攻击鲁棒性与准确性,并总结了实验结果与未来方向。
2024-11-09 cs.CL
LLM-Detector: Improving AI-Generated Chinese Text Detection with Open-Source LLM Instruction Tuning
Macao Polytechnic University(澳门理工大学);Fudan University(复旦大学);Wuhan University(武汉大学)
针对现有AI生成中文文本检测模型域内过拟合、域外及句子级检测效果差的问题,提出基于开源LLM指令微调的LLM-Detector,在两级检测任务上均优于基线且泛化性强、易部署。
2024-02-02 cs.CL
Beyond Binary: Towards Fine-Grained LLM-Generated Text Detection via Role Recognition and Involvement Measurement
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出超越二元分类的 LLM 生成文本检测新范式,引入 LLM 角色识别与参与度测量两个任务,并构建 LLMDetect 基准,验证了微调 PLM 模型优于先进 LLM,为细粒度检测奠定基础。
2025-02-06 cs.CL
OUTFOX: LLM-Generated Essay Detection Through In-Context Learning with Adversarially Generated Examples
Tokyo Institute of Technology(东京工业大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
提出OUTFOX框架,通过让检测器与攻击者相互利用对方输出进行上下文学习对抗,提升LLM生成文本检测的鲁棒性,实现SOTA检测并显著抵御攻击。
2024-02-18 cs.CL
Learning to Rewrite: Generalized LLM-Generated Text Detection
Columbia University(哥伦比亚大学);Rutgers University(罗格斯大学)
本文提出Learning2Rewrite框架,通过训练LLM放大其改写AI文本与人类文本时的编辑距离差异,实现跨领域、抗对抗攻击的生成文本检测。
2025-02-15 cs.CL
Detecting undisclosed LLM-generated content in parliamentary texts
Chalmers University of Technology(查尔姆斯理工大学);University of Cambridge(剑桥大学)
本研究训练可解释文本分类器,检测英国和瑞典议会文本中未披露的LLM使用情况,发现自2022年起两国议会中未披露的LLM使用持续增加。
2026-06-15 cs.CL
Enhancing Student Learning with LLM-Generated Retrieval Practice Questions: An Empirical Study in Data Science Courses
College of Computer and Informatics(计算机与信息学院);Drexel University(德雷塞尔大学)
本研究针对教师生成检索练习问题耗时的问题,通过两门数据科学课程的实证发现,LLM生成的选择题检索练习可将学生知识留存准确率从73%提升至89%,但需教师审核问题质量。
2025-07-29 cs.AI
A General Method for Detecting Information Generated by Large Language Models
University of Delaware(德克萨斯大学);The University of Hong Kong(香港大学)
提出通用LLM检测器GLD,结合双记忆网络与理论指导泛化模块,解决现有方法难以泛化到未见LLM和领域的问题,在真实数据集上表现优于现有方法。
2025-06-18 cs.CL
Telescope: Improving Zero Shot Detection of LLM Generated Content By Measuring Token Repetition Probability
研究区分大语言模型生成文本与人类写作的难题,提出用望远镜困惑度衡量模型令牌重复,揭示该特征在预训练早期出现,能有效进行零样本检测,性能优于其他方法。
2026-07-07 cs.AI cs.CL cs.LG
Creative Convergence or Imitation? Genre-Specific Homogeneity in LLM-Generated Chinese Literature
本文通过引入普罗普叙事学理论,分析LLM生成的中文网络文学叙事结构,揭示其同质化原因,定义34种现代网络叙事功能并构建标注语料库。
2026-03-15 cs.CL
Towards Autoformalization of LLM-generated Outputs for Requirement Verification
General Motors(通用汽车公司)
本文针对LLM生成的需求类结构化输出缺乏形式化验证方法的问题,提出基于LLM的简易自动形式化验证方案,通过两组实验验证了该方案可有效检查逻辑等价性与不一致性,为相关研究奠定基础。
2025-11-14 cs.AI cs.CL cs.FL