A Performance Study of LLM-Generated Code on Leetcode
Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所)
本文通过Leetcode数据集评估18个LLM的代码生成效率,提出新的速度测量方法,发现不同LLM生成的代码性能相当且平均优于人类代码,为代码生成优化提供基础。
2024-07-31 cs.AI cs.SE
Characterizing Readability Issue Patterns and the Role of Prompt Design in LLM-Generated Code
Peking university(北京大学);Wuhan University(武汉大学)
本文研究了LLM生成代码的可读性,发现其与人工编写代码相当,但存在特定问题模式,提示设计对可读性影响有限。
2026-08-04 cs.AI cs.SE
Beyond Confidence: Stability-Aware Test-Time Adaptation for LLM Reasoning
Chongqing University(重庆大学);Griffith University(格里菲斯大学)
针对LLM推理,提出稳定性感知置信度优化的测试时自适应框架TASCO,通过局部扰动下置信度稳定性指导自适应,提升推理准确性与令牌效率。
2026-09-11 cs.AI
From Stability to Inconsistency: A Study of Moral Preferences in LLMs
Deepmind(深度思维公司)
本文基于道德基础理论构建MFD-LLM数据集并提出新评估方法,发现最先进大语言模型道德价值偏好高度同质但缺乏一致性。
2025-04-08 cs.AI cs.CY
Security of LLM-generated Code: A Comparative Analysis
Carleton University(卡尔顿大学)
本研究通过模拟开发者使用LLM生成代码的行为,评估了七种流行LLM生成代码的安全性,发现所有模型均生成包含漏洞的代码,且多数为严重或高危漏洞。
2026-05-21 cs.AI cs.CR cs.SE
On the Detectability of LLM-Generated Text: What Exactly Is LLM-Generated Text?
École Normale Supérieure (ENS) - Université Paris Sciences et Lettres (PSL)(巴黎 sciences et lettres 大学(PSL)- 法国规范大学(ENS));Laboratoire Lattice (CNRS, ENS-PSL, Université Sorbonne Nouvelle)(晶格实验室(CNRS、ENS-PSL、索邦大学))
本文探讨LLM生成文本检测的模糊性,指出缺乏统一定义及人类编辑影响,主张检测结果仅作参考而非决定性指标。
2025-10-23 cs.AI cs.CL cs.CY
The Erosion of LLM Signatures: Can We Still Distinguish Human and LLM-Generated Scientific Ideas After Iterative Paraphrasing?
University of Houston(德克萨斯大学)
研究探讨了在多次迭代改写后,现有模型区分人类与LLM生成科学想法的能力,发现改写显著削弱了LLM签名的可区分性。
2025-12-04 cs.AI cs.LG
Eliminating stability hallucinations in llm-based tts models via attention guidance
本文通过改进注意力机制,减少基于大语言模型的TTS模型中的稳定性幻觉,提升语音合成的稳定性和连续性。
2026-02-13 cs.AI cs.SD
Who's Your Judge? On the Detectability of LLM-Generated Judgments
Arizona State University(亚利桑那州立大学);Emory University(埃默里大学)
本文形式化仅依据评判分数与候选内容识别LLM生成评判的任务,提出融合语言及LLM增强特征的轻量透明检测器J-Detector,实验验证其检测效果、偏见量化能力与实际效用。
2025-09-29 cs.AI
PeerCheck: Enhancing LLM-Generated Academic Reviews Towards Human-Level Quality
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
提出PeerCheck框架,分析LLM与人类评审差异,采用思维链和检索增强生成提升评审质量,发现思维链显著改善但RAG存在悖论。
2026-06-23 cs.AI cs.CL
Variation is the Key: A Variation-Based Framework for LLM-Generated Text Detection
Tianjin University(天津大学)
本文提出VaryBalance框架,通过量化人类文本与LLM重写文本的差异,有效检测LLM生成文本,实验显示其在AUROC指标上优于现有方法。
2026-01-27 cs.AI cs.CL
Beyond Scalars: Evaluating and Understanding LLM Reasoning via Geometric Progress and Stability
提出TRACED框架,利用几何运动学将推理轨迹分解为进展和稳定性,揭示正确推理与幻觉的拓扑差异,实现鲁棒的推理质量评估。
2026-06-16 cs.AI
AI-Generated Code Is Not Reproducible (Yet): An Empirical Study of Dependency Gaps in LLM-Based Coding Agents
本文实证研究了基于LLM的编码代理生成代码的可重复性,发现仅68.3%的项目能在干净环境中成功执行,且不同语言存在显著差异,同时发现依赖项存在显著隐藏依赖。
2026-03-23 cs.AI cs.MA cs.SE
A Survey on LLM-Generated Text Detection: Necessity, Methods, and Future Directions
University of Macau(澳门大学);Institute of Collaborative Innovation(协同创新研究院);Peking University(北京大学)
本综述全面梳理了LLM生成文本检测的必要性、现有方法(水印、统计、神经网络及人工辅助)与挑战,并展望未来方向,旨在推动负责任AI的发展。
2024-04-19 cs.AI cs.CL
KatFishNet: Detecting LLM-Generated Korean Text through Linguistic Feature Analysis
Yonsei University(延世大学)
本文提出首个韩语LLM生成文本检测基准KatFish及检测方法KatFishNet,通过分析分隔、词性和逗号使用等语言特征,将AUROC较现有最佳方法平均提升19.78%。
2025-09-19 cs.AI cs.CL
The Science of Detecting LLM-Generated Texts
Rice University(莱斯大学)
本文综述现有 LLM 生成文本检测技术,总结其成就与挑战,并指出评估指标和开源模型威胁等未来研究重点。
2023-06-02 cs.AI cs.CL
Blinded by Generated Contexts: How Language Models Merge Generated and Retrieved Contexts When Knowledge Conflicts?
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文研究大语言模型在知识冲突时如何合并生成上下文与检索上下文,发现GPT-4/3.5和Llama2存在偏向生成上下文的显著偏差,并揭示了上下文相似性和检索分段破坏完整性两个关键成因。
2024-06-11 cs.AI cs.CL
SmartEval: A Benchmark for Evaluating LLM-Generated Smart Contracts from Natural Language Specifications
Columbia University(哥伦比亚大学);IBM T.J. Watson Research Center(IBM T.J. Watson研究院)
SmartEval通过9000个生成合约与专家编写的真实实现,结合五维评估标准,验证LLM生成智能合约的质量,并发现逻辑遗漏、状态转换错误等典型故障模式,展示了生成合约在综合评分上比真实实现高出8.29分。
2026-05-10 cs.AI cs.CE cs.LG
LLM-CSEC: Empirical Evaluation of Security in C/C++ Code Generated by Large Language Models
Independent Researcher(独立研究者);Newcastle University(新castle大学)
本研究评估了大型语言模型生成的C/C++代码安全性,发现存在大量漏洞,强调开发人员需谨慎使用此类代码。
2025-11-24 cs.AI cs.CR
Stable Reasoning, Unstable Responses: Mitigating LLM Deception via Stability Asymmetry
Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院);Beijing Academy of Artificial Intelligence(北京人工智能研究院);School of Chinese as a Second Language, Peking University(北京大学第二语言学院)
针对大语言模型内在欺骗问题,提出稳定性不对称正则化(SAR),通过惩罚内部思维链稳定性与外部响应稳定性之间的不对称性来抑制欺骗,实验证明其有效性且不损害模型能力。
2026-06-05 cs.AI cs.LG
When Stability Fails: Hidden Failure Modes Of LLMS in Data-Constrained Scientific Decision-Making
North Dakota State University(北达科他州立大学)
研究揭示LLM在数据受限科学决策中稳定性不足的问题,通过控制评估框架发现其在正确性、提示敏感性和输出有效性方面的缺陷。
2026-03-16 cs.AI cs.CL cs.LG
LLMs for Academic Workflows: An Evaluation of Literature Reviews Generated with Short and Long Context Windows of LLMs
本研究评估LLMs短、长上下文窗口生成的文献综述,发现长上下文LLMs虽能纳入更多信息但存在重复等问题,AI生成综述需人工完善,未来应采用人机结合混合方法解决局限。
2026-08-28 cs.AI cs.HC cs.IR
Gender Bias in LLM-generated Interview Responses
Rutgers University(罗格斯大学);University of Pittsburgh(匹兹堡大学);Korea University(高丽大学);Korean National Police University(韩国警察大学);Ewha Womans University(梨花女子大学)
本研究评估GPT-3.5、GPT-4、Claude三个LLM生成的面试回答,发现其性别偏见与性别刻板印象及岗位主导性高度一致,为系统检查该类偏见并推动相关应用的偏见缓解提供了依据。
2024-11-28 cs.AI cs.CL
Behavioral Fingerprints for LLM Endpoint Stability and Identity
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出Stability Monitor系统,通过固定提示集采样输出并比较输出分布,检测端点行为变化,揭示模型家族、版本等变化。
2026-03-19 cs.AI
Enhancing Student Learning with LLM-Generated Retrieval Practice Questions: An Empirical Study in Data Science Courses
College of Computer and Informatics(计算机与信息学院);Drexel University(德雷塞尔大学)
本研究针对教师生成检索练习问题耗时的问题,通过两门数据科学课程的实证发现,LLM生成的选择题检索练习可将学生知识留存准确率从73%提升至89%,但需教师审核问题质量。
2025-07-29 cs.AI
Investigating Cost-Efficiency of LLM-Generated Training Data for Conversational Semantic Frame Analysis
Kyoto University(京都大学);National Institute of Informatics(情报学研究所)
该研究针对对话语义框架分析任务,探究人工与LLM生成训练数据的成本效率权衡,通过GPT-4合成数据及多预算实验,发现二者结合可实现最优成本效率,且预算越低越适合提高LLM生成数据占比。
2024-10-09 cs.AI cs.CL
Zero-Shot Detection of LLM-Generated Text via Implicit Reward Model
School of Computer Science and Technology, Beijing Institute of Technology(计算机科学与技术学院,北京理工大学)
本文提出IRM方法,利用隐式奖励模型实现LLM生成文本的零样本检测,无需偏好收集或额外训练,在DetectRL基准上表现优于现有方法。
2026-04-23 cs.AI cs.CL
CASPER in the Machine: Insights into Character Variety in LLM-Generated Stories
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Georgia Institute of Technology(佐治亚理工学院);University of Michigan(密歇根大学)
本文借用叙事学定义,从八个维度分析LLM与人类创作故事中角色的刻画,发现两者在角色类型和多样性上既有相似也有差异。
2026-08-31 cs.AI cs.CL
I Learn Better If You Speak My Language: Understanding the Superior Performance of Fine-Tuning Large Language Models with LLM-Generated Responses
University of Adelaide(阿德莱德大学);University of Technology Sydney(悉尼科技大学)
本文研究了LLM生成响应在微调大型语言模型时的优越性能,发现LLM对自身生成响应的熟悉性是提升学习效果的关键因素。
2025-12-07 cs.AI cs.CL
SEFD: Semantic-Enhanced Framework for Detecting LLM-Generated Text
本文提出语义增强框架SEFD,通过检索机制融合文本语义与传统检测器,在改写场景下显著提升LLM生成文本检测准确率,同时保持对标准生成内容的鲁棒性。
2024-11-17 cs.AI cs.CL cs.IR
To FP8 and Back Again: Quantifying Reduced Precision Effects on LLM Training Stability
NAVER Cloud
本研究量化了FP8等低精度浮点表示对LLM训练稳定性的影响,提出新评估指标,发现现有FP8方法不够稳健,无法经济替代高精度训练。
2025-03-25 cs.AI cs.LG
SafeGenBench: A Benchmark Framework for Security Vulnerability Detection in LLM-Generated Code
ByteDance(字节跳动)
SafeGenBench是一个专门评估大语言模型生成代码安全性的基准框架,通过SAST和LLM评判自动检测漏洞,揭示现有模型在生成无漏洞代码方面的显著不足。
2025-06-20 cs.AI cs.CR
"I know myself better, but not really greatly": How Well Can LLMs Detect and Explain LLM-Generated Texts?
School of Cyber Science and Engineering, Shanghai Jiao Tong University, China(上海交通大学信息科学与工程学院);Department of Computing Science, University of Aberdeen, UK(阿伯丁大学计算机科学系);Institute of Cyber Security for Society (iCSS) & School of Computing, University of Kent, UK(社会网络安全研究所(iCSS)及肯特大学计算机学院)
本文研究LLM检测和解释生成文本的能力,发现自我检测优于交叉检测,三元分类提升性能,但存在依赖不准确特征、幻觉和推理缺陷等局限。
2025-06-24 cs.AI cs.CL
Under the Surface: Tracking the Artifactuality of LLM-Generated Data
University of Minnesota(明尼苏达大学)
该研究首次汇总各类LLM生成文本数据,通过多基准压力测试对比其与人类数据,揭示复杂任务下二者的隐性差异,指出LLM复现人类特质的不足,强调数据创建与LLM使用需遵循伦理规范。
2024-01-30 cs.AI cs.CL
Certainty robustness: Evaluating LLM stability under self-challenging prompts
TELUS Digital(TELUS数字公司)
本文提出确定性鲁棒性基准,评估LLM在自我挑战提示下的稳定性与适应性平衡,揭示模型在交互压力下的可靠性差异。
2026-02-10 cs.AI cs.CL
Understanding the Effects of RLHF on the Quality and Detectability of LLM-Generated Texts
Queen Mary University of London(伦敦玛丽女王大学)
本研究探究RLHF对LLM生成文本质量及检测性能的影响,发现RLHF虽提升文本质量,但会使文本更易检测、更长且重复度更高,同时基于训练的检测器对短文本和含代码文本鲁棒性弱于零样本检测器。
2025-03-23 cs.AI cs.CL
How good is my story? Towards quantitative metrics for evaluating LLM-generated XAI narratives
Universiteit Antwerpen(安特卫普大学)
针对LLM生成的XAI叙事缺乏非人工评估方式的问题,本研究提出评估框架与自动化指标,用于表格分类任务解释叙事的质量评测,对比了多款前沿LLM,并识别出相关的LLM幻觉新挑战。
2024-12-13 cs.AI cs.CL
How Good LLM-Generated Password Policies Are?
Department of Computer Science(计算机科学系);Rutgers University(罗格斯大学);Stony Brook University(石溪大学);Cisco Research(思科研究)
本文研究LLM在网络安全访问控制中生成密码策略的一致性与准确性,通过有无官方文档两种实验设置评估其输出质量,揭示了当前LLM在该安全关键任务中的重大挑战。
2025-07-02 cs.AI cs.CR
Beyond speculation: Measuring the growing presence of LLM-generated texts in multilingual disinformation
Kempelen Institute of Intelligent Technologies(智能技术研究所);The Pennsylvania State University(宾夕法尼亚州立大学);MIT Lincoln Laboratory(麻省理工学院林赛实验室)
本研究通过实证数据证明了LLM在多语言虚假信息中的增长,揭示了不同语言、平台和时间周期中的关键模式。
2026-02-04 cs.AI cs.CL
SELF-[IN]CORRECT: LLMs Struggle with Discriminating Self-Generated Responses
Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出统一框架比较 LLM 的生成与辨别能力,发现模型并不可靠地更擅长辨别自身先前生成的备选回答,从而质疑 LLM 仅凭自我判断改进输出的可行性。
2024-09-06 cs.AI cs.CL cs.LG
Evaluating LLM Generated Detection Rules in Cybersecurity
Sublime Security
本文提出开源评估框架与基准指标,以保留集法对比LLM与人工生成的网络安全规则,多维度评估LLM规则生成器有效性,并分析了Sublime Security的自动检测工程师(ADE)能力。
2026-08-13 cs.AI cs.CR
Evaluating the Impact of LLM-guided Reflection on Learning Outcomes with Interactive AI-Generated Educational Podcasts
Drexel University(德雷塞尔大学);Michigan State University(密歇根州立大学)
本研究通过36名本科生实验,发现LLM引导的反思提示虽未显著提升学习成果,但降低了感知吸引力,呼吁加强反思性交互设计研究。
2025-08-06 cs.AI cs.HC
Benchmarking the Detection of LLMs-Generated Modern Chinese Poetry
NLP 2 CT Lab, Department of Computer and Information Science, University of Macau(计算机与信息科学系,澳门大学);Department of Portuguese, Faculty of Arts and Humanities, University of Macau(文学与人文学院,澳门大学)
针对AI生成中国现代诗歌难检测、扰乱诗歌生态的问题,本文构建含专业诗人作品与主流LLM生成作品的高质量数据集,提出新型检测基准,经多检测器评估发现现有工具检测可靠性不足,为后续研究奠基。
2025-09-01 cs.AI cs.CL
Seeing Through AI's Lens: Enhancing Human Skepticism Towards LLM-Generated Fake News
University of Houston(休斯顿大学)
本研究针对LLM生成假新闻难检测、平台缺乏防护的问题,构建含3.9万篇不同虚假程度新闻的数据集,提出基于信息论的ESAS指标筛选判别特征,验证了其高效性,助力提升人类对AI假新闻的辨识怀疑能力。
2024-06-20 cs.AI cs.CL
States of LLM-generated Texts and Phase Transitions between them
NTR Labs(NTR实验室);Higher IT School of Tomsk State University(托木斯克国立大学高等信息技术学院)
该研究借鉴固体物理中物质状态与自相关衰减规律的联系,通过实验证明LLM在不同温度参数下生成的文本可呈现固态、临界态或气态,揭示了生成文本状态之间的相变现象。
2025-03-08 cond-mat.stat-mech cs.AI cs.CL
CACHE-UK: A Stability-Aware Memory Editor for Sequentially Updated Quantized LLMs in Finance
Indian Institute of Technology Madras(马德拉斯印度理工学院);University of Birmingham(伯明翰大学)
针对动态金融环境中量化大语言模型的顺序内存编辑退化问题,提出CACHE-UK框架,将知识退化降低11%-17%,测试泛化率达28%,提升6个百分点。
2026-07-31 cs.AI cs.CE cs.CL
Toward a Graded Measure of Belief Stability in Large Language Models
Northeastern University(东北大学);Santa Fe Institute(圣塔菲研究所)
本文提出分级信念稳定性度量,通过直接条件估计器利用内部表示评估LLM信念的持久性,实验显示低稳定性信念在对话挑战下行为变动更大,扩展了可靠性评估。
2026-09-29 cs.AI cs.CL
BISCUIT: Scaffolding LLM-Generated Code with Ephemeral UIs in Computational Notebooks
Apple(苹果公司)
针对程序员难以理解使用大语言模型生成代码的问题,研究提出JupyterLab扩展BISCUIT,通过临时UI脚手架衔接用户提示与代码生成,经10名新手测试证实可辅助代码理解、降低提示工程难度并支持变量探索与想法迭代。
2024-07-12 cs.AI cs.HC
Regurgitative Training: The Value of Real Data in Training Large Language Models
School of Economics and Management, Tsinghua University(清华大学经济管理学院);School of Computing, National University of Singapore(新加坡国立大学计算机学院);Carlson School of Management, University of Minnesota(明尼苏达大学卡尔森管理学院)
研究“反刍式训练”对LLM性能的负面影响,发现其导致错误率升高和词汇多样性降低,并提出三种数据策略部分缓解该问题,强调真实人类数据的不可替代性。
2024-07-25 cs.AI cs.CL stat.ML
Towards Reliable Detection of LLM-Generated Texts: A Comprehensive Evaluation Framework with CUDRT
Renmin University of China(中国人民大学);Shanghai University of Finance and Economics(上海财经大学);Institute for Advanced Algorithms Research(高级算法研究院)
提出CUDRT综合评估框架及中英双语基准,涵盖创建、更新、删除、改写和翻译五种操作,以评估和优化LLM生成文本检测器的可靠性、跨语言适应性和准确性。
2024-12-17 cs.AI cs.CL
Evaluating LLM-Generated Versus Human-Authored Responses in Role-Play Dialogues
Utrecht University(乌得勒支大学)
本研究通过人类评估和LLM-as-a-judge方法,发现LLM在多轮角色扮演对话中回应质量随时间下降,而人类回应逐步提升,并提出了验证的混合评估框架。
2025-10-08 cs.AI cs.CL
PTCBENCH: Benchmarking Contextual Stability of Personality Traits in LLM Systems
Singapore Management University(新加坡管理大学);Tianjin University(天津大学);Nanyang Technological University(南洋理工大学);Xi’an Jiaotong University(西安交通大学)
PTCBENCH通过评估LLM在不同情境下的人格一致性,揭示外部事件对LLM人格和推理能力的影响,为构建更稳健的心理学对齐AI系统提供新视角。
2026-01-12 cs.AI cs.CL
The "LLM World of Words" English free association norms generated by large language models
University of Pisa(比萨大学);University of Trento(特伦托大学);National Research Council of Italy(意大利国家研究委员会)
本文构建约12,000词的 LWOW 自由联想数据集,通过 Mistral、Llama3 和 Haiku 对齐 SWOW,并建立语义记忆网络以分析人类与 LLM 的隐性偏见。
2024-12-02 cs.AI cs.CL
Detecting LLM-Generated Tokens in Human--LLM Coauthored Text
School of Mathematics, University of Birmingham(伯明翰大学数学学院);School of Statistics and Data Science, Shanghai University of Finance and Economics(上海财经大学统计与数据科学学院);Department of Statistics, The London School of Economics and Political Science(伦敦政治经济学院统计系)
针对人类与大语言模型合作撰写文本中难以检测大语言模型生成内容的问题,提出在令牌级别运行、基于现有分数并平滑分数降低变异性的新方法,在合成与真实数据集上性能强,还部署了网站。
2026-07-24 cs.AI stat.ME