Can ChatGPT and Bard Generate Aligned Assessment Items? A Reliability Analysis against Human Performance
University of Massachusetts（马萨诸塞大学）
本文通过 ICC 指标评估 ChatGPT 和 Bard 在评定写作提示复杂性上与人类评分者的一致性，发现两者信度均较低。
2023-04-09 cs.AI cs.CL
Can generative AI figure out figurative language? The influence of idioms on essay scoring by ChatGPT, Gemini, and Deepseek
Middle East Technical University（中东技术大学）
本研究评估ChatGPT、Gemini和Deepseek对含习语作文的评分表现，发现Gemini在评分者间信度上最优，且最接近人工评分模式，有望独立承担作文评分任务。
2025-10-16 cs.AI cs.CL
The Imitation Game: Detecting Human and AI-Generated Texts in the Era of ChatGPT and BARD
本研究引入一个包含散文、故事、诗歌和Python代码的人类与LLM生成文本数据集，采用多种机器学习模型进行分类，发现模型在二元分类中表现优越，但区分GPT生成文本更具挑战性，为AI文本检测提供了启示。
2023-11-12 cs.AI cs.CL
Seeing ChatGPT Through Students' Eyes: An Analysis of TikTok Data
LMU Munich（慕尼黑大学）
像ChatGPT这样的高级大型语言模型最近得到了相当多的关注，包括学生。然而，虽然学术界关于ChatGPT的争论正在掀起波澜，但讲师和教师需要更多地了解学生如何使用和感知ChatGPT。为了解决这一差距，我们分析了2023年2月TikTok上ChatGPT的内容。TikTok是一个快速增长的社交媒体平台，在30岁以下的人群中很受欢迎。具体来说，我们分析了100个最受欢迎的英语视频的内容，这些视频的标签是#chatgpt，它们总共获得了超过2.5亿的观看次数。我们研究的大多数视频都促进了ChatGPT在撰写论文或代码等任务中的使用。此外，许多视频讨论了AI检测器，重点是其他工具如何帮助转换ChatGPT输出以欺骗这些检测器。这也反映了教育工作者关于如何在教学和评分中将ChatGPT视为讲师和教师的讨论。然而，TikTok上分析的片段中缺少的是讨论ChatGPT生成内容的视频，这些内容对训练数据是荒谬或不忠实的。
2023-03-09 cs.CL cs.CY stat.AP
Studying the impacts of pre-training using ChatGPT-generated text on downstream tasks
Utrecht University（乌得勒支大学）
本研究探讨了在语言模型预训练阶段使用ChatGPT生成的人工文本的影响，通过对比RoBERTa与ChatGPT在三项下游任务及性别偏见上的表现，发现人工文本的引入对模型性能和偏见均无显著影响。
2023-09-02 cs.AI cs.CL
Predicting the Quality of Revisions in Argumentative Writing
University of Pittsburgh（匹兹堡大学）；Learning Research and Development Center（学习研究与发展中心）；RAND Corporation（兰德公司）
针对议论文修订质量依赖整体论证语境的问题，本文利用思维链提示引导ChatGPT生成论证语境并预测修订质量，在小学生与大学生作文语料上均优于基线。
2023-06-01 cs.AI cs.CL
Unleashing Large Language Models' Proficiency in Zero-shot Essay Scoring
National Key Laboratory for Multimedia Information Processing, Peking University（北京大学多媒体信息处理国家重点实验室）；School of Computer Science, Peking University（北京大学计算机学院）；School of Software and Microelectronics, Peking University（北京大学软件与微电子学院）
本文提出零样本提示框架MTS，将写作能力分解为多个特质并逐轮评分后综合得出总分，在TOEFL11和ASAP上显著提升大语言模型的作文评分性能，并使小模型Llama2-13b-chat超越ChatGPT。
2024-10-03 cs.CL
LLM Agents at the Roundtable: A Multi-Perspective and Dialectical Reasoning Framework for Essay Scoring
NC AI；Chung-Ang University
本文提出多智能体框架 RES，通过模拟圆桌讨论和辩证推理整合多视角作文评估，在零样本条件下显著提升自动作文评分与人类评价的一致性。
2025-09-19 cs.CL
ChatGPT and a New Academic Reality: Artificial Intelligence-Written Research Papers and the Ethics of the Large Language Models in Scholarly Publishing
University of North Texas（北德克萨斯大学）；Emporia State University（恩波利亚州立大学）；Zhejiang Tongji Vocational College of Science and Technology（浙江同济科技职业学院）；Babasaheb Bhimrao Ambedkar University（巴巴萨海布·比姆拉奥·安贝德卡尔大学）；Baker University（贝克大学）
本文探讨了OpenAI的ChatGPT及其底层技术GPT-3等大型语言模型在学术出版中的应用潜力，分析了其自动撰写学术手稿的能力，并深入讨论了由此引发的学术伦理问题。
2023-03-31 cs.CL cs.CY
Towards Automatic Boundary Detection for Human-AI Collaborative Hybrid Essay in Education
Monash University（莫纳什大学）
本研究针对人类与AI协作撰写的混合文本，提出了一种基于原型距离的两步边界检测方法，在域内和域外评估中分别提升22%和18%。
2023-12-25 cs.AI cs.CL
Detecting ChatGPT: A Survey of the State of Detecting ChatGPT-Generated Text
Technical University of Munich（慕尼黑工业大学）
本综述探讨了区分人类与ChatGPT生成文本的关键问题，全面梳理了相关数据集构建、检测方法及文本特征定性分析，并总结出一般性见解。
2023-09-14 cs.AI cs.CL
Can ChatGPT pass the Vietnamese National High School Graduation Examination?
Eastern International University（东方国际大学）；International University Vietnam（越南国际大学）
该研究通过让 ChatGPT 完成包含 30 篇作文和 1,700 道选择题的越南国家高中毕业考试，发现其能以 6-7 分平均分通过，证明其在多学科上具备辅助教育的潜力。
2023-07-10 cs.CL cs.HC
AI, write an essay for me: A large-scale comparison of human-written versus ChatGPT-generated essays
University of Passau（帕绍大学）
本研究通过教师大规模评分和语言特征分析，比较人类与 ChatGPT 写作的论证型学生文章，证明 ChatGPT 文章质量更高，并呼吁重塑作业与教学。
2023-04-24 cs.CL cs.LG
Does the Prompt-based Large Language Model Recognize Students' Demographics and Introduce Bias in Essay Scoring?
Centre for Learning Analytics, Monash University（学习分析中心，莫纳什大学）
本研究探讨了基于提示的大语言模型在自动作文评分中能否识别学生人口统计特征及引入偏见，发现GPT-4o能部分推断学生第一语言背景，且正确预测时评分偏见更显著，非母语者评分误差增加。
2025-04-30 cs.CL
ChatGPT vs Gemini vs LLaMA on Multilingual Sentiment Analysis
University of Trento（特伦托大学）
该研究构建多语言模糊场景，评估ChatGPT、Gemini和LLaMA2的情感分析性能，发现模型间存在偏见和不一致，并提出标准化评估方法论以推动算法改进。
2024-01-25 cs.AI cs.CL
LLM-Driven Learning Analytics Dashboard for Teachers in EFL Writing Education
KAIST（韩国科学技术院）
本文开发了一款面向EFL写作教师的LLM驱动仪表盘，用于分析学生与集成ChatGPT的写作系统的交互，帮助教师监控行为、识别非教育性交互并优化教学策略。
2024-10-19 cs.AI cs.HC
Does Synthetic Data Generation of LLMs Help Clinical Text Mining?
Rice University（莱斯大学）；Texas A&M University（得克萨斯农工大学）；University of Texas Health Science Center（得克萨斯大学健康科学中心）
本文研究利用ChatGPT生成高质量合成数据并微调本地模型，以解决直接使用LLM进行临床文本挖掘性能差和隐私风险的问题，显著提升了命名实体识别和关系抽取的F1分数。
2023-04-10 cs.AI cs.CL cs.LG
Exploring the Impact of Generative Artificial Intelligence in Education: A Thematic Analysis
Dundalk Institute of Technology（唐道克理工学院）；Dublin Business School（都柏林商学院）；University College Dublin（都柏林大学学院）；Technological University Dublin（都柏林理工大学）；Jagan Institute of Management Studies（贾根管理学院）
本研究通过对教育领域专业人士的7篇文章开展主题分析与探索性数据分析，梳理生成式人工智能在教育中的利弊，并提出推动其负责任、合伦理使用的相关建议。
2025-01-17 cs.AI cs.HC cs.LG
Evaluation of ChatGPT Feedback on ELL Writers' Coherence and Cohesion
EduLab, Inc.（EduLab公司）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本研究评估ChatGPT对英语学习者议论文连贯性与衔接性反馈的质量，发现其反馈多为抽象泛化、缺乏具体建议，且问题检测准确性低，未经专门训练时无法提供有效反馈。
2023-10-10 cs.AI cs.CL
ChatGPT-generated texts show authorship traits that identify them as non-human
Università degli Studi di Pavia（帕维亚大学）；University of Birmingham（伯明翰大学）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）；Institució Catalana de Recerca i Estudis Avançats (ICREA)（加泰罗尼亚高等研究院）
本文通过文体计量与语域分析发现，ChatGPT 虽能根据提示调整写作风格，但在不同语域中变化有限且偏好名词而非动词，形成可识别的非人类语言指纹。
2025-08-22 cs.CL
"Genlangs" and Zipf's Law: Do languages generated by ChatGPT statistically look human?
本文检验ChatGPT生成的Voxphera、Vivenzia和Lumivoxa是否符合Zipf定律，发现其词频排名关系接近人类自然语言和人工语言，从而支持LLM生成语言具有类人统计特征。
2023-03-31 cs.CL
RECIPE4U: Student-ChatGPT Interaction Dataset in EFL Writing Education
KAIST（韩国科学技术院）
该研究提出RECIPE4U数据集，记录212名大学生与ChatGPT的交互，用于分析教育场景中的意图检测和满意度估计，以促进生成式AI在教育中的应用。
2024-03-13 cs.CL
Evaluating ChatGPT-4 Vision on Brazil's National Undergraduate Computer Science Exam
University of Fortaleza（福塔莱萨大学）
本文以巴西2021年 ENADE 计算机科学试题评估 ChatGPT-4 Vision，发现其成绩进入前10%，但仍需人工监督并暴露试题设计问题。
2024-06-14 cs.AI cs.CL
Implicit Grading Bias in Large Language Models: How Writing Style Affects Automated Assessment Across Math, Programming, and Essay Tasks
Department of Computer Science（计算机科学系）；Savitribai Phule Pune University（萨维特里·巴伊·普内大学）；Dr. D. Y. Patil School of Science and Technology（D.Y.帕提尔科学与技术学院）
研究探讨了大语言模型在内容正确性不变时，写作风格对评分的隐性偏见，发现作文任务存在显著偏见，而数学和编程任务则无显著偏见。
2026-03-19 cs.CL
ChEDDAR: Student-ChatGPT Dialogue in EFL Writing Education
本文提出ChEDDAR数据集，收集了212名EFL学生在写作课程中与ChatGPT对话修改作文的大规模真实交互数据，并建立了意图检测和满意度估计的基线结果。
2024-03-20 cs.CL
Can ChatGPT Perform Reasoning Using the IRAC Method in Analyzing Legal Scenarios Like a Lawyer?
Monash University Malaysia（莫纳什大学马来西亚分校）；Monash University（莫纳什大学）；Deakin University（迪肯大学）
研究构建了涉及马来西亚合同法等法律场景的新颖语料库，首次实证评估了ChatGPT使用IRAC方法进行法律推理分析时与法律专家的契合度，为未来改进LLMs的法律推理一致性提供了方向。
2026-10-30 cs.CL
Let's have a chat! A Conversation with ChatGPT: Technology, Applications, and Limitations
School of Computer Science, University of Guelph（圭尔夫大学计算机科学学院）
本文回顾聊天机器人发展历史，介绍ChatGPT的技术原理，并探讨其在医疗、教育和研究等领域的应用、隐私伦理问题及当前局限性。
2023-08-09 cs.AI cs.CL
Snowman: A Million-scale Chinese Commonsense Knowledge Graph Distilled from Foundation Model
Soochow University（苏州大学）；Beijing Jiaotong University（北京交通大学）；Fudan University（复旦大学）；Macquarie University（麦考瑞大学）；iFLYTEK Research（科大讯飞研究院）
本文利用ChatGPT等基础模型构建了名为Snowman的中文常识知识图谱，通过自我指导过滤策略去除无效负向常识，最终包含超千万条三元组，人工接受度达90.6%，成为最大的中文常识知识图谱。
2023-06-17 cs.AI cs.CL
From Feature-Based Models to Generative AI: Validity Evidence for Constructed Response Scoring
BroadMetrics；ETS
本文探讨了生成式AI在构造响应评分中的效度证据收集，对比了传统特征模型与生成式AI的差异，提出最佳实践以支持AI评分系统的使用和解释。
2026-03-01 cs.AI cs.CL cs.CY
Large Language Models as Zero-Shot Keyphrase Extractors: A Preliminary Empirical Study
Beijing Key Lab of Traffic Data Analysis and Mining（北京交通数据分析与挖掘重点实验室）；Beijing Jiaotong University（北京交通大学）
本研究探索直接提示ChatGPT构建零样本关键短语提取模型，实验表明其性能相比现有最先进无监督和监督模型仍有较大提升空间。
2024-01-10 cs.CL
BianQue: Balancing the Questioning and Suggestion Ability of Health LLMs with Multi-turn Health Conversations Polished by ChatGPT
South China University of Technology（华南理工大学）；Guangdong Women and Children Hospital（广东省妇幼保健院）；Pazhou Lab（琶洲实验室）
针对健康大语言模型缺乏多轮提问导致建议个性化不足的问题，本文提出基于ChatGLM并用自建多轮健康对话数据集BianQueCorpus微调的BianQue模型，实验证明其能同时平衡提问与健康建议能力，推动主动健康领域应用。
2023-12-04 cs.CL cs.HC
ChatGPT Chemistry Assistant for Text Mining and Prediction of MOF Synthesis
University of California, Berkeley（加州大学伯克利分校）；Kavli Energy Nanoscience Institute, University of California, Berkeley（加州大学伯克利分校卡夫利能源纳米科学研究所）；King Abdulaziz City for Science and Technology（阿卜杜勒阿齐兹国王科技城）
本文提出基于ChemPrompt Engineering的ChatGPT化学助手，自动挖掘MOF合成文献，并构建机器学习模型预测结晶结果。
2023-07-20 cond-mat.mtrl-sci cs.CL cs.IR
DUPE: Detection Undermining via Prompt Engineering for Deepfake Text
Virginia Tech（弗吉尼亚理工大学）
针对AI文本检测器准确性不足可能误伤学生的问题，本研究评估了三款主流检测器的性能，发现其存在假阳性或假阴性率高的问题，并提出利用ChatGPT 3.5改写文本的方法可有效绕过检测。
2024-04-17 cs.AI
"Is ChatGPT a Better Explainer than My Professor?": Evaluating the Explanation Capabilities of LLMs in Conversation Compared to a Human Baseline
Barnard College（巴纳德学院）；Columbia University（哥伦比亚大学）
本研究利用5-Levels数据集和解释行为框架，评估GPT4在对话解释任务中的表现，比较人类解释者、GPT4标准回应及带解释动作的GPT4回应三种策略，以探究LLMs增强专家解释能力的潜力。
2024-06-26 cs.CL
ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world APIs
Tsinghua University（清华大学）；Renmin University of China（中国人民大学）；Yale University（耶鲁大学）；WeChat AI, Tencent Inc.（腾讯公司微信AI）；ModelBest Inc.（ModelBest公司）；Zhihu Inc.（知乎公司）
针对开源LLM工具使用能力不足的问题，提出包含数据构建、训练与评估的ToolLLM框架，构建含1.6万余真实API的ToolBench数据集，训练出的ToolLLaMA性能可比ChatGPT且泛化性强。
2023-10-03 cs.AI cs.CL cs.LG
Differentiating Between Human-Written and AI-Generated Texts Using Automatically Extracted Linguistic Features
University of Nicosia（尼科西亚大学）
本研究通过分析人类与AI生成文本的语言特征，揭示了AI在模仿人类写作方面的局限性，并强调了自动化工具在语言评估中的重要性。
2026-02-17 cs.AI cs.CL
ChatGPT Encounters Morphing Attack Detection: Zero-Shot MAD with Multi-Modal Large Language Models and General Vision Models
Norwegian University of Science and Technology (NTNU)（挪威科技大学）；Darmstadt University of Applied Sciences (HDA)（达姆施塔特应用技术大学）
本文提出基于通用视觉模型与GPT-4 Turbo等多模态LLM的两类零样本MAD方法，并在打印-扫描变形数据集上验证其检测准确率、泛化性及可解释优势。
2025-03-13 cs.AI cs.CV cs.LG
Navigating the Peril of Generated Alternative Facts: A ChatGPT-4 Fabricated Omega Variant Case as a Cautionary Tale in Medical Misinformation
University Medicine Essen（埃森大学医学中心）
本研究通过 ChatGPT-4 编造的 Omega 变异株案例，警示 AI 生成虚假科学信息的风险，强调医学信息源批判性评估的必要性。
2024-02-04 cs.CL cs.CY cs.IR
Extending the Frontier of ChatGPT: Code Generation and Debugging
George Mason University（乔治梅森大学）
本文评估 ChatGPT 的代码生成与调试能力，通过 Leetcode 编程题从正确性及时间、内存复杂度进行测试，发现其总体成功率为 71.875%，擅长结构化问题但难以依据反馈调试优化。
2023-07-17 cs.CL cs.SE
LLMs in the Classroom: Outcomes and Perceptions of Questions Written with the Aid of AI
Southern Illinois University Edwardsville（南伊利诺伊大学爱德华兹维尔分校）
本研究随机部署人工与LLM编写的问题，发现学生无法区分来源，但LLM问题得分低9%，提示需谨慎使用AI辅助出题以确保公平与相关性。
2025-03-23 cs.AI cs.CY
MaterialBENCH: Evaluating College-Level Materials Science Problem-Solving Abilities of Large Language Models
OMRON SINIC X（欧姆龙 SINIC X 研究院）；Osaka Univ.（大阪大学）；Univ. Tokyo（东京大学）
本文构建了大学水平材料科学基准数据集MaterialBENCH，包含自由响应和多项选择两类问题，通过实验分析不同LLMs的性能差异及系统提示的影响，旨在推动LLMs推理能力发展以助力材料研究。
2024-10-31 cond-mat.mtrl-sci cs.CL
Automated Topical Component Extraction Using Neural Network Attention Scores from Source-based Essay Scoring
University of Pittsburgh（匹兹堡大学）
虽然自动论文评分（AES）可以可靠地对论文进行评分，但自动写作评估（AWE）还提供了形成性反馈来指导论文修改。然而，神经AES通常不提供用于支持AWE的有用特征表示。本文提出了一种连接AWE和神经AES的方法，通过使用注意力层的中间输出从源文本中提取表示证据的主题成分（TC）。我们使用基于特征的AES评估性能，需要TC。结果表明，无论是使用自动或手动构造的TC的性能是相当的1）代表论文为基于规则的功能，2）评分论文。
2020-08-04 cs.CL
Classification of Human- and AI-Generated Texts: Investigating Features for ChatGPT
IU International University of Applied Sciences（IU国际应用科学大学）
本研究探索传统与新特征，以检测AI从头生成及改写的文本，并应对AI伪装人类写作的挑战。新语料库涵盖10个学校主题，最佳系统在生成文本分类上F1超96%，改写检测上超78%，且优于GPTZero。
2023-08-10 cs.AI cs.CL
Comparison of Scoring Rationales Between Large Language Models and Human Raters
Princeton University（普林斯顿大学）；University of Maryland（马里兰大学）；University of Iowa（爱荷华大学）
本文比较人类与 GPT-4o、Gemini 等 LLM 在作文评分中的理由，通过 kappa、互信息、余弦相似度和嵌入聚类分析评分差异及推理模式。
2025-09-27 cs.CL cs.LG
Exploring the Potential of Conversational AI Support for Agent-Based Social Simulation Model Design
University of Nottingham（诺丁汉大学）
本研究探索利用对话式AI系统（如ChatGPT）辅助基于智能体的社会仿真模型设计，通过提示工程和工程化框架，在短时间内生成概念模型，并验证了其可行性与实用性。
2025-10-07 cs.AI cs.CL cs.HC
Bridging Network Psychometrics and Artificial Intelligence: An Ising-Potts Model with LLM-Derived Weights
提出 Rater Ising-Potts 模型，利用 LLM 嵌入权重和两两协议指标评估多类别评分可靠性，无需预设阈值，在 AERA 数据集上验证了与人类评分的高度一致性。
2026-09-15 cs.CL stat.AP
Évaluation des capacités de réponse de larges modèles de langage (LLM) pour des questions d'historiens
CRIHAM, Université de Poitiers（普瓦捷大学 CRIHAM）；LIAS, ISAE-ENSMA et Université de Poitiers（LIAS，ISAE-ENSMA 与普瓦捷大学）
本研究构建多类型多难度的法语历史问题测试基准，评估10款大语言模型的历史问答能力，发现其存在准确率不足、法语处理不均、回答冗长且不一致等问题。
2024-06-21 cs.AI cs.IR
TransGAT: Transformer-Based Graph Neural Networks for Multi-Dimensional Automated Essay Scoring
Department of Computer Science, King Abdulaziz University（计算机科学系，国王阿卜杜勒阿齐兹大学）；English Language Institute, King Abdulaziz University（英语语言学院，国王阿卜杜勒阿齐兹大学）
针对现有自动作文评分方法语义捕捉不足、忽略多维度写作指标的问题，提出融合微调Transformer与图注意力网络的双流模型TransGAT，在ELLIPSE数据集上取得更优的多维度评分效果。
2025-09-01 cs.CL cs.LG
Fine-tuning ChatGPT for Automatic Scoring
AI4STEM Education Center, University of Georgia（佐治亚大学AI4STEM教育中心）
本研究通过微调GPT-3.5在六个科学教育评估任务上自动评分学生回答，相比BERT平均准确率提升9.1%，验证了领域微调的有效性。
2023-12-26 cs.AI cs.CL
Leveraging AI Graders for Missing Score Imputation to Achieve Accurate Ability Estimation in Constructed-Response Tests
The University of Electro-Communications（电子通信大学）
本研究提出一种利用自动评分技术填补缺失分数的新方法，以解决建构反应测试中人工评分成本高及IRT能力估计在缺失数据多时准确性下降的问题，实现了高准确度并显著减少评分工作量。
2025-06-25 cs.CL cs.LG
