When LLM Essays Outscore Student Essays: What a Korean Writing Rubric Rewards and Where Readers Disagree
Yonsei University（延世大学）
研究通过三阶段盲 longitudinal 研究评估人类对LLM生成韩语文本的判断，提出LREAD框架提升准确性与一致性，证明评分标准辅助判断能提高检测效果。
2026-08-04 cs.AI cs.CL
DREsS: Dataset for Rubric-based Essay Scoring on EFL Writing
KAIST（韩国科学技术院）
本文发布包含 48.9K 样本的 DREsS 数据集及 CASE 增强策略，以支持 EFL 写作中基于评分量规的自动作文评分。
2025-06-11 cs.AI cs.CL
Characterizing Stage-Aware Writing Assistance in Collaborative Document Authoring
Microsoft（微软）；Microsoft Research AI（微软研究院人工智能）；University of Waterloo（滑铁卢大学）
写作是一个复杂的非线性过程，从意图的心理模型开始，经过想法的大纲，到纸上的文字（以及随后的精炼）。尽管过去的研究在理解写作，网络规模的消费者和企业合作的数字化写作环境还没有大大受益于智能系统，了解文档演变的阶段，提供适时的援助的基础上，作者的行为和上下文。在本文中，我们提出了三项研究，探讨文件创作的时间阶段。我们首先调查了一家大型科技公司的信息工作者的写作习惯和偏好，得出的结论是，作者在创作文档时确实经历了几个不同的阶段。我们还探索，定性，如何写作阶段与文件的寿命。我们补充了这些定性的研究结果，分析了一个流行的数字写作平台的纵向用户交互日志，超过数百万个文档。最后，作为促进智能数字写作助手的第一步，我们进行了初步的调查，用户交互日志数据的效用，用于预测文档的时间阶段。我们的研究结果支持的好处，为写作阶段量身定制的工具，确定与这些阶段相关的主要任务，并表明，它是可以预测阶段从匿名的交互日志。总之，这些结果证明了更有针对性的数字写作援助的好处和可行性。
2020-08-18 cs.AI cs.HC
WrAFT: a Modularized Automated Writing Evaluation System for Argumentative Essays
Department of Informatics, King’s College London（伦敦国王学院信息学系）；Waseda University（早稻田大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；University of Sheffield（谢菲尔德大学）；Hosei University（法政大学）
研究提出WrAFT这一用于议论文的模块化自动写作评估系统，通过模块化设计及评估多种大语言模型构建，在评分上达先进水平，人机评估反馈认可度高，且开发了公开免费的交互式用户界面。
2026-07-17 cs.AI cs.CL
Annotation and Classification of Evidence and Reasoning Revisions in Argumentative Writing
Learning Research and Development Center（学习研究与发展中心）；University of Pittsburgh（匹兹堡大学）
自动写作评估系统可以提高学生的写作，只要学生注意到提供的反馈，并以与这些反馈一致的方式修改他们的论文草稿。然而，现有的关于在这种系统中修改议论文的研究主要集中在学生修改的类型上（例如，表面vs.内容），而不是修改实际上对所提供的反馈做出反应并改进文章的程度。我们引入了一个注释计划，以捕捉证据使用和推理（“RER”计划），并将其应用到第五和第六年级学生的议论文水平的修订的性质。我们表明，可以实现可靠的手动注释，修订注释与根据提供的反馈对论文改进进行整体评估相关。此外，我们探讨了根据我们的计划自动分类修订的可行性。
2021-07-14 cs.AI cs.CL cs.LG
Comment on: Your Brain on ChatGPT: Accumulation of Cognitive Debt When Using an AI Assistant for Essay Writing Tasks
University of Vienna（维也纳大学）；Technische Universität Dresden（德累斯顿工业大学）
该评论指出Kosmyna等人（2025）研究中存在样本量小、分析不可重复、EEG分析方法问题、结果报告不一致及透明度不足等需改进之处。
2025-12-29 cs.AI
Your Brain on ChatGPT: Accumulation of Cognitive Debt when Using an AI Assistant for Essay Writing Task
MIT Media Lab（麻省理工学院媒体实验室）；MIT（麻省理工学院）；Wellesley College（韦尔斯利学院）
研究发现使用LLM辅助写作会导致认知负担增加，长期依赖LLM可能影响学习效果。
2025-12-31 cs.AI
Automatic Task Requirements Writing Evaluation via Machine Reading Comprehension
TAL Education Group（好未来教育集团）
任务要求写作是英语四级考试和英语初试中的一个重要题型。TR写作问题可能包括多个要求，高质量的论文必须全面准确地回应每个要求。然而，有限的教师资源使学生无法立即获得详细的评分。针对现有作文自动评分系统大多注重整体评分而很少提供理由支持的问题，提出了一个基于机器阅读理解（MRC）的端到端框架。该框架不仅检测文章是否回答了需求问题，而且清楚地标记了文章回答问题的位置。该框架包括三个模块：问题规范化模块、基于ELECTRA的MRC模块和响应定位模块。我们广泛探索最先进的MRC方法。我们的方法在真实世界的教育数据集上实现了0.93的准确性得分和0.85的F1得分。为了鼓励可重复的结果，我们在\url{https://github.com/aied2021TRMRC/AIED_2021_TRMRC_code}上公开了我们的代码。
2021-07-15 cs.AI cs.CL
Does AI Assistance Leave a Temporal Fingerprint? Detecting Overreliance in AI-Assisted Writing and Programming
Trinity University（三一大学）；St. Mary's University（圣玛丽大学）
本研究通过分析写作与编程过程数据，发现AI辅助具有可泛化的时间特征，能近乎完美地检测整体委托，但难以区分普通协作，为学术诚信提供过程性证据基础。
2026-09-17 cs.AI cs.HC
AI-generated Essays: Characteristics and Implications on Automated Scoring and Academic Integrity
University of Pittsburgh（匹兹堡大学）；ETS Research Institute（教育考试服务中心研究院）
本研究通过大规模实证，考察了LLM生成论文的特征与质量，揭示了现有自动评分系统的局限，并证明了跨模型AI论文检测的高准确性，为写作评估与学术诚信提供了重要启示。
2025-10-16 cs.AI cs.CL
Improve LLM-based Automatic Essay Scoring with Linguistic Features
针对自动作文评分中不同提示处理的挑战，本文结合有监督特征法和LLM法，将语言特征融入LLM评分，提出的混合方法在域内和域外提示上均优于基线模型。
2025-02-13 cs.AI cs.CL
eRevise: Using Natural Language Processing to Provide Formative Feedback on Text Evidence Usage in Student Writing
Learning Research and Development Center（学习研究与发展中心）；University of Pittsburgh（匹兹堡大学）
写一篇好文章通常需要学生在收到反馈后修改最初的论文草稿。我们提出了eRevise，一个基于网络的写作和修改环境，使用自然语言处理功能生成的基于规则的论文评分，以触发形成反馈信息，学生的使用证据，在响应文本写作。通过帮助学生了解在写作过程中使用文本证据的标准，eRevise使学生能够更好地修改他们的论文草稿。在一个试点部署的eRevise在7个教室跨越5年级和6年级，在写作中的文本证据使用的质量提高后，学生收到形成性反馈，然后从事论文修订。
2019-08-06 cs.AI cs.CL
Content vs. Form: What Drives the Writing Score Gap Across Socioeconomic Backgrounds? A Generated Panel Approach
Knowledge Lab, University of Chicago（芝加哥大学知识实验室）；Insper, Institute of Education and Research（Insper教育与研究学院）
本文通过生成面板方法研究社会经济地位对写作分数差距的影响，发现内容质量占69%，风格差异占26%，评估标准差异占5%。
2026-01-06 cs.AI cs.CL cs.CY
PeerPen: AI-Assisted Writing for Online Mental Health Peer Support
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Aalto University（阿尔托大学）；Indiana University Indianapolis（印第安纳大学印第安纳波利斯分校）
针对在线心理健康同伴支持中志愿者缺乏训练、难以回应的问题，本文构建了AI辅助写作工具PeerPen，通过草稿生成与修订功能减轻写作负担并增强信心，同时提出保留作者身份与社区信任的设计启示。
2026-09-15 cs.AI cs.CL cs.CY
Predicting the Quality of Revisions in Argumentative Writing
University of Pittsburgh（匹兹堡大学）；Learning Research and Development Center（学习研究与发展中心）；RAND Corporation（兰德公司）
针对议论文修订质量依赖整体论证语境的问题，本文利用思维链提示引导ChatGPT生成论证语境并预测修订质量，在小学生与大学生作文语料上均优于基线。
2023-06-01 cs.AI cs.CL
SEFORA: Student Essays with Feedback Corpus and LLM Feedback Evaluation Framework
University of Pittsburgh（匹兹堡大学）
为解决大规模写作反馈中缺乏真实课堂反馈语料和评估方法的问题，构建了SEFORA语料库和UniMatch评估框架，实验表明LLM生成的反馈与教师反馈一致性低（F1≤0.4）。
2026-07-02 cs.AI cs.CL
Issue Bias in Generative AI Writing Assistance: Political Issues and LLMs in the Swedish 2026 Election
Chalmers University of Technology（查尔姆斯理工大学）；University of Gothenburg（哥德堡大学）；Lund University（隆德大学）；University of Oxford（牛津大学）
本研究通过大规模提示组合测试六个LLM在瑞典2026年大选前的立场，发现模型间存在议题相关偏见，且社会民主党与所有模型立场最接近，但无模型表现出明确的政党偏好。
2026-09-29 cs.AI cs.CY stat.AP
LLUMI: Improving LLM Writing Assistance for Mental Health Support with Online Community Feedback
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Indiana University Indianapolis（印第安纳大学印第安纳波利斯分校）
提出LLUMI框架，通过在线社区反馈（如Reddit投票）构建偏好对，结合监督微调和直接偏好优化训练开源小模型，在隐私保护下实现与GPT相当的心理健康支持性能。
2026-09-09 cs.AI cs.CL cs.CY
LLM-Driven Learning Analytics Dashboard for Teachers in EFL Writing Education
KAIST（韩国科学技术院）
本文开发了一款面向EFL写作教师的LLM驱动仪表盘，用于分析学生与集成ChatGPT的写作系统的交互，帮助教师监控行为、识别非教育性交互并优化教学策略。
2024-10-19 cs.AI cs.HC
Reactive Writers: How Co-Writing with AI Changes How We Engage with Ideas
Paul G. Allen School of Computer Science, University of Washington（保罗·G·艾伦计算机科学学院，华盛顿大学）；Center for Information Technology Policy, Princeton University（信息科技政策中心，普林斯顿大学）；Cornell Tech（康奈尔科技）；Bauhaus University（包豪斯大学）
本文研究了与AI共写如何改变写作过程，发现反应性写作是一种以评估优先、建议引导的写作方式，作者在过程中未察觉AI影响，但容易受AI偏见影响。
2026-03-11 cs.AI cs.HC
Predicting Desirable Revisions of Evidence and Reasoning in Argumentative Writing
University of Pittsburgh（匹兹堡大学）
我们开发的模型来分类理想的证据和理想的推理修改学生的议论文写作。我们探索了两种提高分类器性能的方法-使用修订的文章上下文，并使用学生在修订前收到的反馈。我们对每个模型进行内在和外在评估，并报告定性分析。我们的研究结果表明，虽然使用反馈信息的模型比基线模型有所改进，但利用上下文的模型-无论是单独还是有反馈-在确定所需的修订方面都是最成功的。
2023-02-10 cs.AI cs.CL
Can AI grade your essays? A comparative analysis of large language models and teacher ratings in multidimensional essay scoring
Technical University Munich（慕尼黑工业大学）；University of Tübingen（蒂宾根大学）
本文比较了五种大语言模型与37位教师在德语作文多维评分中的表现，发现闭源模型优于开源模型，其中o1模型与人类评分一致性最高，可用于辅助教师减负，但需改进以更好评估内容质量。
2024-11-25 cs.AI cs.CL cs.HC
How LLMs Distort Our Written Language
UC Berkeley（加州大学伯克利分校）；UC San Diego（加州大学圣地亚哥分校）；University of Washington（华盛顿大学）；Zaytuna College（扎亚图纳学院）；Google DeepMind（谷歌DeepMind）
研究揭示大语言模型不仅改变写作语气，还持续改变写作本意，通过用户研究和数据集分析发现，即使在专家反馈下，LLM仍会显著改变文本语义，影响科学机构和文化。
2026-08-28 cs.AI cs.CL
Does AI Homogenize Student Thinking? A Multi-Dimensional Analysis of Structural Convergence in AI-Augmented Essays
Ritsumeikan Global Innovation Research Organization (R-GIRO), Ritsumeikan University（立命馆全球创新研究组织（R-GIRO）、立命馆大学）；Faculty of Business and Commerce, Kansai University（大阪大学商学部）；Arbege Corporation（Arbege公司）；College of Life Sciences, Ritsumeikan University（立命馆大学生命科学学院）；Office of General Education, Ritsumeikan University（立命馆大学通识教育办公室）
本文通过分析5种条件下6875篇作文，发现AI使用导致结构多样性变化，提出质量与同质化之间的权衡关系，揭示交互设计对同质化的影响。
2026-03-22 cs.AI
Evaluating Austrian A-Level German Essays with Large Language Models for Automated Essay Scoring
Salzburg University of Applied Sciences（萨尔茨堡应用科学大学）
本文利用大型语言模型评估奥地利A级德语作文，发现其在评分一致性上存在显著不足，无法替代人类评分。
2026-03-06 cs.AI cs.CL
"It was 80% me, 20% AI": Seeking Authenticity in Co-Writing with Large Language Models
University of Southern California（南加州大学）；Microsoft Research（微软研究院）
本研究通过访谈19位专业作者和调查30位读者，探讨人机共同写作中的真实性认知，发现真实性更关注创作过程与自我构建，个性化AI工具需服务于作者成长，而读者对人机共同写作接受度较高。
2024-11-20 cs.AI cs.CY cs.HC
Hidding the Ghostwriters: An Adversarial Evaluation of AI-Generated Student Essay Detection
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
本研究构建AI生成学生作文数据集AIG-ASAP，通过词替换、句子替换等对抗扰动方法测试现有AIGC检测器，发现简单攻击即可轻易绕过检测，凸显教育领域需更鲁棒的检测方法。
2024-02-01 cs.AI cs.CL
The Future of AI-Assisted Writing
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本研究通过信息检索视角比较AI辅助写作工具的pull和push范式，发现用户欢迎AI无缝协助，能快速多样化想法且保持清晰简洁，用户享受协作且不感缺乏所有权，但仍对未来工具中的偏见问题表达明确担忧。
2023-06-29 cs.AI cs.HC
Penalizing Transparency? How AI Disclosure and Author Demographics Shape Human and AI Judgments About Writing
Princeton University（普林斯顿大学）；University of Washington（华盛顿大学）；University of Chicago（芝加哥大学）；Cornell University（康奈尔大学）；Allen Institute for AI（人工智能研究院）
通过大规模对照实验，研究AI披露声明和作者种族、性别如何影响人类与LLM评分者对写作质量的判断，发现两者都惩罚披露AI使用，但只有LLM评分者表现出人口统计学交互效应，揭示了机器与人类评价模式的差异。
2025-07-02 cs.AI cs.CY
Alignment has a Fantasia Problem
Massachusetts Institute of Technology（麻省理工学院）
该研究指出指令微调AI因不理解人类认知过程会产生幻想交互，剥夺用户任务自主权，进而提出需重新思考对齐研究，优化交互中认知责任分配并规划了相关研究议程。
2026-09-29 cs.AI cs.HC
Can Large Language Models Automatically Score Proficiency of Written Essays?
Qatar Univeristy（卡塔尔大学）
本文评估ChatGPT与Llama在自动作文评分中的能力，通过四种提示在ASAP数据集上测试，发现二者性能接近且ChatGPT略优，虽不及SOTA但可提供改进反馈。
2024-04-16 cs.AI cs.CL
Co-Writing with AI, on Human Terms: Aligning Research with User Demands Across the Writing Process
University of Toronto（多伦多大学）
本文通过系统综述109篇HCI论文并访谈15位写作者，揭示了AI辅助写作中能动性与所有权需求随写作阶段和写作者类型而变化，并为按人类条件设计人机共同写作工具提供了设计指导。
2025-08-18 cs.AI cs.HC
Double-Edged Sword or Sharp Tool? Designing and Evaluating Triadic LLM-Teacher Collaboration for K-12 Writing at Scale
Renmin University of China（中国人民大学）；Central University of Finance and Economics（中央财经大学）；Beijing HQ Intelligent Technology, Ltd.（北京HQ智能科技有限公司）
本文通过开发一个三元协作系统，结合系统功能语言学与建议轨迹追踪管道，基于包含57,954篇作文的大规模实证数据，验证了LLM作为生成引擎、教师作为教学把关者的分工策略能有效提升写作质量，并发现语言扩展存在边际效用递减的天花板效应。
2026-05-28 cs.AI
Closing the Loop: Learning to Generate Writing Feedback via Language Model Simulated Student Revisions
University of Michigan（密歇根大学）；ETH Zürich（苏黎世联邦理工学院）
本文提出PROF框架，通过语言模型模拟学生修订过程来迭代优化反馈生成器，直接最大化学生修订表现，实证表明其在提升写作质量和教学价值上优于基线方法。
2024-10-10 cs.AI cs.CL cs.LG
Supporting Cognitive and Emotional Empathic Writing of Students
University of St.Gallen（圣加仑大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Passau（帕绍大学）；University of Kassel（卡塞尔大学）
我们提出了一个注释的方法来捕捉情感和认知共情的学生写的同行评议的商业模式在德国。我们提出了一个注释方案，使我们能够根据三种类型的审查组件的情感和认知共情分数模型。此外，我们进行了一项注释研究，根据92名学生的文章，以评估我们的注释方案与三个注释。获得的评分者间一致性α = 0.79的组件和多π = 0.41的共情分数表明，所提出的注释方案成功地引导注释者达到实质性到中等程度的一致性。此外，我们训练了预测模型来检测注释的共情结构，并将其嵌入自适应写作支持系统中，以便学生独立于教师，时间和地点获得个人共情反馈。我们评估了我们的工具，在同伴学习练习与58名学生，发现有希望的结果感知移情技能学习，感知反馈的准确性，并打算使用。最后，我们提出了我们的免费语料库的500共情注释，学生写的同行评议的商业模式和我们的注释准则，以鼓励未来的研究共情支持系统的设计和开发。
2021-05-31 cs.AI cs.CL cs.HC
