A Corpus for Argumentative Writing Support in German
University of St.Gallen（圣加仑大学）；University of Passau（帕绍大学）；University of Kassel（卡塞尔大学）
在本文中，我们提出了一种新的注释方法来捕捉索赔和前提的论点和它们之间的关系，在学生写的有说服力的商业模式的德语同行评审。我们提出了一个注释计划的基础上的注释准则，允许模型的索赔和前提，以及支持和攻击的关系，以捕捉结构的争论性话语在学生写的同行评议。我们对50篇说服性文章进行了一项注释研究，以评估我们的注释方案。所获得的评分者间协议的$α=0.57$的论点组件和$α=0.49$的争论关系表明，建议的注释方案成功地引导注释者适度的协议。最后，我们提出了我们免费提供的语料库的1,000有说服力的学生写的同行评议的商业模式和我们的注释指南，以鼓励未来的研究，为学生设计和开发的议论文写作支持系统。
2020-10-26 cs.CL cs.LG
An Exploratory Study of Argumentative Writing by Young Students: A Transformer-based Approach
Educational Testing Service（教育考试服务中心）
我们提出了一个计算探索的论点批判写作的年轻学生。中学生被要求批评提示中提出的论点，重点是识别和解释推理缺陷。这个任务类似于一个既定的大学水平的论点批判任务。词汇和话语功能，利用详细的领域知识，以确定批评存在的大学任务，但没有表现良好的年轻学生的数据。相反，基于变压器的架构（例如，BERT）在大学任务的大量评论文章语料库上进行了微调，表现得更好（F1分数提高了20%以上）。分析的各种配置的系统的性能表明，虽然儿童的写作并没有表现出标准的话语结构的议论文，它没有共享基本的本地顺序结构与更成熟的作家。
2020-06-17 cs.CL cs.LG
Annotation and Classification of Evidence and Reasoning Revisions in Argumentative Writing
Learning Research and Development Center（学习研究与发展中心）；University of Pittsburgh（匹兹堡大学）
自动写作评估系统可以提高学生的写作，只要学生注意到提供的反馈，并以与这些反馈一致的方式修改他们的论文草稿。然而，现有的关于在这种系统中修改议论文的研究主要集中在学生修改的类型上（例如，表面vs.内容），而不是修改实际上对所提供的反馈做出反应并改进文章的程度。我们引入了一个注释计划，以捕捉证据使用和推理（“RER”计划），并将其应用到第五和第六年级学生的议论文水平的修订的性质。我们表明，可以实现可靠的手动注释，修订注释与根据提供的反馈对论文改进进行整体评估相关。此外，我们探讨了根据我们的计划自动分类修订的可行性。
2021-07-14 cs.AI cs.CL cs.LG
Machine-assisted writing evaluation: Exploring pre-trained language models in analyzing argumentative moves
Fudan University（复旦大学）
本研究利用BERT等预训练语言模型对1643篇纵向学习者议论文进行六类语步自动标注，F1达0.743，并验证其能揭示写作发展轨迹与预测写作质量，推动AI辅助写作评估。
2025-03-25 cs.CL cs.LG
VISAR: A Human-AI Argumentative Writing Assistant with Visual Programming and Rapid Draft Prototyping
University of Notre Dame（圣母大学）；Singapore University of Technology and Design（新加坡科技设计大学）
本文提出AI写作助手VISAR，通过可视化编程、同步编辑和自动草稿原型，帮助用户构建层级写作目标与论证结构，解决LLM聊天界面缺乏用户控制和语境感知的问题，有效提升了论辩写作规划体验。
2023-07-27 cs.AI cs.CL cs.HC
Predicting the Quality of Revisions in Argumentative Writing
University of Pittsburgh（匹兹堡大学）；Learning Research and Development Center（学习研究与发展中心）；RAND Corporation（兰德公司）
针对议论文修订质量依赖整体论证语境的问题，本文利用思维链提示引导ChatGPT生成论证语境并预测修订质量，在小学生与大学生作文语料上均优于基线。
2023-06-01 cs.AI cs.CL
FOXGLOVE: Understanding Goal-Oriented and Anchored Writing Feedback from Experts and LLMs on Argumentative Essays
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
通过构建FOXGLOVE数据集，系统比较了写作专家和大型语言模型在议论文反馈中的目标导向、锚定性和优先级，发现两者在反馈目标和位置分布上相似，但在具体句子选择和反馈复杂度上存在差异。
2026-10-20 cs.CL cs.HC
WrAFT: a Modularized Automated Writing Evaluation System for Argumentative Essays
Department of Informatics, King’s College London（伦敦国王学院信息学系）；Waseda University（早稻田大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；University of Sheffield（谢菲尔德大学）；Hosei University（法政大学）
研究提出WrAFT这一用于议论文的模块化自动写作评估系统，通过模块化设计及评估多种大语言模型构建，在评分上达先进水平，人机评估反馈认可度高，且开发了公开免费的交互式用户界面。
2026-07-17 cs.AI cs.CL
Argument Rarity-based Originality Assessment for AI-Assisted Writing
Ritsumeikan Global Innovation Research Organization (R-GIRO), Ritsumeikan University（日光全球创新研究组织（R-GIRO）、日光大学）；Faculty of Business and Commerce, Kansai University（大阪大学商学部）；Arbege Corporation（Arbege公司）；College of Life Sciences, Ritsumeikan University（日光大学生命科学学院）；Office of General Education, Ritsumeikan University（日光大学通识教育办公室）
本文提出AROA框架，通过论点稀有性评估AI辅助写作的原创性，发现AI生成作文在结构上可复制但缺乏语义原创性。
2026-02-23 cs.CL
Beyond Holistic Scores: Automatic Trait-Based Quality Scoring of Argumentative Essays
ELLIS Alicante（埃利斯阿尔瓦雷斯）；Universitat d'Alacant（阿尔瓦雷斯大学）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文提出基于特征的自动论说作文评分方法，通过两种建模范式提升评分准确性，并展示小型LLM在无需微调下的竞争力。
2026-02-04 cs.CL
ArgRewrite V.2: an Annotated Argumentative Revisions Corpus
University of Pittsburgh（匹兹堡大学）
分析人类如何修改他们的写作是一个有趣的研究问题，不仅从教育的角度来看，而且从人工智能的角度来看。更好地理解这一过程可以促进许多NLP应用，从智能辅导系统到支持和协作写作环境。然而，开发这些应用程序需要修订语料库，这并不广泛。在这项工作中，我们提出了ArgRewrite V.2，这是一个注释的议论文修订语料库，收集了关于自动驾驶汽车的议论文的两个修订周期。注释是在不同的目的粒度（粗粒度和细粒度）和范围（基本粒度和基本粒度）级别上提供的。此外，语料库还包括了每个作者的修改目标、论文分数、注释验证、从参与者那里收集的研究前和研究后的调查作为元数据。ArgRewrite中修订单元范围和目的粒度级别的多样性，以及新类型的元数据的包含，可以使其成为涉及修订分析的研究和应用程序的有用资源。我们展示了ArgRewrite V.2在自动修订目的预测器开发中的一些潜在应用，作为训练源和基准。
2022-06-03 cs.AI cs.CL
"Sharks are not the threat humans are": Argument Component Segmentation in School Student Essays
Columbia University（哥伦比亚大学）；Educational Testing Service（教育考试服务中心）
论证挖掘通常通过管道方法来解决，其中首先进行文本分割成论证单元，然后进行论证组件识别任务。本研究从一个新的中学生议论文语料库中，采用标记水平的分类方法来识别主张标记和前提标记。为此，我们比较了各种最先进的模型，如离散特征和深度学习架构（例如，BiLSTM网络和基于BERT的架构）来识别参数组件。我们证明了一个基于BERT的多任务学习架构（即，标记和句子级别分类）在相关的未标记数据集上进行自适应预训练获得最佳结果
2021-03-08 cs.CL
Enhancing English Writing Proficiency in China's Polytechnic Students An In-Depth Literature Review on the Application of the Input Hypothesis
Jeonbuk National University（国立全北大学）
本文通过梳理既往研究的观察与实验数据，探讨Stephen Krashen的输入假说对中国理工院校学生英语写作能力的提升作用，为相关师生及社群了解二语发展提供参考。
2023-11-04 cs.CL
Argumentative Text Generation in Economic Domain
Vyatka State University（维亚特卡国立大学）；ITMO University（圣彼得堡国立信息技术机械与光学大学）
GPT-3、T5、Switch Transformer、ERNIE等大型、大语言模型的开发，显著提高了文本生成的性能。这一领域的一个重要研究方向是带论元的语篇生成。这个问题的解决方案可以用于商务会议、政治辩论、对话系统、学生论文的准备。这些应用的主要领域之一是经济领域。俄语论证文本生成的关键问题是缺乏标注的论证语料库。在本文中，我们使用的翻译版本的议论文，说服性的文章和UKP句子语料库微调RuBERT模型。最后，利用该模型对经济新闻语料进行了论证性标注。然后利用标注的语料库对ruGPT-3模型进行微调，生成论元文本。结果表明，与原始ruGPT-3模型相比，该方法将参数生成的准确性提高了20个百分点（63.2% vs. 42.5%）。
2022-06-18 cs.CL
"I Wrote, I Paused, I Rewrote" Teaching LLMs to Read Between the Lines of Student Writing
本文构建记录击键与文章快照的写作工具，验证让 LLM 结合完整写作轨迹而非仅看终稿，可生成更受学生认可、更贴合思维与修改过程的反馈。
2025-06-09 cs.CL
LLM-as-a-tutor in EFL Writing Education: Focusing on Evaluation of Student-LLM Interaction
KAIST（韩国科学技术院）
本文针对EFL写作教育中LLM即导师评估标准缺失的问题，整合教学原则提出三个专门评估指标，分别由EFL专家评估反馈质量、由学习者评估学习成果，为开发面向EFL学习者的定制化LLM导师奠定基础。
2024-09-02 cs.CL
The Role of AI in Human-AI Creative Writing for Hong Kong Secondary Students
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）；The Education University of Hong Kong（香港教育大学）；Precious Blood Secondary School（宝血中学）；The University of Hong Kong（香港大学）
本研究面向香港中学生，探讨ChatGPT等语言模型如何支持创意写作构思，并发现其可扮演协作者、激发者等多种角色以提升学生创造力。
2023-04-21 cs.CL
Can Language Models Evaluate Human Written Text? Case Study on Korean Student Writing for Education
Sangmoon High School（文昌高中）；Carnegie Mellon University（卡内基梅隆大学）
本文研究 LLM 能否评估人类书写文本，收集 32 名韩国学生 100 篇文本并使用 GPT-4-Turbo 评估，发现其在语法性、流畅性及客观写作类型上可靠，但在其他方面表现不佳。
2024-07-24 cs.CL
RECIPE4U: Student-ChatGPT Interaction Dataset in EFL Writing Education
KAIST（韩国科学技术院）
该研究提出RECIPE4U数据集，记录212名大学生与ChatGPT的交互，用于分析教育场景中的意图检测和满意度估计，以促进生成式AI在教育中的应用。
2024-03-13 cs.CL
ProCoT: Stimulating Critical Thinking and Writing of Students through Engagement with Large Language Models (LLMs)
本文提出ProCoT写作方法，让学生通过引用同行评审文献来质疑LLM输出，从而在防止作弊的同时激发批判性思维与主动学习。
2024-05-01 cs.CL
Using Large Language Models for Automated Grading of Student Writing about Science
University of Arizona（亚利桑那大学）
本研究使用GPT-4对MOOC学生科学写作进行自动评分，发现其可靠性超过同伴评分，与教师评分相当，表明LLM可用于大规模可靠评分。
2024-12-25 cs.CL
Approaching the Limits to EFL Writing Enhancement with AI-generated Text and Diverse Learners
Precious Blood Secondary School（宝血中学）；The Education University of Hong Kong（香港教育大学）；The University of Hong Kong（香港大学）
本研究调查59名香港中学生与AI生成文本互动撰写专题文章，发现总词数是写作质量的主要预测指标，且高成就学生比低成就学生更能从中受益。
2025-03-06 cs.CL
ChEDDAR: Student-ChatGPT Dialogue in EFL Writing Education
本文提出ChEDDAR数据集，收集了212名EFL学生在写作课程中与ChatGPT对话修改作文的大规模真实交互数据，并建立了意图检测和满意度估计的基线结果。
2024-03-20 cs.CL
eRevise: Using Natural Language Processing to Provide Formative Feedback on Text Evidence Usage in Student Writing
Learning Research and Development Center（学习研究与发展中心）；University of Pittsburgh（匹兹堡大学）
写一篇好文章通常需要学生在收到反馈后修改最初的论文草稿。我们提出了eRevise，一个基于网络的写作和修改环境，使用自然语言处理功能生成的基于规则的论文评分，以触发形成反馈信息，学生的使用证据，在响应文本写作。通过帮助学生了解在写作过程中使用文本证据的标准，eRevise使学生能够更好地修改他们的论文草稿。在一个试点部署的eRevise在7个教室跨越5年级和6年级，在写作中的文本证据使用的质量提高后，学生收到形成性反馈，然后从事论文修订。
2019-08-06 cs.AI cs.CL
ArguGPT: evaluating, understanding and identifying argumentative essays generated by GPT models
Shanghai Jiao Tong University（上海交通大学）；Peking University（北京大学）；Amazon（亚马逊）
本文构建了包含4038篇GPT生成议论文的ArguGPT语料库，通过教师评估、语言分析和SVM/RoBERTa检测器实验，系统揭示了机器与人工议论文的差异并实现了90%以上的检测准确率。
2023-09-23 cs.CL
Automatic Scoring of Students' Science Writing Using Hybrid Neural Network
AI4STEM Education Center, University of Georgia（佐治亚大学AI4STEM教育中心）
本研究提出多视角混合神经网络（HNN）用于自动评分学生科学写作，相比BERT等模型在准确性和效率上取得平衡，验证了其有效性。
2023-12-26 cs.CL
Chain-of-MetaWriting: Linguistic and Textual Analysis of How Small Language Models Write Young Students Texts
CNRS（法国国家科学研究中心）；University of Lorraine（洛林大学）；Sorbonne Nouvelle University（新索邦大学）；Institut Universitaire de France（法国大学研究院）；University of Strasbourg（斯特拉斯堡大学）
本文提出Chain-of-MetaWriting方法，通过细粒度语言学与文本分析探究小型语言模型（SLMs）模仿人类写作步骤的能力，发现其在法语写作任务中处理敏感话题及文本连贯性上存在不足。
2024-12-19 cs.CL
SWIM: Student Writing Simulation via Proficiency-Conditioned Generation
ETH Zurich（苏黎世联邦理工学院）；ETH AI Center（ETH人工智能中心）
本研究提出SWIM任务，评估提示、SFT、RL方法在学生写作模拟中的表现，发现明确监督比单独提示对齐效果更强，但低熟练度写作仍难复现。
2026-09-04 cs.CL cs.LG
Advancing Student Writing Through Automated Syntax Feedback
University of Siena（锡耶纳大学）
本研究针对学生英语句法学习难点，构建Essay-Syntax-Instruct数据集，微调多款大语言模型以提供自动化句法反馈，经评估模型句法纠错能力显著提升，为语言学习技术发展提供了新思路。
2025-01-13 cs.CL
eRevise+RF: A Writing Evaluation System for Assessing Student Essay Revisions and Providing Formative Feedback
University of Pittsburgh（匹兹堡大学）；RAND Corporation（兰德公司）；Learning Research and Development Center（学习研究与发展中心）
本文提出eRevise+RF系统，用于自动评估学生作文修改并给出形成性反馈，实验证明其能有效评估证据使用、提取修改内容并判断修改是否成功。
2025-01-01 cs.AI cs.CL
Mind the Gap: Automated Corpus Creation for Enthymeme Detection and Reconstruction in Learner Arguments
Leibniz University Hannover（莱布尼茨汉诺威大学）；Paderborn University（帕德博恩大学）；Tunghai University（东海大学）
本文提出省略三段论检测与重建两项新任务，并基于ICLEv3语料库通过自动删除关键论证单元构建了40,089个实例的语料库，实验验证了其有效性与实用性。
2023-10-27 cs.CL
Product vs. Process: Exploring EFL Students' Editing of AI-Generated Text for Expository Writing
Precious Blood Secondary School（宝血中学）；Shanghai Jiao Tong University（上海交通大学）；The University of Hong Kong（香港大学）；The Education University of Hong Kong（香港教育大学）；Hoi Ping Chamber of Commerce Secondary School（香港商会中学）
本研究探究EFL中学生编辑AI生成说明文文本的行为，发现两种编辑模式，且AI生成词量正向预测写作得分、编辑努力与质量提升脱节，提出AI融入写作教学前需重视体裁教学与过程性写作及过程成果结合的评估。
2025-06-10 cs.CL cs.HC
Investigating Writing Style Development in High School
University of Copenhagen（哥本哈根大学）
本文首次对丹麦高中生的写作风格发展进行了大规模的分析。超过10K的学生超过100K的文章进行了分析。写作风格本身经常在自然语言处理社区中进行研究，但通常的目标是验证作者身份，评估质量或流行程度，或其他类型的预测。在这项工作中，我们分析了写作风格随时间的变化，以检测学生的全球发展趋势，并确定风险学生的目标。我们训练一个连体神经网络来计算两个文本之间的相似度。使用这种相似性的措施，一个学生的新的论文进行比较，他们的第一篇论文，并为学生的写作风格的发展概况。我们聚类这些学生的个人资料，并分析所产生的集群，以检测一般的发展模式。我们评估集群方面的写作风格质量指标，并确定最佳集群，表现出显着改善写作风格，同时也观察次优集群，表现出有限的发展，甚至挫折的时期。此外，我们确定了高中生之间的一般发展趋势，表明随着学生在高中的进步，他们的写作风格偏离，让学生不太相似，当他们完成高中，比当他们开始。
2019-06-04 cs.CL cs.CY cs.LG
When LLM Essays Outscore Student Essays: What a Korean Writing Rubric Rewards and Where Readers Disagree
Yonsei University（延世大学）
研究通过三阶段盲 longitudinal 研究评估人类对LLM生成韩语文本的判断，提出LREAD框架提升准确性与一致性，证明评分标准辅助判断能提高检测效果。
2026-08-04 cs.AI cs.CL
Cases of EFL Secondary Students' Prompt Engineering Pathways to Complete a Writing Task with ChatGPT
Precious Blood Secondary School（宝血女子中学）；The University of Hong Kong（香港大学）；Education University of Hong Kong（香港教育大学）
本文通过案例研究分析EFL中学生首次使用ChatGPT完成写作任务时的提示工程路径，揭示了试错过程中提示内容与数量的不同组合，并论证了在EFL写作课堂中开展提示工程教育的必要性。
2023-06-19 cs.AI cs.CL cs.HC
Exploring AI-Generated Text in Student Writing: How Does AI Help?
Precious Blood Secondary School（宝血中学）；The Education University of Hong Kong（香港教育大学）；The University of Hong Kong（香港大学）；Hoi Ping Chamber of Commerce Secondary School（海平商会中学）
本研究通过分析23名香港中学生的AI辅助故事写作，发现人类与AI生成词数均显著影响评分，且AI生成文本对高低分学生的写作质量均有提升作用，为EFL写作教学和NLG工具设计提供依据。
2024-01-01 cs.AI cs.CL cs.CY
Understanding EFL Student Idea Generation Strategies for Creative Writing with NLG Tools
Precious Blood Secondary School（宝血中学）；New York University（纽约大学）；Education University of Hong Kong（香港教育大学）；The University of Hong Kong（香港大学）；Huawei（华为）
本研究通过香港中学生工作坊与反思主题分析，揭示 EFL 学生使用 NLG 工具寻找、评估和选择创意写作想法时的策略与顾虑。
2023-04-22 cs.CL cs.CY
Contaminated Collaboration: Measuring Gender Bias Transfer in LLM-Assisted Student Writing
Brac University（布拉卡大学）
通过实验发现，使用性别偏见的LLM写作助手会显著增加学生职业规划作文中的性别刻板印象，且偏见迁移不对称：女性目标作文的能动性被抑制，男性目标作文受影响较小。
2026-06-16 cs.CL cs.HC
Kanji Workbook: A Writing-Based Intelligent Tutoring System for Learning Proper Japanese Kanji Writing Technique with Instructor-Emulated Assessment
Sketch Recognition Lab（手写识别实验室）；Department of Computer Science & Engineering（计算机科学与工程系）；Texas A&M University（德克萨斯A&M大学）
针对日语汉字书写学习困难，提出基于书写的智能辅导系统，通过模拟教师反馈的评估指标，提升学生成绩，并在大学课程中验证了有效性。
2025-04-04 cs.AI cs.CL cs.HC
Gumbel Machine: Counterfactual Student Writing Generation via Gumbel Noise Steering
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University Politehnica of Bucharest（布加勒斯特理工大学）；Arizona State University（亚利桑那州立大学）
提出Gumbel机器，一种利用β-Hindsight控制解码算法生成既符合评分标准又与学生原文相似的反事实文本的模块化方法。
2026-05-26 cs.AI cs.CL
Human-AI Collaboration or Academic Misconduct? Measuring AI Use in Student Writing Through Stylometric Evidence
School of Computing and Information Systems, University of Melbourne（墨尔本大学计算与信息系统学院）；School of Computing, University of Eastern Finland（东芬兰大学计算学院）
本研究利用作者身份验证技术，通过文体学证据量化学生写作中的AI辅助，开发了改进的特征向量差异方法，在多个数据集上有效区分学生与LLM生成文本，为教育者提供透明工具支持学术诚信调查。
2025-05-13 cs.AI cs.CL cs.CY
Exploring EFL Secondary Students' AI-generated Text Editing While Composition Writing
Precious Blood Secondary School（宝血女子中学）；Shanghai Jiao Tong University（上海交通大学）；The University of Hong Kong（香港大学）
本研究通过屏幕录制和内容分析，探索香港中学生在说明文写作中编辑AI生成文本的15种类型和四种行为模式，揭示其复杂认知过程，挑战被动使用AI的假设，并为教学提供启示。
2025-05-13 cs.CL cs.CY cs.HC
Annotation and Classification of Sentence-level Revision Improvement
University of Pittsburgh（匹兹堡大学）
对写作修改的研究很少关注修改质量。为了解决这个问题，我们引入了一个语料库的学生议论文的草稿之间的修订，注释是否每个修订提高文章质量。我们展示了我们的注释的潜在用途，通过开发一个机器学习模型来预测修订改进。为了扩展训练数据，我们还从专家校对人员编辑的数据集中提取修订。我们的研究结果表明，混合专家和非专家的修订提高模型的性能，与专家数据预测低质量的修订特别重要。
2019-09-03 cs.CL
Closing the Loop: Learning to Generate Writing Feedback via Language Model Simulated Student Revisions
University of Michigan（密歇根大学）；ETH Zürich（苏黎世联邦理工学院）
本文提出PROF框架，通过语言模型模拟学生修订过程来迭代优化反馈生成器，直接最大化学生修订表现，实证表明其在提升写作质量和教学价值上优于基线方法。
2024-10-10 cs.AI cs.CL cs.LG
Exploring how EFL students talk to and through AI to develop texts
Everwrite Limited（Everwrite有限公司）；Shanghai Jiao Tong University（上海交通大学）；The Education University of Hong Kong（香港教育大学）；The University of Hong Kong（香港大学）；The Chinese University of Hong Kong（香港中文大学）
本文研究EFL学生通过提示工程和协商作者身份与AI互动，探讨其对写作表现的影响，发现不同的人机对话责任模式对写作表现无显著影响。
2026-04-06 cs.AI cs.CL cs.HC
Unraveling Downstream Gender Bias from Large Language Models: A Study on AI Educational Writing Assistance
Bern University of Applied Sciences（伯尔尼应用科学大学）；EPFL（洛桑联邦理工学院）
该研究针对AI教育写作辅助场景，通过大规模用户实验验证大语言模型的性别偏见不会传递到学生的写作产出中，为课堂应用AI写作辅助工具提供了乐观依据。
2023-11-06 cs.CL cs.CY
EssayBench: Evaluating Large Language Models in Multi-Genre Chinese Essay Writing
The University of Tokyo（东京大学）；Huawei Noah’s Ark Lab（华为诺亚实验室）
本文提出多体裁中文写作基准EssayBench，包含728个真实题目及细粒度体裁化评分框架，并系统评估15个大语言模型在四类中文作文中的表现与局限。
2025-06-03 cs.AI cs.CL
Argumentation Element Annotation Modeling using XLNet
本研究验证了XLNet在议论文论证元素标注中的有效性，其在三个不同标注方案的数据集上表现优异，甚至超过人类一致性，适用于自动化论文反馈。
2023-11-10 cs.CL cs.LG
Evaluating Feedback Focus and Pedagogical Adaptivity in LLM-Generated Feedback on Student Writing
University of Pittsburgh（匹兹堡大学）
本研究通过构建FeedType基准，评估了六种LLM在三种提示策略下生成反馈的焦点类型与适应性，发现其虽覆盖多数焦点类型但分布不均且适应性不及专家教师。
2026-09-24 cs.AI cs.CL
Does Writing with Language Models Reduce Content Diversity?
New York University（纽约大学）
本文通过受控实验发现，使用经反馈调优的InstructGPT辅助写作会显著降低内容多样性，且该效应主要源于模型贡献的文本更同质，揭示了模型对齐人类反馈可能以牺牲多样性为代价。
2024-07-01 cs.CL cs.CY cs.HC
Automatic coding of students' writing via Contrastive Representation Learning in the Wasserstein space
对言语数据的定性分析在学习科学中具有核心重要性。然而，这是劳动密集型和耗时的，这限制了研究人员可以包括在研究中的数据量。这项工作是朝着建立一个统计机器学习（ML）的方法，以实现自动化的支持定性分析的学生的写作，在这里特别是在分数实验室报告介绍生物学的复杂性的论证和推理。我们从本科生物学课程的一组实验报告开始，通过四个级别的方案进行评分，该方案考虑了论点结构的复杂性，证据的范围以及结论的谨慎性和细微差别。使用这组标记数据，我们表明一种流行的自然语言建模处理管道，即单词的矢量表示，也就是词嵌入，然后是长短期记忆（LSTM）模型，用于捕获语言生成作为状态空间模型，能够定量捕获评分，具有高的二次加权Kappa（QWK）预测得分，当通过新的对比学习设置进行训练时。我们表明，ML算法接近人的分析的评分员间的可靠性。最终，我们得出结论，用于自然语言处理（NLP）的机器学习（ML）有望帮助学习科学研究人员在比目前更大的规模上进行定性研究。
2020-12-01 cs.CL cs.LG
Marked Pedagogies: Examining Linguistic Biases in Personalized Automated Writing Feedback
Stanford University（斯坦福大学）
研究探讨了四种常用LLM在不同学生属性下生成写作反馈的偏见，揭示了基于种族、语言等属性的反馈偏差，提出需提高自动反馈工具的透明度和问责性。
2026-03-12 cs.CL cs.HC
Modifying AI, Enhancing Essays: How Active Engagement with Generative AI Boosts Writing Quality
Monash University（莫纳什大学）；Peking University（北京大学）
基于1,445次GAI辅助写作会话并用X-Learner估计因果效应，研究发现修改GAI建议可提升文章质量，而原样接受会降低质量，纳入GAI文本还能缓解语言偏见。
2024-12-10 cs.AI cs.CL cs.HC
Supporting Cognitive and Emotional Empathic Writing of Students
University of St.Gallen（圣加仑大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Passau（帕绍大学）；University of Kassel（卡塞尔大学）
我们提出了一个注释的方法来捕捉情感和认知共情的学生写的同行评议的商业模式在德国。我们提出了一个注释方案，使我们能够根据三种类型的审查组件的情感和认知共情分数模型。此外，我们进行了一项注释研究，根据92名学生的文章，以评估我们的注释方案与三个注释。获得的评分者间一致性α = 0.79的组件和多π = 0.41的共情分数表明，所提出的注释方案成功地引导注释者达到实质性到中等程度的一致性。此外，我们训练了预测模型来检测注释的共情结构，并将其嵌入自适应写作支持系统中，以便学生独立于教师，时间和地点获得个人共情反馈。我们评估了我们的工具，在同伴学习练习与58名学生，发现有希望的结果感知移情技能学习，感知反馈的准确性，并打算使用。最后，我们提出了我们的免费语料库的500共情注释，学生写的同行评议的商业模式和我们的注释准则，以鼓励未来的研究共情支持系统的设计和开发。
2021-05-31 cs.AI cs.CL cs.HC
