Automated Evaluation for Student Argumentative Writing: A Survey
Riiid Labs（Riiid实验室）；Riiid AI Research（Riiid人工智能研究院）
本文综述和整理了一个尚未得到充分研究的领域的研究成果，我们称之为学生议论文写作自动评价。与传统的自动写作评估侧重于整体论文评分不同，该领域更具体：它侧重于评估议论文，并提供具体的反馈，包括论证结构，论证强度特征评分等。在本文中，我们组织现有的工作围绕任务，数据和方法。我们进一步在代表性数据集上使用BERT进行实验，旨在为该领域提供最新的基线。
2022-05-09 cs.CL
WrAFT: a Modularized Automated Writing Evaluation System for Argumentative Essays
Department of Informatics, King’s College London（伦敦国王学院信息学系）；Waseda University（早稻田大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；University of Sheffield（谢菲尔德大学）；Hosei University（法政大学）
研究提出WrAFT这一用于议论文的模块化自动写作评估系统，通过模块化设计及评估多种大语言模型构建，在评分上达先进水平，人机评估反馈认可度高，且开发了公开免费的交互式用户界面。
2026-07-17 cs.AI cs.CL
VISAR: A Human-AI Argumentative Writing Assistant with Visual Programming and Rapid Draft Prototyping
University of Notre Dame（圣母大学）；Singapore University of Technology and Design（新加坡科技设计大学）
本文提出AI写作助手VISAR，通过可视化编程、同步编辑和自动草稿原型，帮助用户构建层级写作目标与论证结构，解决LLM聊天界面缺乏用户控制和语境感知的问题，有效提升了论辩写作规划体验。
2023-07-27 cs.AI cs.CL cs.HC
A School Student Essay Corpus for Analyzing Interactions of Argumentative Structure and Quality
Leibniz University Hannover（汉诺威莱布尼茨大学）；Paderborn University（帕德博恩大学）
本文构建含1,320篇德语学生作文、多粒度标注论证结构与质量的语料库，并提出论证挖掘和作文评分基线以分析任务交互。
2024-04-03 cs.CL
To Revise or Not to Revise: Learning to Detect Improvable Claims for Argumentative Writing Support
Leibniz University Hannover（莱布尼茨汉诺威大学）；University of Bremen（不来梅大学）
本文研究如何自动识别议论文中需要修改的论点，通过从在线辩论的协作编辑中学习隐式修改模式，提出基于修订距离的无标注采样策略，并证明结合上下文信息和领域知识可提升预测效果。
2023-05-26 cs.CL
A Corpus for Argumentative Writing Support in German
University of St.Gallen（圣加仑大学）；University of Passau（帕绍大学）；University of Kassel（卡塞尔大学）
在本文中，我们提出了一种新的注释方法来捕捉索赔和前提的论点和它们之间的关系，在学生写的有说服力的商业模式的德语同行评审。我们提出了一个注释计划的基础上的注释准则，允许模型的索赔和前提，以及支持和攻击的关系，以捕捉结构的争论性话语在学生写的同行评议。我们对50篇说服性文章进行了一项注释研究，以评估我们的注释方案。所获得的评分者间协议的$α=0.57$的论点组件和$α=0.49$的争论关系表明，建议的注释方案成功地引导注释者适度的协议。最后，我们提出了我们免费提供的语料库的1,000有说服力的学生写的同行评议的商业模式和我们的注释指南，以鼓励未来的研究，为学生设计和开发的议论文写作支持系统。
2020-10-26 cs.CL cs.LG
An Exploratory Study of Argumentative Writing by Young Students: A Transformer-based Approach
Educational Testing Service（教育考试服务中心）
我们提出了一个计算探索的论点批判写作的年轻学生。中学生被要求批评提示中提出的论点，重点是识别和解释推理缺陷。这个任务类似于一个既定的大学水平的论点批判任务。词汇和话语功能，利用详细的领域知识，以确定批评存在的大学任务，但没有表现良好的年轻学生的数据。相反，基于变压器的架构（例如，BERT）在大学任务的大量评论文章语料库上进行了微调，表现得更好（F1分数提高了20%以上）。分析的各种配置的系统的性能表明，虽然儿童的写作并没有表现出标准的话语结构的议论文，它没有共享基本的本地顺序结构与更成熟的作家。
2020-06-17 cs.CL cs.LG
Machine-assisted writing evaluation: Exploring pre-trained language models in analyzing argumentative moves
Fudan University（复旦大学）
本研究利用BERT等预训练语言模型对1643篇纵向学习者议论文进行六类语步自动标注，F1达0.743，并验证其能揭示写作发展轨迹与预测写作质量，推动AI辅助写作评估。
2025-03-25 cs.CL cs.LG
eRevise+RF: A Writing Evaluation System for Assessing Student Essay Revisions and Providing Formative Feedback
University of Pittsburgh（匹兹堡大学）；RAND Corporation（兰德公司）；Learning Research and Development Center（学习研究与发展中心）
本文提出eRevise+RF系统，用于自动评估学生作文修改并给出形成性反馈，实验证明其能有效评估证据使用、提取修改内容并判断修改是否成功。
2025-01-01 cs.AI cs.CL
Automated Essay Scoring in Argumentative Writing: DeBERTeachingAssistant
Cornell University（康奈尔大学）
针对自动作文评分忽视说服力的问题，提出基于Transformer的架构，在议论文话语元素说服力标注上超越人类准确率，并计划通过可解释性研究为学生提供可操作反馈。
2023-07-09 cs.CL
R2-Write: Reflection and Revision for Open-Ended Writing with Deep Reasoning
Tongyi Lab, Alibaba Group（阿里巴巴集团通义实验室）；Tsinghua University, Beijing, China（清华大学（中国北京））
本文提出R2-Write框架，通过迭代作家-评判者交互生成高质量思考轨迹，增强开放性写作的深度推理能力，实验表明显式引入反思与修订模式显著提升了写作任务性能。
2026-04-03 cs.AI cs.CL
FOXGLOVE: Understanding Goal-Oriented and Anchored Writing Feedback from Experts and LLMs on Argumentative Essays
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
通过构建FOXGLOVE数据集，系统比较了写作专家和大型语言模型在议论文反馈中的目标导向、锚定性和优先级，发现两者在反馈目标和位置分布上相似，但在具体句子选择和反馈复杂度上存在差异。
2026-10-20 cs.CL cs.HC
Beyond Single-shot Writing: Deep Research Agents are Unreliable at Multi-turn Report Revision
New York University（纽约大学）；NYU Shanghai（上海纽约大学）；University of Alberta（阿尔伯塔大学）；Princeton University（普林斯顿大学）；University of Waterloo（滑铁卢大学）；Verdent AI, Inc.（Verdent AI公司）
本研究提出Mr Dre评估套件，揭示深度研究代理在多轮报告修订中存在内容退化和编辑丢失的问题，表明需更深入的方法改进。
2026-11-03 cs.AI cs.CL
EarlySciRev: A Dataset of Early-Stage Scientific Revisions Extracted from LaTeX Writing Traces
本文提出EarlySciRev数据集，通过提取LaTeX源文件中的早期修订痕迹，研究科学写作的修订行为及LLM在科学写作中的应用。
2026-03-30 cs.CL
Annotation and Classification of Sentence-level Revision Improvement
University of Pittsburgh（匹兹堡大学）
对写作修改的研究很少关注修改质量。为了解决这个问题，我们引入了一个语料库的学生议论文的草稿之间的修订，注释是否每个修订提高文章质量。我们展示了我们的注释的潜在用途，通过开发一个机器学习模型来预测修订改进。为了扩展训练数据，我们还从专家校对人员编辑的数据集中提取修订。我们的研究结果表明，混合专家和非专家的修订提高模型的性能，与专家数据预测低质量的修订特别重要。
2019-09-03 cs.CL
Text revision in Scientific Writing Assistance: An Overview
Nantes Université（南特大学）；École Centrale Nantes（南特中央理工学院）；CNRS（法国国家科学研究中心）；LS2N（南特数字科学实验室）
本文综述科学写作辅助中的文本修订，梳理科学论文的格式与惯例、现有修订工具类型及其从规则方法到深度神经网络的技术演进，并指出可访问性、上下文建模和语篇信息利用等挑战。
2023-03-29 cs.CL
Closing the Loop: Learning to Generate Writing Feedback via Language Model Simulated Student Revisions
University of Michigan（密歇根大学）；ETH Zürich（苏黎世联邦理工学院）
本文提出PROF框架，通过语言模型模拟学生修订过程来迭代优化反馈生成器，直接最大化学生修订表现，实证表明其在提升写作质量和教学价值上优于基线方法。
2024-10-10 cs.AI cs.CL cs.LG
A Corpus of Sentence-level Revisions in Academic Writing: A Step towards Understanding Statement Strength in Communication
Cornell University（康奈尔大学）
一个声明的力度可以对听众产生重大影响。例如，国际关系可能会因一国媒体对另一国事件的描述而紧张;论文可能会因夸大或低估其发现而被拒绝。因此，理解陈述强度的影响是很重要的。第一步是能够区分强有力的陈述和弱有力的陈述。然而，即使是这个问题也没有得到充分的研究，部分原因是缺乏数据。由于力量本质上是相对的，因此对提出主张的文本的修订是关于力量差异的数据的自然来源。在本文中，我们介绍了一个语料库的论文级修订，从学术写作。我们还描述了从我们的注释工作中获得的见解。
2014-05-31 cs.CL
From Granular Revision Operations to Meaningful Revision Units: Evaluating LLMs for Revision Boundary Detection
Arizona State University（亚利桑那州立大学）
本研究评估LLMs在检测写作修订边界中的表现，发现微调Qwen3-32B（宏F1=.859）优于提示方法及邻近启发式，表明任务适应对有效利用LLMs至关重要。
2026-09-29 cs.AI cs.CL
Argument Rarity-based Originality Assessment for AI-Assisted Writing
Ritsumeikan Global Innovation Research Organization (R-GIRO), Ritsumeikan University（日光全球创新研究组织（R-GIRO）、日光大学）；Faculty of Business and Commerce, Kansai University（大阪大学商学部）；Arbege Corporation（Arbege公司）；College of Life Sciences, Ritsumeikan University（日光大学生命科学学院）；Office of General Education, Ritsumeikan University（日光大学通识教育办公室）
本文提出AROA框架，通过论点稀有性评估AI辅助写作的原创性，发现AI生成作文在结构上可复制但缺乏语义原创性。
2026-02-23 cs.CL
arXivEdits: Understanding the Human Revision Process in Scientific Writing
Georgia Institute of Technology（佐治亚理工学院）；Ohio State University（俄亥俄州立大学）
科学出版物是交流研究发现的主要手段，其中写作质量至关重要。然而，以前的工作研究人类编辑过程在这一领域主要集中在摘要或介绍部分，导致一个不完整的图片。在这项工作中，我们提供了一个完整的计算框架，研究文本修订科技写作。我们首先介绍arXivEdits，这是一个新的注释语料库，包含来自arXiv的751篇完整论文，在其多个版本的修订中具有黄金句子对齐，以及细粒度的跨级编辑及其1,000个句子对的潜在意图。它支持我们的数据驱动分析，以揭示研究人员修改论文的常见策略。为了扩大分析，我们还开发了自动方法来提取文档，句子和单词级别的修订。在我们的语料库上训练的神经CRF句子对齐模型达到了93.8 F1，能够可靠地匹配不同版本之间的句子。我们制定的编辑提取任务作为一个跨度对齐问题，我们提出的方法提取更多的细粒度和可解释的编辑，相比常用的差异算法。在我们的数据集上训练的意图分类器在细粒度意图分类任务上达到78.9 F1。我们的数据和系统发布在tiny.one/arxivedits。
2022-10-31 cs.CL
Beyond Holistic Scores: Automatic Trait-Based Quality Scoring of Argumentative Essays
ELLIS Alicante（埃利斯阿尔瓦雷斯）；Universitat d'Alacant（阿尔瓦雷斯大学）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文提出基于特征的自动论说作文评分方法，通过两种建模范式提升评分准确性，并展示小型LLM在无需微调下的竞争力。
2026-02-04 cs.CL
Understanding Iterative Revision from Human-Written Text
University of Virginia（弗吉尼亚大学）；Grammarly（Grammarly公司）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；University of Minnesota（明尼苏达大学）
从本质上讲，写作是一个战略性的、适应性的过程，更重要的是，它是一个反复的过程。写作的一个关键部分是编辑和修改文本。以前的文本修订工作主要集中在定义一个单一的域内的编辑意图分类或开发计算模型与一个单一的编辑粒度级别，如重复级别的编辑，这不同于人类的修订周期。这项工作描述了IteraTeR：第一个大规模，多领域，编辑意图注释语料库的迭代修订文本。特别是，IteraTeR收集的基础上，一个新的框架，全面建模的迭代文本修订，推广到正式写作，编辑意图，修订深度和粒度的各个领域。当我们结合我们的注释编辑意图时，生成和基于编辑的文本修订模型都显着提高了自动评估。通过我们的工作，我们更好地理解了文本修订过程，在编辑意图和写作质量之间建立了重要的联系，从而能够创建不同的语料库，以支持迭代文本修订的计算建模。
2022-03-16 cs.CL cs.HC
Accepted with Minor Revisions: Value of AI-Assisted Scientific Writing
The University of Utah（犹他大学）；The Ohio State University（俄亥俄州立大学）；Allen Institute for AI（人工智能研究院）
研究探讨了AI辅助科学写作的有效性，发现AI生成摘要在披露来源信息后可达到与人工摘要相当的可接受性，且作者编辑行为受对AI作者身份的感知驱动。
2026-01-27 cs.AI cs.CL cs.HC
Writing as a Self-Organized Critical Process
NTR Labs（NTR实验室）；Higher IT School of Tomsk State University（托木斯克国立大学高等IT学院）
本文通过自组织临界性解释文本自相关衰减幂律，分析KLiCKe击键数据集，发现文本修订产生朝向临界流形的恢复动力学，表明人类写作动态调节语义相关性至临界状态。
2026-10-06 cs.CL
IELTS Writing Revision Platform with Automated Essay Scoring and Adaptive Feedback
本文提出一个具备自动评分和自适应反馈的IELTS写作修订平台，通过基于Transformer的模型提升评分准确性，并通过实验验证其在备考中的有效性。
2025-12-30 cs.CL cs.HC
ParaRev: Building a dataset for Scientific Paragraph Revision annotated with revision instruction
Nantes Université（南特大学）；École Centrale Nantes（南特中央理工学院）；CNRS（法国国家科学研究中心）；LS2N（南特数字科学实验室）；JFLI（日本信息学研究所联合实验室）；Nantes University（南特大学）；National Institute of Informatics（日本信息学研究所）
本文提出科学段落修订任务及首个带修订指令标注的数据集ParaRev，实验证明段落级范围与详细指令能显著提升自动修订质量。
2025-01-09 cs.CL
Revision for Concision: A Constrained Paraphrase Generation Task
Singapore University of Technology and Design（新加坡科技设计大学）
学术写作应该简洁，因为简洁的句子更能吸引读者的注意力，更能清晰地传达意思。写作简明扼要是一项挑战，因为作者经常努力修改他们的草稿。我们引入并制定了简洁的修订作为一个自然语言处理任务在句子级别。为了简洁而修改需要算法只使用必要的单词来重写句子，同时保留其含义。修改后的句子应该根据它的选词、句子结构和组织来评价。修改后的句子还需要满足语义保留和句法合理性。为了帮助这些努力，我们策划并提供了一个基准并行数据集，可以描述简洁的修订。该数据集包含536对修改前后的句子，所有对都是从大学写作中心收集的。我们还提出并评估了解决这个问题的方法，这可能有助于这一领域的研究人员。
2022-10-25 cs.CL
From Model-centered to Human-Centered: Revision Distance as a Metric for Text Evaluation in LLMs-based Applications
School of Information Management, Wuhan University（武汉大学信息管理学院）；Institute for Intelligent Computing, Alibaba Group（阿里巴巴集团智能计算研究所）；Worcester Polytechnic Institute（伍斯特理工学院）
本研究针对传统大语言模型评估指标忽略用户体验的问题，提出以人为中心的“Revision Distance”指标，通过统计LLM生成的修订操作次数评估文本，兼具结果一致性、详细反馈能力与无参考文本场景的应用潜力。
2024-04-11 cs.CL cs.IR
eRevise: Using Natural Language Processing to Provide Formative Feedback on Text Evidence Usage in Student Writing
Learning Research and Development Center（学习研究与发展中心）；University of Pittsburgh（匹兹堡大学）
写一篇好文章通常需要学生在收到反馈后修改最初的论文草稿。我们提出了eRevise，一个基于网络的写作和修改环境，使用自然语言处理功能生成的基于规则的论文评分，以触发形成反馈信息，学生的使用证据，在响应文本写作。通过帮助学生了解在写作过程中使用文本证据的标准，eRevise使学生能够更好地修改他们的论文草稿。在一个试点部署的eRevise在7个教室跨越5年级和6年级，在写作中的文本证据使用的质量提高后，学生收到形成性反馈，然后从事论文修订。
2019-08-06 cs.AI cs.CL
XtraGPT: Context-Aware and Controllable Academic Paper Revision
National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
针对现有LLM难以支持学术论文迭代修订与跨章节连贯性的问题，提出以标准引导意图对齐和上下文感知建模的人机协作框架，并构建7,000篇论文及140,000个指令对数据集，实例化为开源模型XtraGPT，实验证明其显著优于同规模基线并接近专有系统。
2025-10-23 cs.CL
Divergent LLM Adoption and Heterogeneous Convergence Paths in Research Writing
Cornell University SC Johnson College of Business（康奈尔大学SC约翰逊商学院）；NBER（国家经济研究局）；Tsinghua University（清华大学）
本研究针对LLM在学术写作中的异质性采用问题，基于arXiv 62.7万余篇论文开发检测框架，揭示其在不同群体中的采用差异及对写作收敛的影响，发现LLM能提升写作质量并推动风格收敛，且特定群体转变更显著。
2025-04-18 cs.AI cs.CL econ.GN
CASIMIR: A Corpus of Scientific Articles enhanced with Multiple Author-Integrated Revisions
Nantes Université（南特大学）；École Centrale Nantes（南特中央理工学院）；CNRS（法国国家科学研究中心）；LS2N（南特数字科学实验室）；Japanese French Laboratory for Informatics（日法信息学实验室）；NII（日本国立信息学研究所）
本文构建 CASIMIR 语料库，收录 OpenReview 上 15,646 篇论文的多轮修订与评审，提供句级对齐、编辑及意图标注，并据此评估现有文本修订方法与指标。
2024-03-19 cs.CL
Effects of Varying LLM Access on Essay Writing Behavior
University of Minnesota（明尼苏达大学）
通过控制LLM访问权限（无访问、有限访问、无限访问）的随机实验，发现有限访问能保持学生作者信心和写作策略，而无限访问降低创意表达。
2026-05-29 cs.AI cs.CL cs.HC
Multimodal Peer Review Simulation with Actionable To-Do Recommendations for Community-Aware Manuscript Revisions
Hong Kong Polytechnic University（香港理工大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Independent Researcher（独立研究者）
本研究提出一个多模态同行评审模拟系统，通过整合文本和视觉信息，利用检索增强生成技术提升评审质量，并生成可操作的待办列表，以提高论文修订的效率和准确性。
2026-02-17 cs.CL
Loop-Back Authority in LLM Agent Teams: A Paired Experiment on Flat and Hierarchical Coordination
Leiden University（莱顿大学）
本研究通过配对实验对比扁平与层级LLM智能体团队，发现层级权威的修订循环降低输出质量，监督者仅在可验证时才有价值。
2026-10-08 cs.AI cs.CL cs.MA
SEFORA: Student Essays with Feedback Corpus and LLM Feedback Evaluation Framework
University of Pittsburgh（匹兹堡大学）
为解决大规模写作反馈中缺乏真实课堂反馈语料和评估方法的问题，构建了SEFORA语料库和UniMatch评估框架，实验表明LLM生成的反馈与教师反馈一致性低（F1≤0.4）。
2026-07-02 cs.AI cs.CL
Decoding the End-to-end Writing Trajectory in Scholarly Manuscripts
University of Minnesota（明尼苏达大学）
针对LLM难以提供文档级学术写作反馈的问题，提出基于意图、动作和数据类型的写作行为分类体系，并构建ManuScript数据集以捕捉端到端写作轨迹，辅助提升写作助手的反馈能力。
2023-03-31 cs.CL cs.HC
Automated Focused Feedback Generation for Scientific Writing Assistance
University of Cambridge（剑桥大学）
本文提出自动化聚焦反馈生成任务及工具 SWIF$^{2}$T，利用多个 LLM 组件生成具体可操作的论文修改评论，在 300 篇同行评审数据集上验证其优于其他方法，为 AI 反馈整合提供机会。
2024-06-04 cs.CL
Penny: Transition Network Analysis of Learner-Chatbot Interactions in Scaffolded EFL Writing
Academic Center for Computing and Media Studies, Kyoto University, Japan（京都大学计算与媒体研究室）；College of Information Science and Engineering, Ritsumeikan University, Japan（立命馆大学信息科学与工程学院）
研究借助转换网络分析，以日本外语学习者与写作聊天机器人“佩妮”的交互为对象，发现两个行为循环，揭示外语水平对交互的显著影响，表明人工智能辅助写作是对话过程，强调需差异化设计聊天机器人以促进学习者认知参与。
2026-07-17 cs.CL cs.CY
Evaluation of ChatGPT Feedback on ELL Writers' Coherence and Cohesion
EduLab, Inc.（EduLab公司）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本研究评估ChatGPT对英语学习者议论文连贯性与衔接性反馈的质量，发现其反馈多为抽象泛化、缺乏具体建议，且问题检测准确性低，未经专门训练时无法提供有效反馈。
2023-10-10 cs.AI cs.CL
LLM-Collaboration on Automatic Science Journalism for the General Audience
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）
本研究针对科学新闻面向大众时的可读性难题，提出模拟写作-阅读-反馈-修改流程的三LLM协作框架，经实验验证其用中小参数开源模型生成的内容比GPT-4等方法更易懂。
2024-07-13 cs.CL
JRE-L: Journalist, Reader, and Editor LLMs in the Loop for Science Journalism for the General Audience
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）
提出 JRE-L 框架，通过集成三个 LLM 模拟记者、读者和编辑的写作-阅读-反馈-修订循环，利用开源小模型协作生成比 GPT-4 等现有方法更易懂的科学新闻文章。
2025-01-28 cs.CL
Leveraging Small LLMs for Argument Mining in Education: Argument Component Identification, Classification, and Assessment
ELLIS Alicante, Spain（阿利坎特ELLIS研究所，西班牙）；Universitat d’Alacant, Spain（阿利坎特大学，西班牙）；École Polytechnique Fédérale de Lausanne, EPFL, Switzerland（洛桑联邦理工学院，瑞士）
针对教育领域论证挖掘中纯解码器模型未被充分探索的问题，提出利用开源小型LLMs通过小样本提示和微调完成论证成分分割、分类与质量评估，在相关数据集上验证了其在部分任务中优于基线的性能，凸显其教育应用潜力。
2025-11-12 cs.CL cs.HC
