Detecting and Guiding LLM-Generated Korean Poetry with Interpretable Form-level Features
Chung-Ang University(中央大学)
该研究提出五个可解释的韩语诗歌形式级特征,构建的逻辑回归分类器检测LLM生成韩语诗歌的AUC达83.60,且该特征可引导LLM生成更符合人类形式的诗歌。
2026-09-01 cs.CL
SCRIPT: A Subcharacter Compositional Representation Injection Module for Korean Pre-Trained Language Models
Department of Artificial Intelligence, Korea University, Seoul, South Korea(人工智能系,韩国大学,首尔,韩国);Department of Computer Science and Engineering, Korea University, Seoul, South Korea(计算机科学与工程系,韩国大学,首尔,韩国)
SCRIPT通过注入子字符组合知识提升韩语PLM的结构粒度,无需修改架构或额外预训练,在多种NLU和NLG任务中提升性能,并改进语法规律和语义连贯性。
2026-04-14 cs.AI cs.CL
Unraveling Downstream Gender Bias from Large Language Models: A Study on AI Educational Writing Assistance
Bern University of Applied Sciences(伯尔尼应用科学大学);EPFL(洛桑联邦理工学院)
该研究针对AI教育写作辅助场景,通过大规模用户实验验证大语言模型的性别偏见不会传递到学生的写作产出中,为课堂应用AI写作辅助工具提供了乐观依据。
2023-11-06 cs.CL cs.CY
Exposía: Teaching and Assessment of Academic Writing Skills for Research Project Proposals and Peer Feedback
Ubiquitous Knowledge Processing Lab (UKP Lab), Department of Computer Science and Hessian Center for AI (hessian.AI), Technical University of Darmstadt(普遍知识处理实验室(UKP实验室)、计算机科学系和海斯曼人工智能中心(hessian.AI)、达姆施塔特技术大学);Department of Computer Science at Queens College, City University of New York (CUNY)(纽约城市大学皇后学院计算机科学系)
Exposía是首个公开连接写作与反馈的高等教育数据集,用于研究基于教育的计算方法在教学和评估学术写作中的应用。该数据集包含学生研究提案及同伴和教师反馈,通过细粒度评估方案评估写作和反馈。
2026-09-03 cs.CL
GPT-4 can pass the Korean National Licensing Examination for Korean Medicine Doctors
Gachon University(嘉泉大学);Pusan National University(釜山国立大学);Stanford University School of Medicine(斯坦福大学医学院)
本研究以韩国韩医师国家资格考试为基准,通过术语标注、翻译、考试指令优化和自洽性提示评估GPT-4,证明其可合格通过,并指出其在本土化与专业干预问题上的局限。
2023-11-17 cs.CL cs.LG
UKTA: Unified Korean Text Analyzer
Inha University(仁荷大学)
针对韩语写作评估在多视角分析、错误传播和可解释性上的不足,本文提出 UKTA 系统,融合语素分析、词汇特征与评分标准分数,提升了准确率和二次加权 kappa。
2025-02-11 cs.AI cs.CL
Opportunities and Challenges of LLMs in Education: An NLP Perspective
National Research Council, Canada(加拿大国家研究委员会);MBZUAI(穆罕默德·本·扎耶德人工智能大学);University of Cambridge(剑桥大学)
本文从自然语言处理视角探讨大语言模型在教育中的应用,分析其在教学、学习和评估中的机遇与挑战。
2026-01-16 cs.CL
EduResearchBench: A Hierarchical Atomic Task Decomposition Benchmark for Full-Lifecycle Educational Research
Shanghai Institute of AI for Education, East China Normal University(上海人工智能教育研究院,东华大学);Shanghai Innovation Institute(上海创新研究院);School of Computer Science and Technology, East China Normal University(东华大学计算机科学与技术学院)
EduResearchBench通过分层原子任务分解框架,构建了首个教育学术写作评估平台,展示了在垂直领域中数据质量和分层训练的重要性。
2026-01-22 cs.AI cs.CL
Improving Bilingual Capabilities of Language Models to Support Diverse Linguistic Practices in Education
Stony Brook University(石溪大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本研究通过微调开源多语言模型,显著提升了其在单语及双语学生写作评估中的性能,减少了双语评分偏差,支持教育中的真实语言实践。
2024-11-06 cs.AI cs.CL
LLMs in Education: Novel Perspectives, Challenges, and Opportunities
New York University(纽约大学);NRC-CNRC(加拿大国家研究委员会);University of Cambridge(剑桥大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本COLING 2025前沿教程聚焦教育领域的大语言模型,结合阅读、写作、口语及智能辅导系统四大场景,梳理NLP教育应用进展与LLMs的影响,探讨相关挑战与机遇,面向相关研究者与从业者,是该主题的首个同类教程。
2024-09-18 cs.CL
Towards Comprehensive Argument Analysis in Education: Dataset, Tasks, and Method
Lab of Artificial Intelligence for Education, East China Normal University(教育人工智能实验室,华东师范大学);Shanghai Institute of Artificial Intelligence for Education, East China Normal University(教育人工智能上海研究院,华东师范大学);School of Computer Science and Technology, East China Normal University(计算机科学与技术学院,华东师范大学);Department of Chinese Language and Literature, East China Normal University(中文语言文学系,华东师范大学);College of Education, Zhejiang University(教育学院,浙江大学)
针对教育场景中论证关系过于简单的问题,本文构建纵横两维的14种细粒度关系,并通过成分检测、关系预测和自动评分实验验证细粒度标注的价值。
2025-05-17 cs.CL
EssayBench: Evaluating Large Language Models in Multi-Genre Chinese Essay Writing
The University of Tokyo(东京大学);Huawei Noah’s Ark Lab(华为诺亚实验室)
本文提出多体裁中文写作基准EssayBench,包含728个真实题目及细粒度体裁化评分框架,并系统评估15个大语言模型在四类中文作文中的表现与局限。
2025-06-03 cs.AI cs.CL
Enriching the Korean Learner Corpus with Multi-reference Annotations and Rubric-Based Scoring
The Pennsylvania State University(宾夕法尼亚州立大学);Korea Advanced Institute of Science & Technology(韩国科学技术院);The University of British Columbia(不列颠哥伦比亚大学)
为解决韩语L2写作学习者语料库缺乏的问题,研究通过添加多个语法错误纠正参考和基于评分量表的评分来增强 KoLLA 语料库,使其成为支持语言学习、评估和自动纠错的标准化资源。
2025-05-01 cs.CL
Limits of LLM Text Detectors in Education
Faculty of Technology, Bielefeld University(技术学院,比勒菲尔德大学)
本文提出贡献感知评估框架和GEDE基准,揭示现有LLM文本检测器在中间学生贡献等级(尤其LLM辅助修订)上分类困难,存在虚假指控风险,不适合支持教育政策执行。
2026-09-14 cs.CL cs.LG
Machine-assisted writing evaluation: Exploring pre-trained language models in analyzing argumentative moves
Fudan University(复旦大学)
本研究利用BERT等预训练语言模型对1643篇纵向学习者议论文进行六类语步自动标注,F1达0.743,并验证其能揭示写作发展轨迹与预测写作质量,推动AI辅助写作评估。
2025-03-25 cs.CL cs.LG
K-Wav2vec 2.0: Automatic Speech Recognition based on Joint Decoding of Graphemes and Syllables
Korea University(高丽大学);College of Engineering(工学院)
Wav 2 vec 2.0是一个用于语音表示的自监督学习的端到端框架,它在自动语音识别(ASR)中取得了成功,但该主题的大部分工作都是用单一语言开发的:英语。因此,尚不清楚自监督框架是否有效地识别具有不同书写系统的其他语言,例如使用具有独特书写系统的Hangul的韩语。在本文中,我们提出了K-Wav 2 Vec 2.0,这是一个修改版本的Wav 2 Vec 2.0设计的韩语自动语音识别通过探索和优化的各种因素,原来的Wav 2 Vec 2.0。在微调,我们提出了一个多任务的层次结构,以反映韩国的写作结构。此外,一个联合解码器,以减轻存在的词汇表之外的词的问题。在预训练中,考虑到资源有限,我们通过在韩语数据集上进一步预训练英语Wav 2 vec 2.0来尝试预训练模型的跨语言迁移。我们的实验结果表明,所提出的方法在两个韩国ASR数据集:Ksponspeech(一个大规模的韩国语音语料库)和Clovacall(一个基于呼叫的对话语料库)产生最好的性能。进一步的预训练在语言适应方面也是有效的,在没有额外数据的情况下也能带来很大的改善。
2021-10-11 cs.CL
EXECUTE: A Multilingual Benchmark for LLM Token Understanding
School of Computation, Information and Technology, TU Munich(技术学院,慕尼黑技术大学);Center for Information and Language Processing, LMU Munich(信息与语言处理中心,慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心);Munich Data Science Institute(慕尼黑数据科学研究所)
针对大语言模型在多语言中的令牌理解能力,提出EXECUTE基准,扩展CUTE至多种文字系统,发现字符或词级问题因语言而异,并评估中日韩子字符理解。
2025-05-23 cs.CL
ProCoT: Stimulating Critical Thinking and Writing of Students through Engagement with Large Language Models (LLMs)
本文提出ProCoT写作方法,让学生通过引用同行评审文献来质疑LLM输出,从而在防止作弊的同时激发批判性思维与主动学习。
2024-05-01 cs.CL
Open Korean Historical Corpus: A Millennia-Scale Diachronic Collection of Public Domain Texts
本文介绍了一个涵盖1300年历史的韩国语料库,用于量化分析语言演变,包括韩文书写系统的变化及现代语言模型的改进。
2026-03-05 cs.CL
ChatGPT and Gemini participated in the Korean College Scholastic Ability Test -- Earth Science I
Institute for Research Excellence in Learning Sciences(学习科学卓越研究所);Seoul National University(首尔大学);National Taiwan Normal University(台湾师范大学);Universitas Negeri Malang(玛琅国立大学)
本研究分析了ChatGPT和Gemini在地球科学I考试中的多模态推理能力,发现模型在感知与认知之间存在差距,揭示了AI在科学评估中的局限性。
2025-12-17 cs.AI cs.CL cs.CY
Implicit Grading Bias in Large Language Models: How Writing Style Affects Automated Assessment Across Math, Programming, and Essay Tasks
Department of Computer Science(计算机科学系);Savitribai Phule Pune University(萨维特里·巴伊·普内大学);Dr. D. Y. Patil School of Science and Technology(D.Y.帕提尔科学与技术学院)
研究探讨了大语言模型在内容正确性不变时,写作风格对评分的隐性偏见,发现作文任务存在显著偏见,而数学和编程任务则无显著偏见。
2026-03-19 cs.CL
Detecting Bias in Large Language Models: Fine-tuned KcBERT
College of Science, Sungkyunkwan University(成均馆大学理学院)
本研究使用KcBERT和KOLD数据微调模型,通过MLM和LPBS、CBS指标评估韩语模型中的社会偏见,并提出数据平衡和去偏正则化两种缓解方法,证明韩语模型存在语言依赖的社会偏见。
2024-03-16 cs.CL
Mi:dm 2.0 Korea-centric Bilingual Language Models
Tech. Innovation Group(技术创新组)
Mi:dm 2.0是一款专为韩国中心AI设计的双语大语言模型,通过整合韩国社会价值观和常识知识,提升文化适应性和生成能力,支持多任务和多场景应用。
2026-01-14 cs.AI cs.CL
Contaminated Collaboration: Measuring Gender Bias Transfer in LLM-Assisted Student Writing
Brac University(布拉卡大学)
通过实验发现,使用性别偏见的LLM写作助手会显著增加学生职业规划作文中的性别刻板印象,且偏见迁移不对称:女性目标作文的能动性被抑制,男性目标作文受影响较小。
2026-06-16 cs.CL cs.HC
Cases of EFL Secondary Students' Prompt Engineering Pathways to Complete a Writing Task with ChatGPT
Precious Blood Secondary School(宝血女子中学);The University of Hong Kong(香港大学);Education University of Hong Kong(香港教育大学)
本文通过案例研究分析EFL中学生首次使用ChatGPT完成写作任务时的提示工程路径,揭示了试错过程中提示内容与数量的不同组合,并论证了在EFL写作课堂中开展提示工程教育的必要性。
2023-06-19 cs.AI cs.CL cs.HC
Beyond Detection: Rethinking Education in the Age of AI-writing
AIRI(人工智能研究所);Skoltech(斯科尔科沃科学技术研究所);Moscow Institute of Physics and Technology(莫斯科物理技术学院)
本文探讨人工智能写作对教育的影响,强调写作过程对深度学习的重要性,提出通过改进教学方法而非禁令来应对AI写作挑战,指出识别机器生成语言成为21世纪关键素养。
2026-03-26 cs.CL
Adapting Large Language Models for Education: Foundational Capabilities, Potentials, and Challenges
Shanghai Jiao Tong University(上海交通大学)
本文综述了大型语言模型在数学、写作、编程等教育能力方面的研究现状与泛化潜力,探讨其在构建下一代综合智能教育系统中的应用前景与挑战。
2024-04-26 cs.AI cs.CL
Human-AI Collaboration or Academic Misconduct? Measuring AI Use in Student Writing Through Stylometric Evidence
School of Computing and Information Systems, University of Melbourne(墨尔本大学计算与信息系统学院);School of Computing, University of Eastern Finland(东芬兰大学计算学院)
本研究利用作者身份验证技术,通过文体学证据量化学生写作中的AI辅助,开发了改进的特征向量差异方法,在多个数据集上有效区分学生与LLM生成文本,为教育者提供透明工具支持学术诚信调查。
2025-05-13 cs.AI cs.CL cs.CY
Evaluation of Large Language Models: STEM education and Gender Stereotypes
Technical University of Denmark(丹麦技术大学);High5Girls;Danish Data Science Academy(丹麦数据科学学院)
本文采用贴近真实场景的开放式提示与定量分析,在四种语言文化背景下评估ChatGPT面向10至16岁学生的教育建议,发现其STEM职业推荐存在显著性别偏见。
2024-06-14 cs.AI cs.CL
Investigating an Effective Character-level Embedding in Korean Sentence Classification
Seoul National University(首尔国立大学)
与许多罗曼语和日耳曼语的书写系统不同,一些语言或语系在字符组成中表现出复杂的连词形式。对于连词由表示辅音和元音的分量组成的这种情况,可以采用各种字符编码方案,而不仅仅是组成一个独热向量。然而,有很少的工作做了语言内的比较性能使用每种表示。在这项研究中,利用朝鲜语,这是字符丰富和粘着,我们调查的编码方案,是最有效的Jamo级一热,字符级一热,字符级密集,字符级多热。每个方案的分类性能进行评估两个语料库:一个二进制情感分析的电影评论,和其他多类识别的意图类型。结果表明,字符级的功能表现出更高的性能一般,虽然Jamo级的功能可能会显示与基于注意力的模型,如果保证足够的参数集大小的兼容性。
2019-09-19 cs.CL
NOLLI: A Difficulty-Calibrated Puzzle Benchmark for Diagnosing the English-Korean Performance Gap
AIM Intelligence(AIM智能公司);KT Corp.(KT公司);Sionic AI(Sionic人工智能公司);Lablup Inc.(Lablup公司);Hankuk University of Foreign Studies(韩国外国语大学)
本研究推出难度校准的英韩谜题基准NOLLI,评估15种模型发现纯语言带来的性能差距小,文字系统密集型任务差距大,还揭示结构规模并非经验难度的可靠指标。
2026-08-06 cs.CL
Leveraging Small LLMs for Argument Mining in Education: Argument Component Identification, Classification, and Assessment
ELLIS Alicante, Spain(阿利坎特ELLIS研究所,西班牙);Universitat d’Alacant, Spain(阿利坎特大学,西班牙);École Polytechnique Fédérale de Lausanne, EPFL, Switzerland(洛桑联邦理工学院,瑞士)
针对教育领域论证挖掘中纯解码器模型未被充分探索的问题,提出利用开源小型LLMs通过小样本提示和微调完成论证成分分割、分类与质量评估,在相关数据集上验证了其在部分任务中优于基线的性能,凸显其教育应用潜力。
2025-11-12 cs.CL cs.HC
ChEDDAR: Student-ChatGPT Dialogue in EFL Writing Education
本文提出ChEDDAR数据集,收集了212名EFL学生在写作课程中与ChatGPT对话修改作文的大规模真实交互数据,并建立了意图检测和满意度估计的基线结果。
2024-03-20 cs.CL
Chatbot-supported Thesis Writing: An Autoethnographic Report
Bauhaus-Universität Weimar(魏玛包豪斯大学);Hochschule Weserbergland(韦瑟贝格应用科学大学)
本文通过自我民族志方法记录并分析利用ChatGPT撰写学士论文的过程,发现其在头脑风暴、结构组织和文本修改方面有益,但仍需学习者持续验证与投入,从而论证论文写作仍是有效的学习与考核形式。
2023-10-14 cs.CL cs.CY cs.HC
RECIPE4U: Student-ChatGPT Interaction Dataset in EFL Writing Education
KAIST(韩国科学技术院)
该研究提出RECIPE4U数据集,记录212名大学生与ChatGPT的交互,用于分析教育场景中的意图检测和满意度估计,以促进生成式AI在教育中的应用。
2024-03-13 cs.CL
MateInfoUB: A Real-World Benchmark for Testing LLMs in Competitive, Multilingual, and Multimodal Educational Tasks
University of Bucharest Faculty of Mathematics and Computer Science(布加勒斯特大学数学与计算机科学学院)
本研究构建了双语多模态计算机科学竞赛题数据集,评估当前最先进LLMs在该数据集上的表现,揭示其优劣势及语言选择的影响,还发布了教育应用以支持罗马尼亚学生自我评估。
2026-08-11 cs.AI cs.CL cs.CY
Content vs. Form: What Drives the Writing Score Gap Across Socioeconomic Backgrounds? A Generated Panel Approach
Knowledge Lab, University of Chicago(芝加哥大学知识实验室);Insper, Institute of Education and Research(Insper教育与研究学院)
本文通过生成面板方法研究社会经济地位对写作分数差距的影响,发现内容质量占69%,风格差异占26%,评估标准差异占5%。
2026-01-06 cs.AI cs.CL cs.CY
BenchMarker: An Education-Inspired Toolkit for Highlighting Flaws in Multiple-Choice Benchmarks
University of Maryland(马里兰大学);New York University(纽约大学);Scale AI;George Mason University(乔治·梅森大学)
本文提出BenchMarker工具,利用LLM检测多项选择基准测试中的三项常见缺陷,通过人工标注和审计12个基准测试,发现自动和众包数据中存在大量缺陷,且修复方法可能引入新问题,影响NLP评估质量。
2026-04-20 cs.CL
DREsS: Dataset for Rubric-based Essay Scoring on EFL Writing
KAIST(韩国科学技术院)
本文发布包含 48.9K 样本的 DREsS 数据集及 CASE 增强策略,以支持 EFL 写作中基于评分量规的自动作文评分。
2025-06-11 cs.AI cs.CL
LXPER Index: a curriculum-specific text readability assessment model for EFL students in Korea
Research & Development Center(研发中心);LXPER, Inc.(LXPER公司);University of Pennsylvania(宾夕法尼亚大学)
自动可读性评估是自然语言处理在教育领域的重要应用之一。由于自动可读性评估允许快速选择合适的阅读材料,为读者在所有水平的熟练程度,它可以是特别有用的英语教育的英语作为外语(EFL)的学生在世界各地。大多数可读性评估模型是为英语母语读者开发的,并且对于非母语英语语言培训(ELT)课程中的文本准确性较低。本文介绍了LXPER指数,这是韩国英语课程中针对非英语母语读者的可读性评估模型。我们的实验表明,我们的新模型,训练与CoKEC-text(韩国英语教学课程的文本语料库),显着提高了自动可读性评估的准确性,在韩国英语教学课程的文本。
2020-08-01 cs.CL cs.LG
Automated Essay Scoring in Argumentative Writing: DeBERTeachingAssistant
Cornell University(康奈尔大学)
针对自动作文评分忽视说服力的问题,提出基于Transformer的架构,在议论文话语元素说服力标注上超越人类准确率,并计划通过可解释性研究为学生提供可操作反馈。
2023-07-09 cs.CL
Automatic Scoring of Students' Science Writing Using Hybrid Neural Network
AI4STEM Education Center, University of Georgia(佐治亚大学AI4STEM教育中心)
本研究提出多视角混合神经网络(HNN)用于自动评分学生科学写作,相比BERT等模型在准确性和效率上取得平衡,验证了其有效性。
2023-12-26 cs.CL
To Revise or Not to Revise: Learning to Detect Improvable Claims for Argumentative Writing Support
Leibniz University Hannover(莱布尼茨汉诺威大学);University of Bremen(不来梅大学)
本文研究如何自动识别议论文中需要修改的论点,通过从在线辩论的协作编辑中学习隐式修改模式,提出基于修订距离的无标注采样策略,并证明结合上下文信息和领域知识可提升预测效果。
2023-05-26 cs.CL
Kanji Workbook: A Writing-Based Intelligent Tutoring System for Learning Proper Japanese Kanji Writing Technique with Instructor-Emulated Assessment
Sketch Recognition Lab(手写识别实验室);Department of Computer Science & Engineering(计算机科学与工程系);Texas A&M University(德克萨斯A&M大学)
针对日语汉字书写学习困难,提出基于书写的智能辅导系统,通过模拟教师反馈的评估指标,提升学生成绩,并在大学课程中验证了有效性。
2025-04-04 cs.AI cs.CL cs.HC
Measuring How Students Rely on Generative AI in Academic Writing: Development and Multi-Source Validation of the Generative AI Reliance Types Scale (GenAI-RTS)
University of Maryland Baltimore County(马里兰大学巴尔的摩县分校);University at Buffalo(布法罗大学)
研究如何衡量学生在学术写作中对生成式人工智能的依赖,开发并验证GenAI-RTS量表,该量表含20个条目测四种依赖类型,经多源验证有良好信效度,能区分学生,为相关研究和教育干预提供工具。
2026-07-17 cs.AI cs.CL cs.CY
ChatGPT or academic scientist? Distinguishing authorship with over 99% accuracy using off-the-shelf machine learning tools
University of Kansas(堪萨斯大学)
ChatGPT使大众能够访问人工智能生成的写作,在短短几个月内,该产品已经颠覆了知识经济,引发了人们工作,学习和写作方式的文化转变。区分人类写作与人工智能的需要现在既重要又紧迫,特别是在高等教育和学术写作等领域,人工智能对作者身份并没有构成重大威胁或贡献。为了满足这一需求,我们开发了一种方法来区分ChatGPT生成的文本与(人类)学术科学家,依赖于流行的和可访问的监督分类方法。我们专注于一个特定的人类群体,学术科学家,如何与ChatGPT写作不同,这种有针对性的方法导致发现了区分(这些)人类与AI的新特征;例如,科学家写很长的段落,并且喜欢模棱两可的语言,经常使用但是,然而,虽然这样的词。通过一组20个特征,包括上述特征和其他特征,我们构建了一个模型,该模型将作者分配为人类或人工智能,准确率超过99%,与该领域领先的方法相比,错误分类的文档减少了20倍。这种区分特定人类写作与人工智能的策略可以由其他具有监督分类基本技能的人进一步调整和开发,从而能够获得许多高度准确和有针对性的模型,用于检测学术写作及其他领域的人工智能使用。
2023-03-28 cs.CL cs.LG
Modifying AI, Enhancing Essays: How Active Engagement with Generative AI Boosts Writing Quality
Monash University(莫纳什大学);Peking University(北京大学)
基于1,445次GAI辅助写作会话并用X-Learner估计因果效应,研究发现修改GAI建议可提升文章质量,而原样接受会降低质量,纳入GAI文本还能缓解语言偏见。
2024-12-10 cs.AI cs.CL cs.HC