Automated Refinement of Essay Scoring Rubrics for Language Models via Reflect-and-Revise
The University of Tokyo(东京大学)
本研究针对大型语言模型在自动化作文评分中对提示敏感的问题,提出一种通过反思模型自身评分理由及与人类评分差异来迭代优化评分量规的方法,实验证明其能显著提升评分一致性,即使使用简单初始量规也能达到与人类撰写量规相当的效果。
2025-10-10 cs.CL
Automated Multiple Mini Interview (MMI) Scoring
University of Surrey(萨里大学)
本文提出多智能体提示框架,通过转录优化和标准特定评分提升MMI评分的准确性和可靠性,优于传统微调方法。
2026-02-02 cs.CL
Learnable Assessment Skills for LLM-based Automated Scoring: Rubric Construction via Iterative Optimization
School of Computing, University of Georgia, Athens, GA, USA(佐治亚大学计算机学院);AI4STEM Education Center, University of Georgia, Athens, GA, USA(佐治亚大学AI4STEM教育中心);The Hong Kong Polytechnic University, Hong Kong, China(香港理工大学)
提出一种迭代框架,使LLM能从评分经验中学习评估技能(即与题目无关的自然语言程序性知识),自动构建评分标准,无需人工干预,在ASAP-SAS数据集上超越专家编写的评分标准。
2026-05-28 cs.CL
Beyond Cultural Knowledge: Evaluating Arabic Cultural Appropriateness of Large Language Models
Hamad Bin Khalifa University(哈马德·本·哈利法大学)
本研究提出AraBehave基准,评估LLM的阿拉伯文化适切性,发现其由规范性立场和扎实文化准确性组成,且立场易受提示影响,通用安全基准无法反映此问题。
2026-09-16 cs.CL cs.CY
Qayyem: A Real-time Platform for Scoring Proficiency of Arabic Essays
Computer Science and Engineering Department, Qatar University(卡塔尔大学计算机科学与工程系)
本文提出Qayyem平台,提供阿拉伯语作文评分的集成工作流程,通过友好的界面简化评分服务器API的交互,部署了多种先进的阿拉伯语作文评分模型。
2026-05-19 cs.CL
Do We Need a Detailed Rubric for Automated Essay Scoring using Large Language Models?
The University of Tokyo(东京大学)
本研究探讨了基于大语言模型的自动作文评分中详细评分规则的必要性,发现简化规则在多数模型上能保持评分准确性并显著减少token使用,但模型间表现差异仍需针对性评估。
2025-05-02 cs.CL
LAILA: A Large Trait-Based Dataset for Arabic Automated Essay Scoring
Qatar University(卡塔尔大学);Carnegie Mellon University in Qatar(卡塔尔卡内基梅隆大学)
LAILA是一个用于阿拉伯语自动作文评分的大型特征数据集,包含7,859篇作文,涵盖七个评分维度,并提供了使用先进模型的基准结果。
2026-01-26 cs.CL
Automated Essay Scoring Incorporating Annotations from Automated Feedback Systems
Cambium Assessment Inc.(Cambium评估公司)
本研究提出将自动反馈系统的拼写语法纠错、论证要素标注融入自动作文评分流程,基于PERSUADE语料库,用两类LLM生成标注,验证了该方法可提升编码器类大语言模型的作文评分性能。
2025-09-02 cs.AI cs.CL
Enhanced Arabic Text Retrieval with Attentive Relevance Scoring
University of the Basque Country UPV/EHU(巴斯克国家大学UPV/EHU);Lab. de Genie Electrique (LAGE), University of Ouargla(电气工程实验室(LAGE),奥尔加拉大学);Faculty of Pharmacy, Helsinki University(药学院,赫尔辛基大学);IKERBASQUE, Basque Foundation for Science(ikerbasque,巴斯克科学基金会);Sorbonne University Abu Dhabi(索邦大学阿布扎比)
针对阿拉伯语NLP和信息检索的挑战及资源不足问题,提出融合预训练阿语模型、含新型注意力相关性评分的增强DPR框架,有效提升阿语问答的检索性能与排序准确率,且代码开源。
2025-07-31 cs.CL
Benchmarking Frontier LLMs on Arabic Cultural and Sociolinguistic Knowledge: A Cross-Evaluation Framework with Human SME Ground Truth
Perle AI
提出一个交叉评估框架,通过人类专家标注的103个提示-评分标准对,评估前沿LLM在埃及和伊拉克阿拉伯语文化与社会语言学知识上的表现,发现GPT-5.4是最可靠的自动评判者,文化任务比语言任务更难评分,且模型在埃及提示上表现优于伊拉克提示。
2026-07-02 cs.CL
How well can LLMs Grade Essays in Arabic?
本研究使用AR-AES数据集评估ChatGPT等大型语言模型在阿拉伯语自动作文评分任务中的表现,采用多种评估方法与混合语言提示策略,发现ACEGPT表现最佳但仍不及BERT模型,并首次基于真实学生数据揭示了LLMs处理阿拉伯语的挑战及提示工程的积极作用。
2025-01-27 cs.AI cs.CL
Error-Supervised Synthetic Learner Writing for Automated Essay Scoring
University of Greenwich(格林威治大学);FPT University(FPT大学)
本研究提出一种错误监督的合成作文生成方法,通过微调LLM生成器于错误标注文本,在较大数据下优于常规合成基线,并产生类似学习者的错误分布。
2026-09-22 cs.CL
Ranking Over Scoring: Towards Reliable and Robust Automated Evaluation of LLM-Generated Medical Explanatory Arguments
HiTZ Center - Ixa, University of the Basque Country UPV/EHU(巴斯克大学UPV/EHU HiTZ中心 - Ixa);Cruces University Hospital(克鲁塞斯大学医院)
本文提出基于代理任务和排序的评估方法,以少量人工示例实现对LLM生成医学解释性论证的可靠、稳健且与人类标准一致的自动评估。
2024-09-30 cs.CL
Ferret: Faster and Effective Automated Red Teaming with Reward-Based Scoring Technique
Singapore University of Technology and Design(新加坡科技设计大学)
提出Ferret方法,通过每次迭代生成多个对抗性提示变异并利用奖励模型评分选择最有效的,将攻击成功率提升至95%,比Rainbow Teaming高46%,并减少15.2%的时间,生成可转移的对抗性提示。
2024-08-20 cs.CL
Is GPT-4 Alone Sufficient for Automated Essay Scoring?: A Comparative Judgment Approach Based on Rater Cognition
KNUE(韩国国立教育大学);Hoseo University(湖西大学)
针对 LLM 零样本作文评分不足且难以逐任务微调的问题,提出结合 LLM 与比较判断的零样本成对选择方法,并证明其优于传统评分标准法。
2024-07-08 cs.CL cs.CY
From Prompting to Preference Optimization: A Comparative Study of LLM-based Automated Essay Scoring
Faculty of Information Technology, University of Science, Ho Chi Minh City, Vietnam(信息科技学院,科学大学,胡志明市,越南);Vietnam National University, Ho Chi Minh City, Vietnam(越南国家大学,胡志明市,越南)
本文比较了基于LLM的自动作文评分方法,发现结合k-SFT和RAG的配置在F1分数上表现最佳,为英语作为第二语言的自动评分提供了新的研究方向。
2026-03-06 cs.CL
Adversarial Topic-aware Prompt-tuning for Cross-topic Automated Essay Scoring
Shandong University of Finance and Economics(山东财经大学);University of Toronto(多伦多大学)
针对跨主题自动作文评分中主题差异导致的迁移难题,提出对抗性主题感知提示微调方法ATOP,通过联合学习主题共享与特定特征并结合对抗训练及伪标签策略,显著提升了评分性能。
2025-08-08 cs.CL
BiMediX: Bilingual Medical Mixture of Experts LLM
Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学(MBZUAI))
本研究推出首个英阿双语医学混合专家大语言模型BiMediX,配套构建了130万条规模的双语医学指令数据集与阿拉伯语医学评估基准,实验证明其在多类医学任务上性能优于现有模型且推理速度更快。
2024-12-10 cs.CL
AutoSCORE: Enhancing Automated Scoring with Multi-Agent Large Language Models via Structured Component Recognition
AutoSCORE通过多智能体大语言模型和结构化组件识别提升自动评分的准确性与可解释性,在多个基准数据集上表现出色,尤其在复杂评分标准下效果显著。
2025-09-26 cs.AI cs.CL
Rank-Then-Score: Enhancing Large Language Models for Automated Essay Scoring
Peking University(北京大学);Beijing Normal University(北京师范大学)
本文提出Rank-Then-Score微调框架,通过先排序生成候选分数集再评分的方式增强大语言模型的自动作文评分能力,在HSK和ASAP数据集上均优于直接提示方法。
2025-04-08 cs.AI cs.CL
Instruction-Guided Poetry Generation in Arabic and Its Dialects
Mohamed bin Zayed University of Artificial Intelligence(Mohamed bin Zayed人工智能大学)
本文提出基于指令的阿拉伯语诗歌生成方法,通过构建大规模指令数据集,实现诗歌创作、修改和延续,并通过实验验证模型生成诗歌的能力。
2026-04-30 cs.AI cs.CL
AI-generated Essays: Characteristics and Implications on Automated Scoring and Academic Integrity
University of Pittsburgh(匹兹堡大学);ETS Research Institute(教育考试服务中心研究院)
本研究通过大规模实证,考察了LLM生成论文的特征与质量,揭示了现有自动评分系统的局限,并证明了跨模型AI论文检测的高准确性,为写作评估与学术诚信提供了重要启示。
2025-10-16 cs.AI cs.CL
LCES: Zero-shot Automated Essay Scoring via Pairwise Comparisons Using Large Language Models
Deloitte Analytics R&D(德勤分析研究与开发)
本文提出LCES方法,将零样本自动作文评分转化为成对比较任务,并利用RankNet将LLM偏好高效转换为连续分数,在多个基准上以更低成本取得优于传统零样本方法的准确性和鲁棒性。
2025-09-21 cs.AI cs.CL
WASIL: In-the-Wild Arabic Spoken Interactions with LLMs
Qatar Computing Research Institute, Qatar(卡塔尔计算研究所)
本文提出WASIL数据集,包含真实阿拉伯语口语交互数据,包含音频、ASR假说、助手回复及显式喜欢/不喜欢反馈,用于评估LLMs在真实场景下的表现。
2026-10-01 cs.AI cs.CL cs.SD
Investigating first-language bias in LLM-based automated essay scoring: A cross-prompt evaluation of an open-weight AI-model on TOEFL essays
研究基于大语言模型的自动作文评分中母语偏见,用LoRA适配的开放权重模型Gemma-3-27B-it,在托福作文语料库测试其跨提示泛化和母语评分效果,发现有评分偏移,实现了较高等级一致性,是首次此类大规模L1公平性分析。
2026-07-17 cs.CL cs.CY
An Automated System for Essay Scoring of Online Exams in Arabic based on Stemming Techniques and Levenshtein Edit Operations
AL-BALQA Applied University(巴尔卡应用大学)
在这篇文章中,提出了一个自动化系统,在阿拉伯语的作文评分在线考试的基础上,词干技术和Levenshtein编辑操作。已经开发了一个在线考试的拟议机制,利用轻和重词干的能力。实施的在线评分系统已被证明是一个有效的工具,自动评分的作文问题。
2016-11-08 cs.CL cs.IR
Empirical Comparison of Encoder-Based Language Models and Feature-Based Supervised Machine Learning Approaches to Automated Scoring of Long Essays
Southern Methodist University(南卫理公会大学);Princeton University(普林斯顿大学);University of Maryland, College Park(马里兰大学帕克分校);University of Iowa(爱荷华大学)
本研究比较了基于编码器的语言模型与基于特征的监督机器学习方法在长作文自动评分中的表现,发现嵌入集成模型在评分效果上优于单一语言模型。
2026-01-07 cs.CL cs.LG
Bridging the LLM Accessibility Divide? Performance, Fairness, and Cost of Closed versus Open LLMs for Automated Essay Scoring
University of Notre Dame(圣母大学);Hong Kong University of Science and Technology(香港科技大学)
本文比较九种闭源、开放与开源 LLM 在自动作文评分及作文生成中的表现,发现 Llama 3、Qwen2.5 在性能、公平性上媲美 GPT-4,且成本最高降低至 1/37。
2025-03-14 cs.CL
Short Answer Grading Using One-shot Prompting and Text Similarity Scoring Model
EduLab, Inc.(EduLab公司)
本文针对简答题自动评分中分析性分数标注困难的问题,提出结合LLM一次性提示与领域自适应文本相似度评分模型的方法,在公开ASAG数据集上取得0.67准确率和0.71二次加权kappa,显著优于多数类基线。
2023-05-29 cs.CL
BRIDGE the Gap: Mitigating Bias Amplification in Automated Scoring of English Language Learners via Inter-group Data Augmentation
School of Computing, University of Georgia, Athens, GA, USA(佐治亚大学计算机学院,美国亚特兰大,GA);Educational Testing Service, Princeton, NJ, USA(教育测试服务,美国新泽西州普林斯顿,NJ);AI4STEM Education Center, University of Georgia, Athens, GA, USA(AI4STEM教育中心,佐治亚大学,美国亚特兰大,GA);The Hong Kong Polytechnic University, Hong Kong, China(香港理工大学,中国香港)
本文提出BRIDGE框架,通过合成高分英语学习者样本减少自动评分中的偏见放大,实验表明其在保持评分性能的同时有效提升公平性。
2026-04-18 cs.AI cs.CL
Comparison of Scoring Rationales Between Large Language Models and Human Raters
Princeton University(普林斯顿大学);University of Maryland(马里兰大学);University of Iowa(爱荷华大学)
本文比较人类与 GPT-4o、Gemini 等 LLM 在作文评分中的理由,通过 kappa、互信息、余弦相似度和嵌入聚类分析评分差异及推理模式。
2025-09-27 cs.CL cs.LG
Operationalizing Automated Essay Scoring: A Human-Aware Approach
Brigthlands Institute for a Smart Society(智能社会研究院)
本文比较了机器学习与大型语言模型在自动化作文评分中的表现,发现ML模型准确性高但可解释性差,LLMs解释丰富但准确性较低,两者在偏差和边缘分数鲁棒性上均有不足。
2025-10-17 cs.CL cs.CY cs.LG
Creation of a Numerical Scoring System to Objectively Measure and Compare the Level of Rhetoric in Arabic Texts: A Feasibility Study, and A Working Prototype
University of Exeter(埃克塞特大学)
针对阿拉伯语修辞缺乏客观量化比较方法的问题,本研究编制84种常见修辞手法清单,构建基于语素计数的修辞密度计算方法,开发含在线工具的可用原型,可准确衡量任意阿拉伯语文本的修辞密度及子领域分布。
2025-07-08 cs.CL
EssayJudge: A Multi-Granular Benchmark for Assessing Automated Essay Scoring Capabilities of Multimodal Large Language Models
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Beijing Future Brain Education Technology Co., Ltd.(北京未来脑教育科技有限公司);The Hong Kong University of Science and Technology(香港科技大学);Tsinghua University(清华大学);Guangxi Zhuang Autonomous Region Big Data Research Institute(广西壮族自治区大数据研究院)
针对传统自动作文评分系统的三大局限,研究提出首个多粒度多模态基准EssayJudge,从词汇、句子、语篇层评估多模态大语言模型的评分能力,实验发现18个代表性模型在语篇层特质评分上与人工评价存在差距,为相关研究指明方向。
2025-05-20 cs.AI cs.CL
Grounding Arabic LLMs in the Doha Historical Dictionary: Retrieval-Augmented Understanding of Quran and Hadith
College of Islamic Studies, Hamad bin Khalifa University(哈马德·本·哈利法大学伊斯兰学院)
本文提出基于多哈历史词典的检索增强生成框架,提升阿拉伯语LLM对历史宗教文本的理解能力,实验表明在Fanar和ALLaM模型上准确率超过85%。
2026-03-25 cs.CL cs.IR
Quality-Conditioned Agreement in Automated Short Answer Scoring: Mid-Range Degradation and the Impact of Task-Specific Adaptation
Weizmann Institute of Science(魏茨曼科学研究院);ETS(教育考试服务中心)
研究自动简答题评分中不同模型的任务适应程度与质量条件评分一致性的关系,发现所有AI模型在完全正确和完全错误的回答上表现良好,但在中等范围回答上出现显著退化,且退化程度与任务特定数据量相关。
2026-05-24 cs.AI cs.CL
Evaluating Austrian A-Level German Essays with Large Language Models for Automated Essay Scoring
Salzburg University of Applied Sciences(萨尔茨堡应用科学大学)
本文利用大型语言模型评估奥地利A级德语作文,发现其在评分一致性上存在显著不足,无法替代人类评分。
2026-03-06 cs.AI cs.CL
ARAFA: An LLM-Generated Arabic Fact-Checking Dataset
American University of Beirut(贝鲁特美国大学)
本文提出Arafa,首个大规模阿拉伯语事实核查数据集,通过LLM自动化三步流水线构建,含181,976个声明-证据对,并验证了其质量与微调模型的性能。
2026-10-15 cs.CL cs.IR
The Order Matters: Sequential Fine-Tuning of LLaMA for Coherent Automated Essay Scoring
University of California, Irvine(加州大学伊文斯分校)
提出对LLaMA-3.1-8B进行任务感知的序列微调,按作文话语结构顺序训练,在PERSUADE 2.0语料上证据F1达65%、结论F1达87%,超越独立训练和70B基线,证明课程设计可提升自动作文评分性能。
2026-06-09 cs.CL cs.LG
Measuring What Matters -- or What's Convenient?: Robustness of LLM-Based Scoring Systems to Construct-Irrelevant Factors
Acuity Insights Inc.(Acuity Insights公司)
研究探讨了基于LLM的评分系统在面对无关因素时的鲁棒性,发现其在处理无意义填充文本、拼写错误等时表现稳健,但对偏离主题的回答惩罚较重,为未来设计更相关的LLM评分系统提供了支持。
2026-03-26 cs.AI cs.CL cs.CY
Can ChatGPT be Your Personal Medical Assistant?
本研究利用含约43万条问答的阿拉伯语医疗数据集微调 GPT-3.5-turbo,经自动与人工评估验证,证明其作为阿拉伯语私人医疗助手颇具发展潜力。
2023-12-19 cs.CL cs.SI
A Benchmark and Scoring Algorithm for Enriching Arabic Synonyms
Birzeit University(比尔宰特大学);Carthage University(迦太基大学)
本文讨论的任务扩展一个给定的同义词集与额外的同义词考虑到同义强度作为一个模糊值。给定一个单语言/多语言同义词集和一个阈值(一个模糊值[0-1]),我们的目标是从现有的词典中提取超过这个阈值的新同义词。我们提出了两方面的贡献:一个算法和基准数据集。该数据集由500个同义词集的3 K候选同义词组成。每个候选同义词由四位语言学家用模糊值标注。数据集对于(i)理解语言学家(dis/)对同义词的认同程度以及(ii)使用数据集作为基线来评估我们的算法非常重要。我们提出的算法提取同义词从现有的词典和计算每个候选人的模糊值。我们的评估表明,该算法的行为像一个语言学家和它的模糊值接近语言学家提出的(使用RMSE和MAE)。该数据集和演示页面可在https://portal.sina.birzeit.edu/synonyms上公开获取。
2023-02-04 cs.CL
Teach-to-Reason with Scoring: Self-Explainable Rationale-Driven Multi-Trait Essay Scoring
Graduate School of Artificial Intelligence, POSTECH(浦项科技大学人工智能研究生院);Department of Computer Science and Engineering, POSTECH(浦项科技大学计算机科学与工程系)
针对多维度作文评分缺乏解释性的问题,提出RaDME框架,将大语言模型的推理能力蒸馏至小模型,实现评分与理由生成,提升透明度与准确性。
2025-02-28 cs.AI cs.CL
Automated Prediction of Medieval Arabic Diacritics
University of Helsinki(赫尔辛基大学)
本研究使用一个字符级的神经机器翻译方法训练的长短期记忆为基础的双向递归神经网络架构的中世纪阿拉伯语的变音。结果比用作基线的在线工具有所改善。一个变音符号化模型已经通过PyPi和Zenodo上提供的易于使用的Python包公开发布。我们发现,在优化可行的预测模型时,应该考虑上下文大小。
2020-10-11 cs.CL
Automated scoring of the Ambiguous Intentions Hostility Questionnaire using fine-tuned large language models
University of California, Los Angeles(加州大学洛杉矶分校);University of Texas at Tyler(德克萨斯大学泰勒分校);JFK Johnson Rehabilitation Institute(肯尼迪约翰逊康复研究所);University of Chicago(芝加哥大学)
本研究评估了微调大型语言模型自动评分AIHQ开放式回答的能力,发现微调模型在敌意归因和攻击性反应评分上与人工评分高度一致且泛化良好,能简化心理评估流程。
2025-08-05 cs.CL stat.ME
AraTable: Benchmarking LLMs' Reasoning and Understanding of Arabic Tabular Data
Department of Information Systems, Faculty of Computing and Information Technology(信息系统系,计算与信息科技学院);King Abdulaziz University(国王阿卜杜勒阿齐兹大学);Department of Information Systems and Technology, College of Computer Science and Engineering(信息系统与技术系,计算机科学与工程学院);University of Jeddah(朱德赫大学);School of Computing and Creative Technologies(计算与创意科技学院);University of the West of England(西英格兰大学)
本文构建阿拉伯语表格理解基准AraTable,通过混合人机流程覆盖问答、事实验证与复杂推理,并提出接近人类评判效果的自动评估框架。
2025-07-24 cs.AI cs.CL
Beyond Score Prediction: LLM-Based Essay Scoring and Feedback Generation via Reinforcement Learning with Rubric Rewards
研究基于大语言模型的作文评分与反馈生成,提出RLAES框架,通过强化学习联合优化。引入RFE评估框架,提出AGFO和ACR方法。实验表明RFE能捕捉一致性,RLAES-AGFO在评分性能上最佳,保持反馈质量同时避免反馈退化。
2026-07-22 cs.AI cs.CL
Evaluating the Impact of Reviewer Guideline Design on LLM-Based Automated Peer Review
Keio University(庆应义塾大学);NEC Corporation(日本电气公司)
研究分析不同类型审稿人指南对基于大语言模型的自动同行评审的影响,通过实验发现官方会议指南效果最佳,模仿审稿人指南较差,且严格评分标准会降低性能,强调主观和整体评分的重要性。
2026-07-28 cs.AI cs.CL
Automated essay scoring in Arabic: a dataset and analysis of a BERT-based system
本研究构建阿拉伯语AES基准数据集AR-AES,并首次将AraBERT用于评分,发现其错误多在1分以内,优于人工评分一致性,展示了AES辅助大规模评分的潜力。
2024-07-15 cs.AI cs.CL
ADAB: Arabic Dataset for Automated Politeness Benchmarking -- A Large-Scale Resource for Computational Sociopragmatics
King Saud University(沙特国王大学);University of Hail(哈伊勒大学);Cadi Ayyad University(卡迪·阿亚德大学);Saudi Center of Philosophy and Ethics(沙特哲学与伦理中心)
ADAB数据集通过标注阿拉伯语中的礼貌、不礼貌和中性文本,为计算社会语言学提供大规模资源,支持礼貌感知的阿拉伯语NLP研究。
2026-02-21 cs.CL
SentiALG: Automated Corpus Annotation for Algerian Sentiment Analysis
Ecole Superieure des sciences appliquées d’Alger(阿尔及尔高等应用科学学院);Ecole nationale Supérieure d’Informatique(国立高等计算机学院);University of Stirling(斯特灵大学)
数据标注是一个重要但耗时且昂贵的过程。为了将文本分为两类,我们需要的第一件事是一个好的注释指南,确定每个类所需的条件。在文献中,与适当的数据注释相关的困难被低估了。在本文中,我们提出了一种新的方法来自动构建一个注释的情感语料库阿尔及利亚方言(马格里布阿拉伯语方言)。该语料库的建设是基于阿尔及利亚的情感词汇,也是自动构建的。所展示的作品涉及阿拉伯语社交媒体上广泛使用的两种脚本:阿拉伯语和阿拉伯语。所提出的方法自动构建包含8000条消息的情感语料库(其中4000条消息专用于阿拉伯语,4000条消息专用于阿拉伯语)。阿拉伯语和阿拉伯语测试集的F1分数分别高达72%和78%。正在进行的工作旨在整合阿拉伯语信息的音译过程,以进一步改善所取得的成果。
2018-08-15 cs.CL
A-SEA3L-QA: A Fully Automated Self-Evolving, Adversarial Workflow for Arabic Long-Context Question-Answer Generation
Humain
本研究提出面向阿拉伯语长上下文问答生成的全自动自进化对抗工作流A-SEA3L-QA,通过多LVLM闭环迭代优化,支持可控难度问题生成,发布大规模基准AraLongBench,显著提升阿拉伯语LVLM长上下文理解能力,还构建了文档自动收集工作流。
2025-09-02 cs.AI cs.CL
NLU-STR at SemEval-2024 Task 1: Generative-based Augmentation and Encoder-based Scoring for Semantic Textual Relatedness
Birzeit University(比尔宰特大学)
本文提出结合生成式数据增强与基于 BERT 的回归评分和余弦相似度方法,在 SemRel-2024 语义文本相关性任务中处理阿拉伯语及方言,并在现代标准阿拉伯语赛道取得第一名。
2024-05-01 cs.CL
Mitigating Bias in Automated Essay Scoring for ESL Learners via Contrastive Learning
Georgia Institute of Technology(佐治亚理工学院);Georgia State University(佐治亚州立大学)
本文提出通过对比学习方法缓解自动评分系统对ESL学习者偏见的问题,通过构建匹配文章对数据集并使用三元组边际损失,有效减少了高熟练度评分差距,保持了评分一致性。
2026-11-03 cs.CL