Automated Assessment of Students' Code Comprehension using LLMs
University of Memphis(孟菲斯大学)
本文探索利用大语言模型自动评估学生对程序代码的简短开放式解释,发现少样本和思维链提示下的LLMs可与微调后的编码器模型相媲美。
2023-12-19 cs.AI cs.CL cs.CY
LLMs as Educational Analysts: Transforming Multimodal Data Traces into Actionable Reading Assessment Reports
Vanderbilt University(范德堡大学)
本研究利用多模态数据和LLM生成可执行的阅读评估报告,发现LLM能有效转化为教师友好的洞察,但需人类监督以确保可靠性与公平性。
2025-03-03 cs.AI cs.CY cs.HC
How Uncertain Is the Grade? A Benchmark of Uncertainty Metrics for LLM-Based Automatic Assessment
Michigan State University(密歇根州立大学);University of Southern California(南加州大学);Washington State University(华盛顿州立大学)
本文研究了基于大语言模型的自动评估中不确定性度量的基准测试,分析了不同方法的优劣及影响因素,旨在提升评分系统的可靠性。
2026-02-17 cs.AI
Latent Confidence Alignment for LLM Self-Assessment
Department of Information Management(信息管理系);National Sun Yat-Sen University(国立中山大学);Kaohsiung Medical University Hospital(高雄医学大学附设医院);Kaohsiung Medical University(高雄医学大学)
提出基于Rasch模型的潜在置信对齐误差(LCAE)来评估LLM自我评估与潜在错误概率的一致性,并引入项目难度作为外部信号,实验表明该方法在不影响模型能力的情况下提升自我评估质量。
2026-06-23 cs.AI cs.CL cs.CY
Self-Assessment Tests are Unreliable Measures of LLM Personality
UC Berkeley(加州大学伯克利分校);University of Michigan(密歇根大学)
本文通过提示敏感性和选项顺序对称性实验证明,自我评估人格测试在衡量LLM人格时不可靠,其分数会随提示和选项顺序显著变化。
2024-01-02 cs.AI cs.CL
Generative-Evaluative Agreement: A Necessary Validity Criterion for LLM-Enabled Adaptive Assessment
Singapore University of Social Sciences(新加坡社会科学研究大学)
本文提出生成-评估一致性(GEA)作为LLM赋能自适应评估的有效性标准,通过测量LLM评分函数是否能恢复其生成函数所指示的技能水平,发现其在不同技能层面的有效性存在差异,并提出细粒度、技能分解的评分标准作为提升GEA的主要方法。
2026-05-19 cs.AI
From Test-Taking to Test-Making: Examining LLM Authoring of Commonsense Assessment Items
Midjourney;Institute for Creative Technologies(创意技术研究所);University of Southern California(南加州大学)
本文研究大语言模型编写常识推理评估题目的能力,以COPA基准为风格模板生成题目,并通过自动与人工分析发现,擅长回答COPA问题的模型在自主命题方面表现也更优。
2024-10-18 cs.AI cs.CL
LLMs can Perform Multi-Dimensional Analytic Writing Assessments: A Case Study of L2 Graduate-Level Academic English Writing
Department of Linguistics & Institute for Advanced Computational Science, Stony Brook University(语言学系与高级计算科学研究所,石溪大学);Department of Linguistics, University of Saskatchewan(语言学系,萨斯喀彻温大学)
本文研究大语言模型在二语研究生学术写作多维度分析性评估中的表现,提出可解释且可扩展的反馈评论质量评估框架,并验证了LLM评估的可靠性。
2025-06-01 cs.AI cs.CL
Do Assessment Instruments Measure the Same Thing for Humans and LLMs? A Latent Structure Analysis
Weizmann Institute of Science(魏茨曼科学研究院)
本研究通过探索性因子分析等方法,发现高中化学和大学入学考试定量推理部分的评估,对人类与六个多模态LLMs测量的潜在结构存在系统性差异,质疑了此类评估用于推断AI能力的效度。
2026-08-18 cs.AI cs.CL cs.HC
$\forall$uto$\exists$val: Autonomous Assessment of LLMs in Formal Synthesis and Interpretation Tasks
School of Computing and Augmented Intelligence(计算与增强智能学院);Arizona State University(亚利桑那州立大学)
本文提出$\forall$uto$\exists$val,利用上下文无关文法动态生成分布外数据,结合形式验证器进行闭环测试,自主评估LLM在形式语法与自然语言互译任务中的能力,实验表明现有SOTA模型难以胜任。
2024-07-22 cs.AI cs.CL
Application of LLMs to Threat Assessment of Foreign Peacekeeping Missions
HENSOLDT Austria(海恩索尔特奥地利公司);Austrian Ministry of Defence(奥地利国防部)
提出利用大语言模型(LLMs)结合风险模型和OSINT媒体数据,自动提取维和任务相关威胁,评估显示自动结果与人工判断高度一致。
2026-07-08 cs.AI cs.CR
A Dual-Dimensional LLM Framework for Automated Item Incidental Content Similarity Analysis in Large-Scale Assessments
University of Arkansas(阿肯色大学);Purdue University(普渡大学)
本研究提出双维度LLM驱动的AISA框架,其衍生指标在心理测量学验证中表现更优,应用于CAT时可提升估计稳定性、减少偏差,优于传统度量,支持多种评估场景。
2026-08-26 cs.AI
Scientific Reasoning: Assessment of Multimodal Generative LLMs
University of Stuttgart(斯图加特大学)
本文在ScienceQA上评估多模态LLM,发现Gemini模型准确率最高且解释最接近人类,而小模型Adapter-tuning及基于Gemini输出的训练效果均不佳。
2025-03-03 cs.AI cs.CL cs.CV
Spoken Grammar Assessment Using LLM
Tata Consultancy Services Limited(塔塔咨询服务有限公司)
提出端到端口语语法评估 SLA 系统,利用 LLM 生成多变题目以降低可训练性,并证明定制语言模型增强的混合 ASR 优于现有最优引擎。
2024-10-02 cs.AI cs.CL
Generative LLM Powered Conversational AI Application for Personalized Risk Assessment: A Case Study in COVID-19
Wayne State University(韦恩州立大学);Penn State College of Medicine(宾夕法尼亚州立大学医学院)
本研究提出基于生成式LLM的流式对话风险评估方法,通过微调Llama2-7b和Flan-t5-xl构建移动应用,实现无代码COVID-19严重程度评估,在低数据场景下表现优于传统分类器并提供可解释性。
2024-09-23 cs.AI cs.CL
Interpretable Humans, Alien LLMs: Expert Analysis of Latent Structures in Assessment Responses
Weizmann Institute of Science(魏茨曼科学研究所)
本研究结合探索性因子分析与学科专家盲审,发现6个LLMs的评估响应潜在因子与人类认知结构的可解释性存在显著差异,多数LLM因子无法被人类专家解读,揭示其机制与人类推理不同。
2026-08-19 cs.AI cs.CL cs.HC
From Incomplete Architecture to Quantified Risk: Multimodal LLM-Driven Security Assessment for Cyber-Physical Systems
Singapore Management University(新加坡管理大学)
本文提出ASTRAL方法,利用多模态LLM重构和分析网络物理系统架构,通过提示链、少样本学习和架构推理实现安全威胁识别和风险量化评估。
2026-04-07 cs.AI cs.CR
The Decoy Dilemma in Online Medical Information Evaluation: A Comparative Study of Credibility Assessments by LLM and Human Judges
The University of Oklahoma(俄克拉荷马大学);The University of Tennessee, Knoxville(田纳西大学诺克斯维尔分校)
本研究通过众包实验和LLM模拟实验,比较LLM与人类在COVID-19医疗信息可信度评估中的诱饵效应,发现LLM虽更准确但更易受显著诱饵错误信息影响,证实AI智能体存在认知偏差风险,强调去偏和心理学导向AI审计的重要性。
2024-11-23 cs.AI cs.HC cs.IR
Human-in-the-Loop Benchmarking of Heterogeneous LLMs for Automated Competency Assessment in Secondary Level Mathematics
Research and Incubation Center (RAIN), Sunway College Kathmandu(研究与孵化中心(RAIN),苏尼way学院加德满都)
本文提出一种带有循环的人的评估框架,评估多个LLM在中学数学评估中的有效性,发现模型架构与指令约束的兼容性优于参数规模。
2026-04-29 cs.AI cs.CY cs.SE
SALAD: Systematic Assessment of Machine Unlearning on LLM-Aided Hardware Design
NYU Tandon School of Engineering(纽约大学Tandon工程学院);NYU Abu Dhabi(纽约大学阿布扎克分校)
针对大语言模型辅助硬件设计中的数据安全问题,提出SALAD评估方案,利用无需全量重训的机器遗忘技术选择性移除敏感或有害内容,有效降低相关安全风险。
2025-10-06 cs.AI cs.CR cs.LG
AIS-LLM: A Unified Framework for Maritime Trajectory Prediction, Anomaly Detection, and Collision Risk Assessment with Explainable Forecasting
提出AIS-LLM框架,将时间序列AIS数据与大语言模型集成,通过跨模态对齐在单一端到端系统中同时实现船舶轨迹预测、异常检测和碰撞风险评估,并生成可解释的态势简报,有效提升海上交通管理效率。
2025-08-11 cs.AI cs.LG
POLAR: Automating Cyber Threat Prioritization through LLM-Powered Assessment
该研究聚焦大语言模型在网络威胁情报应用中的内在脆弱性,提出融合分层、自回归细化与人在回路监督的分类方法分析失败案例,揭示三类核心脆弱性并给出系统设计的可行见解。
2025-10-02 cs.AI cs.CR
Semantic Variability of Replies Across LLMs: Implications for Designing Conversation-Based Assessment
ETS Research Institute(ETS研究院);Princeton(普林斯顿大学)
本研究探究不同LLM生成回复的语义变异性,发现模型选择与对话上下文会影响回复相似度及与人类回复的对齐度,指出仅靠提示词和上下文无法保证跨LLM的回复一致性,需构建相关基础设施与设计策略。
2026-08-27 cs.AI cs.CL cs.HC
From "Help" to Helpful: A Hierarchical Assessment of LLMs in Mental e-Health Applications
Technische Hochschule Nürnberg – Georg Simon Ohm(纽伦堡技术大学——格奥尔格·西蒙·欧姆学院)
本研究评估了11种LLM在生成德国咨询邮件主题行中的表现,发现德国微调能提升性能,同时探讨了心理健康AI部署中的隐私、偏见和问责制等伦理问题。
2026-07-28 cs.AI cs.CL cs.CY
RDF-Based Structured Quality Assessment Representation of Multilingual LLM Evaluations
Leipzig University of Applied Sciences(莱比锡应用科学大学)
提出基于RDF的框架评估多语言LLM在知识冲突下的质量,通过四种上下文条件捕获响应并分析知识泄露与多语言一致性,实验验证了词汇表在28个问题研究中的充分性。
2025-04-30 cs.AI cs.CL cs.IR
Cross-Protocol Personality Assessment with LLMs: Aligning Behavioral Evidence with Human Ratings
Southeast University(东南大学)
针对现有人格评估局限于单一面试协议的问题,提出CEPA框架,通过对齐跨协议行为表征,在无需目标特定监督下,将MSE降低43.8%和17.0%,实现跨协议人格评估。
2026-10-14 cs.AI
Automating Venture Capital: Founder assessment using LLM-powered segmentation, feature engineering and automated labeling techniques
Carnegie Mellon University(卡内基梅隆大学);Vela Partners(维拉合伙公司)
本研究提出利用LLM提示与机器学习从创始人特征预测初创企业成功,并验证该框架对风险投资决策优化的价值。
2024-07-05 cs.AI cs.CL
Goal-Driven Risk Assessment for LLM-Powered Systems: A Healthcare Case Study
School of Informatics, Computing, and Cyber Systems(信息学、计算与网络系统学院);Northern Arizona University(北亚利桑那大学);Department of Software Science(软件科学系);Tallinn University of Technology(塔林技术大学)
本文提出了一种面向目标的风险评估方法,用于评估LLM驱动系统的安全风险,通过攻击树详细分析威胁向量和攻击路径,以提升医疗系统等复杂系统的安全性。
2026-03-04 cs.AI cs.CR
SportsGPT: An LLM-driven Framework for Interpretable Sports Motion Assessment and Training Guidance
School of Artificial Intelligence, UCAS, Beijing, China(人工智能学院);MAIS, NLPR, Institute of Automation, CAS, Beijing, China(自动化研究所);College of Education, Beijing Sport University, Beijing, China(北京体育大学);KuTi Sports Technology, Shaanxi, China(KuTi体育科技);Haoxiong Technology, Shanghai, China(浩鸿科技)
SportsGPT通过结合大语言模型和运动分析技术,实现可解释的体育动作评估与专业训练指导。
2025-12-19 cs.AI cs.CV
Natural Language-based Assessment of L2 Oral Proficiency using LLMs
ALTA Institute, Machine Intelligence Lab(ALTA研究所,人工智能实验室)
本研究探索在零样本设置下使用开源LLM Qwen 2.5 72B和“能做”描述符对二语口语进行基于自然语言的评估,该方法性能优于BERT模型且具更强可解释性与泛化能力。
2025-07-14 cs.AI cs.CL eess.AS
Exploiting the English Vocabulary Profile for L2 word-level vocabulary assessment with LLMs
ALTA Institute, Department of Engineering, University of Cambridge(ALTA研究所,工程系,剑桥大学)
本文提出将大语言模型与英语词汇画像(EVP)相结合,对二语写作中的单个词进行语境化能力等级评估,实验表明该方法优于基于词性的基线,并能检验EVP等级一致性。
2025-06-03 cs.AI cs.CL
VS-LLM: Visual-Semantic Depression Assessment based on LLM for Drawing Projection Test
School of Computer Science and Technology, University of Chinese Academy of Sciences(计算机科学与技术学院,中国科学院大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(人工智能学院,中国科学院大学);CAS Center for Excellence in Brain Science and Intelligence Technology(脑科学与智能技术卓越中心)
针对绘画投射测验解读耗时且依赖经验的问题,提出基于大语言模型的视觉-语义抑郁评估方法(VS-LLM),实现自动化分析,较心理学家评估提升17.6%。
2025-08-07 cs.AI cs.CV
Accuracy and Satisfaction in Multi-Turn LLM Dialogues for NFR Assessment
University of Maine(缅因大学);University of Notre Dame(圣母大学)
研究开发者在与LLM对话助手评估非功能需求(NFR)时的准确性和满意度,发现开发者倾向于同意LLM评估但准确性低,且长回复和过多信息提供轮次降低满意度,而主动交互提升满意度。
2026-06-24 cs.AI
Security Assessment and Mitigation Strategies for Large Language Models: A Comprehensive Defensive Framework
School of Computing University of North Florida(北弗罗里达大学计算学院)
本文评估了大型语言模型在关键基础设施中的安全风险,提出了一种标准化的评估框架和多层次防御系统,通过测试五种主流模型对1万多个对抗性提示的响应,揭示了安全差异,并开发了高准确率的防御框架。
2026-03-17 cs.AI cs.CR
Deja Vu in Plots: Leveraging Cross-Session Evidence with Retrieval-Augmented LLMs for Live Streaming Risk Assessment
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
提出CS-VAR框架,通过检索增强的大语言模型指导轻量级模型利用跨会话行为证据,实现高效、可解释的直播风险实时评估。
2026-09-04 cs.AI
Who Sees the Risk? Stakeholder Conflicts and Explanatory Policies in LLM-based Risk Assessment
IBM Research, Ireland(IBM研究院(爱尔兰))
本文提出了一个基于LLM作为评判者的利益相关者风险评估框架,利用Risk Atlas Nexus和GloVE方法生成特定于利益相关者的解释性策略,并通过三个真实AI用例和交互式可视化揭示了不同视角间的风险感知差异与冲突,提升了基于LLM评估的透明度与可解释性。
2025-11-05 cs.AI cs.CL
Beyond Self-Reports: Multi-Observer Agents for Personality Assessment in Large Language Models
Graduate School of Informatics, Kyoto University(信息学研究生院,京都大学)
针对大语言模型自我报告人格评估存在偏差与元知识污染的问题,提出借鉴心理学知情者报告法的多观察者框架,通过不同关系背景的观察者智能体对话评估大五人格,聚合5-7名观察者反馈可降偏差提信度,提供更可靠的情境化评估方案。
2025-05-20 cs.AI cs.CL
NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment
Fudan University(复旦大学);The University of Tokyo(东京大学);AtomInnoLab;Atom Infinite Pte. Ltd.(Atom Infinite私人有限公司)
NovGauge是一个细粒度基准,通过三维标注和级联诊断流程评估18个LLM的论文新颖性判断,发现高幻觉率和证据不忠实问题,表明现有模型在此任务上仍不可靠。
2026-10-30 cs.AI
Evaluating LLMs' Assessment of Mixed-Context Hallucination Through the Lens of Summarization
King’s College London(伦敦国王学院);Cambridge University(剑桥大学);The Alan Turing Institute(阿兰·图灵研究所)
本研究以摘要为任务,评估LLMs检测混合上下文幻觉的能力,发现其内在知识会引入偏差,导致事实性幻觉检测遇瓶颈,根本挑战在于平衡内在知识与外部上下文。
2025-03-03 cs.AI cs.CL cs.CY
LLMs for Automated Unit Test Generation and Assessment in Java: The AgoneTest Framework
University of Bari, Bari, Italy(巴里大学)
AgoneTest框架通过标准化评估流程,评估大型语言模型生成的Java单元测试质量,展示其在覆盖率和缺陷检测上的表现,并探讨提示策略对测试质量的影响。
2025-11-26 cs.AI cs.SE
LLM-Powered Personalized Glycemic Assessment in Type 2 Diabetes with Wearable Sensor Data
Department of Information Systems and Cybersecurity, The University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校信息系统与网络安全系);School of Engineering Medicine, Texas A&M University(德克萨斯农工大学工程医学院);Department of Family and Community Medicine, The University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校家庭与社区医学系)
提出GlyLLM框架,利用大语言模型整合可穿戴传感器数据和结构化元数据,实现个性化血糖动态建模,在血糖预测和糖尿病分类任务上分别比传统ML方法提升13.66%和13.08%。
2026-06-12 cs.AI cs.LG
Leveraging Multimodal LLMs for Built Environment and Housing Attribute Assessment from Street-View Imagery
University of Notre Dame(诺丁汉大学)
本文提出利用大语言模型和谷歌街景图像自动评估美国全国建筑状况,通过微调Gemma 3 27B模型并结合知识蒸馏,实现高效准确的建筑评估。
2026-04-22 cs.AI cs.CV
TRUST: An LLM-Based Dialogue System for Trauma Understanding and Structured Assessments
DooGood Foundation(DooGood基金会)
本研究开发了基于LLM的对话系统框架TRUST,用于PTSD诊断访谈与评估,通过设计Dialogue Acts schema和患者模拟方法,专家评估显示其表现已达到普通临床医生水平。
2025-04-30 cs.AI cs.CL
Evaluating GPT- and Reasoning-based Large Language Models on Physics Olympiad Problems: Surpassing Human Performance and Implications for Educational Assessment
Leibniz Institute for Science and Mathematics Education(莱布尼茨科学与数学教育研究所);Free University of Berlin(柏林自由大学);Ruprecht Karl University of Heidelberg(鲁普莱希特-卡尔斯海德堡大学);Ludwigsburg University of Education(路德维希堡教育大学)
本研究比较了GPT-4o和o1-preview与德国物理奥林匹克参赛者在物理问题上的解题表现,发现LLMs平均超越人类,o1-preview表现最优,并探讨了其对教育评估设计的启示。
2025-07-01 cs.AI physics.ed-ph
TriEval: A Resource-Efficient Pipeline for LLM Bias, Toxicity, and Truthfulness Assessment
University of California, Irvine(加州大学欧文分校);Boston University(波士顿大学);New York University(纽约大学);University of Maryland, College Park(马里兰大学帕克分校)
提出TriEval流水线,通过同时评估LLM输出的偏见、毒性和真实性,在标准笔记本电脑上高效运行,并揭示开源与闭源模型在毒性和真实性上的差异。
2026-06-02 cs.AI
Assessment Design in the AI Era: A Method for Identifying Items Functioning Differentially for Humans and Chatbots
Weizmann Institute of Science(魏茨曼科学研究院)
本文提出一种结合教育数据挖掘与心理测量理论的方法,用于识别人类与AI在评估项目上的系统性差异,以改进评估设计的公平性和有效性。
2026-04-15 cs.AI cs.HC
An Exploratory Assessment of LLM's Potential Toward Flight Trajectory Reconstruction Analysis
Purdue University(普渡大学)
本文探索性评估了开源大语言模型 LLaMA 2 利用含噪声的 ADS-B 数据重建飞行轨迹的能力,发现其在噪声过滤和线形/曲线轨迹估计上表现良好,但在长序列处理上受令牌长度限制,为航空与交通领域应用提供了新思路。
2024-01-11 cs.AI cs.LG eess.SP
Enhancing Zero-shot Personalized Image Aesthetics Assessment with Profile-aware Multimodal LLM
Mashang Consumer Finance Co., Ltd.(马莎消费金融有限公司);Xi'an Jiaotong-Liverpool University(西安交通大学利物浦大学);Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出P-MLLM,通过用户资料引导的多模态大语言模型实现零样本个性化图像审美评估,实验表明其在无历史数据情况下表现优异。
2026-04-19 cs.AI cs.CV
LMLPA: Language Model Linguistic Personality Assessment
Hong Kong Polytechnic University(香港理工大学);University of Oulu(奥卢大学);University of Cambridge(剑桥大学)
本文提出LMLPA系统,通过改编Big Five Inventory为开放式问卷并利用AI评分器与主成分分析,定量评估大型语言模型的独特语言人格特质,为人机交互等领域提供稳健框架。
2024-11-11 cs.AI cs.CL
An LLM Feature-based Framework for Dialogue Constructiveness Assessment
University of Cambridge(剑桥大学);Toshiba Cambridge Research Laboratory(东芝剑桥研究实验室)
提出一种结合可解释语言特征与 LLM 提取能力的对话建设性评估框架,在三个数据集上达到优于或持平传统特征模型与神经模型的效果,并具有更强稳健性。
2024-10-02 cs.AI cs.CL cs.LG
Beyond Confidence: Rethinking Self-Assessments for Performance Prediction in LLMs
Department of Computer Science and Engineering, College of Engineering, The Pennsylvania State University(计算机科学与工程系,工程学院,宾夕法尼亚州立大学)
本文提出基于认知评估理论的多维自我评估框架,通过六个评估维度和置信度预测模型失败,发现能力相关维度在多数场景中表现更优,且努力维度在推理任务中更具预测性。
2026-05-08 cs.AI cs.CL cs.LG
Toward Adaptive Large Language Models Structured Pruning via Hybrid-grained Weight Importance Assessment
提出HyWIA方法,通过混合粒度权重重要性评估提升大语言模型剪枝效果,实现更优的性能保留和结构优化。
2026-03-11 cs.AI cs.CL cs.LG
Automated reproducibility assessments in the social and behavioral sciences using large language models
LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心);University of Cologne(科隆大学)
本研究利用大型语言模型(LLMs)自动评估社会与行为科学研究的可重复性,在76项研究中,LLM在41%的研究中恢复了原始效应量,在96%的案例中得出了与原始研究相同的定性结论,优于人类再分析。
2026-06-26 cs.AI
FESTA: Functionally Equivalent Sampling for Trust Assessment of Multimodal LLMs
Indian Institute of Science(印度科学研究院);University of Maryland College Park(马里兰大学学院公园分校)
FESTA通过功能等效采样技术提升多模态大语言模型的预测选择性性能,实现33.3%和29.6%的改进。
2026-01-30 cs.AI cs.CL cs.LG