Estimating Item Difficulty with Large Language Models as Experts
Department of Methodology and Statistics, Tilburg University(蒂尔堡大学方法学与统计学系);Smart Business Technologies(智能商务技术公司);Department of Psychological Methods, University of Amsterdam(阿姆斯特丹大学心理方法系);Prowise Learn, Amsterdam(Prowise Learn公司,阿姆斯特丹);Department of Information and Computing Sciences, Utrecht University(乌得勒支大学信息与计算科学系)
本文研究了如何利用大语言模型估算新任务的难度,通过对比不同配置下的模型表现,发现基于对偶比较的配置在无额外优化时表现更优,而结合token概率和已知难度示例的绝对判断配置也表现出中等至高水平的对齐度。
2026-05-18 cs.AI cs.LG stat.AP
Hierarchical Compression of Vision-Language Model Benchmarks
Pohang University of Science and Technology(浦项科技大学);Upstage AI
提出PRIMEBench,一种视觉感知的分层基准压缩框架,通过四阶段剪枝在保留模型排名的同时大幅降低VLM评估成本,并揭示评估行为随模型面板演变的规律。
2026-09-30 cs.AI cs.CL cs.CV
Towards Difficulty-Agnostic Efficient Transfer Learning for Vision-Language Models
KAIST AI(韩国科学技术院人工智能学院)
本文提出一种根据迁移难度定制的自适应集成方法,结合视觉提示和文本适配器与预训练VLMs,在各类目标领域持续提升性能,尤其在未见任务上表现优异。
2024-10-11 cs.AI cs.CV
How Often Should a Recommender Call an LLM? Value-Weighted Routing, Monitoring, and Seasonal Robustness
研究探讨推荐系统调用LLM的频率,提出价值路由器,通过合成模拟分三阶段研究,比较不同路由方式,揭示失败模式,模拟需求激增,得出成本感知路由系统设计原则。
2026-07-29 cs.AI
What Makes Something Hard(er)? Explaining Question Difficulty in Natural Language
ETH Zurich(苏黎世联邦理工学院);EPFL(洛桑联邦理工学院)
提出数据驱动方法,利用大语言模型生成并验证自然语言假设,解释问题难度差异,实验证明假设可预测且因果有效。
2026-10-02 cs.AI cs.CL
Evaluating Cross-Modal Reasoning Ability and Problem Characteristics with Multimodal Item Response Theory
Kyoto University(京都大学);CyberAgent;The Institute of Statistical Mathematics(统计数学研究所);Tohoku University(东北大学)
M3IRT通过分解模型能力和项目难度,提供了一种评估多模态推理能力的框架,有效提升基准测试的可靠性和质量。
2026-03-03 cs.CL cs.CV
Vision language models have difficulty recognizing virtual objects
US Naval Research Laboratory(美国海军研究实验室)
本文提出用图像中未视觉呈现的“虚拟对象”测试VLM的场景理解,并通过系统评估发现最先进VLM对虚拟对象的空间推理能力不足。
2025-05-15 cs.AI cs.CV
Multimodal Item Parameter Estimation using Simulated Response Probabilitie
College Board(大学理事会)
本研究基于Qwen3.5微调多模态大语言模型,利用含图像与文本的多项选择题训练语料,通过学习学生能力相关的选择概率,实现了题目参数的准确估计。
2026-08-12 cs.AI cs.CL
Latent Confidence Alignment for LLM Self-Assessment
Department of Information Management(信息管理系);National Sun Yat-Sen University(国立中山大学);Kaohsiung Medical University Hospital(高雄医学大学附设医院);Kaohsiung Medical University(高雄医学大学)
提出基于Rasch模型的潜在置信对齐误差(LCAE)来评估LLM自我评估与潜在错误概率的一致性,并引入项目难度作为外部信号,实验表明该方法在不影响模型能力的情况下提升自我评估质量。
2026-06-23 cs.AI cs.CL cs.CY
Reconstructing Item Characteristic Curves using Fine-Tuned Large Language Models
Cambium Assessment(坎布里乌姆评估)
本文提出利用微调大语言模型生成合成项目特征曲线,以估计IRT参数,方法在评估项目数据集上表现优异,尤其在区分度建模方面效果显著。
2026-07-28 cs.AI cs.CL
VLM4Rec: Multimodal Semantic Representation for Recommendation with Large Vision-Language Models
University of Southern California(南加州大学)
VLM4Rec通过语义对齐而非直接特征融合,提升多模态推荐性能,实验显示其优于原始视觉特征和融合方法。
2026-03-13 cs.AI cs.CV cs.IR
Break Out the Silverware -- Semantic Understanding of Stored Household Items
Bar Ilan University, Computer Science Department(巴伊兰大学计算机科学系);Tufts University, Department of Computer Science(塔夫茨大学计算机科学系)
本研究提出NOAM模型,通过结合结构化场景理解和大语言模型推理,实现对家庭物品存储位置的语义理解,显著提升预测准确率并接近人类水平。
2025-12-25 cs.AI cs.CL cs.CV
MCQ Difficulty Prediction via Modeling Learner Heterogeneity Using Data-Driven Cognitive Profiling
Carnegie Mellon University(卡内基梅隆大学)
本文提出基于学习者异质性的数据驱动认知画像框架,通过隐类分析识别行为画像并模拟响应分布,结合主题上下文和岭回归模型预测IRT难度参数,提升难度预测精度。
2026-04-13 cs.AI cs.CY cs.LG
Do Vision-Language Models See Urban Scenes as People Do? An Urban Perception Benchmark
Université de Montréal(蒙特利尔大学);Mila – Quebec AI Institute(魁北克人工智能研究所)
该研究构建了含100张蒙特利尔街景图的城市感知基准,基于人类标注评估7个零样本VLM的城市感知能力,发现模型在客观属性上对齐度优于主观评价,并公开基准以支持相关可复现评估。
2025-10-05 cs.AI cs.CV
Laplace-PSN-IRT: Uncertainty Quantification for Neural Item Response Theory Models of LLM Benchmarks
Cimat(西马研究所)
研究针对大语言模型基准神经项目反应理论模型,提出拉普拉斯-PSN-IRT方法,通过近似贝叶斯后验推断增强模型,能恢复校准不确定性,可进行可信区间等分析,实验表明该方法在模型比较、信息稳定性及能力排名恢复等方面表现良好。
2026-07-29 cs.AI cs.LG stat.AP
PRISM-VLM: A Multi-Axis Discriminative Benchmark for Compact Vision-Language Models
NAVER Cloud AI(NAVER云AI);KAIST AI(韩国科学技术院AI)
针对现有基准将紧凑视觉语言模型简化为单一准确率、难以区分模型差异的问题,提出多轴判别基准PRISM-VLM,沿七个轴评分并合成PScore,更可靠地区分模型并揭示行为差异,将发布完整流程与注释。
2026-09-24 cs.CL
Raising the Bar: Investigating the Values of Large Language Models via Generative Evolving Testing
Tongji University(同济大学);Johns Hopkins University(约翰霍普金斯大学);University of California, Los Angeles(加州大学洛杉矶分校);Microsoft Research Asia(微软亚洲研究院)
针对静态价值对齐基准的评估时间效应,本文提出生成式进化测试方法GETA,通过动态生成难度适配项目并与模型共同演进,实现更可靠的LLM价值评估。
2025-06-11 cs.AI cs.CL cs.CY
Beyond the Mean: Within-Model Reliable Change Detection for LLM Evaluation
Independent Researcher(独立研究者)
本文将临床心理学的可靠变化指数应用于LLM版本比较,发现大多数项目无可靠变化,但部分项目存在双向变化,且领域分解揭示了模型特定的反转现象。
2026-04-30 cs.AI cs.CL
ENTRAP-VL: A Taxonomic Probe for Dual Contextual Entrainment in Vision-Language Models
IIIT Delhi(德里信息技术学院);Dr. Ambedkar Institute of Technology(阿姆贝德卡尔技术学院);Heritage Institute of Technology(遗产技术学院);PwC(普华永道)
研究视觉语言模型中上下文夹带现象,提出需构建分类结构化双模态工具。引入ENTRAP-VL数据集,含1500个项目,跨八类,分文本和视觉夹带流,提供工具、分类法及评估协议,助力社区严格研究该现象。
2026-07-23 cs.AI cs.CL cs.CV
Understanding Counting Mechanisms in Large Language and Vision-Language Models
Sharif University of Technology(谢里夫大学)
本文研究大语言和视觉-语言模型在计数任务中如何表示和计算数值信息,通过实验和分析揭示了计数机制的分层结构及内部计数器的作用。
2026-04-20 cs.AI cs.CV
Fast-Slow Thinking GRPO for Large Vision-Language Model Reasoning
Zhejiang University(浙江大学)
针对GRPO在大视觉语言模型推理中难以扩展推理长度或生成冗长输出且准确率提升有限的问题,提出FAST-GRPO,通过动态调整推理深度、基于长度的自适应奖励和难度感知KL散度,在七个基准上实现最先进准确率并大幅减少token使用,平衡推理长度与准确率。
2025-10-23 cs.AI cs.CL cs.CV
Artificiality's First Exam: An LLM-Referenced C-test for Supraintelligence
Leverhulme Centre for the Future of Intelligence(勒沃休姆未来智能中心);University of Cambridge(剑桥大学);Valencian Research Institute for Artificial Intelligence(瓦伦西亚人工智能研究院);Universitat Politècnica de València(瓦伦西亚理工大学)
本文提出首个基于Levin的Kt、以LLM为参考机器的超智能C测试,设计了生成验证流程并在12个LLM上验证,可生成超出前沿智能体能力的高难度测试项。
2026-10-14 cs.AI cs.CL cs.LG
Adaptive Testing for LLM Evaluation: A Psychometric Alternative to Static Benchmarks
University of Notre Dame(诺丁汉大学)
研究针对大语言模型评估成本高、现有协议不合理的问题,提出基于项目反应理论的自适应测试框架ATLAS,通过Fisher信息引导选项目,减少90%项目数仍保持精度,能重构准确率,还可在准确率相当模型中提供精细区分。
2026-07-15 cs.AI cs.CL
Interpretable Difficulty-Aware Knowledge Tracing in Tutor-Student Dialogues
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文提出基于LLM的可解释难度感知对话知识追踪框架,通过建模学生能力与问题难度,提升对话场景下的个性化支持能力。
2026-10-30 cs.AI cs.CL
Revisiting Generalization Across Difficulty Levels: It's Not So Easy
Brown University(布朗大学);Harvard University(哈佛大学)
本文研究了LLMs在不同任务难度间泛化的能力,发现训练数据的难度对泛化效果影响有限,强调在训练和评估中需涵盖多种难度以避免风险。
2026-08-06 cs.AI cs.CL
QG-SMS: Enhancing Test Item Analysis via Student Modeling and Simulation
University of Notre Dame(诺特大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对现有问题生成评估缺乏教育价值关联的不足,本文提出QG-SMS框架,利用大语言模型进行学生建模与模拟,以增强试题分析的有效性和稳健性。
2025-06-19 cs.AI cs.CL cs.CY
Is There Knowledge Left to Extract? Evidence of Fragility in Medically Fine-Tuned Vision-Language Models
Brown University(布朗大学);University of Washington(华盛顿大学);University of Tübingen(蒂宾根大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
研究评估了四个医学微调的视觉语言模型在四个医学影像任务中的表现,发现任务难度增加时性能下降至接近随机水平,表明临床推理有限,医学微调无明显优势,模型对提示词敏感。
2026-04-10 cs.AI cs.CV
Rec-GPT4V: Multimodal Recommendation with Large Vision-Language Models
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Lehigh University(里海大学)
本文提出Rec-GPT4V框架及视觉-摘要思维(VST)推理方案,通过利用用户历史作为上下文偏好并生成图像摘要,有效解决了大型视觉语言模型在多模态推荐中缺乏用户偏好知识及处理图像动态困难的问题。
2024-02-13 cs.AI
Vision Language Model-Empowered Contract Theory for AIGC Task Allocation in Teleoperation
本文提出了一种VLM赋能合同理论的AIGC任务分配框架,通过VLM自动评估任务难度并结合合同理论在信息不对称下制定定价策略,显著提升了遥操作员与边缘服务器的效用。
2024-07-09 cs.AI cs.CV
Text-Based Approaches to Item Difficulty Modeling in Large-Scale Assessments: A Systematic Review
University of Maryland(马里兰大学)
本文系统综述37篇论文,梳理大规模评估中基于文本和语言模型的题目难度预测方法、数据集与性能基准,指出其RMSE可低至0.165。
2025-09-27 cs.AI cs.CL
SemReward-VL: Semantic Reward-Guided Video-Language Adaptation for Developmental Behavior Assessment
针对发育筛查视频中行为描述缺失的问题,提出SemReward-VL,利用视觉-语言模型生成描述,并通过冻结语言模型评分和GRPO优化LoRA适配器,在13,379个视频上提升了准确率与召回率。
2026-09-29 cs.AI cs.CV
Aligning LLM-Simulated and Human Examinees for Psychometric Calibration: A Cognitive Diagnostic Profiling Approach
University of California, Berkeley(加州大学伯克利分校);University of Minnesota Twin Cities(明尼苏达大学双城分校)
该研究提出认知诊断画像(CDP)零样本框架,优化LLM模拟应试者的心理测量对齐,在Tatsuoka分数减法数据集上提升了能力分布、掌握画像及题目难度与人类的匹配度,助力LLM模拟应试者用于测试开发。
2026-07-30 cs.AI cs.CL cs.CY
SpecialEduBench: Benchmarking Vision-Language Models on Knowledge, Skill, and Attitude in Language Intervention for Autistic Children
针对自闭症儿童语言干预,提出SpecialEduBench基准,从知识、技能、态度三维度评估视觉语言模型教学能力,含4537个知识及200技能、68态度条目,发现前沿模型在压力情境下仍存在显著不足。
2026-09-23 cs.CL
Synthetic Student Responses: LLM-Extracted Features for IRT Difficulty Parameter Estimation
School of Education, Stanford University(教育学院,斯坦福大学)
利用LLM提取的特征,通过模拟学生响应过程准确估计IRT难度参数,实现高相关性预测。
2026-01-18 cs.AI cs.CY
Vision Language Model for Interpretable and Fine-grained Detection of Safety Compliance in Diverse Workplaces
School of Mechanical, Aerospace, and Manufacturing Engineering(机械、航空航天与制造工程学院);University of Connecticut(康涅狄格大学);Department of Computer Science(计算机科学系);University of California Irvine(加州大学欧文分校)
针对传统目标检测模型在多样化工作场所PPE细粒度合规检测上的局限,提出含四个模块的可解释VLM框架Clip2Safety,在6种真实场景中准确率超越现有最优问答式VLM,推理速度快200倍。
2024-08-13 cs.AI cs.CV
Controlling Cloze-test Question Item Difficulty with PLM-based Surrogate Models for IRT Assessment
Guangdong University of Foreign Studies(广东外语外贸大学)
针对多项选择完形填空难度生成问题,提出用 PLM 代理模型支持 IRT 评估,并通过排序规则控制空格与干扰项难度。
2024-03-03 cs.AI cs.CL cs.CY
PixRec: Leveraging Visual Context for Next-Item Prediction in Sequential Recommendation
Department of Computer Science, Northwestern University(北western大学计算机科学系);Elmore Family School of Electrical and Computer Engineering(电气与计算机工程学院)
PixRec通过整合视觉信息提升序列推荐的准确性,利用视觉-语言模型在电子商务中实现更精准的下一项预测。
2026-01-10 cs.CV cs.IR cs.LG
Assessing Color Vision Test in Large Vision-language Models
University of Chinese Academy of Sciences(中国科学院大学);Zhejiang Lab(浙江实验室);Zhejiang University(浙江大学)
本文针对大型视觉语言模型颜色视觉能力未被充分探索的问题,定义了颜色视觉测试任务并构建了多类别、多难度数据集,同时分析了模型错误类型并提出微调策略以提升其测试表现。
2025-07-15 cs.AI cs.CV
The Impact of Item-Writing Flaws on Difficulty and Discrimination in Item Response Theory
Machine Learning Department(机器学习系);Human-Computer Interaction(人机交互)
本研究通过7,126道STEM选择题,发现项目编写缺陷(IWF)与IRT难度和区分度显著相关,证明自动化IWF分析可作为传统验证的有效补充,用于初始项目筛选。
2025-08-07 cs.AI cs.CL cs.CY
Reasoning and Sampling-Augmented MCQ Difficulty Prediction via LLMs
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文提出一种两阶段LLM方法预测多选题难度:通过LLM增强推理步骤并采样学生知识水平,结合KL散度正则化估计选项选择概率,在两个数学数据集上显著优于基线。
2025-03-11 cs.AI
Assessing the Visual Enumeration Abilities of Specialized Counting Architectures and Vision-Language Models
University of Padova(帕多瓦大学)
本文比较了专用计数架构与VLMs在物体计数任务中的性能,发现VLMs在生成中间表示时计数准确率显著提高,但复杂场景计数仍需进一步研究。
2025-12-17 cs.CV cs.LG
GUI-Primitives: Diagnosing Spatial Reasoning Failures in Vision-Language GUI Grounding
University of Southern California(南加州大学);USC Information Sciences Institute(南加州大学信息科学研究所);Qatar Computing Research Institute (QCRI)(卡塔尔计算研究所)
本文提出GUI-Primitives基准,通过994个含7种空间关系的对比指令对,发现多数视觉-语言GUI定位模型的失败源于候选定位而非关系理解,且标记候选可提升准确率。
2026-08-28 cs.CL
Modeling of Item-Difficulty for Ontology-based MCQs
Indian Institute of Technology Madras(印度理工学院马德拉斯分校);Umm Alqura University(乌姆古拉大学)
可以从领域本体生成的多项选择题(MCQ)可以显着减少在电子学习环境中编写和管理评估所需的人力和时间。尽管存在用于从本体生成MCQ的各种方法,但是用于确定这样的MCQ的难度级别的方法较少探索。在本文中,我们研究了各个方面和因素,参与确定的难度得分的MCQ,并提出了一个基于本体的预测模型。该模型描述了与MCQ的词干和选择集相关的难度值,并描述了结合这两个分数的度量。此外,基于考生的技能水平分配难度分数的概念被用来预测一个茎的难度分数。我们研究了预测的难度分数的有效性的帮助下,从项目反应理论的心理测量模型,通过涉及真实的学生和领域专家。研究结果表明,被试的预测难度水平与实际难度水平具有高度的相关性。
2016-07-04 cs.AI
TaskEval: Assessing Difficulty of Code Generation Tasks for Large Language Models
SnT, University of Luxembourg(卢森堡大学SnT研究所);Huawei Distributed Scheduling and Data Engine Lab(华为分布式调度与数据引擎实验室)
TaskEval提出一种基于多样化提示和项目反应理论的框架,用于评估代码生成任务难度及LLM能力,通过分析基准任务特征和编程结构,辅助改进LLM评估。
2025-10-24 cs.AI cs.SE
The Scaling Law of Evaluation Failure: Why Simple Averaging Collapses Under Data Sparsity and Item Difficulty Gaps, and How Item Response Theory Recovers Ground Truth Across Domains
Independent Researcher(独立研究员)
本文研究了简单平均在数据稀疏性和项目难度差异下导致评估排名失真问题,通过模拟实验展示了项目响应理论(IRT)在不同领域中保持高排名相关性的能力。
2026-05-11 cs.AI cs.LG
Measuring Competency, Not Performance: Item-Aware Evaluation Across Medical Benchmarks
School of Computing and Information, University of Pittsburgh(匹兹堡大学计算与信息学院);Department of Educational Psychology, University of Illinois Urbana–Champaign(伊利诺伊大学厄巴纳-香槟分校教育心理学系);Department of Emergency Medicine, University of Pittsburgh(匹兹堡大学急诊医学系)
本文提出MedIRT框架,通过项目反应理论评估LLM在医学领域的实际能力,揭示了不同医学主题的领域异质性,并展示了项目难度分析对不同响应模式的诊断价值。
2026-04-06 cs.AI cs.CL
RADAR: Reasoning-Ability and Difficulty-Aware Routing for Reasoning LLMs
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Adobe Research(Adobe研究)
RADAR通过推理能力与难度感知路由,实现对不同查询的高效模型选择,提升推理性能与可扩展性。
2026-03-10 cs.AI cs.LG
Vision-based Price Suggestion for Online Second-hand Items
Stony Brook University(石溪大学);Alibaba Group(阿里巴巴集团)
不同于在实体店购物,人们有机会仔细检查产品(例如,触摸T恤表面或闻香水的气味),在线购物者在很大程度上依赖于上传的产品图像来做出任何购买决定。在网上销售或购买二手物品时,决策是具有挑战性的,因为估计物品的价格并不是微不足道的。在这项工作中,我们提出了一个基于视觉的价格建议系统的在线二手物品购物平台。基于视觉的价格建议的目标是帮助卖家通过上传到在线平台的图像为他们的二手物品设置有效的价格。首先,我们建议借助一些其他基于图像的物品信息(例如,类别、品牌)。然后,我们设计了一个基于视觉的价格建议模块,该模块将从购物平台提取的视觉特征以及一些统计项目特征作为输入,通过二进制分类模型来确定上传的项目图像是否符合价格建议,并通过回归模型为具有合格图像的项目提供价格建议。根据平台的两个需求,提出了两种不同的目标函数,对分类模型和回归模型进行联合优化。为了更好地训练模型,我们还提出了一种联合优化的热身训练策略。在一个大型真实世界数据集上的大量实验证明了我们基于视觉的价格预测系统的有效性。
2020-12-10 cs.AI cs.CV
Beyond Fixed Benchmarks and Worst-Case Attacks: Dynamic Boundary Evaluation for Language Models
提出动态边界评估(DBE)方法,通过定位模型在随机采样解码下通过概率接近0.5的边界项,构建统一难度尺度的评估协议,以解决固定基准的饱和问题。
2026-10-09 cs.AI
DietDelta: A Vision-Language Approach for Dietary Assessment via Before-and-After Images
Purdue University(普渡大学)
本文提出了一种简单视觉-语言框架,通过配对的前后进食图像进行食物项营养分析,利用自然语言提示定位特定食物并直接从单张RGB图像估计重量,通过两阶段训练策略预测重量差异以估计饮食消耗。
2026-04-07 cs.AI cs.CV cs.MM
Curriculum Learning with Diversity for Supervised Computer Vision Tasks
University of Bucharest(布加勒斯特大学);Department of Computer Science(计算机科学系);Romania(罗马尼亚)
课程学习技术是提高自动模型准确性的一种可行的解决方案,它通过用从易到难的策略取代传统的随机训练。然而,标准的课程方法并不能自动提供改进的结果,而是受到数据分布或拟议模型等多个因素的约束。在本文中,我们介绍了一种新的课程抽样策略,该策略考虑了训练数据的多样性以及输入的难度。我们使用最先进的估计器,根据解决视觉搜索任务所需的人类时间来确定难度。我们认为这种难度度量更适合解决一般问题,因为它不是基于某些任务相关的元素,而是更多地基于每个图像的上下文。我们确保培训过程中的多样性,对较少访问的课程的元素给予更高的优先级。我们在Pascal VOC 2007和Cityscapes数据集上进行目标检测和实例分割实验,超越了随机训练的基线和标准课程方法。我们证明,我们的策略是非常有效的不平衡的数据集,导致更快的收敛速度和更准确的结果,当其他基于矩阵的策略失败。
2020-09-22 cs.AI cs.CV cs.LG
Non-Uniform Class-Wise Coreset Selection for Vision Model Fine-tuning
Fudan University(复旦大学)
针对现有核心集选择方法忽略类别难度差异导致微调性能下降的问题,提出NUCS框架,通过类别难度度量实现跨类非均匀预算分配与类内自适应选样,在多视觉任务上实现了更优的准确率与效率。
2025-11-18 cs.AI cs.LG
When Text-as-Vision Meets Semantic IDs in Generative Recommendation: An Empirical Study
The University of Queensland(昆士兰大学);City University of Hong Kong(香港城市大学);Griffith University(格里菲斯大学)
本文提出将文本视为视觉信号,通过OCR技术提升生成推荐中语义ID学习的鲁棒性和效率。
2026-01-21 cs.AI cs.IR
Comprehensive Algorithm Portfolio Evaluation using Item Response Theory
CSIRO’s Data61(联邦科学与工业研究组织数据61研究所);University of Melbourne(墨尔本大学)
本文提出一个修改的基于IRT的框架,用于评估跨数据集仓库的算法组合,同时通过新颖反转和重新解释传统IRT模型,引出算法一致性和异常性等更丰富特征,无需额外特征计算,展示了广泛适用性和可解释性。
2023-07-29 cs.AI cs.LG stat.ML