Modeling Item Response Theory with Stochastic Variational Inference
Stanford University（斯坦福大学）
项目反应理论（IRT）是一个普遍存在的模型，用于根据人们对问题的反应来理解人类的行为和态度。大型现代数据集提供了捕捉人类行为中更多细微差别的机会，可能会改善心理测量建模，从而改善科学理解和公共政策。然而，虽然更大的数据集允许更灵活的方法，但许多用于拟合IRT模型的当代算法也可能具有大量的计算需求，这禁止了现实世界的应用。为了解决这个瓶颈，我们引入了一个变分贝叶斯推理算法的IRT，并表明它是快速和可扩展的，而不牺牲准确性。将此方法应用于认知科学和教育的五个大规模项目反应数据集，与其他推理算法相比，在填补缺失数据方面产生了更高的对数似然和更高的准确性。使用这种新的推理方法，我们然后将IRT与反应的表达贝叶斯模型进行推广，利用深度学习的最新进展，使用神经网络捕获非线性项目特征曲线（ICC）。使用TIMSS的八年级数学测试，我们表明我们的非线性IRT模型可以捕获有趣的非对称ICC。算法实现是开源的，易于使用。
2022-07-28 cs.LG stat.ML
Probabilistic Rank and Reward: A Scalable Model for Slate Recommendation
Criteo AI Lab（Criteo人工智能实验室）；CREST ENSAE
本文提出概率排序与奖励模型PRR，通过结合奖励与排序高效学习石板成功概率，在离策略奖励优化和大动作空间可扩展性上优于现有方法，并支持基于MIPS的低延迟推荐。
2024-07-05 cs.IR cs.LG stat.ML
GPIRT: A Gaussian Process Model for Item Response Theory
Washington University in St. Louis（圣路易斯华盛顿大学）
项目反应理论（IRT）模型的目标是从二元观测指标中估计潜在特质，同时学习从潜在特质映射到观测反应的项目反应函数（IRFs）。然而，在许多情况下，观察到的行为可以偏离传统的IRT模型的参数假设显着。非参数IRT模型通过放松对IRFs形式的假设来克服这些挑战，但标准工具无法同时估计灵活的IRFs和对受访者的恢复能力估计。我们提出了一个贝叶斯非参数模型，解决了这个问题，通过放置高斯过程先验的潜在功能定义的IRF。这使我们能够同时放松对IRF形状的假设，同时保持估计潜在特质的能力。这反过来又使我们能够轻松地将模型扩展到进一步的任务，例如主动学习。因此，GPIRT为IRT文献中的几个长期存在的问题提供了一个简单而直观的解决方案。
2020-06-17 cs.LG stat.ML
A Spectral Approach to Item Response Theory
University of Pennsylvania（宾夕法尼亚大学）
本文提出一种基于项目-项目图上马尔可夫链平稳分布的Rasch模型项目参数估计算法，首次给出有限样本误差保证，并通过实验验证其可扩展性、准确性和竞争力。
2023-10-29 cs.LG stat.ML
Deep-IRT: Make Deep Learning Based Knowledge Tracing Explainable Using Item Response Theory
Find Solution Ai Limited（Find Solution Ai有限公司）
基于深度学习的知识追踪模型已被证明优于传统的知识追踪模型，而不需要人工工程的功能，但其参数和表示长期以来一直被批评为无法解释。在本文中，我们提出了Deep-IRT，这是一个综合的项目反应理论（IRT）模型和知识追踪模型，是基于深度神经网络架构称为动态键值记忆网络（DKVMN），使深度学习为基础的知识追踪可解释。具体来说，我们使用DKVMN模型来处理学生的学习轨迹，并估计学生的能力水平和项目难度水平随着时间的推移。然后，我们使用IRT模型来估计概率，学生将正确回答一个项目使用估计的学生能力和项目的难度。实验表明，Deep-IRT模型保留了DKVMN模型的性能，同时提供了对学生和项目的直接心理解释。
2019-04-26 cs.AI cs.LG stat.ML
Scalable Recommendation with Poisson Factorization
Princeton University（普林斯顿大学）；Microsoft Research（微软研究院）
我们开发了一个贝叶斯泊松矩阵分解模型，用于从稀疏的用户行为数据中形成推荐。这些数据是大的用户/项目矩阵，其中每个用户仅对项目的小子集提供反馈，或者显式地（例如，通过星级）或隐含地（例如，通过浏览或购买）。与传统的矩阵分解方法不同，泊松分解隐式地对每个用户对消费项目的有限注意力进行建模。此外，由于泊松似然的数学形式，该模型只需要显式地考虑矩阵中观察到的条目，从而实现可扩展的计算和良好的预测性能。我们开发了一个变分推理算法的近似后验推理，规模庞大的数据集。这是一种有效的算法，它迭代观察到的条目并调整用户/项目表示的近似后验。我们将我们的方法应用于大型真实世界的用户数据，其中包含用户对电影的评分，用户听歌和用户阅读科学论文。在所有这些设置中，贝叶斯泊松分解优于最先进的矩阵分解方法。
2014-05-20 cs.AI cs.IR cs.LG
Scalable Sampling for Nonsymmetric Determinantal Point Processes
Yale University（耶鲁大学）；Criteo AI Lab（Criteo人工智能实验室）；Google Research（谷歌研究院）；Facebook AI Research（脸书人工智能研究院）
$M$项集合上的决定点过程（DPP）是一个模型，由对称核矩阵参数化，为这些项的每个子集分配概率。最近的研究表明，去除核对称约束，产生非对称DPP（NDPP），可以为机器学习应用带来显着的预测性能增益。然而，现有的工作留下了开放的问题，可扩展的NDPP采样。只有一种已知的基于Cholesky分解的DPP采样算法也可以直接应用于NDPP。不幸的是，它的运行时在$M$中是立方的，因此不能扩展到大型项集合。在这项工作中，我们首先注意到，该算法可以转化为一个线性时间与低秩结构的内核。此外，我们开发了一个可扩展的次线性时间拒绝采样算法，通过构建一个新的建议分布。此外，我们表明，施加一定的结构约束的NDPP内核使我们能够绑定的拒绝率的方式，只依赖于内核的秩。在我们的实验中，我们比较了所有这些采样器在各种现实任务中的速度。
2022-04-19 cs.LG stat.ML
Scalable Bayesian Preference Learning for Crowds
Technische Universität Darmstadt（达姆施塔特工业大学）
我们提出了一种可扩展的贝叶斯偏好学习方法，用于联合预测个人的偏好以及群体的共识。人们的意见往往差异很大，因此很难从少量的个人数据中预测他们的偏好。当每个项目的标签很少时，个体偏见也使得推断群体的共识变得更加困难。我们通过将矩阵分解与高斯过程相结合来解决这些挑战，使用贝叶斯方法来考虑噪声和稀疏数据所产生的不确定性。我们的方法利用输入特征，如文本嵌入和用户元数据，来预测不在训练集中的新项目和用户的偏好。由于以前基于高斯过程的解决方案不能扩展到大量的用户，项目或成对标签，我们提出了一种随机变分推理方法，限制计算和内存成本。我们的推荐任务的实验表明，我们的方法是有竞争力的，尽管我们的可扩展的推理近似与以前的方法。我们展示了该方法的可扩展性上的自然语言处理任务与成千上万的用户和项目，并显示在这个任务的最先进的改进。我们将我们的软件公开用于未来的工作。
2019-12-11 cs.CL cs.HC cs.LG
Probabilistically-autoencoded horseshoe-disentangled multidomain item-response theory models
NIH（美国国立卫生研究院）
项目反应理论（IRT）是一种非线性生成概率范式，用于使用考试来识别，量化和比较个体的潜在特质，相对于他们的同龄人，在感兴趣的人群中。在现有的多维IRT方法中，需要对测试项目进行因子分解。对于这项任务，线性探索性因素分析，使IRT事后模型。我们建议跳过初始因子分析，在IRT模型中直接执行因子分解之前使用稀疏促进马蹄铁，以便所有训练都发生在单个自洽步骤中。作为一个层次贝叶斯模型，我们适应WAIC的维度选择的问题。IRT模型类似于概率自动编码器。通过将生成IRT模型绑定到贝叶斯神经网络（形成概率自动编码器），可以获得与可解释贝叶斯模型一致的评分算法。在一些IRT应用中，需要神经网络评分机的黑盒性质。在这篇手稿中，我们演示了IRT内因子分解和评分方法的评论。
2019-12-05 cs.LG stat.ML
Unsupervised Anomaly Detection Ensembles using Item Response Theory
RMIT University（皇家墨尔本理工大学）
从一组异构的无监督异常检测方法构建集成是具有挑战性的，因为类标签或地面真相是未知的。因此，使用响应变量或类别标签的传统集成技术不能用于构建用于无监督异常检测的集成。我们使用项目反应理论（IRT）-一类用于教育心理测量学的模型，以评估学生和测试问题的特点-构建一个无监督的异常检测集成。IRT的潜在特征计算适合于异常检测，因为潜在特征可以用来揭示隐藏的地面真相。使用一种新的IRT映射到异常检测问题，我们构建了一个合奏，可以淡化嘈杂，非歧视性的方法，并强调尖锐的方法。我们证明了IRT合奏的有效性，广泛的数据存储库，通过比较其性能与其他合奏技术。
2021-06-11 cs.AI cs.LG stat.ML
An Interpretable and Scalable Framework for Evaluating Large Language Models
Department of Statistics, University of California, Riverside（加州大学河滨分校统计学系）；School of Statistics and Data Science, Southeast University（东南大学统计与数据科学学院）；Department of Statistics and Data Science, Southern University of Science and Technology（南方科技大学统计与数据科学系）
本文提出基于最大化最小化原理的可解释且可扩展框架，用于评估大语言模型，通过约束矩阵分解子问题实现稳定高效的参数估计，实验表明方法在可扩展性和可解释性上优于现有方法。
2026-05-07 cs.AI cs.LG stat.ML
Introducing Flexible Monotone Multiple Choice Item Response Theory Models and Bit Scales
Umeå University（于默奥大学）
提出用自动编码器拟合的单调多项选择IRT模型，并通过模拟与瑞典真实测验数据证明其拟合优于名义反应模型，同时引入可将潜在特质量表转为比率量表的比特量表。
2024-10-02 cs.LG stat.ME stat.ML
A Dynamic, Ordinal Gaussian Process Item Response Theoretic Model
Washington University in St Louis（圣路易斯华盛顿大学）
本文结合贝叶斯非参数IRT与高斯过程时间序列方法，提出GD-GPIRT模型及MCMC采样算法，用于估计随时间变化的序数潜在特质，并在模拟和实际研究中验证了其有效性。
2025-04-03 cs.LG stat.ME
FINN.no Slates Dataset: A new Sequential Dataset Logging Interactions, allViewed Items and Click Responses/No-Click for Recommender Systems Research
University of Oslo（奥斯陆大学）；University of Lancaster（兰卡斯特大学）；Schibsted ASA
我们提出了一种新的推荐系统数据集，记录用户和在线市场之间的顺序交互。用户被顺序地呈现以来自市场的被称为石板的项目的排名列表的形式的推荐和搜索结果两者。该数据集包括在每一轮呈现的石板，用户是否点击了这些项目中的任何一个，以及用户点击了哪个项目。虽然在推荐系统中曝光数据的使用正在增长，据我们所知，没有开放的大规模推荐系统数据集，包括在每次交互时呈现给用户的项目的石板。因此，大多数关于推荐系统的文章都没有利用这种曝光信息。相反，所提出的模型只依赖于用户的点击响应，并假设用户在每一步都接触到项目宇宙中的所有项目，通常称为均匀候选抽样。这是一个不完整的假设，因为它考虑了用户可能没有接触到的项目。这样，项目可能会被错误地视为用户不感兴趣。考虑到实际显示的石板允许模型使用更自然的可能性，基于给定项目暴露集的点击概率，如在强盗和强化学习文献中流行的那样。\cite{Eide2021DynamicSampling}表明，基于均匀候选抽样（以及类似假设）的似然性隐含地假设平台仅向用户显示最相关的项目。这使得推荐系统隐含地加强反馈循环，并偏向于先前向用户展示的项目。
2021-11-05 cs.IR cs.LG stat.ML
IRTCI: Item Response Theory for Categorical Imputation
Northwestern University（西北大学）
大多数数据集都存在部分或完整的缺失值，这对测试数据的可用模型以及可以从数据中进行的任何统计推断具有下游限制。已设计了几种插补技术，用替代值替换缺失数据。各种方法对计算临床评分、模型构建和模型检验具有影响。这里展示的工作提供了一种基于项目反应理论（IRT）的分类插补的新方法，并将其与机器学习领域目前使用的几种方法进行了比较，包括k-最近邻（kNN），多重插补链式方程（MICE）和Amazon Web Services（AWS）深度学习方法Datawig。比较这些技术的分析进行了三个不同的数据集，代表序数，名义和二进制类别。对数据进行了修改，使其在数据缺失比例和缺失数据的系统化方面也有所不同。进行了两种不同的性能评估：重现缺失值的准确性和使用插补数据的预测性能。结果表明，新的方法，项目反应理论分类插补（IRTCI），表现相当不错，目前使用的方法相比，在许多情况下，优于他们中的几个。鉴于新方法的理论基础，以及用于确定缺失细胞类别归属的概率项的独特生成，IRTCI为当前方法提供了一种可行的替代方案。
2023-02-08 cs.LG stat.ML
Matrix Decomposition Perspective for Accuracy Assessment of Item Response Theory
Kurume University（久留米大学）
项目反应理论利用由0/1值元素组成的观察项目反应矩阵，得到考生能力和问题难度参数的估计及其置信区间。许多论文讨论了估计的性能。然而，本文没有。使用最大似然估计，我们可以重建估计的项目响应矩阵。然后，我们可以从矩阵分解的角度来评估这个重构矩阵对观察到的响应矩阵的准确性。也就是说，本文的重点是重建的响应矩阵的性能。为了比较项目反应理论与其他方法的性能，我们通过对观测反应矩阵的近似，给出了两种低秩反应矩阵：一种是当反应矩阵是完全矩阵时，通过奇异值分解方法得到的矩阵;另一种是当反应矩阵是不完全矩阵时，通过矩阵分解方法得到的矩阵。首先，我们发现当响应矩阵是完全矩阵时，奇异值分解法和矩阵分解法的性能几乎相同。这里，性能通过使用根均方误差和准确度的两个矩阵之间的接近度来测量。其次，我们已经看到，由项目反应理论得到的重构矩阵与观察矩阵的接近程度位于由k=和k=2的矩阵分解方法得到的两个近似的低秩反应矩阵与观察矩阵之间，其中k表示分解矩阵中使用的前k列。
2022-03-07 cs.LG stat.AP stat.CO
Curve Fitting from Probabilistic Emissions and Applications to Dynamic Item Response Theory
Stanford University（斯坦福大学）
项目反应理论（IRT）模型广泛应用于心理测量学和教育测量学，被部署在许多高风险的测试，如GRE能力倾向测试。项目反应理论主要集中于对单个潜在特质（如能力）的估计，这些特质在项目反应的集合中保持静态。然而，在不断收集项目响应的当代环境中，例如大规模开放式在线课程（MOOC），人们自然会对能力的动态感兴趣，从而使传统IRT模型的使用变得复杂。我们提出了DynAEsti，增强传统的IRT期望最大化算法，允许能力是一个连续变化的曲线随着时间的推移。在这个过程中，我们开发了CurvFiFE，这是一种新型的非参数连续时间技术，可以处理扩展到更一般的概率排放（而不是简单的噪声数据点）的曲线拟合/回归问题。此外，为了实现这一点，我们开发了一种称为嫁接的新技术，当其他流行的技术如循环信念传播（LBP）和变分推理（VI）失败时，该技术可以成功地近似由图形模型表示的分布。DynAEsti的性能通过模拟进行评估，在那里我们实现了与静态能力场景中观察到的最佳结果相当的结果。最后，DynAEsti应用于纵向性能数据集（80年的竞争性高尔夫在18洞大师赛），以证明其恢复人类性能的关键属性和不同洞的异质性特征的能力。CurvFiFE和DynAEsti的Python代码可在www.example.com上公开获得。这是我们ICDM 2019论文的完整版本。
2019-09-09 cs.LG stat.ML
SMART: Simulated Students Aligned with Item Response Theory for Question Difficulty Prediction
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Cambium Assessment（Cambium评估）
本文提出SMART方法，利用直接偏好优化将模拟学生与指定能力对齐，通过LLM评分和IRT模型拟合预测开放式题目难度，解决了冷启动问题并在真实数据集上优于其他方法。
2025-09-18 cs.CL cs.CY cs.LG
Federated Item Response Models: A Gradient-driven Privacy-preserving Framework for Distributed Psychometric Estimation
University of Toronto（多伦多大学）
本文提出FedIRT框架，实现分布式项目反应模型校准，同时保护隐私；FedIRT-DP进一步引入差分隐私，提供隐私-效用平衡，并通过实验证明其在实际数据集中的有效性。
2026-04-03 cs.LG stat.AP stat.ML
Multidimensional Item Response Theory in the Style of Collaborative Filtering
New York University（纽约大学）；University of North Carolina, Chapel Hill（北卡罗来纳大学教堂山分校）；Inria（法国国家信息与自动化研究所）
本文借鉴协同过滤构建通用MIRT模型框架，采用惩罚JML估计、交叉验证选择与批处理优化，并在模拟及MOOC稀疏数据上验证，提出利用项目受欢迎度辅助信息验证因子模型。
2023-01-03 cs.LG stat.ML
Reverse Item Response Theory for Sparsity-Robust Ranking in Fragmented Cancer Drug-Response Matrices
本文提出逆向项目反应理论，将癌症类型视为受试者、药物视为项目，在GDSC2数据上估计耐药性与药物活性，在碎片化缺失下优于简单平均，实现鲁棒排序。
2026-10-02 cs.LG
RNE: A Scalable Network Embedding for Billion-scale Recommendation
Tsinghua University（清华大学）；Ant Financial Services Group（蚂蚁金融服务集团）；Alibaba Group（阿里巴巴集团）
设计一个真正的推荐系统已经成为学术界和工业界的一个关键问题。然而，由于用户数量和项目数量的巨大性、用户兴趣的多样性和动态性，如何设计一个可扩展的推荐系统，使其能够在数十亿级的场景中高效地产生有效的、多样化的推荐结果，仍然是现有方法面临的一个挑战性和开放性问题。在本文中，给定的用户-项目交互图，我们提出了RNE，一个数据有效的基于推荐的网络嵌入方法，给个性化和多样化的项目给用户。具体来说，我们提出了一个多样性和动态感知的邻居采样方法的网络嵌入。一方面，该方法能够保持用户和项目之间的局部结构，同时建模用户兴趣的多样性和动态性，以提高推荐质量。另一方面，抽样方法从理论上降低了整个方法的复杂度，使十亿级推荐成为可能。为了进一步提高算法的可扩展性，我们还采用分布式的方式实现了所设计的算法。在实验上，我们将RNE部署在中国最大的电子商务平台淘宝的推荐场景上，并在十亿级用户-项目图上对其进行训练。正如A/B测试的几个在线指标所示，与基于CF的方法相比，RNE能够实现高质量和多样化的结果。在Pinterest数据集上进行了离线实验，并与现有的推荐方法和网络嵌入方法进行了比较。结果表明，我们的方法是能够产生一个很好的结果，而运行速度远远快于基线方法。
2020-04-09 cs.IR cs.LG stat.ML
How Many Ratings per Item are Necessary for Reliable Significance Testing?
Rochester Institute of Technology（罗切斯特技术学院）；Google Research（谷歌研究）
本文研究了为可靠显著性检验所需的数据集响应数量，指出现有方法不足以保证统计检验的可靠性，并提出改进数据收集的方法。
2026-01-29 cs.LG
Item Response Theory based Ensemble in Machine Learning
Stony Brook University（石溪大学）
在这篇文章中，我们提出了一个新的概率框架，以提高加权多数表决算法的准确性。为了给能够正确分类难分类样本的分类器分配更高的权重，我们引入了项目反应理论（IRT）框架来同时评估样本的难度和分类器的能力。三个模型是建立在不同的假设适合不同的情况。在进行推理时，我们在准确性和复杂性之间保持平衡。在我们的实验中，所有的基础模型都是通过引导由单树构建的。为了解释这些模型，我们举例说明了IRT集成模型是如何构造分类边界的。我们还将它们的性能与其他广泛使用的方法进行了比较，并表明我们的模型在19个数据集上表现良好。
2019-11-11 cs.LG stat.AP stat.CO
Accurate and scalable social recommendation using mixed-membership stochastic block models
Universitat Rovira i Virgili（罗维拉-威尔吉利大学）；Institució Catalana de Recerca i Estudis Avançats (ICREA)（加泰罗尼亚研究与高级研究院）；Santa Fe Institute（圣塔菲研究所）
随着在线信息量的不断增加，建模和预测个人偏好（例如书籍或文章）变得越来越重要。良好的预测使我们能够改进对用户的建议，并更好地理解决定这些偏好的社会心理过程。我们已经开发了一个协同过滤模型，与相关的可扩展的算法，使个人的偏好准确的预测。我们的方法基于明确的假设，即存在由个人和物品组成的群体，并且个人对物品的偏好仅由他们的群体成员身份决定。重要的是，我们允许每个人和每个项目同时属于不同群体的混合物，与许多流行的方法不同，如矩阵分解，我们不隐含或明确地假设每个群体中的个人更喜欢一组项目中的项目。由此产生的重叠组和预测的偏好可以用期望最大化算法来推断，该算法的运行时间线性缩放（每次迭代）。我们的方法使我们能够预测大型数据集中的个人偏好，并且比目前针对此类大型数据集的算法准确得多。
2016-04-06 cs.IR cs.LG cs.SI
Scalable Personalised Item Ranking through Parametric Density Estimation
CyberAgent, Inc.（赛博特工公司）；Waseda University（早稻田大学）
从内隐反馈中学习是具有挑战性的，因为一类问题的困难性质：我们只能观察到积极的例子。大多数传统的方法使用成对排序方法和负采样器来处理一类问题。然而，这种方法有两个主要缺点，特别是在大规模应用中;（1）由于二次计算成本，成对方法效率非常低;（2）由于训练额外的模型，即使是最近的基于模型的采样器（例如IRGAN）也无法实现实际效率。在本文中，我们提出了一种学习排名的方法，它实现了收敛速度相媲美的逐点对应，同时执行类似的成对对应的排名有效性。我们的方法估计的概率密度的积极项目为每个用户在一个丰富的类的分布，即。\emph{exponential family}。在我们的公式中，我们推导出一个损失函数和适当的负抽样分布的基础上最大似然估计。我们还开发了一个实用的技术风险近似和正规化计划。然后，我们讨论了我们的单模型方法是等价的一个IRGAN变种在一定的条件下。通过在真实数据集上的实验，我们的方法在有效性和效率方面优于逐点和逐对的方法。
2021-05-11 cs.IR cs.LG
FOLD-TR: A Scalable and Efficient Inductive Learning Algorithm for Learning To Rank
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
FOLD-R++是一种新的二进制分类任务的归纳学习算法。它为混合类型（数值和分类）数据生成一个（可解释的）正常逻辑程序。我们提出了一个定制的FOLD-R++算法的排名框架，称为FOLD-TR，其目的是在训练数据的排名模式后，排名新的项目。与FOLD-R++类似，FOLD-TR算法能够直接处理混合类型的数据，并提供本地调整来解释一对项目之间的比较。
2022-06-15 cs.LG
Towards Scalable and Robust Structured Bandits: A Meta-Learning Framework
North Carolina State University（北卡罗来纳州立大学）
在线学习在大规模的结构化土匪是众所周知的，是具有挑战性的，由于维数灾难。本文针对一类结构化强盗问题提出了一个统一的元学习框架，其中参数空间可以分解到项目级。新的Bandit算法具有通用性，适用于许多流行的问题，可扩展到巨大的参数和动作空间，并对泛化模型的规格说明具有鲁棒性。在这个框架的核心是一个贝叶斯层次模型，允许通过其功能项目之间的信息共享，在此基础上，我们设计了一个Meta汤普森抽样算法。三个有代表性的例子进行了深入的讨论。理论分析和数值结果都支持了该方法的有效性。
2022-02-26 cs.LG
Item-Mean Surrogates: Why Richer Personas Fail to Deliver Individual Fidelity in LLMs as Human Surrogates
University of Georgia（佐治亚大学）；MIT Sloan School of Management（麻省理工学院斯隆管理学院）；Boston University（波士顿大学）
该研究验证LLM作为人类替代物的前提，发现其仅能近似项目均值，无法捕捉受访者特异性偏差，且更丰富的角色数据等无法缩小差距，提出四项实证检验方法。
2026-11-03 cs.CL cs.CY cs.LG
Processing of Test Matrices with Guessing Correction
建议在测试矩阵中插入1表示正确的响应，0表示拒绝的响应，而负的校正元素表示不正确的响应。经典的测试理论方法是将考生的测试成绩和题目的测试成绩作为矩阵元素的和来计算，矩阵元素按行和列组织。使用校正系数估计相关系数。在项目反应理论方法中，采用最大似然法和所有矩阵元素的概率估计被试和项目的logits。
2006-01-20 cs.LG
Scalable Cross-Entropy Loss for Sequential Recommendations with Large Item Catalogs
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）；HSE University（高等经济大学）；Artificial Intelligence Research Institute（人工智能研究院）
针对序列推荐中完整交叉熵损失在大型物品目录下 GPU 内存开销过大的问题，提出 SCE 损失，通过最大内积搜索选择关键输出近似 softmax，最高降低 100 倍峰值内存且保持推荐质量。
2024-11-30 cs.IR cs.LG
Comprehensive Algorithm Portfolio Evaluation using Item Response Theory
CSIRO’s Data61（联邦科学与工业研究组织数据61研究所）；University of Melbourne（墨尔本大学）
本文提出一个修改的基于IRT的框架，用于评估跨数据集仓库的算法组合，同时通过新颖反转和重新解释传统IRT模型，引出算法一致性和异常性等更丰富特征，无需额外特征计算，展示了广泛适用性和可解释性。
2023-07-29 cs.AI cs.LG stat.ML
The Scaling Law of Evaluation Failure: Why Simple Averaging Collapses Under Data Sparsity and Item Difficulty Gaps, and How Item Response Theory Recovers Ground Truth Across Domains
Independent Researcher（独立研究员）
本文研究了简单平均在数据稀疏性和项目难度差异下导致评估排名失真问题，通过模拟实验展示了项目响应理论（IRT）在不同领域中保持高排名相关性的能力。
2026-05-11 cs.AI cs.LG
Scalable Demand-Aware Recommendation
Tencent AI Lab（腾讯人工智能实验室）；AI Foundations Lab, IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心人工智能基础实验室）；University of California, Davis（加州大学戴维斯分校）；IBM Research AI（IBM人工智能研究院）；National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
推荐电子商务与耐用品和非耐用品的混合有特点，区分它从研究的媒体推荐问题。对物品的需求是形式效用和时间效用的综合效应，即，产品必须既对消费者具有内在吸引力，又必须是合适的购买时间。特别是对于耐用品，时间效用是产品类别内的购买持续时间的函数，因为消费者不太可能在时间上连续购买同一类别中的两个项目。此外，与评级数据相比，购买数据是隐含的，不购买不一定表示不喜欢。总之，这些问题引起了积极的未标记的需求感知推荐问题，我们提出通过联合低秩张量完成和产品类别间购买持续时间向量估计。我们进一步放松这个问题，并提出了一个高度可扩展的交替最小化方法，我们可以解决数百万用户和数百万项目在一个线程的问题。我们还在多个真实世界数据集上展示了出色的预测准确性。
2017-11-26 cs.LG
AutoIRT: Calibrating Item Response Theory Models with Automated Machine Learning
Duolingo（多邻国）
本研究提出可兼容开箱即用AutoML工具的AutoIRT多阶段拟合流程，基于MCEM外循环和双阶段内循环校准IRT模型，在Duolingo English Test上实现了优于现有方法的校准效果、预测性能与评分准确性。
2024-09-13 cs.LG stat.AP
Adaptive Retrieval and Scalable Indexing for k-NN Search with Cross-Encoders
Google DeepMind（谷歌DeepMind）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文提出基于稀疏矩阵分解的方法，高效近似交叉编码器相似度并实现可扩展k-NN搜索，在显著减少CE调用和索引时间的同时提升召回率。
2024-05-06 cs.IR cs.LG
Laplace-PSN-IRT: Uncertainty Quantification for Neural Item Response Theory Models of LLM Benchmarks
Cimat（西马研究所）
研究针对大语言模型基准神经项目反应理论模型，提出拉普拉斯-PSN-IRT方法，通过近似贝叶斯后验推断增强模型，能恢复校准不确定性，可进行可信区间等分析，实验表明该方法在模型比较、信息稳定性及能力排名恢复等方面表现良好。
2026-07-29 cs.AI cs.LG stat.AP
Beyond Random Sampling: Instance Quality-Based Data Partitioning via Item Response Theory
提出基于项目反应理论（IRT）参数的数据划分方法，通过实例质量指导模型验证，揭示数据集异质性并显著提升对模型偏差与方差权衡的理解。
2025-08-14 cs.LG
An Item Response Theory-based R Module for Algorithm Portfolio Analysis
CSIRO’s Data61（CSIRO的数据61研究中心）；School of Computer and Information Systems The University of Melbourne（墨尔本大学计算机与信息系统学院）；ARC Centre in Optimisation Technologies, Integrated Methodologies, and Applications (OPTIMA)（优化技术、集成方法与应用的ARC中心（OPTIMA））
针对现有算法评估覆盖不全的问题，本文提出基于项目反应理论的算法组合评估工具AIRT-Module，含Shiny应用与R包，可量化算法特性与用例难度并可视化，助力AI方法综合评估。
2024-08-27 cs.LG
Using language models in the implicit automated assessment of mathematical short answer items
Cambium Assessment（Cambium Assessment（Cambium 评估公司））
本研究提出一种基于双微调语言模型的数值识别流水线，用于数学简答题的隐式自动评估，可判断正误、识别认知误区并提供针对性反馈，准确率优于传统评分法。
2023-08-21 cs.CL cs.CY cs.LG
Random pairing MLE for estimation of item parameters in Rasch model
Yale University（耶鲁大学）；University of Chicago（芝加哥大学）
针对Rasch模型的项目参数估计问题，提出随机配对极大似然估计及其自助变体，可处理稀疏观测，具备极小最优性与分布刻画能力，通过随机配对降维且保独立性，经仿真与实测验证有效。
2025-10-29 cs.IT cs.LG math.IT
UnibucLLM: Harnessing LLMs for Automated Prediction of Item Difficulty and Response Time for Multiple-Choice Questions
University of Bucharest（布加勒斯特大学）
本研究提出基于 LLM 的数据增强方法，利用零样本 LLM 回答和 Transformer 模型预测 USMLE 多项选择题的难度与作答时间，发现 LLM 回答的差异性有助于提升医学执照考试的自动化评估效果。
2024-04-20 cs.AI cs.CL cs.LG
A Scalable Neural Network for DSIC Affine Maximizer Auction Design
Peking University（北京大学）
本文提出AMenuNet，一种基于神经网络的仿射最大化拍卖设计方法，通过从投标人和物品表示生成AMA参数与候选分配，在保证DSIC和个体理性的同时提升可扩展性，并在多种多物品拍卖设置中取得优于基线的收益表现。
2024-01-17 cs.AI cs.GT cs.LG
Session-aware Linear Item-Item Models for Session-based Recommendation
Sungkyunkwan University（成均馆大学）；Google Research（谷歌研究院）；Seoul National University（首尔国立大学）；Yonsei University（延世大学）
基于会话的推荐旨在给定在会话中消费的先前项目的序列来预测下一项目，例如，电子商务或多媒体流服务。具体来说，会话数据表现出一些独特的特征，即，会话一致性和对会话内项目的顺序依赖性、重复的项目消耗和会话及时性。在本文中，我们提出了简单而有效的线性模型，考虑整体方面的会议。我们的模型的综合性有助于提高基于会话的推荐的质量。更重要的是，它提供了一个通用框架来反映会话数据的不同视角。此外，由于我们的模型可以通过封闭形式的解决方案来解决，因此它们具有高度的可扩展性。实验结果表明，所提出的线性模型在几个真实世界的数据集上的各种指标表现出竞争力或最先进的性能。
2021-06-25 cs.IR cs.LG
Item Response Scaling Laws: A Measurement Theory Approach for Efficient and Generalizable Neural Scaling Estimation
Stanford University（斯坦福大学）；University of California, Los Angeles（加州大学洛杉矶分校）
提出项目反应缩放定律（IRSL），将项目反应理论融入缩放定律框架，通过Beta-IRT模型利用语言模型的概率响应，将参数复杂度从O(M×N)降至O(M+N)，在预训练和测试时缩放场景中仅用50个问题即可实现可靠估计。
2026-05-29 cs.AI cs.CL cs.LG
Addressing Selection Bias in Computerized Adaptive Testing: A User-Wise Aggregate Influence Function Approach
Riiid AI Research（Riiid人工智能研究院）
针对CAT服务数据中因能力-题目难度关联导致的选择偏差问题，本文提出用户级聚合影响函数方法，通过过滤高偏差用户数据来训练诊断模型，在最小化题目画像偏差的同时提升CAT性能。
2023-08-23 cs.AI cs.CY cs.LG
Capturing Humans' Mental Models of AI: An Item Response Theory Approach
University of California, Irvine（加州大学欧文分校）
本文提出基于项目反应理论的框架来建模人类对AI队友的感知，通过真实问答实验对比了人类对AI与人类队友的心智模型，发现人们期望AI表现更优且更稳定，为人机交互提供了重要启示。
2023-05-15 cs.AI cs.HC cs.LG
Interpretable Fusion Analytics Framework for fMRI Connectivity: Self-Attention Mechanism and Latent Space Item-Response Model
本文提出一种可解释融合分析框架，通过自注意力深度学习对fMRI功能连接网络进行认知障碍分类，并利用潜在空间项目反应模型识别关键ROI功能，在四类认知障碍数据上验证了有效性。
2024-11-19 cs.AI cs.LG eess.SP
