Phishing URL Detection Through Top-level Domain Analysis: A Descriptive Approach
Edinburgh Napier University（爱丁堡龙比亚大学）
网络钓鱼被认为是最流行的网络攻击之一，因为它具有巨大的灵活性和惊人的高成功率。即使有足够的培训和高度的态势感知能力，用户仍然很难持续了解他们正在访问的网站的URL。传统的检测方法依赖于阻止列表和内容分析，这两种方法都需要耗时的人工验证。因此，已经尝试集中于这种URL的预测过滤。本研究旨在开发一种机器学习模型来检测可在Splunk平台内使用的欺诈性URL。受文献中类似方法的启发，我们使用文献中发现的恶意和良性数据集以及我们创建的一个数据集来训练SVM和随机森林算法。我们用精确度和召回率评估了算法的性能，在随机森林的情况下达到了85%的精确度和87%的召回率，而SVM仅使用描述性特征就达到了90%的精确度和88%的召回率。
2020-05-13 cs.CR cs.CY cs.LG
Provable In-Context Vector Arithmetic via Retrieving Task Concepts
Department of Computer Science, City University of Hong Kong, Hong Kong SAR；Center for Advanced Intelligence Project, RIKEN, Japan；Institute of High Performance Computing (IHPC), Agency for Science, Technology；Research (A STAR), Singapore；Centre for Frontier AI Research (CFAR), Agency for Science, Technology；College of Computing；Data Science, Nanyang Technological University, Singapore；Department of Mathematical Informatics, The University of Tokyo, Japan；School of Mathematics；Statistics, The University of Sydney, Australia
本文提出基于分层概念建模的理论框架，证明非线性残差transformers通过梯度下降和交叉熵损失训练，能利用向量算术执行事实召回ICL任务，并展现强泛化性。
2025-08-13 cs.AI cs.LG
Precision and Recall for Time Series
Intel Labs（英特尔实验室）；MIT（麻省理工学院）；Microsoft（微软）；Brown University（布朗大学）
经典的异常检测主要涉及基于点的异常，这些异常发生在单个时间点。然而，许多现实世界的异常是基于范围的，这意味着它们发生在一段时间内。出于这一观察，我们提出了一个新的数学模型来评估时间序列分类算法的准确性。我们的模型扩展了众所周知的精度和召回指标来测量范围，同时为特定领域的偏好提供定制支持。
2019-01-02 cs.AI cs.LG
OSDN: Improving Delta Rule with Provable Online Preconditioning in Linear Attention
Shanghai Jiao Tong University（上海交通大学）；Northwestern University（西北大学）；Huazhong University of Science and Technology（华中科技大学）；Stanford University（斯坦福大学）
OSDN通过在线预条件化改进Delta规则，通过在线更新对角预条件器提升特征曲率处理，理论证明其收敛性和泛化能力，在大规模参数下提升上下文回忆性能。
2026-05-13 cs.CL cs.LG
Training Normalizing Flows with the Precision-Recall Divergence
LAMSADE（拉马萨德实验室）；CNRS（法国国家科学研究中心）；Université Paris-Dauphine-PSL（巴黎多芬大学-巴黎文理研究大学）
生成模型可能具有不同的故障模式，如模式丢弃和低质量样本，这无法通过单个标量度量来捕获。为了解决这个问题，最近的工作提出了使用精度和召回率来评估生成模型，其中精度测量样本的质量，召回率测量目标分布的覆盖范围。尽管目标和估计分布之间的各种差异度量用于训练生成模型，但尚不清楚差异度量的各种选择会实现什么精确度-召回权衡。在本文中，我们表明，实现一个指定的精度召回权衡对应于最小化的分歧，从一个家庭，我们称之为{ \em PR分歧}。相反，任何偏差都可以被写为PR偏差的线性组合，因此对应于最小化加权的准确率-召回率权衡。此外，我们提出了一种新的生成模型，能够训练一个规范化的流程，以尽量减少任何分歧，特别是，实现了给定的精度召回权衡。
2023-02-02 cs.LG stat.ML
A plug-in approach to maximising precision at the top and recall at the top
对于信息检索和二进制分类，我们表明，在顶部的精度（或精度在k）和召回率在顶部（或召回率在k）最大化阈值的后验概率的积极类。这一发现是一个结果的约束最小化的成本敏感的预期分类错误，概括了早期的相关结果从文献。
2018-04-09 cs.LG stat.AP stat.ML
Probabilistic Precision and Recall Towards Reliable Evaluation of Generative Models
Korea University（高丽大学）；Korea Institute of Science and Technology（韩国科学技术研究院）
针对基于 $k$NN 的生成模型精确率-召回率指标易受离群点影响、对分布变化不敏感等问题，提出概率型 PP&PR 指标，以更可靠地评估保真度与多样性。
2023-09-04 cs.CV cs.LG
The Effect of Class Imbalance on Precision-Recall Curves
University of Edinburgh（爱丁堡大学）
在本文中，我研究了分类器的精度如何取决于测试集中阳性与阴性病例的比率$r$，以及分类器的真阳性率和假阳性率。这种关系允许预测精确率-召回率曲线将如何随着$r$而变化，这似乎不是众所周知的。它还允许预测$F_β$以及Flach和Kull（2015）的精确度增益和召回率增益指标如何随$r$变化。
2021-04-27 cs.LG stat.ML
Revisiting Precision and Recall Definition for Generative Model Evaluation
Normandie Univ（诺曼底大学）；UNICAEN（卡昂大学）；ENSICAEN（卡昂国立高等工程师学院）；CNRS（法国国家科学研究中心）；GREYC（GREYC实验室）
本文重新审视生成模型的PR曲线定义，将其推广至任意测度并揭示其与似然比分类器错误率的联系，提出一种近似PR曲线的新算法，在多模态数据集上验证了优势。
2019-05-14 cs.CV cs.LG stat.ML
Precision-Recall Divergence Optimization for Generative Modeling with GANs and Normalizing Flows
LAMSADE, CNRS（法国国家科学研究中心LAMSADE实验室）；Université Paris-Dauphine-PSL（巴黎第九大学（巴黎多菲纳大学））
提出 PR-divergences 训练框架，将用户指定的精确率-召回率权衡转化为 $f$-散度最小化，并提升 BigGAN 在 ImageNet 上的精确率或召回率。
2023-11-01 cs.LG
Unachievable Region in Precision-Recall Space and Its Effect on Empirical Evaluation
University of Wisconsin – Madison（威斯康星大学麦迪逊分校）；CRACS INESC-TEC（CRACS 葡国系统与计算机工程研究所 - 技术与工程研究中心）；FCUP（波尔图大学理学院）；KU Leuven（鲁汶大学）
精确-召回（PR）曲线及其下的面积被广泛用于总结机器学习结果，特别是对于表现出类偏斜的数据集。它们通常类似于ROC曲线和ROC曲线下的面积。众所周知，PR曲线随着类别偏斜的变化而变化。在这篇论文之前没有认识到的是，PR空间中有一个区域是完全无法实现的，这个区域的大小只取决于偏斜。本文精确地描述了该区域的大小，并讨论了它对机器学习中经验评估方法的影响。
2012-07-18 cs.AI cs.IR cs.LG
Visualization of Tradeoff in Evaluation: from Precision-Recall & PN to LIFT, ROC & BIRD
Beijing University of Technology（北京工业大学）；Flinders University（弗林德斯大学）
评估的目的通常是将系统的正确性或错误特性减少到一个数字，但这总是涉及权衡。另一种处理方法是引用两个数字，例如召回率和精确率，或者敏感性和特异性。但它也可以看到比这更有用的，图形方法可以探索对成本，患病率，偏差，噪音，参数和超参数的敏感性。此外，大多数技术都隐含地基于两个平衡的类，我们的图形化可视化能力本质上是二维的的，但我们经常希望在多类上下文中进行可视化。我们回顾了与精度，召回率和ROC以及相关的LIFT图表有关的二分法，探索它们如何处理不平衡和多类数据，并推导出LIFT的新概率和信息理论变体，以帮助处理与处理多个不平衡类相关的问题。
2020-09-02 cs.AI cs.IR cs.LG
Precision-Recall Curves Using Information Divergence Frontiers
Google Research（谷歌研究院）
尽管在生成模型的估计方面取得了巨大进展，但用于诊断其故障和评估其性能的工具的开发却以缓慢得多的速度前进。最近的发展已经研究了量化真实分布的哪些部分被很好地建模的度量，相反，模型未能捕获的度量，类似于信息检索中的精确度和召回率。在本文中，我们提出了一个通用的生成模型的评估框架，使用Rényi分歧来衡量精度和召回率之间的权衡。我们的框架提供了一个新的角度对现有的技术，并将其扩展到更一般的领域。作为一个关键的优势，这个公式包括连续和离散模型，并允许设计高效的算法，而不必对数据进行优化。我们进一步分析了在实践中使用的近似的偏差。
2020-06-08 cs.LG stat.ML
Evaluating Classification Systems Against Soft Labels with Fuzzy Precision and Recall
Tampere University（坦佩雷大学）
本文提出一种无需二值化即可计算精确率、召回率和F-score的新方法，用于评估基于软标签训练的分类系统，并通过声音事件检测实验验证其有效性。
2023-09-25 cs.LG cs.SD eess.AS
Unifying and extending Precision Recall metrics for assessing generative models
University of Caen Normandie（卡昂诺曼底大学）；ENSICAEN（卡昂高等工程师学院）；CNRS（法国国家科学研究中心）
本文基于Simon等人的工作统一了多种生成模型精确率-召回率评估方法，恢复完整曲线并揭示指标缺陷来源，同时给出更强的一致性结果和实验行为分析。
2024-05-02 cs.AI cs.LG stat.ME
TwistBytes -- Hierarchical Classification at GermEval 2019: walking the fine line (of recall and precision)
Zurich University of Applied Sciences（苏黎世应用科学大学）
我们在这里介绍了我们的方法，以GermEval 2019任务1 -共享任务对德语广告语的分层分类。我们在分层子任务B中获得了第一名，在根结点、扁平分类子任务A上获得了第二名。在子任务A中，我们在每个特征提取模块上应用了一种简单的多特征TF-IDF提取方法，该方法使用不同的n-gram范围和停用词去除。上面的分类器是标准的线性SVM。对于分层分类，我们使用了局部方法，该方法权重更小，但与子任务A中使用的方法相似。我们的方法的关键点是应用后处理来处理任务的多标签方面，增加召回率，但不超过精度测量分数。
2019-08-18 cs.CL cs.LG
Efficient Graph-Friendly COCO Metric Computation for Train-Time Model Evaluation
Google（谷歌）
评估COCO平均精度（MaP）和COCO召回率指标作为现代深度学习框架的静态计算图的一部分提出了一系列独特的挑战。这些挑战包括需要维护动态大小的状态来计算平均精度，依赖全局队列级统计来计算度量，以及管理一批图像中不同数量的边界框。因此，研究人员和从业人员通常将评估COCO指标作为培训后评估步骤。使用图形友好的算法来计算COCO平均精度和召回率，这些指标可以在训练时进行评估，通过训练曲线图提高指标演变的可见性，并在原型化新模型版本时减少迭代时间。我们的贡献包括一个精确的平均精度的近似算法，COCO平均精度和COCO召回的开源实现，广泛的数值基准来验证我们的实现的准确性，以及一个开源的训练循环，包括平均精度和召回的训练时间评估。
2022-07-21 cs.CV cs.LG
Evaluation: from precision, recall and F-measure to ROC, informedness, markedness and correlation
常用的评价指标包括召回率、精确度、F-测量和Rand准确度都有偏差，在没有明确了解偏差以及相应识别统计量的机会或基本情况水平的情况下，不应使用。使用这些措施，一个系统，表现较差的客观意义上的信息，可以表现得更好的任何这些常用的措施。我们讨论了几个概念和措施，反映预测的概率是知情与机会。信息性和引入标记性作为预测被标记与机会的概率的双重度量。最后，我们展示了信息性，标记性，相关性和重要性的概念之间的优雅的连接，以及它们与召回率和精度的直观关系，并概述了从二分的情况下，一般多类的情况下的扩展。
2020-10-11 cs.LG stat.ME stat.ML
What Is the Optimal Ranking Score Between Precision and Recall? We Can Always Find It and It Is Rarely $F_1$
Montefiore Institute, University of Liège（列日大学蒙特菲奥雷研究所）
本文探讨了精确度与召回率的最优排名得分问题，提出通过Kendall排名相关性优化方法，理论工具和闭式表达式确定最优β值，展示了在六个案例研究中的应用。
2026-03-30 cs.AI cs.CV cs.LG
Precision-Recall Curve (PRC) Classification Trees
Stony Brook University（石溪大学）
本文提出基于AUPRC的PRC分类树及PRC随机森林，通过改进变量与阈值选择提升不平衡数据分类性能，并结合ROC树增强少数类识别。
2020-11-15 cs.LG stat.ML
Ensemble of Precision-Recall Curve (PRC) Classification Trees with Autoencoders
Department of Applied Mathematics and Statistics, Stony Brook University（应用数学与统计学系，石溪大学）
本文提出将PRC随机森林与自编码器结合的混合框架，同时应对类别不平衡和维度灾难，实验证明其在准确性、可扩展性和可解释性上优于先前方法。
2025-09-06 cs.LG stat.ML
Evaluating Protein-protein Interaction Predictors with a Novel 3-Dimensional Metric
Carnegie Mellon University（卡内基梅隆大学）
为了使预测的相互作用直接被生物学家采用，机器学习预测必须具有高精度，而不管召回率如何。这方面无法通过传统的指标（如准确率，ROC或精确度-召回率曲线）进行评估或数字表示。在这项工作中，我们从ROC的灵敏度和查全率的查准率-查全率曲线的对齐，并提出了一个评价指标，侧重于一个模型的能力，以供生物学家采用。该度量评估了机器学习算法仅预测新交互的能力，同时消除了测试数据集的影响。在对同一数据集的不同分类器进行评估和对不同数据集的同一预测器进行评估的实验中，我们的新指标完成了我们感兴趣的评估任务，而两个被广泛认可的指标，ROC和精确度-召回率曲线由于不同的原因而失败。
2015-11-06 cs.LG
Assessing Generative Models via Precision and Recall
MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；Google Brain（谷歌大脑）
生成建模的最新进展导致了对作为模型比较手段的统计分歧的研究的兴趣增加。常用的评估方法，如Frechet起始距离（FID），与样品的感知质量密切相关，并且对模式下降敏感。然而，这些指标无法区分不同的故障情况，因为它们只产生一维分数。我们提出了一个新的定义的精度和召回的分布，解开分歧成两个独立的维度。所提出的概念是直观的，保留了理想的属性，并自然导致一个有效的算法，可用于评估生成模型。我们将这个概念与总变化以及最近的评估指标，如初始分数和FID。为了证明所提出的方法的实际效用，我们对生成对抗网络和变分自动编码器的几种变体进行了实证研究。在一组广泛的实验中，我们表明，所提出的度量是能够解开所生成的样本的质量从目标分布的覆盖范围。
2018-10-28 cs.LG stat.ML
Controlling the Precision-Recall Tradeoff in Differential Dependency Network Analysis
University of New Mexico（新墨西哥大学）；NEC Laboratories（NEC实验室）；SomaLogic Inc.（SomaLogic公司）；Mind Research Network（思维研究网络）
图形模型作为学习和表示多变量数据中变量间依赖关系的工具，近年来得到了广泛的关注。通常，领域科学家专门寻找不同条件或人群的依赖网络之间的差异（例如，不同物种的调节网络之间的差异，或患病人群与健康人群的依赖网络之间的差异）。找到这些差异的标准方法是独立地学习每个条件的依赖网络并比较它们。我们表明，这种方法是容易高错误发现率（低精度），可以使分析无用。然后，我们表明，通过对学习类似的依赖网络的偏见，为每一个条件的错误发现率可以降低到可接受的水平，在找到一个减少的差异数量的成本。迁移学习文献中开发的算法可以用于改变施加的相似性偏差的强度，并提供一种自然的机制来平滑地调整这种差异性的精确度-召回率权衡，以满足所进行的分析的要求。我们提出了真实的案例研究（肿瘤学和神经学），领域专家使用所提出的技术来提取有用的差分网络，揭示了癌症和脑功能中涉及的生物过程。
2013-07-09 cs.LG stat.ML
Exploring Precision and Recall to assess the quality and diversity of LLMs
Miles（迈尔斯机构）；Université Paris-Dauphine（巴黎多芬大学）；Université PSL（巴黎文理研究大学）；CNRS（法国国家科学研究中心）；LAMSADE（巴黎多芬大学计算机科学与决策实验室）；Sorbonne Université（索邦大学）；ISIR（智能与机器人系统研究所）
本文提出将Precision和Recall指标引入LLMs文本生成评估，无需对齐语料库即可细致评估生成文本的质量与多样性，揭示了模型微调时两者的权衡，扩展了基于分布的NLP评估工具包。
2024-06-04 cs.CL cs.LG
Clustering Validation with The Area Under Precision-Recall Curves
Federal University of Santa Catarina（圣卡塔琳娜联邦大学）；RWTH Aachen University Medical School（亚琛工业大学医学院）
本研究将精确率-召回率曲线下面积引入聚类验证，证明其在聚类不平衡时优于现有CVI，并通过实验支持建立监督与无监督学习的统一验证框架。
2023-04-04 cs.LG
On the Geometry of Receiver Operating Characteristic and Precision-Recall Curves
Department of Biomedical Engineering, Georgia Institute of Technology and Emory University（佐治亚理工学院生物医学工程系和埃默里大学）
本文研究二分类问题中ROC和PR曲线的几何特性，揭示常用评估指标与几何结构的关系，提供客观工具优化分类器性能。
2026-04-14 cs.AI cs.LG math.ST
Improved Precision and Recall Metric for Assessing Generative Models
Aalto University（阿尔托大学）；NVIDIA（英伟达）
自动估计生成模型产生的样本的质量和覆盖率的能力是驾驶算法研究的重要要求。我们提出了一个评价指标，可以单独和可靠地测量这两个方面的图像生成任务，形成明确的，非参数表示的流形的真实和生成的数据。我们通过提供几个说明性的例子来证明我们的度量在StyleGAN和BigGAN中的有效性，在这些例子中，现有的度量会产生信息不足或相互矛盾的结果。此外，我们分析了StyleGAN的多个设计变体，以更好地了解模型架构、训练方法和所得样本分布属性之间的关系。在这个过程中，我们确定了改进现有技术的新变体。我们还对截断方法进行了第一次原则性分析，并确定了改进的方法。最后，我们扩展我们的度量来估计单个样本的感知质量，并使用它来研究潜在空间插值。
2019-10-30 cs.LG cs.NE stat.ML
Why Can't I See My Clusters? A Precision-Recall Approach to Dimensionality Reduction Validation
Department of Mathematics and Computer Science, Eindhoven University of Technology（数学与计算机科学系，埃因霍温理工大学）
本文提出基于精确率和召回率的有监督指标，用于验证降维的关系阶段，可指导超参数调优、揭示投影伪影，解决降维中预期聚类结构缺失的问题。
2026-08-21 cs.LG
Local Evaluation of Time Series Anomaly Detection Algorithms
Huawei Technologies Co., Ltd.（华为技术有限公司）
近年来，时间序列异常检测算法的具体评估指标已经被开发出来，以处理经典的精确度和召回率的局限性。然而，这样的度量标准是作为多个期望方面的集合而建立的，引入了参数并消除了输出的可解释性。在这篇文章中，我们首先强调了经典的精度/召回率的局限性，以及最近的基于事件的度量的主要问题-例如，我们表明，对手算法可以达到高精度和召回几乎任何数据集在弱假设。为了解决上述问题，我们提出了一个理论接地，强大的，无参数和可解释的扩展精度/召回指标的基础上，地面真相和预测集之间的“联系”的概念。我们的指标利用地面实况和预测之间的持续时间测量，因此具有直观的解释。通过与随机抽样的进一步比较，我们获得了归一化的精确度/召回率，量化了给定的结果集比随机基线预测好多少。通过构建，我们的方法保持了对地面实况事件的评估，从而实现了对算法结果的细粒度可视化和解释。我们将我们的建议与各种公共时间序列异常检测数据集，算法和指标进行比较。我们进一步推导出理论属性的隶属度量，给出明确的期望，他们的行为，并确保对对手的策略的鲁棒性。
2022-06-27 cs.LG
Probably Approximately Precision and Recall Learning
Stanford（斯坦福大学）；Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究）；Technion（技术学院）；University of Maryland, College Park（马里兰大学 College Park 分校）；Harvard（哈佛大学）
针对仅正例反馈的学习场景，提出PAC框架，以集合函数为假设，证明经典ERM失效，并开发新算法实现最优样本复杂度与乘法近似保证。
2025-10-23 cs.LG stat.ML
Reasoning's Razor: Reasoning Improves Accuracy but Can Hurt Recall at Critical Operating Points in Safety and Hallucination Detection
Apple（苹果公司）
本研究首次系统评估推理在低假阳性率分类任务中的表现，发现推理提升平均准确率但损害关键精度，而关闭推理在精度敏感场景占优，集成两种模式可兼得优势。
2025-10-23 cs.AI cs.CL cs.LG
Online Set Learning from Precision and Recall Feedback
Stanford University（斯坦福大学）；Tel Aviv University and Google Research（特拉维夫大学和谷歌研究）；Technion and Google Research（技术学院和谷歌研究）；University of Maryland（马里兰大学）
本文研究在线集学习问题，通过精确度和召回率反馈最大化累积奖励。证明有限VC维的假设类可学习，算法结构复杂，挑战传统ERM原则，提供现实和非现实设置下的后悔界。
2026-05-10 cs.LG
Surrogate Functions for Maximizing Precision at the Top
Microsoft Research India（微软研究院印度）；Indian Institute of Science（印度科学学院）
在排名列表的顶部最大化精度的问题，通常被称为Precision@k（prec@k），在无数的学习应用中发现了相关性，例如排名，多标签分类和严重标签不平衡的学习。然而，尽管它的普及，存在着显着的差距，我们对这个问题的理解及其相关的性能指标。其中最值得注意的是缺乏prec@k的凸上边界代理。我们也缺乏可扩展的感知器和随机梯度下降算法来优化这个性能指标。在本文中，我们在这些方向的关键贡献。我们结果的核心是prec@k的真正上界代理族。这些代理以原则性的方式被激励，并且享有吸引人的属性，例如在各种自然裕度/噪声条件下的一致性。这些代理人，然后用来设计一类新的感知器算法优化prec@k可证明的错误界。我们还设计了可扩展的随机梯度下降风格的方法，这个问题的可证明的收敛界。我们的证明依赖于新的一致收敛界，这需要深入分析prec@k及其代理的结构特性。最后，我们的实验结果比较我们的算法与国家的最先进的切割平面和随机梯度算法最大化prec@k。
2015-05-26 cs.LG stat.ML
Task-Driven Causal Feature Distillation: Towards Trustworthy Risk Prediction
Ant Group（蚂蚁集团）；University of Virginia（弗吉尼亚大学）
针对风险预测中缺乏因果推理及类别不平衡导致精确率、召回率不佳的问题，提出TDCFD将原始特征转换为任务相关因果归因并用深度神经网络预测，在合成与真实数据集上表现更优。
2024-01-22 cs.AI cs.LG
ppAURORA: Privacy Preserving Area Under Receiver Operating Characteristic and Precision-Recall Curves
University of Tübingen（蒂宾根大学）
针对多源隐私敏感数据下无法精确计算全局AUC的问题，提出基于安全多方计算的ppAURORA方案，通过隐私合并多源排序列表实现精确AUC计算，实验验证了其有效性与可扩展性。
2023-06-15 cs.CR cs.LG
Predicting Louisiana Public High School Dropout through Imbalanced Learning Techniques
Rice University（莱斯大学）
这项研究的动机是路易斯安那州高中辍学问题的严重性及其对个人和公共福祉的负面影响。我们的目标是通过检查路易斯安那州的行政数据集来预测有高中辍学风险的学生。由于数据集的不平衡性质，不平衡学习技术，包括重新排序，案例加权和成本敏感学习已被应用于提高稀有类的预测性能。在这项研究中使用的性能指标是F-措施，召回率和精度的罕见类。我们比较了几种机器学习算法的性能，如神经网络，决策树和装袋树结合不平衡的学习方法使用的管理数据集的大小为366 k+从路易斯安那州教育部。实验结果表明，不平衡学习方法的应用在召回率上取得了较好的效果，但在准确率上有所下降，而不考虑不平衡数据处理的基分类器在准确率上有所提高，但在召回率上表现不佳。不平衡学习技术的整体应用是有益的，但需要更多的研究来提高精度。
2019-10-29 cs.LG stat.ML
Statistical Evaluation of Anomaly Detectors for Sequences
University of Bonn（波恩大学）
虽然精确度和召回率是异常检测的标准性能指标，但它们在顺序检测设置中的统计特性知之甚少。在这项工作中，我们形式化的概念的精度和召回与时间公差的点为基础的异常检测序列数据。这些措施是基于时间容忍混淆矩阵，可用于计算许多其他标准措施的时间容忍的变种。但是，必须注意保持可解释性。我们进行了统计模拟研究，以证明精度和召回率可能会高估的检测器的性能，当计算时间公差。为了缓解这个问题，我们展示了如何获得零分布的两个措施，以评估报告结果的统计意义。
2020-08-13 cs.LG stat.ML
Towards Provable and Scalable Training of Quantized Neural Networks with Ising Optimization
Beijing QBoson Quantum Technology Co., Ltd.（北京QBoson量子科技有限公司）；School of Artificial Intelligence, Beijing Normal University（北京师范大学人工智能学院）
本文提出量子-经典混合量化神经网络，通过量子条件梯度下降算法解决大规模二次约束二元优化问题，提升低比特神经网络训练效率。
2026-09-02 cs.AI cs.LG physics.optics
Why Knowledge Distillation Works in Generative Models: A Minimal Working Explanation
New York University（纽约大学）；Genentech（基因泰克）
本文通过模拟和实验揭示了知识蒸馏在生成模型中通过精度与召回权衡提升生成质量的机制。
2026-01-14 cs.LG
A convnet for non-maximum suppression
Max-Planck Institute for Informatics（马克斯·普朗克信息学研究所）
非最大抑制（NMS）几乎用于所有最先进的目标检测管道。虽然基本的目标检测成分，如功能，分类器和建议的方法已被广泛研究，令人惊讶的是，很少有工作旨在系统地解决NMS。NMS的事实标准基于具有固定距离阈值的贪婪聚类，这迫使在查全率与查准率之间进行权衡。我们提出了一个convnet设计执行NMS的一组给定的检测。我们报告的合成设置上的实验，拥挤的行人检测场景的结果。我们的方法克服了贪婪NMS固有的局限性，获得更好的召回率和精度。
2016-01-08 cs.CV cs.LG
Ensembles-based Feature Guided Analysis
McMaster University（麦斯彻大学）；University of Bergamo（贝拉姆奥大学）
本文提出基于集成的特征引导分析(EFGA)，通过整合特征引导分析(FGA)提取的规则，提升模型的召回率与精度，实验表明EFGA在MNIST和LSC数据集上召回率显著提高。
2026-03-20 cs.LG
Regular Expressions for Fast-response COVID-19 Text Classification
Facebook Inc.（脸书公司）
文本分类器是许多NLP应用程序的核心，使用各种算法方法和软件。本文介绍了基于大规模正则表达式的文本分类器的基础设施和方法。特别是，我们描述了Facebook如何确定一段给定的文本-从标签到帖子-是否属于一个狭窄的主题，如COVID-19。为了完全定义主题并评估分类器性能，我们采用人工指导的关键字发现迭代，但不需要标记数据。对于COVID-19，我们构建了两组正则表达式：（1）针对66种语言，精确度> 99%，召回率> 50%;（2）针对11种最常见的语言，精确度>90%，召回率> 90%。正则表达式支持来自多个平台的低延迟查询。对COVID-19等挑战的反应很快，修订也很快。与DNN分类器的比较显示了可解释的结果，更高的精度和召回率，以及更少的过拟合。我们的学习可以应用于其他窄主题分类器。
2021-06-21 cs.CL cs.LG cs.SI
Improving Diversity in Language Models: When Temperature Fails, Change the Loss
CNRS（法国国家科学研究中心）；Meta FAIR
针对提高temperature无法有效提升语言模型多样性的问题，提出利用Precision-Recall框架重新思考loss functions，在Precision和Recall之间实现了比temperature scaling更好的权衡。
2025-08-13 cs.CL cs.LG
Transfer learning for cancer diagnosis in histopathological images
Universiti Brunei Darussalam（文莱达鲁萨兰大学）
迁移学习允许我们利用从一个任务中获得的知识来帮助解决另一个相关的任务。在现代计算机视觉研究中，问题是哪种架构对于给定的数据集表现更好。在本文中，我们比较了14个预先训练的ImageNet模型在组织病理学癌症检测数据集上的性能，其中每个模型都被配置为朴素模型，特征提取器模型或微调模型。Densenet 161具有高精度，而Resnet 101具有高召回率。当随访检查成本高时，适合使用高精度模型，而当随访检查成本低时，可以使用低精度但高召回率/灵敏度模型。结果还表明，迁移学习有助于更快地收敛模型。
2021-12-31 cs.CV cs.LG eess.IV
Fourier Feature Methods for Nonlinear Causal Discovery: FFML Scoring, TRFF Scoring, and FFCI Testing in Mixed Data
Department of Philosophy（哲学系）
本文提出三种基于随机傅里叶特征的方法，用于非线性因果发现，包括FFML评分、TRFF评分和FFCI测试，适用于混合数据，提升因果发现的效率和精度。
2026-05-10 cs.AI cs.LG stat.ML
Efficient Precision Control in Object Detection Models for Enhanced and Reliable Ovarian Follicle Counting
Capgemini Invent（凯捷创新）；Paris-Saclay University（巴黎-萨克雷大学）；Université Paris-Saclay（巴黎-萨克雷大学）；AP-HP（巴黎公共医疗集团）；INSERM（法国国家健康与医学研究院）
本研究提出一种模型无关的上下文决策阈值选择方法，结合多重检验程序控制精度，提升卵巢卵泡计数模型的F1分数，无需重新训练即可增强性能。
2025-01-23 cs.LG
AI-Driven Early Warning Systems for Student Success: Discovering Static Feature Dominance in Temporal Prediction Models
Data Science and Computer Applications（数据科学与计算机应用）；Manipal Institute of Technology, MAHE（马那尔理工学院，MAHE）；Computer Science and Engineering（计算机科学与工程）；Shiv Nadar University（施瓦尔纳德大学）
本研究提出基于AI的学生成就早期预警系统，发现静态特征在时间预测模型中主导预测，LSTM模型在早期干预中表现优异，而决策树在中期表现稳定。
2025-12-13 cs.LG
Convolutional Neural Networks in Multi-Class Classification of Medical Data
University of Ottawa（渥太华大学）；Dalhousie University（达尔豪斯大学）
我们报告应用卷积神经网络（CNN）的多分类的大型医疗数据集的分类。我们详细讨论了CNN模型和数据预处理的变化如何影响分类结果。最后，我们介绍了一个集成模型，该模型由深度学习（CNN）和浅层学习模型（梯度提升）组成。该方法实现了64.93的准确率，这是我们在这项研究中实现的最高三级分类准确率。我们的研究结果还表明，CNN和集成一致地获得了比精确度更高的召回率。最高召回率为68.87，而最高精度为65.04。
2020-12-28 cs.LG
Exact Reformulation and Optimization for Direct Metric Optimization in Binary Imbalanced Classification
Department of Computer Science and Engineering, University of Minnesota, USA（明尼苏达大学计算机科学与工程系）；School of Statistics, University of Minnesota, USA（明尼苏达大学统计学系）；Department of Industrial Engineering and Operations Research, University of California, Berkeley, USA（加州大学伯克利分校工业工程与运筹学系）
本文针对二元不平衡分类的三类直接度量优化问题，首次提出精确约束重构方法，结合精确罚函数法求解，在基准数据集上优于现有最优方法，其框架可扩展至更多相关问题。
2026-08-19 cs.LG stat.ML
Clustering-Based Collaborative Filtering Using an Incentivized/Penalized User Model
Dankook University（檀国大学）；Yonsei University（延世大学）；University of Suwon（水原大学）；Hanyang University（汉阳大学）
基于用户体验的质量给出或推荐合适的内容是推荐系统中最重要和最具挑战性的问题。由于协同过滤（CF）是推荐系统中最突出和最流行的技术之一，我们提出了一种新的基于聚类的CF（CBCF）方法，使用一个激励/惩罚用户（IPU）模型，只有用户给出的评级，这是很容易实现的。我们的目标是设计这样一个简单的基于聚类的方法，没有进一步的先验信息，同时提高推荐的准确性。准确地说，使用IPU模型的CBCF的目的是通过仔细利用用户之间的不同偏好来提高推荐性能，例如精确度，召回率和$F_1$分数。具体来说，我们制定了一个约束优化问题，我们的目标是最大限度地提高召回率（或相当于$F_1$分数）为一个给定的精度。为此，根据实际评分数据和Pearson相关系数将用户划分为几个聚类。之后，我们给每个项目的奖励/惩罚，根据用户的偏好倾向在同一个集群。我们的实验结果表明，一个显着的性能改善基线CF计划没有聚类的召回或$F_1$分数为给定的精度。
2019-05-01 cs.IR cs.LG cs.MA
Reducing audio membership inference attack accuracy to chance: 4 defenses
Lab41, In-Q-Tel（Lab41，In-Q-Tel）
了解机器学习模型的隐私和鲁棒性漏洞是至关重要的，因为它们的实现范围在扩大。在成员推断攻击中，攻击者可以确定特定的数据集是否用于训练，从而将数据的隐私置于危险之中。现有的工作主要集中在图像相关的任务，我们概括了这种类型的攻击音频样本上的说话人辨识。实验结果表明，对LibriSpeech的攻击准确率为85.9%，召回率为90.8%，对VOiCES（Voices Obscured in Complex Environmental Settings）的攻击准确率为78.3%，召回率为90.7%.我们发现，实施防御，如预测混淆，防御蒸馏或对抗性训练，可以降低攻击的准确性。
2019-10-31 cs.CR cs.LG eess.AS
