Lasso type classifiers with a reject option
Marten Wegkamp
我们考虑二进制分类的问题，其中一个可以，为特定的成本，选择不分类的观察。我们提出了一个简单的证明预言不等式的结构风险最小化的超额风险使用套索型罚款。
We consider the problem of binary classification where one can, for a particular cost, choose not to classify an observation. We present a simple proof for the oracle inequality for the excess risk of structural risk minimizers using a lasso type penalty.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
继续探索
Accept-Reject Lasso
针对Lasso在高相关特征下的不稳定问题，提出接受-拒绝套索（ARL），通过聚类子集分析区分真假相关，接受信息特征并拒绝冗余特征，提升模型稳定性。
Efficient proximal gradient algorithms for joint graphical lasso
我们考虑从稀疏数据中学习无向图模型。虽然已经提出了几种有效的算法，图形套索（GL），交替方向法的乘法器（ADMM）是主要的方法，采取有关联合图形套索（JGL）。我们提出了近端梯度程序，有和没有一个回溯选项的JGL。这些程序是一阶的，相对简单，子问题的解决有效地在封闭的形式。进一步证明了JGL问题解的有界性和算法中的迭代次数。数值结果表明，所提出的算法可以达到较高的精度和准确度，其效率是竞争的最先进的算法。
High-dimensional additive hazard models and the Lasso
本文考虑了非渐近情形下的一般高维可加性风险模型，包括删失数据的回归。在这种情况下，我们考虑一个完全数据驱动的$\ell_1$惩罚的Lasso估计器，它是针对手头的估计问题而调整的。我们证明了这个估计尖锐的甲骨文不等式。我们的分析涉及一个新的“数据驱动”伯恩斯坦不等式，该不等式具有独立的意义，其中可预测的变化被可选择的变化所取代。
ROS Regression: Integrating Regularization and Optimal Scaling Regression
在本文中，我们结合了普通最小二乘回归的两个重要扩展：正则化和最优尺度。最优缩放（有时也称为最优评分）最初是为分类数据开发的，该过程为回归模型找到最佳类别的量化，因为它们最大化了多重相关性。虽然最优尺度方法最初是为有限类别的变量开发的，但连续变量的最优变换是一种特殊情况。我们将考虑各种变换类型;通常我们对分类变量使用阶跃函数，对连续变量使用光滑（样条）函数。这两种类型的函数都可以被限制为单调的，保留数据中的序数信息。除了最优缩放，还将考虑三种正则化方法：岭回归、Lasso和弹性网。这种方法被称为ROS回归（Regularized Optimal Scaling Regression）。我们将展示基本OS算法提供了正则化回归系数的简单有效的估计，自动给出了组Lasso和Battlefield稀疏回归，并扩展了它们的单调性。我们将证明，最优尺度线性化了预测变量和结果之间的非线性关系，并改善了预测变量相关矩阵的条件，增加了（平均而言）预测变量的条件独立性。提到了回归系数或类别量化的正则化的替代选项。提供了扩展的例子。保留字：分类数据，最佳尺度，条件独立，阶跃函数，样条，单调变换，正则化，套索，弹性网，组套索，Battlefield稀疏回归。
Solar: $L_0$ solution path averaging for fast and accurate variable selection in high-dimensional data
我们提出了一个新的变量选择算法，子样本排序最小角度回归（太阳），和它的坐标下降推广，太阳cd。Solar使用$L_0$范数重建套索路径，并对子样本之间的结果解路径求平均值。路径平均保留了信息变量的排名信息，同时平均了对高维的敏感性，提高了变量选择的稳定性，效率和准确性。我们证明：（i）以高概率，路径平均在平均$L_0$路径上完美地将信息变量与冗余变量分离;（ii）太阳变量选择是一致和准确的;以及（iii）太阳忽略弱信号的概率对于有限的样本量是可控的。我们还证明：（i）太阳能产量，在小于lasso计算负荷的$1/3$的情况下，在稀疏性方面相对于lasso有实质性改进（ii）与Lasso安全/强规则和变量筛选相比，Solar在很大程度上避免了冗余变量的选择和在存在复杂依赖结构的情况下对信息变量的拒绝;（iii）太阳能的稀疏性和稳定性保存了数据分裂假设检验的剩余自由度，提高了对具有有限$n$的弱信号的选择后推断的准确性;（iv）在自举选择中用太阳能代替套索（例如，bolasso或稳定性选择）产生多层变量排序方案，其在仅一个套索实现的计算负载的情况下改善选择稀疏性和排序准确性;以及（v）给定计算资源，太阳能自举选择比并行化自举套索的理论最大加速（由Amdahl定律确认）快得多（计算时间低98%）。
On Consistency of Signature Using Lasso
本文研究了使用Lasso回归的签名一致性，理论和数值分析表明，Lasso在有限样本和渐近情况下的一致性取决于时间序列过程与布朗运动的接近程度及维度相关性。
Bootstrap Adaptive Lasso Solution Path Unit Root Tests
本研究提出筛野生bootstrap自适应Lasso解路径单位根检验方法，改善有限样本性质并支持非平稳波动率场景，缓解量扭曲且恢复有效推断，应用于欧元区房价发现平稳性具时期特异性。
Adaptive Unit Root Inference in Autoregressions using the Lasso Solution Path
本文利用自适应Lasso解路径的激活结点提出免选择的单位根检验，其局部备择功效优于后选择推断，并在德国地下水位数据中拒绝随机趋势解释长期下降。
Infinite-Dimensional Sparse Learning in Linear System Identification
正则化方法已被广泛应用于模型结构未知的系统辨识问题。提出了一种基于原子范数正则化的无限维稀疏学习算法。原子范数正则化将传递函数分解为一阶原子模型，并解决选择稀疏极点集并识别相应系数的组套索问题。解决这个问题的困难在于存在无限多的可能的原子模型。这项工作提出了一个贪婪算法，产生新的候选原子模型最大限度地违反现有问题的最优性条件。该算法能够高精度地求解无限维群套索问题。通过迭代加权自适应群Lasso和互补对稳定性选择，进一步扩展了该算法，以减小极点位置估计的偏差和抑制误报。数值结果表明，该算法在脉冲响应拟合和极点位置估计方面都优于基准参数化和正则化方法。
Estimating optimal interpretable individualized treatment regimes from a classification perspective using adaptive LASSO
本文提出了一种基于自适应LASSO的算法，用于从现实世界数据中估计最优可解释的个性化治疗方案，通过稀疏性和可解释性平衡提升模型性能。
Online Active Learning of Reject Option Classifiers
主动学习是监督学习中减少标记样本数量的一种重要技术。二进制分类的主动学习在机器学习中已经得到很好的解决。然而，拒绝选项分类器的主动学习仍然没有解决。在本文中，我们提出了新的算法的主动学习拒绝选项分类。我们开发了一种使用双斜坡损失函数的主动学习算法。给出了算法的误差界。我们还提出了一种新的损失函数，称为双S形损失函数的拒绝选项和相应的主动学习算法。我们提供了一个收敛保证该算法。我们提供了大量的实验结果来证明所提出的算法的有效性。所提出的算法有效地减少了所需的标签示例的数量。
Regression with reject option and application to kNN
我们研究的问题，回归，其中一个是允许放弃预测。我们把这个框架称为带有拒绝选项的回归，作为带有拒绝选项的分类的扩展。在这种情况下，我们专注于拒绝率是固定的情况下，推导出依赖于阈值的条件方差函数的最佳规则。我们提供了一个半监督估计过程的最佳规则，涉及两个数据集：第一个标记的数据集是用来估计回归函数和条件方差函数，而第二个未标记的数据集是用来校准所需的拒绝率。由此产生的预测与拒绝选项被证明是几乎一样好的最佳预测与拒绝选项的风险和拒绝率。我们还应用我们的方法与kNN算法，并建立在温和的条件下所产生的kNN预测的收敛速度。最后，进行了数值研究，以说明使用所提出的程序的好处。
SelectiveNet: A Deep Neural Network with an Integrated Reject Option
我们考虑了深度神经网络中的选择性预测（也称为拒绝选项）问题，并引入了SelectiveNet，这是一种具有集成拒绝选项的深度神经架构。现有的拒绝机制主要基于预先训练的网络的预测置信度的阈值。相比之下，SelectiveNet经过训练，可以同时优化分类（或回归）和拒绝，端到端。结果是在覆盖域上优化的深度神经网络。在我们的实验中，我们在几个著名的分类和回归数据集上显示了持续改进的风险覆盖权衡，从而达到了深度选择性分类的最新结果。
Partial-Label Learning with a Reject Option
针对部分标签学习中错误预测可能带来的严重后果，提出一种带拒绝选项的、风险一致的最近邻算法，在拒绝不确定预测的同时，实现非拒绝预测数量与准确率的最佳权衡。
Classification with Reject Option: Distribution-free Error Guarantees via Conformal Prediction
本文基于共形预测（CP）形式化了二元分类中的拒绝选项方法，通过仅接受单例预测将CP转化为带拒绝选项的分类器，并推导了无分布的误差率理论保证与有限样本估计，最后通过数值示例和错误-拒绝曲线展示了不同设置下的表现与权衡。
ATRO: Adversarial Training with a Rejection Option
本文提出了一种带有拒绝选项的分类框架，以减轻对抗性样本造成的性能恶化。虽然最近的机器学习算法实现了高预测性能，但它们在经验上容易受到对抗性示例的影响，这些示例是被错误分类的轻微扰动的数据样本。在现实世界的应用中，使用这种对抗性示例的对抗攻击可能会导致严重的问题。为此，提出了各种方法来获得对对抗性示例具有鲁棒性的分类器。对抗训练就是其中之一，它训练分类器以最小化对抗攻击下的最坏情况损失。为了获得更可靠的分类器来抵抗对抗攻击，本文提出了带有拒绝选项的对抗训练方法（ATRO）。将对抗训练目标同时应用于分类器和拒绝函数，当ATRO训练的分类器对测试数据点分类的置信度不足时，可以选择放弃分类。我们研究的框架使用代理最大铰链损失的可行性，并建立了线性模型的泛化界。此外，我们使用各种模型和真实世界的数据集，从经验上证实了ATRO的有效性。
Prediction modelling with many correlated and zero-inflated predictors: assessing a nonnegative garrote approach
本研究提出ridge-garrote两阶段正则化方法，显式建模零膨胀相关预测变量，在模拟和真实质谱数据中实现更简洁的预测变量选择，预测性能损失极小。
Consistent Algorithms for Multiclass Classification with a Reject Option
我们考虑的问题$n$类分类（$n\geq 2$），其中的分类器可以选择弃权作出预测在给定的成本，说，一个因素$α$的成本误分类。设计一致的算法，如$n$类的分类问题与“拒绝选项”是本文的主要目标，从而扩展和推广以前已知的结果$n=2$。我们表明，Crammer-Singer代理和一个与所有铰链损失，虽然与标准的argmax不同的预测，产生一致的算法，这个问题时，$α=\frac{1}{2}$。更有趣的是，我们设计了一个新的凸代理，也是一致的这个问题时，$α=\frac{1}{2}$和操作的低得多的维空间（$\log(n)$，而不是$n$）。我们还概括了所有三个代理是一致的任何$α\in[0, \frac{1}{2}]$。
On Reject and Refine Options in Multicategory Classification
在统计学习的许多实际应用中，由于误分类而做出的决策可能代价太高;在这种情况下，拒绝选项（将决策推迟到进行进一步调查）通常是首选。近年来，带有拒绝选项的二进制分类有了很大的发展。然而，在多类别案件方面进展甚微。在这篇文章中，我们提出了基于边缘的多类别分类方法与拒绝选项。此外，更重要的是，我们为多类别问题引入了一个新的独特的细化选项，其中观察的类别被预测为来自一组类别标签，其基数不一定是1。这两个选项的主要优点在于它们能够识别容易出错的观测结果。此外，细化选项可以通过有效地排除不可信的类来为分类提供更具建设性的信息。已经开发了有效的实施所提出的方法。在理论方面，我们提供了一种新的统计学习理论，并显示出快速收敛速度的过剩$\ell$ -风险，我们的方法，重点是分散的维度和数量的类。在低噪声假设下，结果可以进一步改善。一组全面的模拟和真实数据的研究表明，新的学习工具相比，定期多类别分类器的有用性。详细的证明定理和扩展的数值结果包括在补充材料在线提供。
Towards Calibrated Losses for Adversarial Robust Reject Option Classification
本文研究对抗扰动且允许弃权（不执行）预测场景下的分类问题，提出对抗鲁棒拒绝选项损失，给出替代损失的校准表征，并证明 Shifted DRL 和 DSL 满足校准条件且具有鲁棒性。
Clustering with a Reject Option: Interactive Clustering as Bayesian Prior Elicitation
一个好的聚类可以帮助数据分析师探索和理解数据集，但是什么是好的聚类可能取决于特定于领域和特定于应用程序的标准。这些标准可能很难正式化，即使分析师在看到一个集群时很容易知道一个好的集群。我们提出了一种新的方法来交互式聚类数据探索，称为\ciif，基于一个特别简单的反馈机制，在该机制中，分析师可以选择拒绝个别集群，并要求新的。新的聚类应该与以前拒绝的聚类不同，同时仍然很好地拟合数据。我们正式这种互动在一个新的贝叶斯先验启发框架。在每次迭代中，先验被适配为考虑所有先前的反馈，然后从后验分布产生新的聚类。为了实现必要的交互式设置的计算效率，我们提出了一种增量优化方法，使用拉格朗日松弛的数据minibatches。实验表明，\ciif可以产生准确和多样的聚类。
EERO: Early Exit with Reject Option for Efficient Classification with limited budget
本文提出EERO方法，将早退问题转化为带弃权选项的多分类器选择问题，通过指数权重聚合校准退出概率以保证固定预算，并在Cifar和ImageNet上验证了其在预算管理和准确率提升方面的有效性。
Clustering with a Reject Option: Interactive Clustering as Bayesian Prior Elicitation
一个好的聚类可以帮助数据分析师探索和理解数据集，但是什么是好的聚类可能取决于特定于领域和特定于应用程序的标准。这些标准可能很难形式化，即使分析师在看到一个集群时很容易知道一个好的集群。我们提出了一种新的方法，称为TINDER的数据探索的交互式聚类，基于一个特别简单的反馈机制，在该机制中，分析师可以拒绝给定的聚类，并要求一个新的，这是选择从以前的聚类不同，同时适合的数据。我们在贝叶斯框架中将这种相互作用形式化为先前启发的方法，其中每个不同的聚类由经过修改以阻止先前拒绝的聚类的先验分布产生。我们表明，TINDER成功地产生了一组不同的聚类，每个质量相当，这是更多样化的比随机重新启动。
Sensitivity analysis of Wasserstein distributionally robust optimization problems
考虑一般随机最优化问题对模型不确定性的敏感性。我们采取非参数的方法，并捕获模型的不确定性，使用Wasserstein球周围的假设模型。我们提供了明确的一阶校正的值函数和优化公式，并进一步将我们的结果推广到线性约束下的优化。我们目前的应用统计，机器学习，数学金融和不确定性量化。特别是，我们提供了明确的平方根LASSO回归系数的一阶近似和推导系数收缩相比，普通的最小二乘回归。我们考虑了看涨期权定价的鲁棒性，并推导出一个新的Black-Scholes灵敏度，即所谓Vega的非参数版本。我们还计算了金融中优化的确定性等价物的敏感性，并提出了量化神经网络对对抗性示例的鲁棒性的措施。
Using distance covariance for improved variable selection with applications to genetic risk models
在许多科学领域中，变量选择对于解决高维问题越来越重要。在本文中，我们证明了距离协方差的属性，它被纳入一个新的功能筛选过程中使用的距离相关。该方法没有分布假设的变量，不需要规范的回归模型，因此是特别有吸引力的变量选择给定的候选属性的数量巨大，而没有太多的信息与响应的真实模型。该方法被应用到两个遗传风险问题，其中问题包括通过交叉验证变量选择的不确定性，分组的难以分类的情况下，拒绝选项的应用进行了讨论。
Prospect Theory Based Crowdsourcing for Classification in the Presence of Spammers
我们认为，通过众包的$M$ -ary分类问题，其中人群工作人员响应简单的二进制问题和答案通过决策融合聚合。当工人不具备专业知识或正确回答问题的信心较低时，他们可以选择拒绝回答问题。我们进一步认为，在人群中有垃圾邮件发送者，他们对问题的回答是随机猜测。在鼓励拒绝选项的支付机制下，我们研究了诚实工人和垃圾邮件发送者的行为，他们的目标是最大化他们的金钱回报。为了准确地描述人类的行为方面，我们采用前景理论建模的合理性的人群工作者，其感知的成本和概率被扭曲的基础上，一些价值和权重函数，分别。此外，我们估计垃圾邮件发送者的数量，并采用加权多数表决决策规则，我们分配给每个工人的最佳权重，以最大限度地提高系统的性能。推导出正确分类的概率和渐进系统性能。我们还提供了仿真结果来证明我们的方法的有效性。
SCRIB: Set-classifier with Class-specific Risk Bounds for Blackbox Models
尽管深度学习（DL）在分类问题上取得了成功，但DL分类器并没有提供一个合理的机制来决定何时避免预测。最近的工作试图控制与拒绝选项的分类的整体预测风险。然而，现有的作品忽略了不同类的不同意义。为了解决这个问题，我们引入了具有类特定RIsk边界的集合分类器（SCRIB），为每个示例分配多个标签。给定验证集上黑盒模型的输出，SCRIB构造了一个集分类器，该集分类器在理论保证下控制特定于类的预测风险。关键思想是当集合分类器返回多个标签时拒绝。我们在几个医疗应用中验证了SCRIB，包括基于脑电图（EEG）数据的睡眠分期、X射线COVID图像分类和基于心电图（ECG）数据的房颤检测。SCRIB获得了理想的类特异性风险，比基线方法更接近目标风险35%~ 88%。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈
发表机构由 AI 从论文文本抽取，如发现错误，欢迎反馈修正建议。