arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2301.04378cs.LG
收藏

预测模型的损失控制校准

Loss-Controlling Calibration with Asymptotic Guarantees

Tianjin University(天津大学);Shandong University of Technology(山东理工大学);Shandong University of Traditional Chinese Medicine(山东中医药大学);Hefei University of Technology(合肥工业大学)

Di Wang, Yujin Li, Junzhi Shi, Pingping Wang, Shuo Zhuang, Hongyue Li

AI总结:

本文提出面向可交换数据的损失控制校准框架,通过保持可交换性的变换获得有限样本保证,并用近似方法构建适用于一般损失函数的预测器。

摘要:

我们提出了一个用于校准预测模型的学习框架,以便对可交换数据进行损失控制预测,该框架将我们最近提出的保形损失控制预测扩展到更一般的情形。相比之下,由所提出的损失控制方法构建的预测器并不局限于集合预测器,并且损失函数可以是任意可测函数,无需单调性假设。为了以高效的方式控制损失值,我们引入了保持可交换性的变换,以证明在获得测试标签时的有限样本控制保证,随后开发了一种近似方法来构建预测器。这些变换可以建立在任意预定义函数之上,其中包括使用优化算法进行参数搜索。该方法是保形损失控制预测的自然扩展,因为当集合预测器具有嵌套性质且损失函数单调时,它可以退化为后者。我们将所提出的方法应用于选择性回归和高影响天气预报问题,证明了其在一般损失控制预测中的有效性。

英文摘要:

We propose a learning framework for calibrating predictive models to perform loss-controlling prediction, which extends our proposed conformal loss-controlling prediction framework to more general settings. In contrast to existing methods, the predictors built by the proposed approach are not restricted to set-valued predictors, and the loss function can be any measurable function without requiring monotonicity assumptions. The approach is a natural extension of conformal loss-controlling prediction, since it reduces to the latter when the predictors are set-valued with the nesting property and the losses are monotone. The loss-controlling guarantee of the proposed framework is established in the asymptotic setting and is empirically verified in selective regression and high-impact weather forecasting, demonstrating its effectiveness for the domains requiring general loss-controlling prediction.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑