We introduce a framework for online changepoint detection and simultaneous model learning which is applicable to highly parametrized models, such as deep neural networks. It is based on detecting changepoints across time by sequentially performing generalized likelihood ratio tests that require only evaluations of simple prediction score functions. This procedure makes use of checkpoints, consisting of early versions of the actual model parameters, that allow to detect distributional changes by performing predictions on future data. We define an algorithm that bounds the Type I error in the sequential testing procedure. We demonstrate the efficiency of our method in challenging continual learning applications with unknown task changepoints, and show improved performance compared to online Bayesian changepoint detection.
Exact Post-Selection Inference for Changepoint Detection and Other Generalized Lasso Problems
我们研究了基于广义Lasso正则化路径定义的模型选择事件的推理工具，广义Lasso估计由惩罚最小二乘回归问题的解给出，其中惩罚是矩阵D的l1范数乘以系数向量。广义套索路径收集了一系列惩罚参数（λ）值的这些估计值。利用Tibshirani & Taylor（2011）对该路径的顺序表征，以及Lee et al.（2016），Tibshirani et al.（2016）在选择后推断方面的最新进展，我们为潜在平均向量的线性对比开发了精确的假设检验和置信区间，以沿广义套索路径的任何模型选择事件为条件（假设观测值中存在高斯误差）。通过检查D的特定选择，我们获得了广义套索估计的特定情况下的后选择检验和置信区间，如融合套索，趋势滤波和图形融合套索。在融合套索的情况下，平均值的基本坐标被分配一个线性排序，我们的框架允许我们选择性地测试这些平均值坐标中的断点或变点。这是一个有趣的和研究广泛的应用问题，我们的框架应用于趋势过滤和图形融合套索服务以及几个应用程序。除了选择性推理工具的发展，我们描述了我们的方法的几个实际方面，如有效的后处理的广义估计进行推理之前，以提高功率，和特定问题的可视化援助，可以给数据分析师，他/她选择线性对比进行测试。许多例子，无论是从模拟和真实的数据源，我们的推理方法的经验性质进行检查。
Booth School of Business, University of Chicago（芝加哥大学布斯商学院）；Department of Systems Engineering and Operations Research, George Mason University（乔治梅森大学系统工程与操作研究系）；School of Information Systems, Muma College of Business, University of South Florida（南佛罗里达大学穆马商学院信息系统学院）
QAM: Quadratic-Accurate Checkpoint Merging via Sequential Consistency
University of Wisconsin – Madison（威斯康星大学麦迪逊分校）；Baidu Inc.（百度公司）；University of Arizona（亚利桑那大学）；University of Toronto（多伦多大学）；Wilfrid Laurier University（威尔弗里德·劳里埃大学）；York University（约克大学）
