本文提出一种基于训练数据独立划分重训练分类器的简单方法，仅依赖单个超参数即可有效提升深度神经网络的最差组性能，且在图像和文本分类基准上优于 group DRO 和 JTT 等基线。
摘要：
通过最小化平均风险训练的深度神经网络能够取得出色的平均性能。然而，如果某个子群在整体数据总体中代表性不足，其性能可能会下降。组分布鲁棒优化（Sagawa et al., 2020a），简称 group DRO，是学习具有强最差组性能模型的广泛使用的基线。我们注意到，该方法在训练时需要为每个样本提供组标签，并且可能会过拟合小群体，需要强正则化。在训练时组标签数量有限的情况下，Just Train Twice（Liu et al., 2021），简称 JTT，是一种两阶段方法，首先为每个未标记样本推断伪组标签，然后基于推断的组标签应用 group DRO。该推断过程也对过拟合敏感，有时涉及额外的超参数。本文基于在训练数据的独立划分上重训练分类器的思想，设计了一种简单的方法。我们发现，在微调步骤中使用一种新颖的样本划分程序可以实现鲁棒的最差组性能。在基准图像和文本分类任务上进行评估时，无论是在训练期间提供组标签还是仅在验证集中给出组标签，我们的方法在与 group DRO、JTT 及其他强基线相比时均表现良好。重要的是，我们的方法仅依赖于单个超参数，该参数调整用于训练特征提取器与训练分类层的标签比例。我们通过最差组损失的泛化误差界分析论证了该划分方案的合理性。
英文摘要：
Deep neural networks trained by minimizing the average risk can achieve strong average performance. Still, their performance for a subgroup may degrade if the subgroup is underrepresented in the overall data population. Group distributionally robust optimization (Sagawa et al., 2020a), or group DRO in short, is a widely used baseline for learning models with strong worst-group performance. We note that this method requires group labels for every example at training time and can overfit to small groups, requiring strong regularization. Given a limited amount of group labels at training time, Just Train Twice (Liu et al., 2021), or JTT in short, is a two-stage method that infers a pseudo group label for every unlabeled example first, then applies group DRO based on the inferred group labels. The inference process is also sensitive to overfitting, sometimes involving additional hyperparameters. This paper designs a simple method based on the idea of classifier retraining on independent splits of the training data. We find that using a novel sample-splitting procedure achieves robust worst-group performance in the fine-tuning step. When evaluated on benchmark image and text classification tasks, our approach consistently performs favorably to group DRO, JTT, and other strong baselines when either group labels are available during training or are only given in validation sets. Importantly, our method only relies on a single hyperparameter, which adjusts the fraction of labels used for training feature extractors vs. training classification layers. We justify the rationale of our splitting scheme with a generalization-bound analysis of the worst-group loss.
University of Alberta（阿尔伯塔大学）；King Abdul-Aziz University（阿卜杜勒阿齐兹国王大学）；Systems Research Institute, Polish Academy of Science（波兰科学院系统研究所）；Johannes Kepler University（约翰内斯开普勒大学）；Nanyang Technological University（南洋理工大学）
SOUL: An Energy-Efficient Unsupervised Online Learning Seizure Detection Classifier
University of California at Berkeley（加州大学伯克利分校）；University of the Philippines Diliman（菲律宾大学迪利曼分校）；Chan-Zuckerberg Biohub（陈-扎克伯格生物中心）
记录神经活动和检测癫痫发作的植入式装置已被采用来发出警告或触发神经刺激以抑制癫痫发作。典型的癫痫发作检测系统依赖于高精度离线训练的机器学习分类器，当癫痫发作模式在长时间内发生变化时，这些分类器需要手动重新训练。对于可植入的癫痫发作检测系统，可以采用低功率、在边缘的在线学习算法来动态地适应神经信号漂移，从而在没有外部干预的情况下保持高精度。本文提出了SOUL：基于随机梯度下降的在线无监督Logistic回归分类器。在初始离线训练阶段之后，原位应用连续在线无监督分类器更新，这提高了具有漂移癫痫发作特征的患者的灵敏度。SOUL在两个人类脑电图（EEG）数据集上进行了测试：CHB-MIT头皮EEG数据集和长（>100小时）NeuroVista颅内EEG数据集。两个数据集的平均灵敏度分别为97.5%和97.9%，特异性>95%。与典型的癫痫发作检测分类器相比，长期数据的灵敏度最多提高8.2%。SOUL是在台积电的28纳米工艺中制造的，占地0.1 mm 2，并实现了1.5 nJ/分类的能效，比最先进的能效至少高出24倍。
A Strong Balanced-Softmax Classifier-Retraining Baseline for Long-Tailed Recognition
CICATA Querétaro Instituto Politecnico Nacional（国立理工学院克雷塔罗中心研究与高级研究中心）；Facultad de Informática Universidad Autónoma de Querétaro（克雷塔罗自治大学信息学院）；Escuela Nacional de Estudios Superiores Universidad Nacional Autónoma de México（国立自治大学高等研究学校）
To Split or Not to Split: The Impact of Disparate Treatment in Classification
Harvard University（哈佛大学）；Instituto de Investigaciones en Matemáticas Aplicadas y en Sistemas (IIMAS), Universidad Nacional Autónoma de México（墨西哥国立自治大学应用数学与系统研究所（IIMAS））
Similarity Based Stratified Splitting: an approach to train better classifiers
Universidade Federal de Pernambuco（伯南布哥联邦大学）；Instituto Federal de Educação, Ciência e Tecnologia de Pernambuco（伯南布哥联邦教育科学技术学院）；Universidade de Pernambuco（伯南布哥大学）
Unlearning Evaluation through Subset Statistical Independence
University of Queensland（昆士兰大学）；University of Melbourne（墨尔本大学）；Adelaide University（阿德莱德大学）；RIKEN Center for Advanced Intelligence Project（日本理化学研究所先进智能项目中心）
Post-Training Quantization of Generative and Discriminative LSTM Text Classifiers: A Study of Calibration, Class Balance, and Robustness
School of Mathematical and Data Sciences（数学与数据科学学院）；West Virginia University（西弗吉尼亚大学）；Department of Industrial and Management Systems Engineering（工业与管理系统工程系）
SLCA: Slow Learner with Classifier Alignment for Continual Learning on a Pre-trained Model
University of Technology Sydney（悉尼科技大学）；Tsinghua University（清华大学）；Beihang University（北京航空航天大学）；Zhongguancun Laboratory（中关村实验室）；Beijing Jiaotong University（北京交通大学）
Enhanced Image Classification With a Fast-Learning Shallow Convolutional Neural Network
University of South Australia（南澳大学）；Institute for Telecommunications Research（电信研究所）；School of Information Technology and Mathematical Sciences（信息技术与数学科学学院）
