自监督学习解决了许多有监督方法面临的难题，即需要大量标注数据。这一挑战在脑电图（EEG）研究等领域尤为突出。自监督学习则通过利用由前置任务生成的伪标签来工作，以获取丰富且有意义的数据表示。在本研究中，我们旨在引入一种在时域和频域同时运行的双流前置任务架构。具体而言，我们研究了将新型的Frequency Similarity（FS，频率相似度）前置任务整合到两个现有前置任务——Relative Positioning（RP，相对定位）和Temporal Shuffling（TS，时间打乱）——中的效果。我们使用Physionet Challenge 2018（PC18）数据集，在下游任务睡眠阶段分类的场景下评估了这些模型的准确率。加入FS任务后，下游任务准确率得到了显著提升：在RP基础上提升了1.28%，在TS基础上提升了2.02%。此外，使用Uniform Manifold Approximation and Projection（UMAP，均匀流形近似与投影）对学习到的嵌入进行可视化时，出现了清晰的聚类，表明学习到的表示承载了有意义的信息。
英文摘要：
Self-supervised learning addresses the challenge encountered by many supervised methods, i.e. the requirement of large amounts of annotated data. This challenge is particularly pronounced in fields such as the electroencephalography (EEG) research domain. Self-supervised learning operates instead by utilizing pseudo-labels, which are generated by pretext tasks, to obtain a rich and meaningful data representation. In this study, we aim at introducing a dual-stream pretext task architecture that operates both in the time and frequency domains. In particular, we have examined the incorporation of the novel Frequency Similarity (FS) pretext task into two existing pretext tasks, Relative Positioning (RP) and Temporal Shuffling (TS). We assess the accuracy of these models using the Physionet Challenge 2018 (PC18) dataset in the context of the downstream task sleep stage classification. The inclusion of FS resulted in a notable improvement in downstream task accuracy, with a 1.28 percent improvement on RP and a 2.02 percent improvement on TS. Furthermore, when visualizing the learned embeddings using Uniform Manifold Approximation and Projection (UMAP), distinct clusters emerge, indicating that the learned representations carry meaningful information.
Omni-Sleep: A Sleep Foundation Model via Hierarchical Contrastive Learning of CNS-ANS Dynamics
Department of Biomedical Engineering, Southern University of Science and Technology（南方科技大学生物医学工程系）；Omni-Intelligence（全知智能）；Shenzhen Loop Area Institute（深圳河套学院）
Self-supervised Contrastive Learning for EEG-based Sleep Staging
Wuhan University（武汉大学）
EEG信号通常很容易获得，但标记起来很昂贵。虽然监督学习在脑电信号分析领域得到了广泛的应用，但其泛化性能受到标注数据量的限制。自监督学习（Self-supervised learning，SSL）作为计算机视觉（Computer Vision，CV）和自然语言处理（Natural Language Processing，NLP）领域的一种流行的学习范式，可以利用未标记的数据来弥补监督学习的数据不足。在本文中，我们提出了一个自我监督的对比学习方法的脑电信号的睡眠阶段分类。在训练过程中，我们为网络设置了一个任务，以匹配从脑电信号中产生的正确的变换对。通过这种方式，网络通过学习脑电信号的一般特征来提高表示能力。网络的鲁棒性也在处理不同的数据时得到了提高，即从变化的数据中提取恒定的特征。具体而言，网络的性能取决于转换的选择和自监督学习训练过程中使用的未标记数据量。在Sleep-edf数据集上的实验结果表明，该方法在睡眠分期上具有较好的性能（88.16%的准确率和81.96%的F1分数），并验证了SSL策略在有限标记数据制度下对EEG信号分析的有效性。所有代码都在网上公开提供。
PSG-MAE: Robust Multitask Sleep Event Monitoring using Multichannel PSG Reconstruction and Inter-channel Contrastive Learning
School of Future Technology, South China University of Technology（华南理工大学未来技术学院）；Guangzhou First People’s Hospital（广州市第一人民医院）；School of Medicine, South China University of Technology（华南理工大学医学院）
SleepMaMi: A Universal Sleep Foundation Model for Integrating Macro- and Micro-structures
Graduate School of Data Science, Seoul National University, Seoul, South Korea（首尔国立大学数据科学研究生院，韩国首尔）；Department of Biomedical Sciences, Seoul National University College of Medicine, Seoul, Republic of Korea（首尔国立大学医学院生物医学科学系，韩国首尔）；Obstructive Upper Airway Research (OUaR) Laboratory, Department of Pharmacology, Seoul National University College of Medicine, Seoul, Republic of Korea（首尔国立大学医学院药理学系阻塞性上气道研究（OUaR）实验室，韩国首尔）；Department of Otorhinolaryngology-Head and Neck Surgery, Seoul National University Hospital, Seoul, Republic of Korea（首尔国立大学医院耳鼻喉头颈外科系，韩国首尔）
Stanford Sleep Bench: Evaluating Polysomnography Pre-training Methods for Sleep Foundation Models
Stanford University（斯坦福大学）；Technical University of Denmark（技术大学）；Danish Center for Sleep Medicine（丹麦睡眠医学中心）；University of Copenhagen（哥本哈根大学）；Harvard Medical School（哈佛医学院）
NeuroNet: A Novel Hybrid Self-Supervised Learning Framework for Sleep Stage Classification Using Single-Channel EEG
Korea University（高丽大学）；University of Cambridge（剑桥大学）；Stanford University School of Medicine（斯坦福大学医学院）；VA Palo Alto Health Care System（帕洛阿尔托退伍军人事务医疗系统）；Korea University College of Medicine（高丽大学医学院）
Toward Foundational Model for Sleep Analysis Using a Multimodal Hybrid Self-Supervised Learning Framework
Department of Brain and Cognitive Engineering, Korea University（脑科学与认知工程系，韩国大学）；Interdisciplinary Program in Precision Public Health, Korea University（精准公共卫生跨学科项目，韩国大学）；Department of Radiology, Stanford University School of Medicine（放射科，斯坦福大学医学院）；VA Palo Alto Health Care System（帕洛阿尔托医疗系统）；Department of Neurology, Korea University College of Medicine（神经病学系，韩国大学医学院）
A Framework For Contrastive Self-Supervised Learning And Designing A New Approach
New York University（纽约大学）；Lightning Labs（闪电实验室）
对比自监督学习（CSL）是一种通过解决从未标记数据集中选择和比较锚、负和正（APN）特征的借口任务来学习有用表示的方法。我们提出了一个概念框架，在五个方面（1）数据增强管道，（2）编码器选择，（3）表示提取，（4）相似性度量，（5）损失函数的CSL方法的特点。我们分析了三个领先的CSL方法-AMDIM，CPC和Simplified-，并表明，尽管不同的动机，他们在这个框架下的特殊情况。我们通过设计Yet Another DIM（YADIM）来展示我们框架的实用性，YADIM在CIFAR-10，STL-10和ImageNet上取得了有竞争力的结果，并且对编码器的选择和表示提取策略更具鲁棒性。为了支持正在进行的CSL研究，我们发布了这个概念框架的PyTorch实现，以及AMDIM、CPC（V2）、Simplified、BYOL、Moco（V2）和YADIM的标准化实现。
A Fused Gromov-Wasserstein Approach to Subgraph Contrastive Learning
LTCI, Télécom Paris Institut Polytechnique de Paris（巴黎理工学院电信高等学院LTCI实验室）；École des Mines de Saint-Étienne（圣埃蒂安矿业学院）；Université Paris Dauphine-PSL（巴黎多芬大学-PSL大学）；Université Paris-Saclay CentraleSupélec（巴黎萨克雷大学中央高等电力学院）；Inria（法国国家信息与自动化研究所）
Auto-Augmentation Contrastive Learning for Wearable-based Human Activity Recognition
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；The Beijing Key Laboratory of Mobile Computing and Pervasive Device（北京移动计算与普适设备重点实验室）；Shandong Academy of Intelligent Computing Technology（山东省智能计算技术研究院）；Peng Cheng Laboratory（鹏城实验室）；Institute of Robotics and Autonomous Systems（机器人与自主系统研究所）
Autonomous End-to-End SOH Prediction Services for Battery Systems via Temporal-Contrastive Representation Learning
School of Software Engineering, Sun Yat-sen University（中山大学软件学院）；Tianneng Battery Group Co., Ltd（天能电池集团有限公司）；School of Communication Engineering, Hangzhou Dianzi University（杭州电子科技大学通信工程学院）；Institute of Engineering Science, Universidad de O’Higgins（奥希金斯大学工程科学研究所）
MVCNet: Multiview Contrastive Network for Unsupervised Representation Learning for 3D CT Lesions
University of Chinese Academy of Sciences（中国科学院大学）；Ningbo Institute of Life and Health Industry, University of Chinese Academy of Sciences（中国科学院大学宁波生命与健康产业研究院）；The University of Hong Kong（香港大学）；Xidian University（西安电子科技大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
\emph{Objective and Impact Statement}。随着深度学习的复兴，计算机断层扫描（CT）的自动诊断系统已经取得了许多成功的应用。然而，它们大多归因于仔细的专家注释，这在实践中往往是稀缺的。这就促使我们对无监督的表示学习产生了兴趣。\emph{Introduction}。最近的研究表明，自监督学习是一种有效的学习表征的方法，但大多数依赖于转换和借口任务的经验设计。\emph{Methods}。为了避免与这些方法相关的主观性，我们提出了MVCNet，一种新的无监督三维（3D）表示学习方法，以无变换的方式工作。我们从不同方向观察每个3D病变，以收集多个二维（2D）视图。然后，通过最小化对比损失来学习嵌入函数，使得聚合相同3D病变的2D视图，并且分离不同病变的2D视图。我们通过在嵌入层上训练一个简单的分类头来评估这些表示。\emph{Results}。实验结果表明，MVCNet在\emph{unsupervised representation learning}的LIDC-IDRI（89.55%）、LNDb（77.69%）和TianChi（79.96%）数据集上的准确率达到了最高水平。当对10%的标记数据进行微调时，准确率与监督学习模型相当（在三个数据集上分别为89.46% vs. 85.03%，73.85% vs. 73.44%，83.56% vs. 83…
Multi-Scale and Multi-Modal Contrastive Learning Network for Biomedical Time Series
Shanghai Jiao Tong University（上海交通大学）；Key Laboratory for Thin Film and Microfabrication of Ministry of Education（教育部薄膜与微细加工重点实验室）；Guangdong JiuZhi Technology Co., Ltd（广东九智科技有限公司）；Shenzhen University（深圳大学）
