Multiview network embedding aims at projecting nodes in the network to low-dimensional vectors, while preserving their multiple relations and attribute information. Contrastive learning approaches have shown promising performance in this task. However, they neglect the semantic consistency between fused and view representations and have difficulty in modeling complementary information between different views. To deal with these deficiencies, this work presents a novel Contrastive leaRning framEwork for Multiview network Embedding (CREME). In our work, different views can be obtained based on the various relations among nodes. Then, we generate view embeddings via proper view encoders and utilize an attentive multiview aggregator to fuse these representations. Particularly, we design two collaborative contrastive objectives, view fusion InfoMax and inter-view InfoMin, to train the model in a self-supervised manner. The former objective distills information from embeddings generated from different views, while the latter captures complementary information among views to promote distinctive view embeddings. We also show that the two objectives can be unified into one objective for model training. Extensive experiments on three real-world datasets demonstrate that our proposed CREME is able to consistently outperform state-of-the-art methods.
Hierarchical Consensus Network for Multiview Feature Learning
School of Information Science and Engineering, Lanzhou University（兰州大学信息科学与工程学院）；Australian Artificial Intelligence Institute, University of Technology Sydney（悉尼科技大学澳大利亚人工智能学院）
MVCNet: Multiview Contrastive Network for Unsupervised Representation Learning for 3D CT Lesions
University of Chinese Academy of Sciences（中国科学院大学）；Ningbo Institute of Life and Health Industry, University of Chinese Academy of Sciences（中国科学院大学宁波生命与健康产业研究院）；The University of Hong Kong（香港大学）；Xidian University（西安电子科技大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
\emph{Objective and Impact Statement}。随着深度学习的复兴，计算机断层扫描（CT）的自动诊断系统已经取得了许多成功的应用。然而，它们大多归因于仔细的专家注释，这在实践中往往是稀缺的。这就促使我们对无监督的表示学习产生了兴趣。\emph{Introduction}。最近的研究表明，自监督学习是一种有效的学习表征的方法，但大多数依赖于转换和借口任务的经验设计。\emph{Methods}。为了避免与这些方法相关的主观性，我们提出了MVCNet，一种新的无监督三维（3D）表示学习方法，以无变换的方式工作。我们从不同方向观察每个3D病变，以收集多个二维（2D）视图。然后，通过最小化对比损失来学习嵌入函数，使得聚合相同3D病变的2D视图，并且分离不同病变的2D视图。我们通过在嵌入层上训练一个简单的分类头来评估这些表示。\emph{Results}。实验结果表明，MVCNet在\emph{unsupervised representation learning}的LIDC-IDRI（89.55%）、LNDb（77.69%）和TianChi（79.96%）数据集上的准确率达到了最高水平。当对10%的标记数据进行微调时，准确率与监督学习模型相当（在三个数据集上分别为89.46% vs. 85.03%，73.85% vs. 73.44%，83.56% vs. 83…
DeepCell: Self-Supervised Multiview Fusion for Circuit Representation Learning
Department of Computer Science and Engineering（计算机科学与工程系）；The Chinese University of Hong Kong（香港中文大学）；Faculty of Electrical Engineering and Computer Science（电气工程与计算机科学学院）；Ningbo University（宁波大学）；School of Computer Science（计算机科学学院）；Hangzhou Dianzi University（杭州电子科技大学）；School of Microelectronics（微电子学院）；Fudan University（复旦大学）；State Key Laboratory of Integrated Chips and System（集成电路与系统国家重点实验室）；National Center of Technology Innovation for EDA（EDA技术创新国家中心）
Frequency-Masked Embedding Inference: A Non-Contrastive Approach for Time Series Representation Learning
School of Intelligence Science and Technology, University of Science and Technology Beijing（北京科技大学智能科学与技术学院）；Institute of Artificial Intelligence, University of Science and Technology Beijing（北京科技大学人工智能研究院）
DistilCSE: Effective Knowledge Distillation For Contrastive Sentence Embeddings
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Kuaishou Technology（快手科技）；Zhongnan University of Economics and Law（中南财经政法大学）
Region Embedding with Intra and Inter-View Contrastive Learning
Nanyang Technological University（南洋理工大学）
无监督区域表示学习旨在从未标记的城市数据中提取密集有效的特征。虽然已经基于多个视图做出了一些努力来解决这个问题，但是现有方法在提取视图中的表示和/或合并来自不同视图的表示方面仍然不足。基于对比学习在表示学习中的成功，我们提出将其用于多视图区域表示学习，并设计了一个称为ReMVC（Region Embedding with Multi-View对比学习）的模型，该模型遵循两个指导原则：i）在每个视图中将区域与其他区域进行比较，以实现有效的表征提取; ii）在不同视图中将区域与自身进行比较，以实现跨视图信息共享。我们设计了视图内对比学习模块和视图间对比学习模块，前者用于学习不同的区域嵌入，后者作为软共正则化器来约束嵌入参数并在多视图间传递知识。我们在两个下游任务中利用学习到的区域嵌入，即土地使用聚类和区域流行度预测。大量的实验表明，我们的模型实现了令人印象深刻的改进相比，七个国家的最先进的基线方法，在土地利用聚类任务的利润率超过30%。
Instance Smoothed Contrastive Learning for Unsupervised Sentence Embedding
Zhejiang University（浙江大学）；School of Engineering, Westlake University（西湖大学工程学院）；Institute of Advanced Technology, Westlake Institute for Advanced Study（西湖高等研究院先进技术研究所）
Multi-Modal Contrastive Learning for Implicit Earth Embeddings via Location Tying
Computational Methods Lab, HafenCity University Hamburg（汉堡港城大学计算方法实验室）；Dept. of Operations & Technology, Technical University of Munich（慕尼黑工业大学运营与技术系；海尔布隆数据科学中心；慕尼黑数据科学研究所）；Heilbronn Data Science Center（波恩大学大地测量与地理信息研究所）；Munich Data Science Institute；Institute of Geodesy and Geoinformation, University of Bonn
Temporal Contrastive Transformer for Financial Crime Detection: Self-Supervised Sequence Embeddings via Predictive Contrastive Coding
NICE Actimize
本文提出了一种名为时间对比变压器（TCT）的表示学习框架，旨在捕捉金融交易序列中的时间动态。通过自监督对比目标训练模型，生成编码时间行为模式的嵌入，以支持下游的欺诈检测任务。实验结果显示，嵌入本身能实现有意义的预测性能（AUC 0.8644），但结合领域工程特征时，性能提升不显著（AUC 0.9205 vs. 0.9245），表明学习到的表示与现有特征抽象有较大重叠。这些发现表明TCT是一种有前景的表示学习方法，能够捕捉相关的行为信号，同时凸显了在强领域特征上实现加性价值的挑战。
