近期,图神经网络的采用推动了社交机器人检测的进展。由社交网络交互构建的社交图包含相互影响的良性账户和机器人账户。然而,以往遵循直推式消息传递范式的基于图的检测方法可能无法充分利用隐藏的图信息,并且容易受到对抗性机器人行为的影响。不同类别和社区的节点之间不加区分的消息传递会导致过度同质化的节点表示,最终降低社交机器人检测器的有效性。本文提出 SEBot,这是一种新颖的、基于多视图图并启用对比学习的社交机器人检测器。具体而言,我们将结构熵用作不确定性度量,以优化整个图的结构和子图层级粒度,从而揭示隐式存在的层次化社区结构。我们还设计了一个编码器,使消息传递能够超越同质性假设,增强对社交机器人对抗行为的鲁棒性。最后,我们采用多视图对比学习来最大化不同视图之间的互信息,并通过多任务学习提升检测性能。实验结果表明,与 SOTA 方法相比,我们的方法显著提升了社交机器人检测性能。
英文摘要:
Recent advancements in social bot detection have been driven by the adoption of Graph Neural Networks. The social graph, constructed from social network interactions, contains benign and bot accounts that influence each other. However, previous graph-based detection methods that follow the transductive message-passing paradigm may not fully utilize hidden graph information and are vulnerable to adversarial bot behavior. The indiscriminate message passing between nodes from different categories and communities results in excessively homogeneous node representations, ultimately reducing the effectiveness of social bot detectors. In this paper, we propose SEBot, a novel multi-view graph-based contrastive learning-enabled social bot detector. In particular, we use structural entropy as an uncertainty metric to optimize the entire graph's structure and subgraph-level granularity, revealing the implicitly existing hierarchical community structure. And we design an encoder to enable message passing beyond the homophily assumption, enhancing robustness to adversarial behaviors of social bots. Finally, we employ multi-view contrastive learning to maximize mutual information between different views and enhance the detection performance through multi-task learning. Experimental results demonstrate that our approach significantly improves the performance of social bot detection compared with SOTA methods.
HC$^2$L: Hybrid and Cooperative Contrastive Learning for Cross-lingual Spoken Language Understanding
University of Science and Technology Beijing(北京科技大学);Agency for Science, Technology and Research(新加坡科技研究局);Nanyang Technological University(南洋理工大学);University of Technology Sydney(悉尼科技大学)
A Fused Gromov-Wasserstein Approach to Subgraph Contrastive Learning
LTCI, Télécom Paris Institut Polytechnique de Paris(巴黎理工学院电信高等学院LTCI实验室);École des Mines de Saint-Étienne(圣埃蒂安矿业学院);Université Paris Dauphine-PSL(巴黎多芬大学-PSL大学);Université Paris-Saclay CentraleSupélec(巴黎萨克雷大学中央高等电力学院);Inria(法国国家信息与自动化研究所)
Towards Fine-grained Visual Representations by Combining Contrastive Learning with Image Reconstruction and Attention-weighted Pooling
Bayer AG(拜耳股份公司)
本文介绍了对比重建,ConRec -一种自监督学习算法,通过联合优化对比和自重建损失来获得图像表示。我们展示了最先进的对比学习方法(例如Simplified)在其表示中捕获细粒度视觉特征方面存在缺陷。ConRec通过添加(1)自我重建任务和(2)对比学习任务中的注意力机制扩展了Simplified框架。这是通过应用具有两个头的简单编码器-解码器架构来实现的。我们表明,这两个扩展有助于改善图像的矢量表示与细粒度的视觉特征。结合这些概念,ConRec在细粒度分类数据集上的性能优于Simplified和Simplified with Attention-Pooling。
Contrastive variational information bottleneck for aspect-based sentiment analysis
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Chinese Academy of Sciences(中国科学院大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
Neural Machine Translation with Contrastive Translation Memories
Peking University(北京大学);Tencent AI Lab(腾讯人工智能实验室);Shandong University(山东大学);Beijing Institute of General Artificial Intelligence(北京通用人工智能研究院);Renmin University of China(中国人民大学)
Subspace Clustering on Incomplete Data with Self-Supervised Contrastive Learning
Department of Electrical Engineering, Biostatistics(电气工程与生物统计学系);Wisconsin Institute of Discovery(威斯康星发现研究所);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
Dissecting Representation Misalignment in Contrastive Learning via Influence Function
Provable Responsible AI and Data Analytics (PRADA) Lab(可解释负责任AI与数据分析(PRADA)实验室);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Shanghai Jiao Tong University(上海交通大学);KTH Royal Institute of Technology(瑞典皇家理工学院);The University of Auckland(奥克兰大学);RIKEN Center for Advanced Intelligence Project (AIP)(理化学研究所高级智能项目中心);Arizona State University(亚利桑那州立大学)
Single-Pass Contrastive Learning Can Work for Both Homophilic and Heterophilic Graph
National University of Singapore(新加坡国立大学);University of Washington(华盛顿大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
University of Technology Sydney(悉尼科技大学);Monash University(莫纳什大学);Wuhan University of Technology(武汉理工大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
无监督图表示学习已经成为解决现实问题的有力工具,并在图学习领域取得了巨大的成功。图对比学习是无监督图表示学习方法中的一种,近年来受到研究者的关注,并在各种任务上取得了很好的效果。图对比学习成功的关键是构造合适的对比对,以获取图的底层结构语义。然而,这一关键部分目前还没有得到充分的研究,大多数生成对比对的方法都集中在增强或扰动图结构以获得输入图的不同视图。但是这种策略会给图中加入噪声,从而降低了图对比学习的性能,限制了图的应用范围。在本文中,我们提出了一种新的图对比学习方法,即\textbf{D} ual \textbf{S} pace \textbf{G}双\textbf{C}对比(DSGC)学习,进行图之间的对比学习在不同的空间,包括双曲空间和欧氏空间中产生的意见。由于这两种空间在嵌入空间中表示图数据方面都有各自的优势,因此我们希望利用图对比学习来弥合空间并利用双方的优势。对比实验结果表明,DSGC在所有数据集中具有竞争力或更好的性能。此外,我们进行了大量的实验,以分析不同的图编码器对DSGC的影响,从而了解如何更好地利用不同空间之间的对比学习的优势。