Competitive Advantage Attacks to Decentralized Federated Learning
Duke University（杜克大学）；University of Louisville（路易斯维尔大学）
本文提出SelfishAttack攻击，使去中心化联邦学习中的自私客户端通过优化构造本地模型，在最终模型准确率上获得超过非自私客户端的竞争优势，并证明其优于投毒攻击。
2025-10-14 cs.CR cs.LG
A Simple Recipe for Competitive Low-compute Self supervised Vision Models
Meta AI
视觉中的自监督方法主要集中在大型架构上，因为它们似乎在较小的架构中遭受显着的性能下降。在本文中，我们提出了一个简单的自监督蒸馏技术，可以训练高性能低计算神经网络。我们的主要观点是，现有的联合嵌入的SSL方法可以重新利用知识蒸馏从一个大的自我监督的教师到一个小的学生模型。因此，我们称我们的方法为Replace one Branch（RoB），因为它只是用一个大型教师模型替换联合嵌入训练的一个分支。RoB广泛适用于许多架构，如小型ResNets，MobileNets和ViT，以及预训练模型，如DINO，SwAV或iBOT。在ImageNet数据集上进行预训练时，RoB产生的模型与监督知识蒸馏竞争。当应用于MSN时，RoB培养出具有较强半监督能力的学生。最后，我们最好的ViT-Tiny模型通过$2.3\%$在ImageNet上改进了现有的SSL最先进的技术，并且在五个下游传输任务（iNaturalist，CIFAR，BURR/Count，BURR/Dist和Places）上与监督蒸馏DeiT相当或更好。我们希望RoB能够在较小的范围内实现实际的自我监督。
2023-01-23 cs.AI cs.CV cs.LG
Training Neural Networks Based on Imperialist Competitive Algorithm for Predicting Earthquake Intensity
Amirkabir University of Technology - Tehran Polytechnic（阿米尔卡比尔理工大学（德黑兰理工学院））
本研究以帝国竞争演算法（ICA）来决定神经网络的权值与偏置，以训练网路来预测里氏地震烈度。为此，我们采用了Berkeley数据库提供的发震时间、震中经纬度、震源深度、震中距震源中心距离等相关参数。所研究的神经网络有两个隐层：第一层有16个神经元，第二层有24个神经元。用ICA算法对测试数据进行处理，平均误差为0.0007，方差为0.318。用ICA算法的MSE准则预测里氏地震的误差为0.101，而用GA算法的MSE值为0.115。
2017-02-13 cs.LG cs.NE
Competitive Learning with Feedforward Supervisory Signal for Pre-trained Multilayered Networks
我们提出了一种新的多层神经网络的学习方法，它使用前馈监督信号，并将新输入的分类与预训练输入的分类相关联。该方法有效地利用了前一层丰富的输入信息，对多层神经网络的内部表示进行鲁棒学习和修正。
2015-02-16 cs.CV cs.LG cs.NE
Provable Self-Play Algorithms for Competitive Reinforcement Learning
Salesforce Research（Salesforce研究院）；Princeton University（普林斯顿大学）
自我游戏，即算法通过与自己比赛而无需任何直接监督来学习，已成为现代强化学习（RL）中实现超人性能的新武器。然而，强化学习中的大多数验证理论仅适用于智能体在固定环境中进行游戏的设置;自我游戏算法是否可以证明有效，特别是当需要管理探索/开发权衡时，这在很大程度上仍然是开放的。我们研究了马尔可夫博弈下竞争性强化学习中的自我博弈，马尔可夫决策过程对两人博弈的推广。我们介绍了一个自我发挥的算法-值迭代与上/下置信界（VI-ULCB）-并表明，它实现了遗憾$\tilde{\mathcal{O}}(\sqrt{T})$后，发挥$T$步骤的游戏，其中的遗憾是衡量代理的性能对\emph{fully adversarial}对手谁可以利用代理的策略在\emph{any}步骤。我们还介绍了一个探索，然后利用风格的算法，它实现了一个稍差的遗憾$\tilde{\mathcal{O}}(T^{2/3})$，但保证运行在多项式时间，即使在最坏的情况下。据我们所知，我们的工作提出了竞争性强化学习的第一条可证明样本有效的自我发挥算法。
2020-07-09 cs.AI cs.LG stat.ML
Deep Epitomic Convolutional Neural Networks
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
深度卷积神经网络最近被证明在具有挑战性的图像识别任务中极具竞争力。本文提出了epitomic卷积作为深度神经网络的新构建块。epitomic卷积层取代了标准深度卷积神经网络中的一对连续卷积层和最大池层。所提出的模型的主要版本使用迷你缩影代替过滤器，并计算响应不变的小翻译缩影搜索，而不是最大池的图像位置。所提出的模型的地形版本使用大的缩影学习过滤器地图组织在翻译地形。我们表明，错误反向传播可以成功地学习多个epitomic层在监督的方式。所提出的方法的有效性进行评估，在图像分类任务的标准基准。我们在Imagenet上的实验表明，与类似架构的标准卷积神经网络相比，识别性能有所提高。我们在Imagenet上预训练的模型在Caltech-101上表现出色。我们还获得了竞争力的小图像MNIST和CIFAR-10数据集的图像分类结果。
2014-06-10 cs.CV cs.LG
Territory Paint Wars: Diagnosing and Mitigating Failure Modes in Competitive Multi-Agent PPO
Independent Researcher（独立研究者）
本文提出Territory Paint Wars环境，研究PPO在自博弈中的失败模式，发现五个实现层面问题，并通过对手混合缓解竞争过拟合，恢复泛化性能。
2026-04-04 cs.LG
Offline Fictitious Self-Play for Competitive Games
本文提出OFF-FSP，首个用于竞争性游戏的实用无模型离线强化学习算法，通过重要性采样模拟对手交互并结合虚构自我对弈约束分布外动作，以逼近纳什均衡，实验证明其利用性显著低于现有基线。
2025-10-14 cs.AI cs.GT cs.LG
MintNet: Building Invertible Neural Networks with Masked Convolutions
Stanford University（斯坦福大学）
我们提出了一种新的方法来构建可逆的神经网络相结合的简单的积木与一套新的组合规则。这导致了一组丰富的可逆架构，包括那些类似于ResNets的架构。反演实现了一个局部收敛的迭代过程，是并行化的，在实践中非常快。此外，雅可比行列式的行列式可以分析和有效地计算，使其生成使用的流动模型。为了证明它们的灵活性，我们证明了我们的可逆神经网络在MNIST和CIFAR-10分类上与ResNets竞争。当作为生成模型进行训练时，我们的可逆网络在MNIST、CIFAR-10和ImageNet 32 x32上实现了有竞争力的可能性，每维比特数分别为0.98、3.32和4.06。
2019-10-29 cs.CV cs.LG stat.ML
Self Semi Supervised Neural Architecture Search for Semantic Segmentation
Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；ATOS（源讯集团）
在本文中，我们提出了一种基于自我监督和半监督学习的神经结构搜索策略的语义分割任务。我们的方法建立了一个优化的神经网络（NN）模型，通过共同解决一个拼图借口任务发现与自监督学习的无标记的训练数据，并利用结构的无标记的数据与半监督学习。NN模型结构的搜索是通过使用梯度下降算法的动态路由来执行的。在Cityscapes和PASCAL VOC 2012数据集上的实验表明，所发现的神经网络比最先进的手工NN模型更有效，浮点运算少四倍。
2022-02-01 cs.CV cs.LG
Collaborative Filtering with Recurrent Neural Networks
IRIDIA（IRIDIA实验室）；Université Libre de Bruxelles（布鲁塞尔自由大学）
我们表明，协同过滤可以被看作是一个序列预测问题，并给予这种解释，循环神经网络提供了非常有竞争力的方法。特别是，我们研究了如何将长短期记忆（LSTM）应用于协同过滤，以及如何将其与电影推荐的标准最近邻和矩阵分解方法进行比较。我们证明了LSTM在各个方面都具有竞争力，并且在项目覆盖率和短期预测方面大大优于其他方法。
2017-01-03 cs.IR cs.LG
Efficient Competitive Self-Play Policy Optimization
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
自我游戏的强化学习最近取得了许多成功。自我发挥，其中代理与自己竞争，通常用于生成训练数据，用于迭代策略改进。在以前的工作中，启发式规则的目的是为当前的学习者选择一个对手。典型的规则包括选择最新代理、最佳代理或随机历史代理。然而，这些规则在实践中可能是低效的，有时甚至在最简单的矩阵游戏中也不能保证收敛。在本文中，我们提出了一个新的算法框架竞争自我发挥强化学习在两个球员零和游戏。我们认识到这样一个事实，即纳什均衡与随机支付函数的鞍点重合，这促使我们借用经典鞍点优化文献的思想。我们的方法同时训练多个代理，并智能地将对方视为对手，基于来自基于扰动的鞍优化方法的简单对抗规则。我们从理论上证明了我们的算法收敛到一个近似的平衡点，在凹凸游戏的标准假设下的高概率。除了理论，我们进一步展示了我们的方法的经验优势，依赖于矩阵游戏，网格世界足球，五子棋，模拟机器人相扑，神经网络政策函数逼近上述服从选择算法的基线方法。
2020-09-13 cs.AI cs.GT cs.LG
Self-Supervised Test-Time Learning for Reading Comprehension
Arizona State University（亚利桑那州立大学）
最近关于无监督问答的工作表明，模型可以用程序生成的问答对进行训练，并且可以实现与监督方法竞争的性能。在这项工作中，我们考虑了无监督阅读理解的任务，并提出了一种方法，执行“测试时学习”（TTL）在一个给定的上下文（文本通道），而不需要在大规模的人类创作的数据集包含\textit{context-question-answer}三元组的培训。该方法直接在单个测试上下文上操作，使用自我监督在综合生成的问题-答案对上训练模型，然后推断出针对该上下文的看不见的人类创作的问题的答案。我们的方法实现了具有竞争力的精度与完全监督的方法，并显着优于目前的无监督方法。具有较小模型的TTL方法在无监督阅读理解中与当前最先进的方法也具有竞争力。
2021-03-20 cs.CL cs.LG
Proxyless Neural Architecture Adaptation for Supervised Learning and Self-Supervised Learning
Inha University（仁荷大学）；Kakao Enterprise（Kakao企业）
最近，神经结构搜索（NAS）方法已经被引入，并在许多基准测试中表现出令人印象深刻的性能。在这些NAS研究中，神经架构Transformer（NAT）旨在适应给定的神经架构，以提高性能，同时保持计算成本。然而，NAT缺乏可重复性，并且在网络权重训练之前需要额外的架构自适应过程。在本文中，我们提出了无代理的神经架构适应，是可再生的和有效的。我们的方法可以应用于监督学习和自监督学习。所提出的方法在各种架构上表现出稳定的性能。在两个数据集上进行了广泛的再现性实验，即，CIFAR-10和Tiny Imagenet的实验结果表明，该方法的性能明显优于NAT，并且适用于其他模型和数据集。
2022-05-15 cs.CV cs.LG
Self-Supervised Learning for Identifying Defects in Sewer Footage
EXIT83 LLC Consulting Services（EXIT83有限责任公司咨询服务）
本文提出将自监督学习应用于下水道缺陷检测，在仅使用少量标注数据和小规模模型的情况下取得与现有方法相当的性能，为资源受限环境下的下水道维护提供了可扩展且低成本的自动化方案。
2024-09-02 cs.AI cs.CV cs.LG
Self-Healing Robust Neural Networks via Closed-Loop Control
University of California at Santa Barbara（加州大学圣巴巴拉分校）；National University of Singapore（新加坡国立大学）
尽管神经网络得到了广泛的应用，但其脆弱性问题也越来越受到人们的关注。虽然已经开发了许多攻击和防御技术，但这项工作从一个新的角度研究了鲁棒性问题：我们能否设计一个自我修复的神经网络，它可以自动检测和修复漏洞问题？一个典型的自我修复机制是人体的免疫系统。这种受生物学启发的想法已被用于许多工程设计中，但很少在深度学习中进行研究。本文考虑了神经网络的训练后自愈问题，提出了一种闭环控制方法，用于自动检测和修复由各种攻击或扰动引起的错误。我们提供了一个基于利润的分析，以解释如何制定可以提高分类器的鲁棒性。为了加快所提出的自愈网络的推理速度，我们通过改进基于庞特里亚金最大值原理的求解器来解决控制问题。最后，我们提出了一个误差估计的神经网络与非线性激活函数的建议框架。我们验证了几种网络架构对各种扰动的性能。由于自修复方法不需要关于数据扰动/攻击的先验信息，因此它可以处理广泛的一类不可预见的扰动。
2022-06-26 cs.CV cs.LG
A Robust Learning Rule for Soft-Bounded Memristive Synapses Competitive with Supervised Learning in Standard Spiking Neural Networks
Groningen Cognitive Systems and Materials Center（格罗宁根认知系统与材料中心）；University of Groningen（格罗宁根大学）
忆阻器件是一类电路元件，作为未来脑启发计算的构建块显示出很大的希望。在理论神经科学中，有一种很有影响力的观点认为大脑是一个功能计算装置：给定输入信号，大脑应用一个功能，以产生新的内部状态和运动输出。因此，能够近似函数是未来大脑研究的基础，也是获得更高效计算机器的基础。在这项工作中，我们采用了一种新的监督学习算法-基于控制掺杂铒钛酸锶忆阻突触-学习非平凡的多维函数。通过在脉冲神经网络模拟器Nengo中实现我们的方法，我们表明我们至少能够匹配使用理想的线性突触时获得的性能，并且-这样做-这种忆阻器件可以用作计算基底，以实现更高效的大脑启发计算。
2022-04-12 cs.ET cs.LG cs.NE
Understanding Locally Competitive Networks
Istituto Dalle Molle di studi sull’Intelligenza Artificiale (IDSIA)（达勒·莫勒人工智能研究所（IDSIA））；Scuola universitaria professionale della Svizzera italiana (SUPSI)（意大利语区专业大学（SUPSI））；Università della Svizzera italiana (USI)（意大利语区大学（USI））
最近提出的神经网络激活函数，如整流线性，最大输出和局部赢家通吃，允许在大型和复杂的数据集上更快，更有效地训练深度神经架构。这些函数的共同特点是，它们在一个层内的小组计算单元之间实现局部竞争，因此对于任何给定的输入模式，只有部分网络被激活。在本文中，我们试图可视化和理解这种自模块化，并提出一个统一的解释，这种网络的有益特性。我们还展示了我们的见解如何直接用于使用神经网络在大型数据集上有效地执行检索。
2015-04-09 cs.LG cs.NE
Concurrent Neural Network : A model of competition between times series
时间序列之间的竞争经常出现在销售预测中，当类似的产品在市场上销售时。本文提供了一个模型之间的时间序列的存在蚕食。这一模型建立了一个“竞争力”函数，它取决于价格和利润率等外部特征。在一定的合理条件下，对模型的误差提供了理论保证，并利用神经网络实现了该模型，计算了竞争力函数。这种实现优于其他传统的时间序列方法和经典的神经网络的市场份额预测在现实世界的数据集。
2021-06-18 cs.LG stat.AP stat.ML
Posterior Sampling for Competitive RL: Function Approximation and Partial Observation
Hong Kong University of Science and Technology（香港科技大学）；New York University（纽约大学）；Peking University（北京大学）；Northwestern University（西北大学）；Yale University（耶鲁大学）
本文针对零和马尔可夫博弈提出基于自博弈与对抗广义eluder系数的模型化后验采样算法，首次在完全及部分可观测场景下实现竞争性强化学习的通用低遗憾学习。
2023-10-30 cs.GT cs.LG stat.ML
HMCNAS: Neural Architecture Search using Hidden Markov Chains and Bayesian Optimization
NOVA LINCS（NOVA LINCS 实验室）；Universidade da Beira Interior（贝拉内政大学）
Neural Architecture Search在各种任务中实现了最先进的性能，性能超过了人类设计的网络。然而，许多假设，需要人类定义，与正在解决的问题或生成的模型仍然需要：最终的模型架构，要采样的层数，强制操作，小搜索空间，这最终有助于具有更高的性能，在系统中引入偏见的成本模型。在本文中，我们提出了HMCNAS，它由两个新的组成部分组成：i）一种利用人类设计模型的信息自主生成复杂搜索空间的方法，ii）一种具有贝叶斯优化的进化算法，能够从头开始生成竞争力的CNN，而不依赖于人类定义的参数或小的搜索空间。实验结果表明，所提出的方法的结果在很短的时间内获得具有竞争力的架构。HMCNAS提供了一种方法来创建竞争模型，而不需要任何关于特定任务的人类知识，从而向NAS的推广迈出了一步。
2020-07-31 cs.CV cs.LG cs.NE
Self-Execution Simulation Improves Coding Models
FAIR team, Meta（Meta FAIR团队）；Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Inria（法国国家信息与自动化研究所）
本文通过自主执行模拟提升编码模型，结合监督微调与强化学习，改进编程竞赛表现，验证了执行模拟在代码生成中的有效性。
2026-03-11 cs.CL cs.LG
Finding Competitive Network Architectures Within a Day Using UCT
IBM Research AI（IBM人工智能研究院）
为新数据集设计神经网络架构是一项艰巨的任务，需要人类的深度学习专业知识。为了使深度学习能够面向更广泛的受众，寻找神经网络架构的自动化方法至关重要。最近提出的方法已经可以达到人类专家水平的性能。然而，这些方法具有数月甚至数年的GPU计算时间的运行时间，忽略了许多研究人员和公司所面临的硬件约束。我们建议使用Monte Carlo规划结合两个不同的UCT（置信上限适用于树）推导搜索网络架构。我们适应UCT算法的网络架构搜索的需要，提出了两种方式共享信息之间的搜索树的不同分支。在一项实证研究中，我们能够证明这种方法能够在一个GPU天内找到MNIST，SVHN和CIFAR-10的竞争网络。将搜索时间延长到五个GPU天，我们能够超越人类架构和考虑相同类型层的竞争对手。
2018-07-23 cs.CV cs.LG stat.ML
Self-Supervised Monocular Scene Flow Estimation
TU Darmstadt（达姆施塔特工业大学）
场景流估计在三维环境感知中受到越来越多的关注。单目场景流估计-从两个时间上连续的图像中获得3D结构和3D运动-是一个高度不适定的问题，迄今为止缺乏实用的解决方案。我们提出了一种新的单目场景流方法，产生竞争力的准确性和实时性能。通过采取逆问题的观点，我们设计了一个单一的卷积神经网络（CNN），成功地估计深度和3D运动，同时从经典的光流成本量。我们采用具有3D损失函数和遮挡推理的自监督学习来利用未标记的数据。我们验证我们的设计选择，包括代理损失和增强设置。我们的模型实现了国家的最先进的无监督/自监督学习方法的单目场景流的准确性，并产生竞争力的结果的光流和单目深度估计子任务。半监督微调监督微调进一步提高了准确性，并实时产生有希望的结果。
2020-04-15 cs.CV cs.LG cs.RO
Does the Competitive Component of Adversarial Self-Play Improve Legal Reasoning? A Controlled Negative Result
该研究通过四项测试及一项试点发现，对抗自我博弈的竞争成分未为法律推理模型带来可靠增益，其价值在于揭示相关陷阱并验证多教师课程的核心价值源于可验证环境而非竞争。
2026-08-04 cs.AI cs.CL cs.LG
TLeague: A Framework for Competitive Self-Play based Distributed Multi-Agent Reinforcement Learning
Tencent Robotics X（腾讯机器人X实验室）；Tsinghua University（清华大学）
基于竞争自玩（CSP）的多智能体强化学习（MARL）近年来取得了惊人的突破。强大的AI在多个基准测试中获得，包括Dota 2，王者荣耀，雷神之锤III，星际争霸II，仅举几例。尽管取得了成功，但MARL训练非常需要数据，通常需要在训练期间从环境中看到数十亿（如果不是数万亿）帧，以便学习高性能代理。这给研究人员或工程师带来了不小的困难，并阻止了MARL在更广泛的现实问题中的应用。为了解决这个问题，在本文中，我们描述了一个框架，称为TLeague，旨在大规模的训练和实现几个主流的CSP-MARL算法。培训可以部署在单个机器或混合机器（CPU和GPU）集群中，其中以云原生方式支持标准Kubernetes。TLeague在执行分布式训练时实现了高吞吐量和合理的扩展。由于采用了模块化设计，该算法也易于扩展，用于解决其他多智能体问题或实现和验证MARL算法。我们在星际争霸II，ViZDoom和Pommerman上进行了实验，以显示TLeague的效率和有效性。该代码是开源的，可在https://github.com/tencent-ailab/tleague_projpage上获得
2020-11-30 cs.AI cs.LG cs.MA
MemNet: Memory-Efficiency Guided Neural Architecture Search with Augment-Trim learning
Beijing University of Posts and Telecommunications（北京邮电大学）；Columbia University（哥伦比亚大学）
最近关于自动神经结构搜索的研究已经证明了显着的性能，与手工制作的神经结构竞争甚至更好。然而，大多数现有的网络架构倾向于使用残余，并行结构和连接块之间的浅和深的功能来构建一个大的网络。这需要大量的内存来存储权重和特征图。这对于移动设备和嵌入式设备来说是具有挑战性的，因为它们可能没有足够的内存来使用所设计的大型网络模型执行推理。为了缩小这一差距，我们提出了MemNet，一个基于增强修剪学习的神经网络搜索框架，不仅优化了性能，而且还优化了内存需求。具体而言，它采用基于内存消耗的排名分数，强制内存消耗的上限，用于导航搜索过程。实验结果表明，与现有的高效设计方法相比，MemNet可以找到一种具有竞争力的准确率和平均节省24.17%内存的体系结构。
2020-06-10 cs.CV cs.LG stat.ML
Minimax Exploiter: A Data Efficient Approach for Competitive Self-Play
McGill University（麦吉尔大学）；Ubisoft Montreal（育碧蒙特利尔）
本文提出 Minimax Exploiter，通过博弈论方式利用对手知识提升竞争性自博弈的数据效率，并在多种游戏环境中验证其稳定性和优于强基线的表现。
2023-11-28 cs.AI cs.LG cs.MA
Convolutional Channel-wise Competitive Learning for the Forward-Forward Algorithm
本文针对前向-前向算法的不足，提出基于卷积通道竞争学习的改进方法，通过逐层损失函数和通道特征分离提取模块消除负数据构造并提升表示学习，在多个图像分类基准上显著缩小了与反向传播方法的性能差距。
2023-12-19 cs.AI cs.CV cs.LG
Traditional Classification Neural Networks are Good Generators: They are Competitive with DDPMs and GANs
University of Oxford（牛津大学）
分类器和生成器早就分开了。我们打破了这种分离，并展示了传统的神经网络分类器可以生成大量类别的高质量图像，与最先进的生成模型（例如，DDPM和GANs）。我们通过计算分类损失函数相对于输入的偏导数来优化输入以产生图像来实现这一点。由于众所周知，直接优化的输入是类似于有针对性的对抗攻击无法生成人类有意义的图像，我们提出了一个基于掩码的随机重建模块，使梯度语义感知合成似是而非的图像。我们进一步提出了一个渐进的分辨率技术，以保证保真度，产生逼真的图像。此外，我们引入了距离度量损失和非平凡分布损失，以确保分类神经网络可以合成多样化和高保真的图像。使用传统的神经网络分类器，我们可以在ImageNet上生成256 $\times$ 256分辨率的高质量图像。有趣的是，我们的方法也适用于文本到图像生成的图像-文本基础模型作为广义分类器。证明分类器已经学习了数据分布并准备好生成图像具有深远的意义，因为分类器比DDPM和GANs等生成模型更容易训练。我们甚至不需要训练分类模型，因为有大量的公共模型可供下载。此外，这对于分类器的可解释性和鲁棒性具有巨大的潜力。项目页面位于\url{https://classifier-as-generator.github.io/}。
2022-12-08 cs.AI cs.CV cs.LG
Self-Similarity Priors: Neural Collages as Differentiable Fractal Representations
Stanford University（斯坦福大学）；University of Toronto（多伦多大学）；University of Tokyo（东京大学）
自然界中的许多模式都表现出自相似性：它们可以通过自指变换来描述。所述图案通常出现在自然和人造物体中，例如分子、海岸线、星系甚至图像。在这项工作中，我们研究了学习的作用，在自动发现的自相似性，并在其利用下游任务。为此，我们设计了一类新的隐式运算符，神经拼贴，它（1）将数据表示为自引用结构化变换的参数，（2）采用超网络将查找这些参数的成本分摊到单个前向传递中。我们研究如何在各种任务中利用神经拼贴产生的表示，包括数据压缩和生成。神经拼贴图像压缩器在编码过程中比其他基于自相似性的算法快几个数量级，并提供与隐式方法竞争的压缩率。最后，我们展示了神经拼贴在分形艺术和深度生成模型中的应用。
2022-04-15 cs.AI cs.CV cs.LG
Competitive Learning Enriches Learning Representation and Accelerates the Fine-tuning of CNNs
National Institute of Information and Communications Technology（信息通信技术国家研究所）
在这项研究中，我们提出将竞争学习集成到卷积神经网络（CNN）中，以提高表示学习和微调的效率。传统的CNN使用反向传播学习，并且它通过辨别任务实现了强大的表示学习。然而，它需要大量的标记数据，并且标记数据的获取比未标记数据的获取困难得多。因此，有效使用未标记数据对于DNN来说变得至关重要。为了解决这个问题，我们将无监督竞争学习引入卷积层，并利用未标记的数据进行有效的表示学习。使用玩具模型的验证实验结果表明，强表示学习使用未标记数据有效地将图像的基提取到卷积滤波器中，并加快了后续监督反向传播学习的微调速度。当滤波器的数量足够大时，杠杆作用更加明显，并且在这种情况下，出错率在微调的初始阶段急剧下降。因此，所提出的方法扩大了CNN中滤波器的数量，并实现了更详细和更通用的表示。它不仅为深度神经网络提供了可能性，而且为广泛的神经网络提供了可能性。
2018-04-26 cs.CV cs.LG cs.NE
Self-supervised Neural Architecture Search
Tel Aviv University（特拉维夫大学）
神经结构搜索（NAS）最近已被用于实现各种任务的性能提高，最突出的是在图像分类。然而，当前的搜索策略依赖于大的标记数据集，这限制了它们在仅注释了一小部分数据的情况下的使用。自监督学习在使用未标记数据训练神经网络方面显示出巨大的前景。在这项工作中，我们提出了一种自监督神经结构搜索（SSNAS），它允许在不需要标记数据的情况下找到新的网络模型。我们表明，这样的搜索导致类似的结果，监督训练与“完全标记”NAS，它可以提高性能的自监督学习。此外，我们证明了所提出的方法的优点时，在搜索中的标签的数量相对较小。
2020-07-03 cs.CV cs.LG stat.ML
C-SENN: Contrastive Self-Explaining Neural Network
Aisin（爱信）
在这项研究中，我们使用一个自我解释的神经网络（SENN），它学习无监督的概念，以获取概念，易于人们自动理解。在概念学习中，隐藏层保留与输出相关的可言语化特征，这在适应需要解释的现实世界环境时至关重要。然而，已知SENN输出的概念的可解释性在诸如自动驾驶场景的一般设置中降低。因此，本研究将对比学习与概念学习相结合，以提高概念的可读性和任务的准确性。我们称这种模型为对比自解释神经网络（C-SENN）。
2022-06-27 cs.AI cs.CV cs.LG
Including STDP to eligibility propagation in multi-layer recurrent spiking neural networks
University of Groningen（格罗宁根大学）
与基于深度学习的方法相比，神经形态系统中的脉冲神经网络（SNN）更节能，但没有明确的竞争性学习算法用于训练这种SNN。资格传播（e-prop）提供了一种有效的和生物学上合理的方式，训练竞争力的经常SNN在低功耗的神经形态硬件。在这份报告中，以前的性能的e-prop的语音分类任务的再现，包括STDP样的行为的影响进行了分析。将STDP包括到ALIF神经元模型中提高了分类性能，但对于Izhikevich e-prop神经元来说情况并非如此。最后，发现在单层递归SNN中实现的e-prop始终优于多层变体。
2022-01-05 cs.LG cs.NE
Unveiling the optimization process of Physics Informed Neural Networks: How accurate and competitive can PINNs be?
Universitat d’Alacant（阿利坎特大学）；Universitat de València（瓦伦西亚大学）
本研究探究PINNs的精度边界，发现优化算法和损失函数调整均可提升精度，结合二者可将损失降低数个数量级，小型网络的精度能媲美数千网格点的有限差分法，为PINNs的发展与应用提供支持。
2024-12-13 cs.AI cs.LG physics.comp-ph
Relative Molecule Self-Attention Transformer
Jagiellonian University（雅盖隆大学）；Ardigen（阿尔迪根公司）；NVIDIA（英伟达公司）
自监督学习有望通过从稀缺的实验数据中进行数据有效学习来彻底改变分子性质预测-这是药物发现和更多行业的中心任务。尽管取得了重大进展，但非预先训练的方法在某些环境中仍然具有竞争力。我们认为架构可能是一个关键的瓶颈。特别是，用特定领域的归纳偏差来丰富主干架构是自监督学习在其他领域成功的关键。本着这种精神，我们在方法论上探索了为分子数据量身定制的自注意力机制的设计空间。我们确定了一种新的自注意力适应处理分子的变体，其灵感来自于相对自注意力层，该层涉及融合原子之间的嵌入图和距离关系。我们的主要贡献是相对分子注意力Transformer（R-MAT）：一种基于自注意力层的新型transformer模型，在广泛的分子性质预测任务中实现了最先进或非常有竞争力的结果。
2021-10-12 cs.AI cs.LG
Global Collaboration through Local Interaction in Competitive Learning
Future Resilient Systems, ETH Zurich（苏黎世联邦理工学院未来弹性系统（Future Resilient Systems, ETH Zurich））
保持任意数据集的全局拓扑结构的特征映射可以由自组织竞争代理形成。到目前为止，人们一直认为，全球互动的代理人是必要的，这一过程。我们建立，这是不是这种情况下，全球拓扑结构可以通过严格的本地相互作用。通过对所有智能体的地图质量进行统一，得到了一种能够一致地揭示具有挑战性的数据集的全局拓扑结构的算法，并在一个大型点云数据集上进一步测试了该方法的适用性和可扩展性，揭示了地图训练时间与数据集大小之间的线性关系.所提出的工作不仅降低了算法的复杂性，但也构成了分布式自组织映射的第一步。
2019-02-11 cs.LG cs.NE stat.ML
Deep Neuroevolution: Genetic Algorithms Are a Competitive Alternative for Training Deep Neural Networks for Reinforcement Learning
Uber AI Labs（优步人工智能实验室）
深度人工神经网络（DNN）通常通过基于梯度的学习算法（即反向传播）进行训练。演化策略（ES）可以与基于反向传播的算法（如Q学习和策略梯度）在具有挑战性的深度强化学习（RL）问题上相媲美。然而，ES可以被认为是基于梯度的算法，因为它通过类似于梯度的有限差分近似的操作来执行随机梯度下降。这就提出了一个问题，即非基于梯度的进化算法是否可以在DNN规模下工作。在这里，我们证明他们可以：我们用一个简单的、无梯度的、基于种群的遗传算法（GA）来进化DNN的权重，它在困难的深度RL问题上表现良好，包括Atari和人形运动。Deep GA成功地进化了具有超过400万个自由参数的网络，这是有史以来使用传统进化算法进化的最大神经网络。这些结果（1）扩展了我们对遗传算法可以操作的规模的理解，（2）有趣地表明，在某些情况下，遵循梯度并不是优化性能的最佳选择，（3）立即提供了大量的神经进化技术来提高性能。我们通过将DNN与新颖性搜索相结合来证明后者，这种新颖性搜索鼓励对具有欺骗性或稀疏奖励函数的任务进行探索，可以解决一个高维问题，在这个问题上，奖励最大化算法（例如\ DQN、A3C、ES和GA）失败。此外，Deep GA比ES、A3C和DQN更快（它可以在一个桌面上用${\raise.17ex\hbox{$ \scriptstyle \sim $}}$训练Atari 4小时，或者在720个核心上用${\ra…
2018-04-20 cs.LG cs.NE
Graph-Based Neural Network Models with Multiple Self-Supervised Auxiliary Tasks
自监督学习目前正受到广泛关注，因为它允许神经网络从大量未标记的数据中学习鲁棒的表示。此外，多任务学习可以通过在相关任务上同时训练网络来进一步改进表示学习，从而显著提高性能。在本文中，我们提出了三个新的自我监督的辅助任务，训练基于图的神经网络模型在多任务的方式。由于图卷积网络是用于捕获结构化数据点之间的关系的最有前途的方法之一，因此我们使用它们作为构建块，以在标准半监督图分类任务上实现有竞争力的结果。
2020-12-04 cs.LG
Class Mean Vectors, Self Monitoring and Self Learning for Neural Classifiers
University of California at Berkeley（加州大学伯克利分校）
在本文中，我们探讨了样本平均值在建立一个神经网络分类的作用。这个角色非常广泛，包括：直接计算权重而无需训练，对没有已知分类的样本进行性能监控，以及对未标记数据进行自训练。CIFAR-10数据集上的实验计算提供了有希望的经验证据，证明了一种简单而广泛适用的方法对一些困难问题的有效性。
2019-10-22 cs.LG stat.ML
ConvDySAT: Deep Neural Representation Learning on Dynamic Graphs via Self-Attention and Convolutional Neural Networks
Stiftung Universität Hildesheim（希尔德斯海姆大学基金会）
学习时态图上的节点表示是有效学习实时动态图的基础。现实世界的图具有随时间不断演化的特性，如边权值的变化、节点的移除和添加以及边的出现和消失，而以往的图表示学习方法一般集中在静态图上。我们目前的ConvDySAT作为DySAT，最先进的动态方法之一，通过增强卷积神经网络与自注意力机制，在DySAT中采用的方法来表达结构和时间的演变增强。我们在通信网络和评级网络上进行了单步链接预测，实验结果表明，ConvDySAT的性能明显优于各种最先进的方法。
2021-06-21 cs.LG
Deep learning for detecting bid rigging: Flagging cartel participants based on convolutional neural networks
University of Fribourg（弗里堡大学）；Swiss Competition Commission（瑞士竞争委员会）；Unidistance（瑞士远程教育大学）
除了关于数据驱动的投标操纵卡特尔检测的文献之外，我们提出了一种基于深度学习（人工智能的一个子领域）的新方法，该方法根据卡特尔参与者与其他公司的成对投标互动来标记卡特尔参与者。更简洁地说，我们结合了一个所谓的卷积神经网络的图像识别与图形，以成对的方式绘制的归一化投标值的一些参考公司对任何其他公司的归一化投标参与相同的投标作为参考公司。基于日本和瑞士的采购数据，我们构建了这样的图的串通和竞争的情节（即当一个投标操纵卡特尔是或不活跃），并使用一个子集的图训练的神经网络，使它学会区分串通投标模式。我们使用剩余的图来测试神经网络在正确分类串通和竞争性投标交互方面的样本外性能。当在日本，瑞士或混合数据（其中瑞士和日本图形合并）中应用该方法时，我们获得了大约90%或略高的平均准确度。当使用来自一个国家的数据进行训练以测试训练模型在另一个国家（即跨国）的性能时，预测性能下降（可能是由于各国采购程序的制度差异），但通常保持令人满意的高水平。总而言之，卷积神经网络的准确性通常相当高，尽管它是在一个相当小的样本中训练的，只有100个图，这表明深度学习方法在标记和打击操纵投标卡特尔方面具有很大的潜力。
2021-04-22 cs.LG stat.ML
Self-similarity Analysis in Deep Neural Networks
本文提出基于隐藏层神经元输出特征的复杂网络建模方法，分析不同架构特征网络的自相似性及其对权重优化的影响，并通过训练约束将MLP和注意力模型性能最高提升6个百分点。
2025-07-23 cs.LG
Pretraining Neural Architecture Search Controllers with Locality-based Self-Supervised Learning
Hyperconnect；Sogang University（西江大学）；Naver
神经结构搜索（NAS）促进了机器学习的各个领域。尽管它的突出贡献，许多人批评了高计算成本的内在局限性。我们的目标是改善这一点，提出了一个预训练计划，可以普遍适用于基于网络的NAS。我们的方法，基于局部的自监督分类任务，利用网络架构的结构相似性，以获得良好的架构表示。我们将我们的方法纳入神经结构优化（NAO）中，以分析预训练的嵌入及其有效性，并强调增加度量学习损失对NAS带来了有利的影响。我们的代码可在\url{https://github.com/Multi-Objective-NAS/self-supervised-nas}上获得。
2021-03-15 cs.LG
Dilated Convolutional Neural Networks for Lightweight Diacritics Restoration
Eötvös Loránd University（罗兰大学）
在以拉丁字母为基础的英语占主导地位的互联网语言环境中，变音符号恢复已经成为一项普遍存在的任务。在本文中，我们描述了一个小的足迹1D扩张卷积为基础的方法，操作上的字符级。我们发现，基于一维扩张卷积神经网络的解决方案是有竞争力的替代模型的基础上递归神经网络或语言建模的变音符号恢复的任务。我们的解决方案超越了类似尺寸型号的性能，并且与更大的型号相比也具有竞争力。我们的解决方案的一个特殊功能是它甚至可以在Web浏览器中本地运行。我们还提供了一个基于浏览器的实现的工作示例。我们的模型在不同的语料库上进行评估，重点是匈牙利语。我们进行了比较测量的泛化能力的模型在匈牙利语料库。我们还分析了错误，以了解基于语料库的自我监督训练的局限性。
2022-01-18 cs.AI cs.CL cs.LG
Simple Modifications to Improve Tabular Neural Networks
人们对表格数据的神经网络架构越来越感兴趣。最近引入了许多通用表格深度学习模型，其性能有时可与梯度提升决策树（GBDTs）相媲美。这些最新的模型从各种来源获得灵感，包括GBDTs，因子分解机和来自其他应用领域的神经网络。以前的表格神经网络也被借鉴，但可能考虑不足，特别是与特定表格问题相关的模型。本文重点介绍了几个这样的模型，并提出了修改，以提高其性能。修改后，这些模型被证明是具有竞争力的领先的通用表格模型，包括GBDTs。
2021-08-09 cs.LG
Self-Replicating Neural Programs
在这项工作中，一个神经网络被训练来复制只使用自己的输出作为输入来训练它的代码。进化自我复制的神经程序中的一个范例，其中程序参数发生突变，和程序的能力，更有效地训练本身导致更大的繁殖成功。这种进化范式被证明可以在没有任何明确指导的情况下在生物体中产生更有效的学习，这仅仅是基于自然选择，有利于具有更快生殖成熟度的生物体。
2021-10-05 cs.LG cs.NE
Recurrent Neural Networks for Time Series Forecasting: Current Status and Future Directions
Monash University（莫纳什大学）
循环神经网络（RNN）已经成为有竞争力的预测方法，最值得注意的是最近的M4竞赛的获胜方法。然而，ETS和ARIMA等已建立的统计模型不仅因其高准确性而受到欢迎，而且还因其强大，高效和自动化而适用于非专家用户。在这些领域，RNN还有很长的路要走。我们提出了一个广泛的实证研究和现有的RNN预测架构的开源软件框架，使我们能够制定指导方针和最佳实践。例如，我们得出结论，如果数据集中的序列具有均匀的季节模式，则RNN能够直接对季节性进行建模，否则我们建议进行去季节化步骤。与ETS和ARIMA的比较表明，实现的（半）自动RNN模型不是银弹，但在许多情况下它们是有竞争力的替代品。
2020-12-23 cs.LG cs.NE stat.ML
A Self-Adaptive Penalty Method for Integrating Prior Knowledge Constraints into Neural ODEs
University of Minho（米尼奥大学）；University of Porto（波尔图大学）
针对神经常微分方程建模需遵循自然系统规则的需求，提出可动态调整参数的自适应惩罚算法，融入先验知识提升可解释性，经三类自然系统实验验证，该方法比现有方法更准确鲁棒。
2024-03-05 cs.LG math.OC
A hybrid quantum-classical neural network for learning to route
Instituto de Pesquisas Eldorado（Eldorado研究所）；Universidade Federal de Santa Catarina（圣卡塔琳娜联邦大学）；Universidade Federal do Rio Grande do Sul（南里奥格兰德联邦大学）
该研究探究用小型量子神经网络替代基于注意力的路由模型的参数密集型模块，发现编码器前馈替换可减少56.6%参数，是可行的混合模块压缩策略，未体现量子优势。
2026-11-05 cs.LG quant-ph
Graph Convolutional Neural Networks via Scattering
我们将散射变换推广到图上，从而在图上构造了一个卷积神经网络。我们表明，在一定的条件下，这样的网络产生的任何功能是近似不变的排列和稳定的图形操作。数值结果表明，相关数据集上的竞争力的表现。
2018-11-18 cs.IT cs.LG eess.SP
Self-Supervised Neural Architecture Search for Multimodal Deep Neural Networks
Kagoshima University（鹿儿岛大学）
本文提出了一种自监督学习方法，用于多模态深度神经网络的架构搜索，能够在未标记数据上有效设计DNN架构。
2025-12-31 cs.LG cs.NE
SAIL: Self-Augmented Graph Contrastive Learning
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Ant Group（蚂蚁集团）；University of Notre Dame（圣母大学）；Brandeis University（布兰迪斯大学）；Inception Institute of Artificial Intelligence（起源人工智能研究院）
本文研究了无监督场景下的图神经网络（GNNs）学习节点表示。具体来说，我们推导了一个理论分析，并提供了一个经验证明GNNs的非稳定性能在不同的图形数据集，当监督信号没有适当定义。GNN的性能取决于节点特征的光滑性和图结构的局部性。为了消除由图的拓扑结构和节点特征度量的节点邻近度的差异，提出了一种新的\underline{S} elf- \underline{A}增强图对比度\underline{i} ve \underline{L}学习框架SAIL，该框架具有两个互补的自蒸馏正则化模块\emph{i.e.}，图内和图间知识蒸馏.我们证明了竞争力的性能，SAIL在各种图形应用程序。即使只有一个GNN层，与最先进的基线相比，SAIL在各种基准数据集上也具有一致的竞争力甚至更好的性能。
2021-12-15 cs.LG stat.ML
