RegMixMatch: Optimizing Mixup Utilization in Semi-Supervised Learning
Beijing Jiaotong University（北京交通大学）；Communication University of China（中国传媒大学）
针对Mixup损害人工标签纯度及阈值策略限制未标记样本效用的问题，提出RegMixMatch框架，通过半监督RegMixup和类感知Mixup技术优化高、低置信度样本的Mixup使用，提升SSL性能。
2025-04-17 cs.CV cs.LG stat.ML
Detector monitoring with artificial neural networks at the CMS experiment at the CERN Large Hadron Collider
Université Paris-Saclay（巴黎-萨克雷大学）；CERN（欧洲核子研究组织）
可靠的数据质量监控是提供适合任何现代大型高能物理实验中物理分析的碰撞数据的关键资产。本文重点介绍了使用人工神经网络的监督和半监督的问题有关的异常的CMS μ子探测器收集的数据的识别。我们使用深度神经网络来分析LHC碰撞数据，这些数据表示为按地理位置组织的图像。我们训练一个能够以前所未有的效率检测已知异常行为的分类器，并探索使用卷积自动编码器将异常检测能力扩展到不可预见的故障模式。这种策略的推广可以为现在和未来的高能物理实验的数据质量评估过程的自动化铺平道路。
2018-07-27 cs.LG physics.data-an physics.ins-det
Self-mentoring: a new deep learning pipeline to train a self-supervised U-net for few-shot learning of bio-artificial capsule segmentation
Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；CRIStAL（里尔计算机、信号与自动控制实验室）
背景资料：在显微成像中对生物人工囊等微观结构的精确分割是计算机辅助理解重要生物力学现象的前提。最先进的分割性能是通过深度神经网络和相关的数据驱动方法实现的。仅从几个带注释的示例训练这些网络是具有挑战性的，而生成提供监督的手动注释图像是乏味的。方法：最近，自我监督，即设计一个提供合成或间接监督的神经管道，已被证明可以显着提高在少数镜头上训练的模型的泛化性能。本文的目的是在微胶囊图像分割的背景下，介绍一个这样的神经管道。我们的方法利用了这些图像的相当简单的内容，以便学员网络可以由裁判网络指导，裁判网络之前已经在合成生成的损坏/正确区域掩码对上进行了训练。结果：建立了实验装置。它们只涉及3到10个带注释的图像以及大量的未注释图像。在生物人工胶囊数据集中，我们的方法始终如一地大幅提高了准确性。我们还表明，学习裁判网络是可转移到另一个胶质母细胞瘤细胞数据集，它可以有效地与数据增强策略相结合。结论：实验结果表明，非常显着的准确性增量所提出的管道，从而得出结论，本文介绍的自我监督机制有可能取代人类注释。
2023-01-07 cs.CV cs.LG
Artificial intelligence application in lymphoma diagnosis with Vision Transformer using weakly supervised training
Department of Pathology and Laboratory Medicine, The University of Texas McGovern Medical School（病理学与实验室医学部，德克萨斯大学麦格诺恩医学学院）；Department of Hematopathology, The University of Texas MD Anderson Cancer（血液病理学部，德克萨斯大学MD安德森癌症中心）
本文探讨了使用弱监督训练的Vision Transformer在区分间变性大细胞淋巴瘤与经典霍奇金淋巴瘤中的应用，展示了其在临床诊断中的有效性。
2026-04-15 cs.CV cs.LG
NIPS - Not Even Wrong? A Systematic Review of Empirically Complete Demonstrations of Algorithmic Effectiveness in the Machine Learning and Artificial Intelligence Literature
The Alan Turing Institute（艾伦·图灵研究所）；University College London（伦敦大学学院）；University of Warwick（华威大学）；Kings College Hospital（国王学院医院）
目的：确定在当前ML/AI监督学习文献样本中得出算法有效性结论所需的论证步骤的完整性。数据来源：发表在神经信息处理系统（NeurIPS，née NIPS）杂志上的论文，官方记录显示发表于2017年。合格性标准：报告（半）监督模型或与表格数据的（半）监督模型融合的预处理的研究。研究评价：三位评审员应用评估标准来确定论证的完整性。标准分为三组，包括：实验（例如，真实和/或合成数据）、基线（例如，不知情和/或最新技术水平）和定量比较（例如，具有置信区间的性能量化指标和算法与基线的正式比较）。结果：在121篇符合条件的论文中（来自679篇摘要的样本），99%使用真实世界数据，29%使用合成数据。91%的手稿没有报告不知情的基线，55%报告了最新的基线。32%的人报告了性能的置信区间，但没有人提供如何计算这些置信区间的参考或说明。3%报告了正式比较。局限性：使用一种期刊作为主要信息源可能无法代表所有ML/AI文献。然而，NeurIPS会议被认为是ML/AI研究的顶级会议之一，因此将其语料库视为高质量研究的代表是合理的。结论：使用NeurIPS监督学习语料库的2017年样本作为当前ML/AI研究的质量和可信度的指标，似乎在算法有效性的演示中完整的论证链是罕见的。
2018-12-18 cs.AI cs.LG stat.ML
Rapid Automated Analysis of Skull Base Tumor Specimens Using Intraoperative Optical Imaging and Artificial Intelligence
University of Michigan（密歇根大学）；Western Michigan University（西密歇根大学）；Brown University（布朗大学）；Invenio Imaging（Invenio影像公司）；New York University（纽约大学）
背景：准确诊断颅底肿瘤对于提供个性化的手术治疗策略至关重要。由于肿瘤的多样性和术中病理资源的缺乏，术中诊断可能具有挑战性。目的：开发一个独立和平行的术中病理学工作流程，可以使用无标记光学成像和人工智能提供快速准确的颅底肿瘤诊断。方法：我们使用了一种基于光纤激光的、无标记的、非消耗性的、高分辨率显微镜方法（$<$ 60秒/1 $\times$ 1 mm $^\text{2}$），称为受激拉曼组织学（SRH），对连续的、多中心的颅底肿瘤患者队列进行成像。然后使用SRH图像训练卷积神经网络（CNN）模型，使用三种表示学习策略：交叉熵，自监督对比学习和监督对比学习。我们训练的CNN模型在一个多中心SRH数据集上进行了测试。结果：SRH能显示颅底良、恶性肿瘤的诊断特征。在三种表示学习策略中，监督式对比学习最有效地学习了每种颅底肿瘤类型的独特和诊断性SRH图像特征。在我们的多中心测试集中，交叉熵的总体诊断准确率为91.5%，自监督对比学习为83.9%，监督对比学习为96.6%。我们的训练模型能够识别肿瘤正常边缘，并检测整个载玻片SRH图像中的微观肿瘤浸润区域。结论：SRH与训练有素的人工智能模型可以提供快速和准确的颅底肿瘤标本的术中分析，为手术决策提供信息。
2022-06-19 cs.AI cs.CV cs.LG
DTization: A New Method for Supervised Feature Scaling
United International University（联合国际大学）
针对传统无监督特征缩放未考虑因变量影响的问题，提出名为DTization的有监督特征缩放方法，利用决策树衡量特征重要性并结合稳健缩放器进行差异化缩放，在十个数据集上表现出显著性能提升。
2024-04-27 cs.AI cs.LG
Customers Churn Prediction in Financial Institution Using Artificial Neural Network
University of Ibadan（伊巴丹大学）
在这项研究中，使用多层感知器的人工神经网络架构的预测模型，以预测客户流失的金融机构。以前的研究使用监督机器学习分类器，如逻辑回归，决策树，支持向量机，K-最近邻，和随机森林。这些分类器需要人力来执行特征工程，这导致过度指定和不完整的特征选择。因此，本研究提出一个模型，以消除在数据预处理阶段的人工特征工程。5万名客户？数据是从尼日利亚一家主要金融机构的数据库中提取的。多层感知器模型是用python程序设计语言建立的，并使用了两种过拟合技术（Dropout和L2正则化）。在python中完成的实现与Neuro solution infinity软件中的另一个模型进行了比较。结果表明，人工神经网络软件开发（Python）的性能与从Neuro Solution Infinity软件获得的性能相当。准确率分别为97.53%和97.4%，ROC曲线分别为0.89和0.85。
2019-12-23 cs.LG stat.ML
Semi-supervised learning with Bidirectional GANs
Wrocław University of Science and Technology（弗罗茨瓦夫理工大学）；Tooploox Ltd.（Tooploox有限公司）
在这项工作中，我们介绍了一种新的方法来训练双向生成对抗模型（BiGAN）在半监督的方式。所提出的方法利用三重损失函数作为目标函数的附加分量，用于在BiGAN模型的潜在空间中训练判别数据表示。这种表示可以进一步用作生成人工图像的种子，也可以作为分类和图像检索任务的良好特征嵌入。我们使用两个基准数据集：CIFAR10和SVHN，在上述两个具有挑战性的任务中评估所提出的方法的质量。
2018-11-28 cs.IR cs.LG stat.ML
Comparison of Discrete Choice Models and Artificial Neural Networks in Presence of Missing Variables
University of Wollongong（伍伦贡大学）；University of Namur（那慕尔大学）
分类，即为给定其特征的观察分配标签（或类别）的过程，是许多应用中的常见任务。然而，在大多数现实生活中的应用，标签不能完全解释所观察到的功能。事实上，可能有许多因素隐藏的建模。无法解释的变化，然后被视为一些随机噪声，这是不同的处理取决于由从业者保留的方法。这项工作的重点是两个简单的和广泛使用的监督分类算法：离散选择模型和人工神经网络的背景下，二进制分类。通过各种数值实验，包括连续或离散的解释功能，我们提出了一个比较的保留方法的性能存在缺失的变量。还研究了训练数据中两类分布的影响。这些实验的结果突出了这样一个事实，即人工神经网络优于离散选择模型，除非训练数据中的类分布高度不平衡。最后，这项工作提供了一些指导方针，选择正确的分类器的训练数据。
2018-11-06 cs.LG stat.ML
Flame Stability Analysis of Flame Spray Pyrolysis by Artificial Intelligence
Princeton University（普林斯顿大学）；Argonne National Laboratory（阿贡国家实验室）
火焰喷雾热解（FSP）是一种通过燃烧雾化的前体溶液来合成纳米颗粒的工艺;该工艺在催化剂，电池材料和颜料中有应用。目前的局限性围绕着理解如何始终如一地实现稳定的火焰和可靠的纳米颗粒生产。机器学习和人工智能算法可以实时的检测不稳定的火焰条件，这可能是简化合成过程和提高FSP效率的一种手段。在这项研究中，FSP火焰稳定性首先通过分析火焰的锚点的亮度来量化。然后，该分析用于标记无监督和监督机器学习方法的数据。无监督学习方法通过在降维空间中表示数据并识别最有效地聚类它的特征组合来允许对新数据进行自主标记和分类。另一方面，监督学习方法需要对训练和测试数据进行人工标记，但能够对视频馈送中的多个感兴趣对象（例如燃烧器和引燃火焰）进行分类。这些技术中的每一种的准确性都与人类专家的评估进行了比较。无监督和有监督的方法都可以实时的跟踪和分类FSP火焰状况，以警告用户不稳定的火焰状况。这项研究有可能通过监测和分类火焰稳定性来自主跟踪和管理火焰喷雾热解以及其他火焰技术。
2020-10-22 cs.CV cs.LG
Leveraging chaotic transients in the training of artificial neural networks
Institute for Cross-Disciplinary Physics and Complex Systems (IFISC, CSIC-UIB)（跨学科物理与复杂系统研究所）
通过利用混沌瞬态，研究发现大学习率下神经网络训练可进入探索-利用平衡区域，从而加速训练过程。
2026-03-08 cond-mat.dis-nn cs.LG nlin.CD
Supervised Graph Contrastive Learning for Gene Regulatory Networks
University of Tokyo（东京大学）；National Institute of Genetics（日本国立遗传学研究所）
本文提出SupGCL方法，通过整合基因敲除实验中的生物扰动作为监督信号，改进基因调控网络的表示学习，提升疾病亚型识别和下游任务性能。
2026-06-15 cs.LG
Self-supervised Multi-modal Training from Uncurated Image and Reports Enables Zero-shot Oversight Artificial Intelligence in Radiology
Yonsei College of Medicine（延世大学医学院）；Chung-Ang University Hospital（中央大学医院）；Chungnam National University College of Medicine（忠南大学医学院）；KAIST（韩国科学技术院）
本文提出医学交叉注意力视觉-语言模型Medical X-VL，通过自监督单模态模型、融合编码器、动量蒸馏、句子级对比学习及困难负样本挖掘，在未整理医学图像与报告上实现零样本分类和错误纠正，并在数据有限场景下优于现有模型。
2023-04-12 cs.CL cs.CV cs.LG
Artificial Perceptual Learning: Image Categorization with Weak Supervision
Columbia University（哥伦比亚大学）；University of Pennsylvania（宾夕法尼亚大学）；Goddard Space Flight Center（戈达德太空飞行中心）；NASA（美国国家航空航天局）
机器学习在监督学习任务中取得了很大的成功，具有大量标注良好的训练样本。然而，在许多实际情况下，由于昂贵且劳动密集的标记过程，由训练数据提供的这种强有力且高质量的监督是不可用的。自动识别和识别大量未标记图像中的对象类别，并且监督较弱，仍然是计算机视觉中一个重要但尚未解决的挑战。在本文中，我们提出了一个新的机器学习框架，人工感知学习（APL），以解决弱监督图像分类的问题。拟议的APL框架构建使用国家的最先进的机器学习算法作为积木，模仿认知发展过程中被称为婴儿分类。我们开发和说明了拟议的框架，通过实施一个广泛的领域细粒度的生态调查的树种超过8,000公顷的面积的El Yunque雨林在波多黎各。它是基于未标记的高分辨率空中图像的树冠。这些图像中只有不到1%的图像有错误的地面标签，这是这个学习框架唯一薄弱的监督。我们使用一小组具有高质量人类注释的图像来验证所提出的框架，并表明所提出的框架达到了人类水平的认知经济。
2021-06-02 cs.CV cs.LG
Semi-Supervised GCN for learning Molecular Structure-Activity Relationships
Sapienza University of Rome（罗马第一大学）；Sony AI（索尼人工智能）
自从在药物化学中引入人工智能以来，分析分子性质变化如何被单个原子或化学基团调节的必要性已经出现。在本文中，我们提出了训练图到图的神经网络使用半监督学习属性的结构-性能关系。作为初步的案例研究，我们适用于溶解度和分子酸度的方法，同时检查其一致性与已知的实验化学数据进行比较。作为最终目标，我们的方法可以代表一个有价值的工具来处理问题，如活性悬崖，铅优化和从头药物设计。
2022-01-25 cs.AI cs.LG q-bio.BM
Interpretable and Calibrated Classification of Clinical Data Using Supervised Feature Binarization
Worcester Polytechnic Institute（伍斯特理工学院）；Centro de Vacunación e Investigación (CEVAXIN)（疫苗接种与研究中心（CEVAXIN））；Universidad Tecnológica de Panamá（巴拿马技术大学）；Massachusetts Institute of Technology（麻省理工学院）；Broad Institute of MIT and Harvard（麻省理工学院和哈佛大学布罗德研究所）；McGill University（麦吉尔大学）；The Montreal Neurological Hospital-Institute（蒙特利尔神经学医院研究所）
研究针对医学数据分类中黑箱模型的问题，引入基于统计学的框架，用伯努利朴素贝叶斯模型并结合\(\chi^2\)引导的统计二值化方法，在多数据集上评估，性能与复杂模型相当，还提供可解释规则和校准风险估计。
2026-09-18 cs.LG
Solving weakly supervised regression problem using low-rank manifold regularization
Sobolev Institute of Mathematics（索博列夫数学研究所）；Novosibirsk State University（新西伯利亚国立大学）；RWTH Aachen（亚琛工业大学）
我们解决了一个弱监督回归问题。在“弱”下，我们理解对于一些训练点，标签是已知的，对于一些未知的，对于其他由于随机噪声或其他原因（如缺乏资源）而不确定的。求解过程需要优化某个目标函数（损失函数），它结合了流形正则化和低秩矩阵分解技术。这些低秩近似使我们能够加快所有矩阵计算并减少存储需求。这对于大型数据集尤其重要。包围聚类用于获得共关联矩阵，我们认为这是相似性矩阵。这些技术的使用使我们能够提高解决方案的质量和稳定性。在数值部分，我们使用Monte-Carlo建模将建议的方法应用于人工和真实数据集。
2021-04-13 cs.LG cs.NA math.NA
Probing artificial neural networks: insights from neuroscience
MIT（麻省理工学院）；Stanford University（斯坦福大学）
神经科学和机器学习的一个主要挑战是开发有用的工具来理解复杂的信息处理系统。一种这样的工具是探针，即，将感兴趣的特征与生物或人工神经网络中出现的激活模式相关联的监督模型。神经科学通过近几十年来进行的大量研究为使用这些模型铺平了道路。在这项工作中，我们从神经科学中汲取见解，以帮助指导机器学习的探索研究。我们强调两个重要的设计选择探针$-$的方向和表现力$-$，并与这些选择的研究目标。我们认为，具体的研究目标发挥了至关重要的作用时，设计一个探针，并鼓励未来的探测研究明确说明这些目标。
2021-04-16 cs.CL cs.LG
Supervised Neural Networks for Helioseismic Ring-Diagram Inversions
New York University Abu Dhabi（纽约大学阿布扎比校区）；Max-Planck-Institut für Sonnensystemforschung（马克斯·普朗克太阳系研究所）；Georg-August-Universität Göttingen（格奥尔格-奥古斯特-哥廷根大学）；Tata Institute of Fundamental Research（塔塔基础研究所）
反演环拟合参数以获得8年SDO观测的环图分析中的地下水流图在计算上是昂贵的，需要~3200 CPU小时。在本文中，我们将机器学习技术应用于反演，以加快计算速度。具体而言，我们训练预测地下流动使用的模式拟合参数和以前的反演结果，以取代未来的反演要求。我们利用人工神经网络作为一种监督学习方法来预测15度环瓦中的流动。为了证明机器学习结果仍然包含当地日震研究的关键细微特征，我们使用机器学习结果来研究最近发现的太阳赤道Rossby波。人工神经网络计算效率高，能够在几秒钟内对整个卡林顿旋转的未来流量进行预测，这比目前的31个CPU小时要快得多。网络的初始训练需要约3个CPU小时。经过训练的人工神经网络可以实现的均方根误差约等于速度反演报告的一半，这证明了机器学习的准确性（以及可能高估了环图管道的原始误差）。我们在机器学习流程中发现了赤道Rossby波的签名，涵盖了六年的数据，表明小幅度信号得到了维持。机器学习流程图中Rossby波的恢复可以仅用一次卡林顿旋转（27.275天）的训练数据来实现。我们已经证明，机器学习可以应用于当前的环图反演，并且比当前的环图反演更有效。机器学习的计算负担包括初始训练的3个CPU小时，然后是未来预测的大约0.0001个CPU小时。
2019-01-06 astro-ph.SR cs.LG
Interface Laplace Learning: Learnable Interface Term Helps Semi-Supervised Learning
Tsinghua University（清华大学）
本文提出界面拉普拉斯学习框架，通过在类别界面处引入可学习界面项，突破函数全局光滑假设，并在极低标记率下取得优于现有半监督方法的性能。
2025-07-06 cs.LG
Scalable Training of Artificial Neural Networks with Adaptive Sparse Connectivity inspired by Network Science
Eindhoven University of Technology（埃因霍温理工大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Derby（德比大学）
通过深度学习在各个领域的成功，人工神经网络目前是最常用的人工智能方法之一。从生物神经网络的网络特性（例如稀疏性、无标度性）中获得灵感，我们认为（与一般实践相反）人工神经网络也不应该具有完全连接的层。在这里，我们提出了人工神经网络的稀疏进化训练，在学习过程中，将两个连续神经元层的初始稀疏拓扑（Erdens-Rényi随机图）进化为无标度拓扑的算法。我们的方法取代人工神经网络全连接层与稀疏的训练前，减少了二次参数的数量，而不降低精度。我们在15个数据集上证明了我们对限制玻尔兹曼机，多层感知器和卷积神经网络的无监督和监督学习的要求。我们的方法有可能使人工神经网络的规模超过目前的可能。
2018-06-20 cs.AI cs.LG cs.NE
Statistical process monitoring of artificial neural networks
Leibniz University Hannover（莱布尼茨汉诺威大学）；LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎高等电信学校，巴黎综合理工学院）
针对人工神经网络部署中数据平稳性难以实时低耗监控的问题，提出基于嵌入的多元控制图监控方法，通过数据深度和归一化秩检测非平稳性，在多架构多数据格式下与基准方法对比验证性能。
2023-07-27 cs.LG stat.AP stat.ME
Semi-supervised deep learning based on label propagation in a 2D embedded space
University of Campinas（坎皮纳斯大学）
虽然卷积神经网络需要大的标记集来训练图像，但对此类数据集的专家人工监督可能非常费力。所提出的解决方案将标签从监督图像的小集合传播到非监督图像的大集合，以获得足够的真实和人工标记的样本来训练深度神经网络模型。然而，这样的解决方案需要许多监督图像进行验证。我们提出了一个循环，其中深度神经网络（VGG-16）是从一组具有更正确标记的样本中训练出来的，这些样本是通过使用t-SNE将其最后一个最大池化层的特征投影到一个2D嵌入空间中来创建的，在这个嵌入空间中，使用最优路径森林半监督分类器来传播标签。随着标记集随着迭代而改进，它改进了神经网络的特征。我们表明，这可以显着提高分类结果的测试数据（仅使用1\%至5\%的监督样本）的三个私人挑战数据集和两个公共的。
2021-01-15 cs.CV cs.LG
Artificial Intelligence as Structural Estimation: Economic Interpretations of Deep Blue, Bonanza, and AlphaGo
Yale（耶鲁大学）；MIT（麻省理工学院）
人工智能（AI）在越来越多的任务中实现了超人的性能，但理解和解释AI仍然具有挑战性。本文通过对三个著名的游戏人工智能的案例研究，阐明了开发人工智能的机器学习算法与动态结构模型的计量经济学之间的联系。玩国际象棋的深蓝是一个校准的价值函数，而玩将棋的博南扎是一个估计的价值函数通过鲁斯特（1987）嵌套定点方法。AlphaGo的“监督学习策略网络”是Hotz和Miller（1993）条件选择概率估计的深度神经网络实现;其“监督学习值网络”相当于Hotz，Miller，Sanders和Smith（1994）条件选择模拟方法。放宽这些认可机构隐含的计量经济学假设将改善其结构的可解释性。
2018-03-01 cs.AI cs.LG econ.EM
Strategic Dialogue Management via Deep Reinforcement Learning
Heriot-Watt University（赫瑞-瓦特大学）
具有战略技能的智能代理，可以在与其他自然或人工代理的交互过程中进行谈判，仍然不发达。本文描述了一个成功的应用深度强化学习（DRL）训练智能代理的战略会话技能，在情景对话设置。以前的研究已经使用监督学习和传统的强化学习技术，后者使用表格表示或学习线性函数逼近的策略代理的行为建模。在这项研究中，我们应用DRL与一个高维的状态空间的战略棋盘游戏的卡坦岛的定居者-在那里，玩家可以提供资源，以换取他人，他们也可以回答由其他玩家提供。我们的实验结果表明，基于DRL的学习策略显著优于几个基线，包括随机，基于规则和基于监督的行为。基于DRL的策略与3个自动播放器（“机器人”）相比具有53%的胜率，而在此设置中在对话语料库上训练的受监督播放器与相同的3个机器人相比仅实现了27%。这一结果支持了DRL是一个有前途的框架，用于训练对话系统和具有谈判能力的战略代理的主张。
2015-11-25 cs.AI cs.LG
Evaluation of Artificial Intelligence Methods for Lead Time Prediction in Non-Cycled Areas of Automotive Production
Dr. Ing. h.c. F. Porsche AG（保时捷股份公司）；Hochschule Karlsruhe – University of Applied Sciences（卡尔斯鲁厄应用技术大学）；Hochschule Esslingen – University of Applied Sciences（埃斯林根应用技术大学）
本研究针对汽车非周期控制生产区域的提前期预测问题，评估多种监督机器学习方法，经优化后选定LightGBM算法，最高准确率达90%，验证了AI方法在可变生产数据中的应用价值。
2025-01-15 cs.AI cs.LG cs.RO
AS-XAI: Self-supervised Automatic Semantic Interpretation for CNN
Southern University of Science and Technology（南方科技大学）；Peng Cheng Laboratory（鹏城实验室）；Peking University（北京大学）；Eastern Institute of Technology（东方理工大学）
提出AS-XAI框架，利用正交语义提取和行中心PCA实现CNN决策的自动全局解释，兼顾可靠性、因果性和可用性，实验验证其有效性和广泛适用性。
2023-12-02 cs.AI cs.CV cs.HC
Analogical and Relational Reasoning with Spiking Neural Networks
瑞文推理测验已被广泛用于测量人类的抽象推理和智力。然而，对于人工学习系统，抽象推理仍然是一个具有挑战性的问题。在本文中，我们研究如何增强生物启发尖峰模块的神经网络在解决这个问题中获得显着的优势。为了说明这一点，我们首先研究了我们的网络的性能与监督学习，然后与无监督学习。在RAVEN数据集上的实验表明，我们的监督网络的整体准确性超过了人类水平的性能，而我们的无监督网络则明显优于现有的无监督方法。最后，我们从监督和无监督学习的结果表明，与非增强的对应物不同，具有尖峰模块的网络能够在没有任何明确指令的情况下提取和编码时间特征，不严重依赖于训练数据，并且更容易推广到新问题。总之，这里报告的结果表明，具有尖峰模块的人工神经网络非常适合解决抽象推理。
2021-08-17 cs.AI cs.LG cs.NE
Generative Adversarial Networks are Special Cases of Artificial Curiosity (1990) and also Closely Related to Predictability Minimization (1991)
The Swiss AI Lab, IDSIA, USI & SUPSI（瑞士人工智能实验室（IDSIA，意大利瑞士大学与瑞士意大利语区应用科学大学））；NNAISENSE
我回顾了无监督或自监督的神经网络在博弈论环境中玩极大极小博弈：（i）人工电流（AC，1990）是基于两个这样的网络。一个网络学习生成输出的概率分布，另一个学习预测输出的影响。每个网络最小化被另一个最大化的目标函数。(ii)生成对抗网络（GANs，2010-2014）是AC的一种应用，如果输出在给定的集合中，则输出的效果为1，否则为0。(iii)可预测性最小化（Predictability Minimization，PM，1990年代）通过神经编码器对数据分布进行建模，该神经编码器最大化由代码组件的神经预测器最小化的目标函数。我纠正了以前发表的一个说法，即PM不是基于极大极小博弈。
2020-04-22 cs.LG cs.NE
Density-Aware Hyper-Graph Neural Networks for Graph-based Semi-supervised Node Classification
South China University of Technology（华南理工大学）；Concordia University（康考迪亚大学）
基于图的半监督学习可以利用标记数据和未标记数据之间的连接关系，在许多人工智能应用中表现出优于最先进的技术。基于图的半监督节点分类算法最具挑战性的问题之一是如何利用数据间的隐含信息来提高分类性能。传统的基于图的半监督学习研究主要集中在数据之间的成对连接上。然而，实际应用中的数据相关性可能超出成对和更复杂。密度信息已被证明是一个重要的线索，但它很少深入探讨现有的基于图的半监督节点分类方法。为了开发一种灵活有效的基于图的半监督节点分类模型，我们提出了一种新的密度感知超图神经网络（DA-HGNN）。在我们提出的方法中，超图是用来探索数据之间的高阶语义相关性，并提出了一个密度感知的超图注意力网络来探索高阶连接关系。在不同的基准数据集上进行了大量的实验，结果表明了所提出的方法的有效性。
2022-01-27 cs.CV cs.LG
A Semi-supervised Object Detection Algorithm for Underwater Imagery
University of Sydney（悉尼大学）；Norwegian University of Science and Technology（挪威科技大学）
针对AUV水下图像数据集无标注、类别不平衡导致目标检测难的问题，提出基于VAE的半监督异常检测框架，结合隐空间聚类与重建误差异常分数，在真实海底无标注数据集上实现0.64的平均精度。
2023-06-07 cs.CV cs.LG
Submodularity In Machine Learning and Artificial Intelligence
University of Washington（华盛顿大学）
在这篇手稿中，我们提供了一个温和的审查子模和超模及其性质。我们提供了大量的次模定义;一个完整的描述了一些例子次模函数和它们的推广;例子离散约束;讨论最大化，最小化和其他操作的基本算法;连续次模扩展的简要概述;和一些历史应用。然后，我们转向子模块化在机器学习和人工智能中是如何有用的。这包括总结，我们提供了一个完整的帐户之间的差异和共性之间的素描，核心集，提取和抽象的总结在NLP，数据蒸馏和冷凝，数据子集选择和特征选择。我们讨论了产生对机器学习有用的子模块函数的各种方式，包括启发式手工制作、学习或近似学习子模块函数或其方面，以及使用子模块函数作为核心集产生器的一些优点。我们讨论子模块组合信息函数，以及子模块如何用于聚类、数据划分、并行机器学习、主动和半监督学习、概率建模以及结构化规范和损失函数。
2022-10-04 cs.AI cs.LG
Bidirectional representational alignment between biological and artificial neural networks
University of Toronto（多伦多大学）；KITE Research Institute（KITE研究所）；University Health Network（大学健康网络）
该研究针对生物与人工神经网络表征对齐的不对称问题，开发整合谱正则化与双向预测性分析的计算框架，调控表征几何使双向预测性获55%相对提升，证明可通过调控表征几何调节双向对齐。
2026-08-20 cs.AI cs.LG
Correlative Information Maximization: A Biologically Plausible Approach to Supervised Deep Neural Networks without Weight Symmetry
Gatsby Computational Neuroscience Unit, UCL（伦敦大学学院盖茨比计算神经科学单元）；KUIS AI Center, Koc University（科奇大学KUIS人工智能中心）；EEE Department, Koc University（科奇大学电气与电子工程系）；John A. Paulson School of Engineering & Applied Sciences and Center for Brain Science, Harvard University（哈佛大学约翰·A·保尔森工程与应用科学学院及脑科学中心）；Kempner Institute for the Study of Natural and Artificial Intelligence（肯普纳自然与人工智能研究所）
本文提出相关信息最大化作为生物神经网络信号传播的替代规范方法，解决了传统神经网络和反向传播算法的生物合理性问题，并提供了一种无权重对称性的解决方案。
2026-03-26 cs.IT cs.LG cs.NE
Learning To Explore With Predictive World Model Via Self-Supervised Learning
Institute of Computing, State University of Campinas（坎皮纳斯州立大学计算研究所）；Faculty of Electrical and Computer Engineering, State University of Campinas（坎皮纳斯州立大学电气与计算机工程学院）
针对自主智能体难以依赖人工任务与奖励的问题，提出基于自监督预测性世界模型和内在动机的探索方法，在18款Atari游戏中展现出优于现有方法的复杂行为学习能力。
2025-02-18 cs.AI cs.LG
A Theory of Universal Artificial Intelligence based on Algorithmic Complexity
决策理论正式解决了不确定世界中理性主体的问题，如果真实的环境先验概率分布是已知的。Solomonoff的泛归纳理论形式化地解决了未知先验分布的序列预测问题。我们将这两种思想结合起来，得到一个无参数的通用人工智能理论。我们给出了强有力的论据，由此产生的AIXI模型是最智能的无偏代理可能。我们概述了一些问题类，包括序列预测，战略游戏，函数最小化，强化和监督学习，如何AIXI模型可以正式解决这些问题。AIXI模型的主要缺点是它是不可计算的。为了克服这个问题，我们构造了一个修改后的算法AIXI-TL，它仍然有效地比任何其他时间t和空间l有界代理更智能。AIXI-t1的计算时间是tx2^1的数量级。其他讨论的主题是智能顺序关系的正式定义，视界问题和AIXI理论与其他AI方法的关系。
2000-04-03 cs.AI cs.IT cs.LG
Strong overall error analysis for the training of artificial neural networks via random initializations
University of Münster（明斯特大学）
本文在深度监督学习中改进了整体误差收敛估计，证明在任意独立同分布随机初始化的随机优化算法下，网络深度只需以更慢速度增长即可达到相同逼近速率。
2020-12-15 cs.LG cs.NA math.NA
Zero-shot Synthesis with Group-Supervised Learning
University of Southern California（南加州大学）
灵长类动物的视觉认知优于人工神经网络，因为它能够“想象”一个视觉对象，即使是一个新引入的，在不同的属性，包括姿势，位置，颜色，纹理等，以帮助神经网络想象具有不同属性的对象，我们提出了一个家庭的目标函数，表示在组的例子，作为一种新的学习框架，我们称之为小组监督学习（GSL）。GSL允许我们将输入分解为具有可交换组件的非纠缠表示，这些组件可以重新组合以合成新的样本。例如，红色船和蓝色汽车的图像可以被分解和重组以合成红色汽车的新颖图像。我们提出了一种基于自动编码器的实现，称为组监督zero-shot合成网络（GST-Net），使用我们的学习框架进行训练，即使在训练过程中没有看到这样的例子，也可以生成高质量的红色汽车。我们在现有的基准测试中测试我们的模型和学习框架，以及我们开源的新数据集。我们定性和定量地证明了用GSL训练的GST-Net优于最先进的方法。
2021-02-16 cs.AI cs.CV cs.LG
Sup3r: A Semi-Supervised Algorithm for increasing Sparsity, Stability, and Separability in Hierarchy Of Time-Surfaces architectures
University of Pittsburgh（匹兹堡大学）；Meta Reality Labs（元宇宙现实实验室）
Sup3r是一种半监督算法，通过端到端在线训练增强HOTS网络的稀疏性、稳定性和可分离性，支持持续学习，并在N-MNIST上达到与同规模人工神经网络相当的精度。
2024-04-30 cs.AI cs.LG cs.NE
Spiking Neural Networks and Bio-Inspired Supervised Deep Learning: A Survey
ISTI-CNR（意大利国家研究委员会信息科学与技术研究所）
本综述全面回顾了受生物启发的AI方法，详细介绍了脉冲神经网络（SNN）模型及其训练挑战，并探讨了替代反向传播的生物启发训练方法，以提升模型的计算能力与生物合理性。
2023-07-30 cs.AI cs.CV cs.LG
