Target Curricula via Selection of Minimum Feature Sets: a Case Study in Boolean Networks
University of Newcastle(纽卡斯尔大学)
我们考虑了在监督多标签分类(MLC)问题上训练布尔模型时引入目标课程的效果。特别是,我们考虑如何在没有先验知识的情况下订购目标,以及如何在使用元分析训练离散非线性模型时执行这样的课程。我们表明,目标之间的层次依赖关系,可以利用执行适当的课程,使用分层损失函数。在已知目标困难的多输出电路推理问题上,用这种损失函数训练的前馈布尔网络(FBN)实现了显着更低的样本外误差,在某些情况下高达$10\%$。这种改进随着损失更加强调目标顺序而增加,并且与容易到困难的课程密切相关。我们还证明了相同的改进三个真实的世界模型和两个基因调控网络(GRN)推理问题。我们提出了一个简单的先验方法,用于确定一个适当的目标顺序和估计布尔MLCs中的目标关系的强度。这些方法使用内在维度作为目标难度的代理,该目标难度使用被称为最小特征集(minFS)问题的组合优化问题的最优解来估计。我们还表明,可以实现相同的泛化增益,而不提供任何知识的目标难度。
2017-11-01 cs.AI cs.LG
TargetNet: Functional microRNA Target Prediction with Deep Neural Networks
Seoul National University(首尔大学);LG AI Research(LG人工智能研究院);Seoul National University of Science and Technology(首尔科学技术大学)
研究动机:MicroRNAs(miRNAs)通过与信使RNA(mRNAs)的靶位点结合,在基因表达调控中发挥关键作用。虽然识别miRNAs的功能靶标至关重要,但它们的预测仍然是一个巨大的挑战。以前的计算算法有很大的局限性。他们使用保守的候选靶位点(CTS)选择标准,主要集中在典型的网站类型,依赖于费力和耗时的手动特征提取,并没有充分利用的信息miRNA-CTS相互作用。结果:在本文中,我们介绍了TargetNet,这是一种用于功能性miRNA靶标预测的新型基于深度学习的算法。为了解决以前方法的局限性,TargetNet有三个关键组成部分:(1)放宽CTS选择标准,适应种子区域的不规则性,(2)一种新的miRNA-CTS序列编码方案,包括扩展的种子区域比对,以及(3)基于深度残差网络的预测模型。该模型使用miRNA-CTS对数据集进行训练,并使用miRNA-mRNA对数据集进行评估。TargetNet推进了先前用于功能性miRNA靶标分类的最先进算法。此外,它显示了区分高功能miRNA靶标的巨大潜力。
2021-10-13 cs.AI cs.LG q-bio.GN
An initial alignment between neural network and target is needed for gradient descent to learn
Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
本文引入了初始化神经网络与目标函数之间的“初始对齐”(INAL)概念。证明了如果一个网络和一个布尔目标函数不具有明显的INAL,则在具有归一化i.i.d.的全连通网络上的噪声梯度下降。初始化将不会在多项式时间内学习。因此,在架构设计中需要一定量的关于目标的知识(由INAL测量)。这也为[AS20]中提出的一个开放问题提供了答案。结果是基于推导对称神经网络上的下降算法的下界,而没有明确的知识,超出其INAL的目标函数。
2022-08-16 cs.LG
DeepDA: LSTM-based Deep Data Association Network for Multi-Targets Tracking in Clutter
提出了一种基于长短期记忆(LSTM)神经网络的数据关联算法DeepDA,用于处理NP-hard组合优化问题。与传统的数据关联方法需要复杂的模型和精确的杂波密度、滤波协方差或关联门等先验知识不同,数据驱动的深度学习方法已被广泛研究。首先,对目标数目未知、目标漏检和杂波情况下的多目标跟踪数据关联问题进行了形式化的重新定义,该问题超越了观测值与目标之间的一一对应关系。随后,设计了一个LSTM网络,用于从雷达噪声测量和现有航迹中学习测量到航迹关联概率。此外,基于LSTM的数据驱动的深度神经网络在通过BPTT和RMSprop优化方法进行监督训练后可以直接获得关联概率。仿真实验结果表明,该算法在复杂杂波环境下,即使多目标交叉,也能在关联率、目标ID切换、跟踪时间等方面取得较好的效果。
2019-07-16 cs.AI cs.LG stat.ML
Predicting Molecule-Target Interaction by Learning Biomedical Network and Molecule Representations
Global Health Drug Discovery Institute(全球健康药物研发中心)
分子-靶点相互作用的研究对于药物发现具有重要意义,可以用于靶点识别、靶点识别、途径研究、药物-药物相互作用等。现有的研究方法大多利用生物医学网络信息或分子结构特征来预测潜在的相互作用。然而,生物医学网络信息为基础的方法通常遭受冷启动问题,而基于结构的方法往往给有限的性能,由于结构/相互作用的假设和数据质量。为了解决这些问题,我们提出了一种伪连体图神经网络方法,即MTINet+,它学习生物医学网络拓扑结构和分子结构/化学信息作为表示来预测给定分子和靶对的潜在相互作用。在MTINet+中,从生物医学网络的已知相互作用中提取给定分子和目标对的1-hop子图作为拓扑信息,同时将分子的结构和化学属性作为分子信息进行处理。MTINet+学习这两种类型的信息作为预测配对链接的嵌入特征。在不同的分子-靶相互作用任务的实验中,MTINet+的表现明显优于最先进的基线。此外,在我们设计的网络稀疏性实验中,MTINet+对不同的稀疏生物医学网络表现出很强的鲁棒性。
2023-02-06 cs.LG
Efficient Incorporation of Multiple Latency Targets in the Once-For-All Network
Georgia Institute of Technology(佐治亚理工学院)
神经架构搜索已被证明是一种有效的自动化架构工程的方法。该领域最近的工作一直在寻找受多个目标(如准确性和延迟)影响的架构,以有效地将它们部署在不同的目标硬件上。一次性(OFA)是一种这样的方法,它将训练和搜索相结合,并且能够为不同的延迟约束找到高性能的网络。然而,搜索阶段在合并多个延迟目标方面效率低下。在本文中,我们介绍了两种策略(自上而下和自下而上),使用热启动和随机网络修剪的OFA网络中的多个延迟目标的有效结合。我们评估这些策略对当前的OFA实现,并证明我们的策略提供了显着的运行时间的性能增益,同时不牺牲的准确性,发现每个延迟目标的子网络。我们进一步证明,这些性能增益推广到OFA网络使用的每个设计空间。
2020-12-12 cs.LG
Fused Bayesian Flow Networks for Dual-Target Molecular Design
School of Computer Science, Shanghai Jiao Tong University(上海交通大学计算机科学学院);Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)(广东省人工智能与数字经济实验室(深圳))
针对现有双靶点分子生成方法难以充分整合双靶标特征的问题,提出融合贝叶斯流网络FusedBFN,通过分布融合与乘积专家公式实现双靶点分子设计,实验证实其生成的分子兼具强结合亲和力与良好性质。
2026-08-04 cs.LG
Memory Merge DQN: Sensitivity Weighted Target Updates for Stable Value Learning
Deakin University(迪肯大学);Federation University(联邦大学);UNSW(新南威尔士大学)
研究针对深度Q网络目标网络更新的权衡问题,提出内存合并深度Q网络机制,通过保留近期在线网络副本记忆,依Q值灵敏度合并参数构建目标网络,实验表明该方法能提升稳定性与最终性能。
2026-07-23 cs.LG
MUTE: Data-Similarity Driven Multi-hot Target Encoding for Neural Network Design
IBM;KAIST(韩国科学技术院);Yonsei University(延世大学)
目标编码是一种有效的技术,可以为传统的机器学习方法提供更好的性能,最近也可以为深度神经网络提供更好的性能。然而,现有的目标编码方法需要显著增加学习容量,从而需要更高的计算能力和更多的训练数据。在本文中,我们提出了一种新的和有效的目标编码方案,MUTE通过理解目标数据集的类间特征来提高目标模型的泛化性和鲁棒性。通过提取数据集中目标类之间的混淆程度,MUTE策略性地优化目标编码之间的汉明距离。这种优化的目标编码为神经网络模型提供了更高的分类强度,计算开销可以忽略不计,并且不会增加模型大小。将MUTE算法应用于当前流行的图像分类网络和数据集,实验结果表明,与现有的算法相比,MUTE算法具有更好的泛化能力和抗噪声和对抗攻击的能力。
2019-10-15 cs.CV cs.LG stat.ML
Fast Neural-Network Approximation of Active Target Search Under Uncertainty
Technical University of Cluj-Napoca(克卢日-纳波卡技术大学)
本文提出用卷积神经网络近似主动搜索算法,以降低在线计算成本,通过多通道网格训练实现目标检测率与传统方法相当。
2026-04-24 cs.LG cs.MA
Matching Targets Across Domains with RADON, the Re-Identification Across Domain Network
Areté(阿雷特)
我们提出了一种新的卷积神经网络,学习匹配从不同的角度或不同的光学传感器拍摄的对象的图像。我们的跨域重新识别网络(RADON)对来自不同域的输入图像进行相似性评分。我们的方法扩展了以前在Siamese网络上的工作,并将其修改为更具挑战性的用例,包括低拍摄和无拍摄学习,其中特定目标的图像很少可用于训练。RADON在无镜头学习环境中的跨视角车辆匹配和跨域人员识别方面表现出强大的性能。
2021-05-25 cs.CV cs.LG
Multi-target prediction for dummies using two-branch neural networks
Ghent University(根特大学)
多目标预测(MTP)是机器学习任务的总称,涉及多个目标变量的同时预测。经典的实例是多标签分类、多元回归、多任务学习、二元预测、零样本学习、网络推理和矩阵完成。尽管有显著的相似之处,所有这些领域在过去的二十年里已经分别发展成为不同的研究领域。这导致了大量高度工程化的方法的发展,并为非该领域专家的机器学习从业者创造了相当高的入口障碍。在这项工作中,我们提出了一种通用的深度学习方法,可用于广泛的多目标预测问题。我们引入了一个灵活的多分支神经网络架构,部分配置通过问卷调查,帮助最终用户选择一个合适的MTP问题设置为他们的需求。广泛的领域的实验结果表明,所提出的方法表现出竞争力的性能相比,从特定的MTP域的方法。
2021-10-25 cs.LG
Cascaded Compressed Sensing Networks: A Reversible Architecture for Layerwise Learning
Shandong University(山东大学)
近年来,逐层学习网络的方法因其易于分析而引起了越来越多的关注。对于该方法,主要的挑战在于通过反向传播网络的全局目标来导出每层的优化目标。传播问题是不适定的,由于涉及到从低维到高维空间的非线性激活的反演。为了解决这个问题,现有的解决方案是学习一个辅助网络来专门传播目标。然而,网络缺乏稳定性,而且,它导致网络学习的复杂性更高。在这封信中,我们表明,目标传播可以通过建模的网络的每一层的压缩感知,而不需要辅助网络。实验结果表明,该方法比基于辅助网络的方法具有更好的性能。
2021-10-20 cs.LG
Graph Neural Network for Crawling Target Nodes in Social Networks
Ivannikov Institute for System Programming of the Russian Academy of Sciences(俄罗斯科学院伊万尼科夫系统编程研究所);Moscow Institute of Physics and Technology (National Research University)(莫斯科物理技术学院(国立研究型大学))
本文研究在给定爬取步数预算下于未知图中收集目标节点的问题,提出采用图神经网络(GNN)预测节点属性,并引入训练样本提升技术以在爬取早期多样化训练集,实验表明该方法在爬取任务尤其是分布式目标节点场景中具有潜力。
2024-03-20 cs.LG cs.SI
Making Sense of Hidden Layer Information in Deep Networks by Learning Hierarchical Targets
Indian Institute of Technology, Roorkee(印度理工学院鲁尔基分校)
本文提出了一种具有隐藏层分支的深度神经网络的架构,该隐藏层分支学习比最终层目标更低层次的目标。分支提供了一个通道,用于在隐藏层中强制执行有用的信息,这有助于获得更好的准确性,无论是对于最终层还是隐藏层。共享层使用高于分支层的所有成本函数的梯度来修改其权重。该模型提供了一个灵活的推理系统,具有许多层次的目标,这是模块化的,可以有效地用于根据复杂性需要不同层次的结果的情况。本文将这一思想应用于20个新闻组数据集的文本分类任务,具有两个层次的目标,并与不使用隐藏层分支的训练进行了比较。
2016-09-24 cs.LG cs.NE
Interpretable bilinear attention network with domain adaptation improves drug-target prediction
University of Sheffield(谢菲尔德大学);AstraZeneca(阿斯利康)
预测药物-靶标相互作用是药物发现的关键。最近的基于深度学习的方法显示出有希望的性能,但仍然存在两个挑战:(i)如何明确地建模和学习药物和靶标之间的局部相互作用,以更好地预测和解释;(ii)如何从不同的分布中概括新的药物-靶标对的预测性能。在这项工作中,我们提出了DrugBAN,这是一个具有领域自适应的深度双线性注意力网络(BAN)框架,可以显式学习药物和靶标之间的成对局部相互作用,并适应分布外的数据。DrugBAN在药物分子图和靶蛋白序列上进行预测,利用条件域对抗学习来对齐不同分布的相互作用表示,以更好地推广新型药物-靶点对。在域内和跨域设置下的三个基准数据集上的实验表明,DrugBAN在五个最先进的基线上实现了最佳的整体性能。此外,可视化学习的双线性注意力图提供了预测结果的可解释性见解。
2023-01-19 cs.LG q-bio.BM
TAGNN: Target Attentive Graph Neural Networks for Session-based Recommendation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);RealAI;Tsinghua University(清华大学)
基于会话的推荐技术是一种基于匿名会话预测用户行为的推荐技术。已经出现了许多研究,通过研究会话中项目的时间转换,将会话建模为序列或图。然而,这些方法将会话压缩成一个固定的表示向量,而不考虑要预测的目标项。考虑到目标项目和用户兴趣的多样性,固定向量将限制推荐模型的表示能力。提出了一种新的基于会话的目标注意图神经网络(TAGNN)推荐模型。在TAGNN中,目标感知注意自适应地激活不同的用户兴趣相对于不同的目标项目。学习的兴趣表示向量随目标项目的不同而变化,大大提高了模型的表达能力。此外,TAGNN利用图神经网络的能力来捕获会话中的丰富项目转换。在真实世界数据集上进行的综合实验证明了其优于最先进的方法。
2020-05-06 cs.IR cs.LG
Simultaneous estimation of wall and object parameters in TWR using deep neural network
Iran University of Science and Technology(伊朗科技大学)
本文提出了一种在穿墙雷达中同时估计目标和墙壁参数的深度学习模型。在这项工作中,我们考虑两种模式:单目标和两个目标。在这两种情况下,我们考虑的电容率和壁的厚度,以及目标的中心和电容率的二维坐标。这意味着在单个目标的情况下,我们估计五个值,而在两个目标的情况下,我们同时估计八个值,每个值代表上述参数。我们发现,当使用深度神经网络解决目标定位问题时,为模型提供更多的问题参数可以提高定位精度。结果表明,在问题中加入两个壁面参数,当壁面参数被估计时,目标定位的精度得到了提高。通过使用深度神经网络模型,我们能够以99%的精度估计壁介电常数和厚度的参数,以及单目标和双目标模式下目标的二维坐标和介电常数。
2021-10-30 cs.LG eess.SP physics.data-an
The Responsibility Problem in Neural Networks with Unordered Targets
Queen Mary University of London(伦敦玛丽女王大学)
针对无序目标与固定排列神经网络输出之间的责任问题,本文证明相关不连续性并非仅有一个,而是不可数无穷多个,凸显了研究无序数据神经网络的必要性。
2023-04-19 cs.DM cs.LG
Once a MAN: Towards Multi-Target Attack via Learning Multi-Target Adversarial Network Once
University of Science and Technology of China(中国科学技术大学);The Chinese University of Hong Kong(香港中文大学);The Chinese Academy of Sciences(中国科学院);The University of Hong Kong(香港大学)
现代深度神经网络往往容易受到对抗性样本的攻击。在第一种基于优化的攻击方法的基础上,提出了以下几种方法来提高攻击性能和速度。近年来,基于生成的方法由于直接使用前馈网络生成对抗样本,避免了基于优化和基于梯度的方法中耗时的迭代攻击过程而受到广泛关注。然而,目前基于生成的方法只能在一个模型中攻击一个特定的目标(类别),从而使它们不适用于通常具有数百/数千个类别的真实分类系统。在本文中,我们提出了第一个多目标对抗网络(MAN),它可以生成多目标对抗样本与一个单一的模型。通过将指定的类别信息合并到中间特征中,它可以在运行时攻击目标分类模型的任何类别。实验结果表明,无论是在多目标攻击任务还是在单目标攻击任务中,该方法都能产生比现有方法更强的攻击效果,并具有更好的可移植性。我们进一步使用MAN生成的对抗样本来提高分类模型的鲁棒性。在受到各种方法攻击时,它也能达到比其他方法更好的分类精度。
2019-08-14 cs.CR cs.CV cs.LG
External-Memory Networks for Low-Shot Learning of Targets in Forward-Looking-Sonar Imagery
Naval Surface Warfare Center(海军水面作战中心);Naval Sea Systems Command(海军海上系统司令部);Naval Undersea Warfare Center(海军水下作战中心);University of Florida(佛罗里达大学)
我们提出了一个基于内存的框架,用于前视声纳(FLS)图像中的实时,数据高效的目标分析。我们的框架依赖于首先使用小规模DenseNet启发的网络从图像中删除非歧视性细节。这样做简化了随后的分析,并允许从几个标记的例子进行概括。然后,我们将过滤后的图像级联到一个新的基于NeuralRAM的卷积匹配网络NRMN中,用于低拍摄目标识别。我们采用了小规模的FlowNet,LFN对齐和注册FLS图像在当地的时间尺度。LFN支持跨图像的目标标签一致性投票,并通常提高目标检测和识别率。我们使用真实世界的FLS图像与多个广泛的目标类,具有高的类内变异性和丰富的子类结构来评估我们的框架。我们证明了少样本学习,具有10到30个特定类别的样本,其表现与在每个类别数百个样本上训练的监督深度网络相似。有效的零样本学习也是可能的。高性能是实现从NRMN的感应传输特性时,分心元素被删除。
2021-07-22 cs.CV cs.LG
Calibration of Network Confidence for Unsupervised Domain Adaptation Using Estimated Accuracy
Bar-Ilan University(巴伊兰大学)
针对无监督域适应中目标域无标签导致置信度难以校准的问题,提出通过估计并修正目标域准确率、最小化其与置信度差异的直接校准方法,并在多个标准数据集上显著优于重要性加权方法。
2024-09-06 cs.CV cs.LG stat.ML
MKDTI: Predicting drug-target interactions via multiple kernel fusion on graph attention network
School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳)计算机科学与技术学院)
本研究提出MKDTI模型,通过图注意力网络各层嵌入提取核信息并融合,结合双拉普拉斯正则化最小二乘框架预测药物-靶点相互作用,性能优于基准算法。
2024-07-14 cs.LG q-bio.QM
Blending-target Domain Adaptation by Adversarial Meta-Adaptation Networks
Sun Yat-sen University(中山大学);DarkMatter AI Research(暗物质人工智能研究院)
(无监督)领域自适应(DA)寻求在仅提供源标记和目标未标记的样本用于训练时对目标实例进行分类。学习域不变特征有助于实现这一目标,而它支持从单个或多个显式目标域(多目标DA)提取的未标记样本。在本文中,我们考虑了一个更现实的迁移场景:我们的目标域是由多个子目标隐式地相互混合,使学习者无法识别每个未标记的样本属于哪个子目标。这种混合目标领域自适应(BTDA)场景在实践中经常出现,并威胁到大多数现有DA算法的有效性,这是由于这些隐藏子目标之间存在域间隙和类别失配。为了在这种新的场景中获得传输性能的提升,我们提出了对抗性元适应网络(AMEAN)。AMEAN需要两个对抗性的迁移学习过程。第一种是传统的对抗性转移,以连接我们的源域和混合目标域。为了避免目标类别内的不一致,第二个过程表现为“学习适应”:它部署了一个无监督的元学习器,接收目标数据及其正在进行的特征学习反馈,以发现目标集群作为我们的“元-子目标”域。这些元-子目标自动设计了我们的元-子目标DA损失,这根据经验消除了我们的混合目标中的隐式类别不匹配。我们评估AMEAN和各种DA算法在BTDA设置下的三个基准测试。实验结果表明,BTDA是一个相当具有挑战性的转移设置为大多数现有的DA算法,但AMEAN显着优于这些国家的最先进的基线,并有效地抑制了BTDA的负转移效应。
2019-07-08 cs.LG stat.ML
deepTarget: End-to-end Learning Framework for microRNA Target Prediction using Deep Recurrent Neural Networks
Seoul National University(首尔大学);Korea University(高丽大学)
微小RNA(miRNAs)是核糖核酸的短序列,其通过结合靶信使RNA(mRNA)来控制靶信使RNA(mRNA)的表达。miRNA-mRNA对的稳健预测在破译基因调控中至关重要,但由于高假阳性率而具有挑战性,尽管大量的计算工具通常需要费力的手动特征提取。本文提出了一个端到端的机器学习框架用于miRNA靶标预测。通过基于深度递归神经网络的自动编码和序列-序列交互学习,我们的方法不仅提供了前所未有的准确度,而且消除了手动特征提取的需要。所提出的方法和现有的替代方法之间的性能差距是巨大的(F测量增加了25%以上),deepTarget在稳健的miRNA靶标预测的长期挑战中实现了飞跃。
2016-08-19 cs.LG q-bio.GN
Adaptive Target-Condition Neural Network: DNN-Aided Load Balancing for Hybrid LiFi and WiFi Networks
University College Dublin(都柏林大学);University of Strathclyde(思克莱德大学)
由于异构接入点(AP)的性质,负载均衡(LB)是混合光保真(LiFi)和无线保真(WiFi)网络(HLWNet)中具有挑战性的问题。机器学习有可能提供一个复杂性友好的LB解决方案,具有接近最佳的网络性能,但需要花费一个训练过程。然而,当网络环境(特别是用户数量)发生变化时,最先进的(SOTA)学习辅助LB方法需要重新训练,这大大限制了其实用性。本文提出了一种新的深度神经网络(DNN)结构,称为自适应目标条件神经网络(A-TCNN),其根据其他用户的条件为一个目标用户进行AP选择。此外,开发了一种自适应机制,通过划分数据速率要求将较少数量的用户映射到较大数量的用户,而不影响目标用户的AP选择结果。这使得所提出的方法能够处理不同数量的用户,而不需要重新训练。结果表明,A-TCNN的网络吞吐量非常接近测试数据集,差距小于3%。还证明了A-TCNN可以获得与两个SOTA基准相当的网络吞吐量,同时将运行时间减少多达三个数量级。
2022-08-09 cs.LG cs.NI eess.SP
Deep Learning based Estimation of Weaving Target Maneuvers
Rafael(拉斐尔公司)
在目标跟踪中,对未知摆动目标频率的估计是提高脱靶量的关键。估计过程通常在卡尔曼框架中进行。本文的目的是研究使用神经网络在目标跟踪应用的潜力。为此,我们建议使用深度神经网络来估计编织频率,而不是基于经典卡尔曼框架的估计。特别是,我们专注于一组可能的恒定目标频率是已知的情况下。设计了几种需要低计算资源的神经网络架构来估计已知频率集合中的未知频率。并与多模型自适应估计算法进行了性能比较。仿真结果表明,在所研究的场景中,深度神经网络在精度和收敛所需的测量量方面优于多模型自适应估计。
2018-06-13 cs.LG stat.ML
Siamese networks for generating adversarial examples
Schlumberger(斯伦贝谢(Schlumberger)公司)
机器学习模型容易受到对抗性样本的影响。对手修改输入数据,使得人类仍然分配相同的标签,然而,机器学习模型错误地分类它。文献中的先前方法表明,甚至可以为远程托管模型生成对抗性示例。在本文中,我们提出了一种基于Siamese网络的方法来生成多类目标CNN的对抗性示例。我们假设对手不具备目标数据分布的任何知识,并且我们使用未标记的不匹配数据集来查询目标,例如,对于ResNet-50目标,我们使用Food-101数据集作为查询。最初,目标模型为查询数据集分配标签,并在从这些多类标签导出的图像对上训练Siamese网络。我们学习的\emph{adversarial perturbations}的暹罗模型,并表明,这些扰动也是对抗w.r.t.目标模型。在实验结果中,我们用TinyImageNet/Food-101查询数据集证明了我们的方法在MNIST,CIFAR-10和ImageNet目标上的有效性。
2018-05-03 cs.LG stat.ML
Any Target Function Exists in a Neighborhood of Any Sufficiently Wide Random Network: A Geometrical Perspective
RIKEN Center for Brain Science(理化学研究所脑科学中心)
众所周知,任何目标函数都可以在任何随机连接的深度网络的足够小的邻域中实现,前提是宽度(层中神经元的数量)足够大。关于这个惊人的事实,有一些复杂的理论和讨论,但严格的理论是非常复杂的。为了阐明它的结构,我们用一个简单的模型给出了一个初等的几何证明。我们发现,高维几何起着神奇的作用:当我们投影一个半径为1的高维球体到一个低维子空间,在球体上的均匀分布减少到高斯分布的可忽略的小协方差。
2020-03-18 cs.LG stat.ML
full-FORCE: A Target-Based Method for Training Recurrent Networks
Department of Neuroscience(神经科学系);Zuckerman Institute(Zuckerman研究所);Columbia University(哥伦比亚大学);Department of Physiology and Cellular Biophysics(生理学与细胞生物物理学系);Columbia University College of Physicians and Surgeons(哥伦比亚大学医学与外科学院);Princeton Neuroscience Institute(普林斯顿神经科学研究所);Lewis-Sigler Institute for Integrative Genomics(整合基因组学研究所)
本文提出一种基于目标的循环网络训练方法,通过引入第二网络提供目标动态,实现更高效的任务处理,具有更少的神经元和更高的噪声鲁棒性。
2017-10-09 cs.LG cs.NE q-bio.NC
Early fault detection with multi-target neural networks
Bern University of Applied Sciences(伯尔尼应用科学大学)
风力发电在世界各地都有强劲的增长。与此同时,能源市场利润率的下降使风电场管理人员能够探索降低涡轮机运营和维护成本的选择。基于传感器的状态监测有助于涡轮子系统的远程诊断,从而在需要进行不可预见的维护时实现更快的响应。提出了利用汽轮机监控和数据采集(SCADA)系统的数据进行状态监测,并在汽轮机状态变量单任务正常运行模型的基础上,提出了基于SCADA的故障检测与诊断方法。随着SCADA通道数量的强劲增长,如今已有数千个独立的单目标模型用于监控单个涡轮机。最近提出了多目标学习来限制模型的数量。本研究将多目标神经网络应用于传动系元件的早期故障检测。检测齿轮轴承故障的准确性和延迟进行了比较,最先进的单目标方法。我们发现,多目标多层感知器(MLP)检测故障至少早,在许多情况下早于单目标MLP。多目标MLP可以比单目标模型早几天检测到故障。这可以在维护工作的规划和性能方面提供显著的优势。同时,多目标MLP实现了相同水平的预测稳定性。
2021-06-12 cs.LG cs.SY eess.SY
Entanglement Entropy of Target Functions for Image Classification and Convolutional Neural Network
Massachusetts Institute of Technology(麻省理工学院)
深度卷积神经网络(CNN)在计算机视觉特别是图像分类问题中的成功,要求一种新的信息论来描述图像的功能,而不是图像本身。本文在建立了图像分类问题与量子自旋模型之间的数学联系之后,提出利用纠缠熵作为表征图像一般函数所需信息的有力工具。证明了合理图像分类问题的目标函数的纠缠熵存在一个子体积律界。因此,图像分类的目标函数只占用整个希尔伯特空间的一个小子空间。因此,多项式参数的神经网络是有效的表示这样的目标函数的图像。纠缠熵的概念也可以用来描述不同神经网络的表达能力。例如,为了保持相同的表达能力,卷积神经网络中的通道数$D$应该与卷积层数$n_c$成比例,即$D\sim D_0^{\frac{1}{n_c}}$。因此,具有大$n_c$的较深CNN比浅CNN更有效。
2017-10-16 cond-mat.str-el cs.CV cs.LG
Sharp asymptotics on the compression of two-layer neural networks
EPFL(洛桑联邦理工学院);ISTA(奥地利科学技术研究所);CMU(卡内基梅隆大学);NYCU(阳明交通大学)
本文研究了将一个具有N个节点的目标双层神经网络压缩成一个具有M<N个节点的压缩网络的问题。更准确地说,我们考虑目标网络的权重为i.i.d.的设置。亚高斯,我们最小化的目标和压缩网络的输出之间的人口L_2损失,假设高斯输入。通过使用高维概率的工具,我们证明了当目标网络充分过参数化时,这个非凸问题可以简化,并提供了这种近似的出错率作为输入维数和N的函数。在这种平均场限制下,简化的目标以及压缩网络的最佳权重不取决于目标网络的实现,而仅取决于预期的缩放因子。此外,对于具有ReLU激活的网络,我们推测简化优化问题的最优性是通过在等角紧框架(ETF)上取权重来实现的,而权重的缩放和ETF的方向取决于目标网络的参数。数值证据支持这一猜想。
2022-08-16 cs.IT cs.LG math.IT