Flexible Unsupervised Learning for Massive MIMO Subarray Hybrid Beamforming
École Polytechnique de Montréal(蒙特利尔工程学院)
混合波束形成是一种很有前途的技术,以提高大规模MIMO系统的能量效率。特别地,子阵列混合波束形成可以通过减少移相器的数量来进一步降低功耗。然而,由于子阵连接和相移量的离散性,设计混合波束形成矢量是一项复杂的任务。找到RF链和天线之间的最佳连接需要在大的搜索空间中解决非凸问题。此外,传统的解决方案假设完美的CSI是可用的,这在实际系统中并非如此。因此,我们提出了一种新型的无监督学习方法来设计适用于任何子阵列结构的混合波束形成,同时支持量化移相器和有噪CSI。所提出的架构的一个主要特点是,没有波束形成码本是必需的,和神经网络的训练,以考虑相移量化。仿真结果表明,所提出的深度学习解决方案可以实现比现有方法更高的总速率。
2022-08-10 cs.IT cs.LG eess.SP
Unsupervised Deep Learning for MR Angiography with Flexible Temporal Resolution
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST));Gachon University College of Medicine(嘉泉大学医学院)
时间分辨磁共振血管成像(tMRA)由于其高加速采集而被广泛用于动态对比增强MRI(DCE-MRI)。在tMRA中,k空间数据的外围被稀疏地采样,使得相邻帧可以被合并以构建一个时间帧。然而,这种视图共享方案从根本上限制了时间分辨率,并且不可能改变视图共享数目来实现不同的时空分辨率折衷。尽管最近提出了许多深度学习方法用于稀疏样本的MR重建,但现有方法通常需要匹配的完全采样的k空间参考数据进行监督训练,这不适合tMRA。这是因为高时空分辨率地面实况图像不可用于tMRA。为了解决这个问题,我们提出了一种新的无监督深度学习,使用最优传输驱动的周期一致生成对抗网络(cycleGAN)。与具有两对生成器和训练器的传统cycleGAN相比,新架构只需要一对生成器和训练器,这使得训练更加简单并提高了性能。使用体内tMRA数据集的重建结果证实,所提出的方法可以立即产生高质量的重建结果在各种选择的视图共享数量,使我们能够利用更好的时间分辨MR血管造影的空间和时间分辨率之间的权衡。
2020-03-29 cs.CV cs.LG eess.IV
CSNNs: Unsupervised, Backpropagation-free Convolutional Neural Networks for Representation Learning
University of Applied Sciences Kempten(肯普滕应用科学大学)
这项工作结合了卷积神经网络(CNN),通过自组织映射(SOM)和Hebbian学习进行聚类,提出了卷积自组织神经网络(CSNN)的构建模块,它以无监督和无反向传播的方式学习表示。我们的方法用SOM的竞争性学习过程取代了从CNN学习传统卷积层,并同时用单独的Hebbian类学习规则学习这些层之间的局部掩码,以克服通过聚类学习过滤器时分离变化因素的问题。我们通过使用我们的构建块设计两个简单的模型来研究学习的表示,实现了与许多使用反向传播的方法相当的性能,同时我们在Cifar10上达到了相当的性能,并在Cifar100,Tiny ImageNet和ImageNet的一小部分上给出了无反向传播方法的基线性能。
2020-01-29 cs.CV cs.LG
Unsupervised Learning of Neural Networks to Explain Neural Networks
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Shanghai Jiao Tong University(上海交通大学);University of California, Irvine(加利福尼亚大学尔湾分校)
本文提出了一种学习神经网络的无监督方法,即解释器,用于解释预训练的卷积神经网络(CNN),即,解释隐藏在CNN的中间卷积层中的知识表示。给定CNN的某个conv层的特征图,解释器像自动编码器一样执行,其首先将特征图分解为对象部分特征,然后将对象部分特征反转回CNN的更高conv层的特征。更具体地说,解释器包含可解释的conv层,其中每个过滤器从混沌输入特征映射中解开特定对象部分的表示。作为CNN特征的释义,对象部分的解纠缠表示帮助人们理解CNN内部的逻辑。我们还学习解释器使用对象部分特征来重建更高CNN层的特征,以最大限度地减少特征解缠期间的信息损失。更重要的是,我们通过网络蒸馏来学习解释器,而不使用样本标签、对象部分或纹理的任何注释进行监督。我们已经将我们的方法应用于不同类型的CNN进行评估,解释器显着提高了CNN特征的可解释性。
2018-05-18 cs.CV cs.LG
Explaining Deep Neural Networks using Unsupervised Clustering
Google Cloud(谷歌云)
我们提出了一种新的方法来解释训练过的深度神经网络(DNN),通过使用无监督聚类将其提取为代理模型。我们的方法可以灵活地应用于DNN架构的任何层子集,并且可以合并低级和高级信息。在给定预训练DNN的图像数据集上,我们展示了我们的方法在寻找相似训练样本方面的优势,并阐明了DNN基于其决策的概念。通过用户研究,我们表明我们的模型可以提高用户对模型预测的信任度。
2020-07-16 cs.AI cs.CV cs.LG
Recursive Autoconvolution for Unsupervised Learning of Convolutional Neural Networks
Bauman Moscow State Technical University(鲍曼莫斯科国立技术大学);University of Lübeck(吕贝克大学)
在视觉识别任务中,如图像分类,无监督学习利用廉价的未标记数据,可以帮助更有效地解决这些任务。我们表明,从物理学中采用的递归自卷积算子通过学习更多的判别滤波器来增强现有的无监督方法。我们采用成熟的卷积神经网络并逐层训练它们的滤波器。此外,基于以前的工作,我们设计了一个网络,每个样本提取超过60万个特征,但通过在更高层引入共享过滤器,可训练参数的总数大大减少。我们在MNIST、CIFAR-10、CIFAR-100和STL-10图像分类基准上评估了我们的网络,并在其他无监督方法中报告了几种最先进的结果。
2017-03-26 cs.CV cs.LG cs.NE
Unsupervised Neural Hidden Markov Models with a Continuous latent state space
ANEO;Centre Borelli - ENS Paris-saclay(巴黎萨克雷高等师范学院博雷利中心);Criteo AI Lab(科韬人工智能实验室);Crest, ENSAE(法国国立统计与经济管理学院 Crest 研究中心)
我们介绍了一个新的过程神经化无监督隐马尔可夫模型在连续的情况下。这提供了更高的灵活性来解决潜在的潜在变量的问题。这种方法的合成和真实数据进行评估。除了生成与现成的神经架构(LSTM、GRU等)具有可比性能的可能模型参数之外,所得结果易于解释。
2021-06-10 cs.LG
Unsupervised Learning from Video with Deep Neural Embeddings
Stanford University(斯坦福大学);MIT(麻省理工学院)
由于视频丰富的动态结构及其在日常生活中的普遍存在,视频数据可以作为一种强大的无监督学习信号,用于在深度神经网络中训练视觉表示,这是一个很自然的想法。然而,实例化这个想法,特别是在大规模上,仍然是人工智能的一个重大挑战。在这里,我们提出了视频实例嵌入(VIE)框架,该框架将最近用于学习深度非线性嵌入的强大无监督损失函数扩展到大规模视频数据集上的多流时间处理架构。我们表明,VIE-trained网络在视频数据流的无监督学习方面大大提高了最新技术水平,无论是Kinetics数据集中的动作识别,还是ImageNet数据集中的对象识别。我们表明,静态和动态处理途径的混合模型是最佳的两个转移任务,并提供分析表明如何不同的途径。从上下文来看,我们的研究结果表明,深度神经嵌入是一种很有前途的方法,可以在各种领域进行无监督视觉学习。
2020-03-10 cs.AI cs.CV cs.LG
Unsupervised Neural Quantization for Compressed-Domain Similarity Search
Yandex(扬达克斯);Lomonosov Moscow State University(莫斯科国立罗蒙诺索夫大学)
我们解决的问题,无监督的视觉描述符压缩,这是一个关键组成部分的大规模图像检索系统。虽然深度学习机器实际上已经使所有计算机视觉管道受益,但现有的最先进的压缩方法采用浅层架构,我们的目标是通过我们的论文缩小这一差距。更详细地说,我们介绍了DNN架构的无监督压缩域检索,基于多码本量化。所提出的架构的目的是将快速的数据编码和有效的距离计算通过查找表。我们证明了我们的方案在现有的量化方法的视觉描述符的几个数据集上通过优于以前的国家的最先进的一个大的利润率的特殊优势。
2019-08-11 cs.CV cs.LG stat.ML
SanitAIs: Unsupervised Data Augmentation to Sanitize Trojaned Neural Networks
Johns Hopkins University(约翰斯·霍普金斯大学);Applied Physics Laboratory(应用物理实验室)
自监督学习(SSL)方法通过利用大量未标记数据的未开发集合来学习广义底层结构,从而对神经网络性能进行了广泛的改进。在这项工作中,我们利用无监督数据增强(UDA),SSL技术,以减轻后门或特洛伊木马攻击深度神经网络。我们表明,UDA是更有效地删除木马比目前国家的最先进的方法的特征空间和点触发器,在一系列的模型架构,木马和数据量提供的木马删除。这些结果表明,UDA是一种有效和实用的方法来减轻后门对神经网络的影响。
2022-06-01 cs.LG
Medical Image Segmentation via Unsupervised Convolutional Neural Network
Johns Hopkins Medical Institutes(约翰斯·霍普金斯医学院);Johns Hopkins University(约翰斯·霍普金斯大学);Department of Radiology and Radiological Science(放射学与放射科学系);Department of Electrical and Computer Engineering(电气与计算机工程系)
对于大多数基于学习的分割方法,需要大量高质量的训练数据。在本文中,我们提出了一种新的基于学习的分割模型,可以训练半或无监督。具体而言,在无监督设置中,我们通过卷积神经网络(ConvNet)对无边缘活动轮廓(ACWE)框架进行参数化,并使用自监督方法优化ConvNet的参数。在另一种设置(半监督)中,在训练期间使用辅助分割基础事实。我们表明,该方法提供了快速和高质量的骨分割的背景下,单光子发射计算机断层扫描(SPECT)图像。
2020-07-06 cs.CV cs.LG eess.IV
Unsupervised Neural Networks for Quantum Eigenvalue Problems
University of California, Berkeley(加州大学伯克利分校);Harvard University(哈佛大学)
特征值问题在科学和工程的许多领域都是至关重要的。我们提出了一种新的无监督神经网络发现特征函数和特征值的微分特征值问题的解决方案,完全满足边界条件。一个扫描机制是嵌入式允许的方法找到任意数量的解决方案。网络优化是无数据的,仅取决于预测。利用无监督方法求解量子无限深阱和量子振子本征值问题。
2020-10-10 cs.LG physics.comp-ph
Towards Supervised and Unsupervised Neural Machine Translation Baselines for Nigerian Pidgin
InstaDeep
尼日利亚皮钦语可以说是尼日利亚使用最广泛的语言。这种语言的变体也在西非和中非使用,使其成为非常重要的语言。这项工作的目的是建立监督和无监督的神经机器翻译(NMT)之间的基线英语和尼日利亚洋泾浜。我们实现并比较了不同标记化方法的NMT模型,为未来的工作奠定了坚实的基础。
2020-03-27 cs.CL cs.LG
Unsupervised Neural Hidden Markov Models
Information Sciences Institute, University of Southern California(南加州大学信息科学研究所);Informatics Institute, University of Amsterdam(阿姆斯特丹大学信息学研究所);Google Brain(谷歌大脑)
在这项工作中,我们提出了神经化无监督隐马尔可夫模型的第一个结果。我们评估了我们的标签导入方法。我们的方法优于现有的生成模型,并具有竞争力的国家的最先进的,虽然与一个简单的模型很容易扩展到包括额外的上下文。
2016-09-28 cs.CL cs.LG
Convergence and Recovery Guarantees of Unsupervised Neural Networks for Inverse Problems
Normandie Univ.(诺曼底大学);UNICAEN(卡昂大学);ENSICAEN(卡昂高等工程师学院);CNRS(法国国家科学研究中心);Greyc(格雷西实验室)
本研究为无监督前馈多层神经网络求解反问题提供确定性收敛与恢复保证,并推导出两层深度逆先验网络适用的过参数化界限。
2024-03-15 cs.LG
AutoAtlas: Neural Network for 3D Unsupervised Partitioning and Representation Learning
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
我们提出了一种称为AutoAtlas的新型神经网络架构,用于3D脑磁共振成像(MRI)体积的完全无监督分区和表示学习。AutoAtlas由两个神经网络组件组成:一个神经网络用于基于体积中的局部纹理执行多标签分区,第二个神经网络用于压缩每个分区中包含的信息。我们通过优化损失函数同时训练这两个组件,该损失函数旨在促进每个分区的准确重建,同时鼓励空间平滑和连续的分区,并阻止相对较小的分区。我们表明,分区适应受试者的脑组织的具体结构变化,同时始终出现在类似的空间位置跨学科。AutoAtlas还生成非常低维的特征,这些特征表示每个分区的局部纹理。我们展示了预测与每个主题相关的元数据使用派生的功能表示,并比较结果预测使用FreeSurfer解剖parcellation派生的功能。由于我们的特征本质上与不同的分区相关联,因此我们可以将感兴趣的值(例如特定于分区的特征重要性得分)映射到大脑上进行可视化。
2021-11-11 cs.CV cs.LG eess.IV
Regularization for Unsupervised Deep Neural Nets
Northwestern University(西北大学)
无监督神经网络,如受限玻尔兹曼机(RBM)和深度信念网络(DBN),是特征选择和模式识别任务的强大工具。我们证明了过拟合发生在这样的模型,就像在深前馈神经网络,并讨论可能的正则化方法,以减少过拟合。我们还提出了一个“部分”的方法,以提高效率的Dropout/DropConnect在这种情况下,并讨论了这些方法的理论依据,从模型收敛性和似然界。最后,我们比较了这些方法的性能的基础上,他们的可能性和分类出错率为各种模式识别数据集。
2017-02-17 cs.LG cs.NE
Supervising Unsupervised Learning with Evolutionary Algorithm in Deep Neural Network
IBM Japan(IBM日本)
提出了一种利用进化算法控制深度神经网络中梯度下降无监督学习结果的方法。该算法通过逐点评估神经网络中各个节点的适应度来处理无监督训练模型的交叉问题。标记的训练数据是随机采样的,繁殖过程通过计算它们在不同采样数据集上的一致性程度来选择节点。该方法通过进化过程来监督无监督训练。本文还介绍了一种改进的限制玻尔兹曼机,它在神经网络中的节点之间含有排斥力,有助于将网络节点相互隔离,避免节点在进化过程中的意外退化。将这些新方法应用于文本分类问题,其结果比传统的线性回归算法实现的全监督分类器具有更好的准确性。
2018-03-28 cs.LG cs.NE stat.ML
Neural Contrastive Clustering: Fully Unsupervised Bias Reduction for Sentiment Classification
工作背景:神经网络由于相关性偏差而产生有偏差的分类结果(它们学习输入和输出之间的相关性以分类样本,即使这些相关性不代表因果关系)。目的:这项研究引入了一种完全无监督的方法来减轻相关性偏差,并在COVID-19社交媒体数据上进行了情感分类。方法:情感分类中的相关偏差经常出现在关于有争议话题的对话中。因此,本研究使用对抗性学习来对比基于情感分类标签的聚类,以及由无监督主题建模产生的聚类。这阻碍了神经网络学习产生有偏见的分类结果的主题相关特征。结果如下:与基线分类器相比,神经对比聚类对人类标记的COVID-19社交媒体数据的倾向于偏见的句子的准确性大约增加了一倍,而不会对分类器的整体F1得分产生不利影响。尽管是一种完全无监督的方法,但神经对比聚类在倾向于偏见的句子上的准确性比监督掩蔽方法有更大的提高。结论:神经对比聚类减少了情感文本分类中的相关性偏差。需要进一步的研究来探索将这种技术推广到其他神经网络架构和应用领域。
2022-04-22 cs.CL cs.LG
Unsupervised Learning of Rydberg Atom Array Phase Diagram with Siamese Neural Networks
Perimeter Institute for Theoretical Physics(圆周理论物理研究所)
我们介绍了一种基于Siamese神经网络(SNN)的无监督机器学习方法来检测相位边界。将该方法应用于Ising型系统和里德伯原子阵列的蒙特卡罗模拟。在这两种情况下,SNN揭示了与先前研究一致的相边界。利用前馈神经网络的力量,无监督学习和在不知道其存在的情况下学习多个相的能力的结合,为探索新的和未知的物质相提供了强大的方法。
2022-05-19 cond-mat.quant-gas cs.LG physics.comp-ph
Extending Unsupervised Neural Image Compression With Supervised Multitask Learning
Radboud University Medical Center(拉德堡德大学医学中心);Erasmus MC Cancer Institute(伊拉斯谟MC癌症研究所);Facebook AI Research(Facebook人工智能研究院)
我们专注于在千兆像素组织病理学图像上训练卷积神经网络来预测图像级目标的问题。为此,我们扩展了神经图像压缩(NIC),一个图像压缩框架,使用未经监督训练的编码器网络降低这些图像的维数。我们建议使用监督多任务学习(MTL)来训练这个编码器。我们将建议的MTL NIC应用于两个组织病理学数据集和三个任务。首先,我们在2016年肿瘤增殖评估挑战(TUPAC16)中获得了最先进的结果。其次,我们成功地分类了结直肠癌肝转移(CLM)的图像组织病理学生长模式。第三,我们通过直接从相同CLM数据的总生存期中学习来预测患者的死亡风险。我们的实验结果表明,MTL目标学习到的表示是:(1)高度特定的,由于监督训练信号,(2)可转移的,因为相同的特征在不同的任务中表现良好。此外,我们训练了具有不同训练目标的多个编码器,例如无监督和MTL变体,并观察到MTL中的任务数量与TUPAC 16数据集上的系统性能之间存在正相关性。
2020-04-15 cs.CV cs.LG eess.IV
Unsupervised Learning with Self-Organizing Spiking Neural Networks
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
我们提出了一个系统,包括一个杂交的自组织映射(SOM)的属性与脉冲神经网络(SNN),保留了许多功能的SOM。网络以无监督的方式进行训练,通过神经元群体之间的兴奋-抑制相互作用来学习自组织的过滤器网格。我们开发并测试了各种抑制策略,例如随着神经元间距离的增长和两种不同的抑制水平。使用具有已知标签的示例来评估无监督学习算法的质量。提出并比较了几种生物学启发的分类工具,包括群体级置信度和使用spike motif算法的n-gram。使用最佳的参数选择,我们的方法产生的最先进的脉冲神经网络的改进。
2018-07-24 cs.LG cs.NE
Unsupervised Legendre-Galerkin Neural Network for Singularly Perturbed Partial Differential Equations
Sungkyunkwan University(成均馆大学);Gachon University(嘉泉大学)
机器学习方法最近已被用于求解偏微分方程(PDE)和动力系统。这些方法已经发展到一个新的研究领域,称为科学机器学习,其中,诸如深度神经网络和统计学习的技术被应用于应用数学的经典问题。在本文中,我们开发了一种新的数值算法,结合机器学习和人工智能来解决偏微分方程。基于Legendre-Galerkin框架,我们提出了{ \it无监督机器学习}算法来学习不同类型偏微分方程解的{ \it多实例}。我们的方法克服了数据驱动和基于物理的方法的局限性。建议的神经网络适用于一般的一维和二维偏微分方程的各种边界条件,以及对流为主的{ \it奇摄动偏微分方程},表现出较强的边界层行为。
2022-12-09 cs.LG
Unsupervised Learning on Neural Network Outputs: with Application in Zero-shot Learning
Aalto University(阿尔托大学);University of Helsinki(赫尔辛基大学);Helsinki Institute for Information Technology(赫尔辛基信息技术研究所)
经过训练的神经网络的输出包含的信息比一个独热分类器丰富得多。例如,一个神经网络可能会给一个狗的图像百万分之一的概率是一只猫,但它仍然比一辆汽车的概率大得多。为了揭示其中隐藏的结构,我们将两种无监督学习算法PCA和ICA应用于在1000类ImageNet上训练的深度卷积神经网络的输出。PCA/ICA嵌入的对象类揭示了它们的视觉相似性和PCA/ICA组件可以被解释为共同的视觉特征共享相似的对象类。在实际应用中,我们提出了一种新的零样本学习方法,该方法利用PCA/ICA学习的视觉特征。我们的零样本学习方法在ImageNet上实现了超过20000个类的最先进的结果。
2016-05-23 cs.LG
Solutions to Elliptic and Parabolic Problems via Finite Difference Based Unsupervised Small Linear Convolutional Neural Networks
Rice University(莱斯大学);The University of Texas MD Anderson Cancer Center(德克萨斯大学 MD 安德森癌症中心)
本文提出一种完全无监督的小型线性卷积神经网络方法,无需训练数据直接估计偏微分方程的有限差分解,相比类似方法参数更少且精度相当。
2024-04-22 cs.CV cs.LG cs.NA
Unsupervised Neural Text Simplification
IBM Research(IBM研究院)
本文提出了第一次尝试无监督神经文本简化,只依赖于未标记的文本语料库。核心框架由一个共享的编码器和一对注意力解码器组成,并通过基于损失的鉴别和去噪来获得简化知识。该框架使用从en-Wikipedia dump收集的未标记文本进行训练。我们的分析(包括定量和定性涉及人类评估)的公共测试数据表明,该模型可以执行文本简化在词汇和句法水平,现有的监督方法的竞争力。添加一些标记对还可以进一步提高性能。
2019-08-21 cs.CL cs.LG
Deep Unsupervised Learning using Nonequilibrium Thermodynamics
Stanford University(斯坦福大学);University of California, Berkeley(加州大学伯克利分校)
机器学习中的一个中心问题涉及使用高度灵活的概率分布族对复杂数据集进行建模,其中学习,采样,推理和评估仍然是分析或计算上易于处理的。在这里,我们开发了一种同时实现灵活性和易处理性的方法。受非平衡统计物理学的启发,其基本思想是通过迭代向前扩散过程系统地、缓慢地破坏数据分布中的结构。然后,我们学习一个反向扩散过程,恢复数据中的结构,产生一个高度灵活和易于处理的数据生成模型。这种方法使我们能够快速学习,采样和评估具有数千层或时间步长的深度生成模型中的概率,以及在学习模型下计算条件和后验概率。我们还发布了该算法的开源参考实现。
2015-11-18 cond-mat.dis-nn cs.LG q-bio.NC
Unsupervised Concept Drift Detection based on Parallel Activations of Neural Network
Wrocław University of Science and Technology(弗罗茨瓦夫理工大学)
针对真实数据流中标签获取困难的概念漂移检测问题,提出一种利用未训练神经网络输出的无监督Parallel Activations Drift Detector,实验证明其具备与最先进方法相当的竞争力。
2024-10-01 cs.LG
Regularity Normalization: Neuroscience-Inspired Unsupervised Attention across Neural Network Layers
Columbia University Irving Medical Center(哥伦比亚大学欧文医学中心)
受神经元放电自适应现象的启发,我们提出了一种无监督的注意力机制--正则化(RN),它根据最小描述长度(MDL)原则计算神经网络隐空间的统计正则性.将神经网络优化过程视为部分可观察的模型选择问题,正则性归一化通过归一化因子(通用码长)来约束隐空间。我们在神经网络层上递增地计算这个通用代码,并展示了包括自上而下的注意力和其他Oracle信息等数据先验的灵活性。从经验上讲,我们的方法在处理图像分类,经典控制,过程生成的强化学习,生成建模,手写生成和各种神经网络架构的问答任务中的有限,不平衡和非平稳输入分布方面优于现有的归一化方法。最后,无监督的注意力机制是神经网络的一个有用的探测工具,它通过跟踪深度网络的层和循环时间步长的依赖性和关键学习阶段。
2021-12-23 cs.CV cs.IT cs.LG
Unsupervised Neural Word Segmentation for Chinese via Segmental Language Modeling
Peking University(北京大学)
传统的无监督中文分词方法大致可以分为判别式和生成式两种。前者使用精心设计的良好性措施的候选分割,而后者的重点是找到最高的生成概率的最佳分割。然而,虽然存在通过使用神经语言模型将判别模型扩展到神经版本的简单方法,但是生成模型的方法是不简单的。在本文中,我们提出了CWS的分段语言模型(SLMs)。我们的方法明确地关注汉语的音段性质,同时保留了语言模型的一些性质。在SLM中,上下文编码器对先前的上下文进行编码,并且分段解码器递增地生成每个分段。据我们所知,我们是第一个提出无监督CWS的神经模型,并在SIGHAN 2005 bakeoff的四个不同数据集上实现了与最先进的统计模型竞争的性能。
2018-10-07 cs.CL cs.LG
Statistical physics of unsupervised learning with prior knowledge in neural networks
the Hong Kong University of Science and Technology(香港科技大学);Sun Yat-sen University(中山大学)
在无监督学习中,将感官输入与来自过去经验的先验信念相结合是大脑或人工神经计算的共同和基本特征。然而,先验知识在无监督学习中的定量作用仍然不清楚,这阻碍了对无监督学习的科学理解。在这里,我们提出了一个统计物理模型的无监督学习与先验知识,揭示了感官输入驱动一系列连续的相变相关的自发本质对称性破缺。内在对称性包括反向对称性和置换对称性,通常在大多数人工神经网络中观察到。与无先验的情况相比,先验更强烈地减少了触发反向对称破缺跃迁的最小数据大小,而且,先验合并而不是分离排列对称破缺相位。我们声称先验可以从数据样本中学习,这在物理学上对应于两个参数的西森约束。因此,这项工作揭示了先验知识对无监督学习的影响机制。
2020-05-27 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Unsupervised Neural Aspect Search with Related Terms Extraction
ITMO University(圣彼得堡国立信息技术机械与光学大学)
在自然语言处理中,体识别和术语抽取一直是一个具有挑战性的任务。虽然监督方法获得了很高的分数,但由于缺乏标记数据集,很难在现实世界中使用它们。无监督方法在几个任务上优于这些方法,但提取方面和相应的术语仍然是一个挑战,特别是在多方面设置中。在这项工作中,我们提出了一种新的无监督神经网络与卷积多注意力机制,允许同时提取对(方面,术语),并证明了对现实世界的数据集的有效性。我们应用了一种特殊的损失,旨在提高多方面提取的质量。实验研究表明,什么与此损失,我们增加的精度不仅在这个联合设置,而且在方面的预测只。
2020-05-06 cs.CL cs.LG
Recurrent Graph Neural Network Algorithm for Unsupervised Network Community Detection
Center For Urban Science+Progress, New York University(纽约大学城市科学与进步中心)
网络社区发现通常依赖于优化划分质量函数,如模块化。这种优化似乎是一个复杂的问题,传统上依赖于离散算法。虽然该问题可以重新表述为连续优化,但直接应用标准优化方法在克服众多局部极值方面的效率有限。然而,深度学习的兴起及其在图形中的应用提供了新的机会。虽然图神经网络已被用于网络上的监督和无监督学习,但尚未探索其在模块化优化中的应用。本文提出了一种新的变体的递归图神经网络算法的无监督网络社区发现,通过模块优化。将新算法的性能与一种流行的快速Louvain算法和作者最近提出的一种效率更高但速度更慢的Combo算法进行了比较。该方法还作为一个概念验证的更广泛的应用程序的经常性图神经网络无监督网络优化。
2021-03-03 cs.LG cs.SI physics.soc-ph
Syndrome-Enabled Unsupervised Learning for Neural Network-Based Polar Decoder and Jointly Optimized Blind Equalizer
MediaTek, Inc.(联发科股份有限公司)
最近,伴随式丢失已经被提出来实现基于神经网络的BCH/LDPC解码器的“无监督学习”。然而,该设计方法不能直接应用于极化码,并且尚未在变化的信道下进行评估。在这项工作中,我们提出了两个修改的综合征损失,以促进无监督学习的接收器。然后,我们首先将其应用于基于神经网络的置信传播(BP)极性解码器。在CRC启用的综合征丢失的帮助下,BP解码器甚至可以在误块率方面优于传统的监督学习方法。其次,我们提出了一种联合优化的综合征使能盲均衡器,它可以避免传输的训练序列,并达到全球最佳的1.3 dB增益比非盲最小均方误差(MMSE)均衡器。
2020-06-16 cs.LG eess.SP
PyRetri: A PyTorch-based Library for Unsupervised Image Retrieval by Deep Convolutional Neural Networks
Megvii Technology(旷视科技);Nanjing University of Science and Technology(南京理工大学);Alibaba Group(阿里巴巴集团)
尽管将深度学习方法应用于基于内容的图像检索领域取得了重大进展,但还没有一个软件库以统一的方式涵盖这些方法。为了填补这一空白,我们引入了PyRetri,这是一个基于深度学习的无监督图像检索的开源库。该库将检索过程封装在几个阶段中,并为每个阶段提供涵盖各种主要方法的功能。其设计思想是为基于深度学习的图像检索研究提供一个统一的平台,具有较高的可用性和可扩展性。据我们所知,这是第一个通过深度学习进行无监督图像检索的开源库。
2020-08-05 cs.CV cs.IR cs.LG
Unsupervised Learning for Neural Network-based Polar Decoder via Syndrome Loss
Department of Electrical Engineering, National Taiwan University(台湾大学电气工程学系)
随着深度学习在各个领域的快速发展,机器学习辅助通信系统吸引了大量的研究,并取得了许多引人注目的初步成果。现阶段,大多数方法仍然需要大量的标记数据进行监督学习。然而,在实际应用中,获得标记数据是不可行的,这可能会导致严重的性能下降,由于信道变化。为了克服这样的约束,伴随式损失已被提出来惩罚无效的解码码字,并实现基于神经网络的解码器的无监督学习。然而,它不能直接应用于极化解码器。在这项工作中,通过利用极化码的性质,我们提出了一种改进的综合征损失。从仿真结果来看,所提出的方法证明了码结构中的特定领域知识和专有技术可以实现基于神经网络的极化解码器的无监督学习。
2019-11-05 cs.LG eess.SP
Spiking neural networks with Hebbian plasticity for unsupervised representation learning
KTH Royal Institute of Technology(瑞典皇家理工学院);Stockholm University(斯德哥尔摩大学);Digital Futures(数字未来机构)
提出一种将BCPNN转换为脉冲神经网络的方法,利用Hebbian可塑性进行无监督表示学习,在MNIST和F-MNIST上性能接近非脉冲模型并具竞争力。
2023-05-10 cs.LG cs.NE
Unsupervised Learning of Syntactic Structure with Invertible Neural Projections
Language Technologies Institute(语言技术研究所);School of Computer Science(计算机科学学院);Carnegie Mellon University(卡内基梅隆大学)
句法结构的无监督学习通常使用具有离散潜变量和多项式参数的生成模型来执行。在大多数情况下,这些模型没有利用连续的单词表示。在这项工作中,我们提出了一种新的生成模型,共同学习离散的句法结构和连续的单词表示在无监督的方式级联可逆神经网络与结构化的生成先验。我们表明,可逆性条件允许有效的精确推理和边际似然计算在我们的模型中,只要事先是良好的行为。在实验中,我们实例化我们的方法与马尔可夫和树结构的先验,评估两个任务:部分的语音(POS)的归纳,和无监督的依存句法分析没有黄金POS注释。在Penn Treebank上,我们的马尔可夫结构模型超越了POS归纳的最新结果。同样,我们发现,我们的树结构模型在无监督依存句法分析上实现了最先进的性能,因为在困难的训练条件下,既没有黄金POS注释,也没有基于标点的约束。
2018-08-28 cs.CL cs.LG
UniHetCO: A Unified Heterogeneous Representation for Multi-Problem Learning in Unsupervised Neural Combinatorial Optimization
UniHetCO通过统一的异构图表示,实现多问题学习中的跨类别优化,提升稳定性与适应性。
2026-03-12 cs.LG
Unsupervised Constrained Community Detection via Self-Expressive Graph Neural Network
Amazon Science(亚马逊科学);IBM Research(IBM研究院);Indian Institute of Science(印度科学院)
图神经网络(GNN)能够在多个图下游任务(例如节点分类和链接预测)上实现有希望的性能。相对较少的工作已经完成,设计GNN,可以直接操作的社区发现图。传统上,GNN是在半监督或自监督损失函数上训练的,然后应用聚类算法来检测社区。然而,这种解耦的方法本质上是次优的。设计一个无监督的损失函数来训练GNN并以综合的方式提取社区是一个根本的挑战。为了解决这个问题,我们在文献中首次将自表达原理与自监督图神经网络框架相结合,用于无监督社区发现。我们的解决方案以端到端的方式进行训练,并在多个公开可用的数据集上实现最先进的社区发现性能。
2021-10-19 cs.LG cs.SI
Erdos Goes Neural: an Unsupervised Learning Framework for Combinatorial Optimization on Graphs
EPFL(洛桑联邦理工学院)
组合优化问题对于神经网络来说是非常具有挑战性的,特别是在没有标记实例的情况下。这项工作提出了一个无监督学习框架CO问题的图,可以提供认证质量的整体解决方案。受Erdos概率方法的启发,我们使用神经网络来参数化集合上的概率分布。至关重要的是,我们表明,当网络优化w.r.t.一个适当选择的损失,学习的分布包含,具有受控的概率,低成本的整体解决方案,服从组合问题的约束。存在的概率证明,然后去随机化解码所需的解决方案。我们证明了这种方法的有效性,以获得有效的解决方案的最大集团问题,并进行局部图聚类。我们的方法在真实数据集和合成硬实例上都取得了有竞争力的结果。
2021-03-07 cs.LG stat.ML
Neural collaborative filtering for unsupervised mitral valve segmentation in echocardiography
ETH Zurich(苏黎世联邦理工学院);University Hospital Zurich(苏黎世大学医院)
二尖瓣环和瓣叶的分割是建立机器学习管道的关键第一步,该管道可以支持医生执行多项任务,例如:二尖瓣疾病的诊断、手术计划和术中操作。当前用于2D超声心动图视频上的二尖瓣分割的方法需要与注释器进行广泛的交互,并且在低质量和有噪声的视频上表现不佳。我们提出了一种自动和无监督的二尖瓣分割方法的基础上,使用神经网络协同过滤的低维嵌入的超声心动图视频。该方法在各种二尖瓣疾病患者的超声心动图视频集合中进行评估,另外还在独立的测试队列中进行评估。它在低质量视频或稀疏注释的情况下优于最先进的\emph{unsupervised}和\emph{supervised}方法。
2020-08-13 cs.LG eess.IV
Recovery Guarantees of Unsupervised Neural Networks for Inverse Problems trained with Gradient Descent
Normandie Univ.(诺曼底大学);UNICAEN(卡昂大学);ENSICAEN(卡昂高等工程师学院);CNRS(法国国家科学研究中心);Greyc(格雷科学与技术研究中心)
本文针对无监督神经网络求解逆问题的理论恢复保证匮乏的问题,拓展了梯度流相关结论,证明合适步长的梯度下降训练下两层DIP网络仍满足收敛与恢复保证,离散化仅以常数影响过参数化界。
2024-03-08 cs.LG
Unsupervised clustering of series using dynamic programming and neural processes
Visium(Visium公司);Schlumberger-Doll Research(斯伦贝谢-多尔研究中心);University of Geneva(日内瓦大学)
在arXiv:2101.09512的工作之后,我们有兴趣以无监督的方式对给定的多变量序列进行聚类。我们希望对系列进行分段和聚类,使得每个聚类中存在的结果块相对于预定义的模型结构(例如,具有由多个参数定义的函数形式的物理模型)是一致的。然而,这种方法可能有其局限性,部分原因是可能存在描述相同数据的多个模型,部分原因是数据背后的确切模型可能无法立即知道。因此,它是有用的,以建立一个通用的框架,使合理的模型的整合,也容纳数据驱动的方法到一个近似的模型,以协助聚类任务。因此,在这项工作中,我们研究了使用神经过程来构建近似模型,同时产生与arXiv:2101.09512中提出的算法所需的相同假设。
2021-01-26 cs.LG
Unsupervised Training for Neural TSP Solver
University of Latvia(拉脱维亚大学);Institute of Mathematics and Computer Science at University of Latvia(拉脱维亚大学数学与计算机科学研究所);Institute of Electronics and Computer Science(电子与计算机科学研究所)
已经有越来越多的机器学习方法来近似解决旅行商问题。然而,这些方法通常需要解决的训练实例或使用复杂的强化学习方法,需要大量的调整。为了避免这些问题,我们引入了一种新的无监督学习方法。我们使用一个整数线性规划的TSP松弛构造一个损失函数,不需要正确的实例标签。在变量离散化的情况下,其最小值与最优解或近似最优解一致。此外,该损失函数是可微的,因此可以直接用于训练神经网络。我们使用我们的损失函数与图神经网络和设计控制实验上的欧几里德和非对称TSP。与监督学习相比,我们的方法具有不需要大型标记数据集的优势。此外,我们的方法的性能超过强化学习的非对称TSP和欧几里德实例的强化学习。我们的方法也比强化学习更稳定,更容易训练。
2022-07-27 cs.LG
HyperSAT: Unsupervised Hypergraph Neural Networks for Weighted MaxSAT Problems
School of Mathematical Sciences, University of Chinese Academy of Science(中国科学院大学数学科学学院);Zhongguancun Laboratory(中关村实验室);School of Automation Science and Electrical Engineering, Beihang University(北京航空航天大学自动化科学与电气工程学院)
针对加权最大可满足性(Weighted MaxSAT)问题现有图神经网络方法不足的问题,提出无监督超图神经网络模型HyperSAT,通过超图表示及交叉注意力机制等提升求解性能,实验证明其优于现有方法。
2025-04-16 cs.LG
A Brief Overview of Unsupervised Neural Speech Representation Learning
University of Copenhagen(哥本哈根大学);Technical University of Denmark(丹麦技术大学);Corti;Pioneer Centre for AI(AI先锋中心)
在过去的几年里,用于语音处理的无监督表示学习已经非常成熟。计算机视觉和自然语言处理方面的工作已经铺平了道路,但语音数据带来了独特的挑战。因此,来自其他域的方法很少直接转换。我们回顾了过去十年来语音无监督表示学习的发展。我们确定了两个主要的模型类别:自我监督的方法和概率潜变量模型。我们描述了模型,并制定了一个全面的分类。最后,我们讨论和比较两类模型。
2022-03-01 cs.LG cs.SD eess.AS
Simplified Neural Unsupervised Domain Adaptation
Boston Children’s Hospital(波士顿儿童医院);Harvard Medical School(哈佛医学院)
针对无监督领域自适应任务,本文提出将表示学习器与任务学习器联合训练以改进现有最先进方法,并考察了现有枢纽特征选择方法的重要性。
2019-05-22 cs.AI cs.CL cs.LG
Intrusion detection systems using classical machine learning techniques versus integrated unsupervised feature learning and deep neural network
Self-employed(自营(个体));IBM(国际商业机器公司);Amrita Vishwa Vidyapeetham(阿姆里塔维施瓦维迪亚佩塔姆大学)
安全分析师和管理员面临着检测和防止组织中的网络入侵的许多挑战,为了防止网络漏洞,及时检测漏洞至关重要。在检测不可预见的攻击时会出现挑战。这项工作包括对需要大量特征工程的经典机器学习方法与NSL-KDD数据集上的集成无监督特征学习和深度神经网络进行性能比较。运行各种试验以识别机器学习模型的合适的超参数和网络配置。使用主成分分析提取的15个特征的DNN是最有效的建模方法。使用软件定义网络功能进行的进一步分析也显示了使用深度神经网络的良好准确性。
2019-10-01 cs.CR cs.LG cs.NI
USER: Unsupervised Structural Entropy-based Robust Graph Neural Network
School of Computer Science, The University of Auckland(奥克兰大学计算机科学学院)
本文提出基于结构熵的无监督鲁棒图神经网络USER,通过定义内在连接图并利用邻接矩阵秩与结构熵捕获稳定图结构,在随机噪声和元攻击下提升节点表示鲁棒性,并在聚类与链路预测任务中优于现有基准。
2023-02-12 cs.AI cs.LG
An Unsupervised Character-Aware Neural Approach to Word and Context Representation Learning
University of Siena(锡耶纳大学);University of Firenze(佛罗伦萨大学)
在过去的几年中,神经网络已被广泛用于开发有意义的单词和上下文的分布式表示。当这些表征,也被称为“嵌入”,从无监督的大型语料库中学习,它们可以被转移到不同的任务中,在性能方面具有积极的影响,特别是当只有少数监督可用时。在这项工作中,我们进一步扩展了这一概念,并提出了一种无监督的神经架构,它可以联合学习单词和上下文嵌入,将单词作为字符序列进行处理。这使得我们的模型能够发现由于单词形态而导致的错误,并避免需要固定大小的单词输入词汇表。我们表明,我们可以学习紧凑的编码器,尽管参数数量相对较少,但在下游任务中达到高水平的性能,将它们与相关的最先进的方法或完全监督的方法进行比较。
2019-07-19 cs.CL cs.LG stat.ML
Unsupervised training of neural mask-based beamforming
Paderborn University(帕德博恩大学)
我们提出了一种无监督的训练方法,用于声波束形成应用中的基于神经网络的掩模估计器。训练网络以最大化从观测的空间混合模型导出的似然准则。它是从头开始训练的,不需要任何由降级输入和干净训练目标组成的并行数据。因此,训练可以在嘈杂语音的真实录音上进行,而不是模拟录音。与以前关于神经掩模估计器的无监督训练的工作相比,我们的方法完全避免了对可能预先训练的教师模型的需要。我们证明了我们的方法的有效性语音识别实验上的两个不同的数据集:一个主要恶化的噪声(CHiME 4)和混响(REVERB)。结果表明,该系统的性能与使用Oracle目标掩码进行训练的监督系统和使用基于模型的教师训练的系统相当。
2019-04-08 cs.LG cs.SD stat.ML
Unsupervised Learning of Neural Networks to Explain Neural Networks (extended abstract)
Shanghai Jiao Tong University(上海交通大学);University of California, Los Angeles(加州大学洛杉矶分校)
本文提出了一种学习神经网络的无监督方法,即解释器,用于解释预训练的卷积神经网络(CNN),即,解释器使用可解释的视觉概念来解释CNN的中间卷积层中的特征。给定CNN的卷积层的特征图,解释器像自动编码器一样执行,其将特征图分解为对象部分特征。学习对象部分特征以重建CNN特征,而不会丢失太多信息。我们可以将对象部分的解纠缠表示视为CNN特征的释义,其帮助人们理解由CNN编码的知识。更重要的是,我们通过知识蒸馏学习解释器,而不使用对象部分或纹理的任何注释进行监督。在实验中,我们的方法被广泛用于解释不同基准CNN的特征,解释器在不损害CNN的辨别能力的情况下显著提高了特征的可解释性。
2019-01-21 cs.AI cs.LG stat.ML
AutoEncoder Inspired Unsupervised Feature Selection
Peking University(北京大学)
在计算机视觉和机器学习任务等许多领域,高维数据给计算和分析带来了困难。特征选择是从观测到的特征中选择一个子集,是一种广泛使用的提高高维数据机器学习模型性能和有效性的方法。在本文中,我们提出了一种新的自动编码器特征选择(AEFS)的无监督特征选择结合自动编码器回归和组套索任务。与传统的特征选择方法相比,AEFS能够挖掘特征间的线性和非线性信息,从而选择出最重要的特征,比传统的自表示方法在无监督特征选择中只采用线性假设的情况下更加灵活。在基准数据集上的实验结果表明,该方法优于现有方法。
2018-04-09 cs.LG stat.ML