A Bayesian Variational principle for dynamic Self Organizing Maps
NeoInstinct(新本能公司)
我们提出的组织条件,产生一个自适应的邻域半径在变分贝叶斯框架训练SOM的方法。该方法在非平稳环境下进行了验证,并在高维环境下与其他自适应方法进行了比较。
2022-08-24 cs.LG cs.NE stat.ML
Self-organizing maps and symbolic data
National Research Institute in Computer Science and Control (INRIA)(法国国家信息与自动化研究所(INRIA))
在数据分析中,必须考虑新形式的复杂数据,例如(符号数据,函数数据,Web数据,树,SQL查询和多媒体数据等)。在这种情况下,不能使用基于计算重心的知识发现的经典数据分析,因为输入不是$\mathbb{R}^p$向量。在本文中,我们提出了一个应用程序的真实世界的符号数据使用自组织映射。为此,我们提出了一个扩展的自组织映射,可以处理符号数据。
2007-09-22 cs.LG cs.NE
GEMA: An open-source Python library for self-organizing-maps
Universidad Francisco de Vitoria(弗朗西斯科·德·维多利亚大学)
组织已经意识到数据分析的重要性及其好处。这与机器学习算法相结合,可以更容易地解决问题,使这些过程更耗时。神经网络是机器学习技术,最近获得了非常好的结果。本文描述了一个名为GEMA的开源Python库,该库被开发用于使用一种名为自组织映射的神经网络模型。GEMA在GitHub(https://github.com/ufvceiec/GEMA)上的GNU通用公共许可证下免费提供。该库已在不同的特定用例中进行评估,获得准确的结果。
2022-02-17 cs.AI cs.LG cs.NE
Self-motion as a structural prior for coherent and robust formation of cognitive maps
Donghua University(东华大学);Westlake University(西湖大学);Imperial College London(帝国理工学院);Alibaba Group(阿里巴巴集团);University of Cambridge(剑桥大学)
本研究提出利用自我运动作为结构先验,通过脑启发机制提升认知图形成效,增强空间导航的鲁棒性与准确性。
2025-12-23 cs.NE q-bio.NC
On the use of self-organizing maps to accelerate vector quantization
自组织映射(SOM)因其拓扑保持性而被广泛应用:相邻输入向量在同一位置或预定义网格上的相邻向量上被量化(或分类)。SOM由于其更经典的矢量量化特性而被广泛使用。在本文中,我们表明,使用SOM,而不是更经典的简单竞争学习(SCL)算法大大提高了矢量量化过程的收敛速度。这一事实是通过人工和真实的例子,与特定的SOM(固定和减少的邻居)和SCL算法的广泛模拟证明。
2007-01-04 cs.NE math.ST stat.TH
Automated and Weighted Self-Organizing Time Maps
本文提出了自动化和加权自组织时间地图(SOTM)的计划。SOTM提供了一种可视化的方法来进化聚类,其目的是产生一系列的聚类解决方案。这个任务我们称为视觉动态聚类。自动化SOTM的含义不仅是SOTM的数据驱动参数化,而且还包括在每个时间步根据数据的特征调整训练的特征。加权SOTM的目的是改进从具有实例变化权重的更可信或重要数据的学习。自动化和加权SOTM的方案在两个真实世界的数据集上进行了说明:(i)国家级风险指标,以衡量全球失衡的演变,(ii)信贷申请人数据,以衡量公司级信贷风险的演变。
2013-11-22 cs.HC cs.NE
Continual Learning with Self-Organizing Maps
尽管现代神经网络在广泛的应用中取得了显著的成功,但这些网络在特定领域的静态环境中表现最好,在这种环境中,它们只在大规模受控数据存储库上训练一次。当暴露在非平稳学习环境中时,当前的神经网络往往会忘记它们以前学到的东西,这种现象被称为灾难性遗忘。以前解决这个问题的大多数方法都依赖于存储器重放缓冲区,这些缓冲区存储来自以前学习的任务的样本,并使用它们来规则化新任务的学习。这种方法的一个重要缺点是不能很好地扩展到内存需求变得巨大的实际问题。我们提出了一种无记忆的方法,结合标准的监督神经网络与自组织映射来解决持续学习的问题。自组织映射的作用是自适应地将输入聚类到适当的任务上下文中-没有明确的标签-并相应地分配网络资源。因此,它根据以前的经验选择性地路由输入,确保保持过去的学习并且不干扰当前的学习。Out方法直观、无记忆,在标准基准测试中的表现与当前最先进的方法不相上下。
2019-04-19 cs.NE
Somoclu: An Efficient Parallel Library for Self-Organizing Maps
Somoclu是一个大规模并行工具,用于在用C++编写的大型数据集上训练自组织映射。它构建在用于多核执行的OpenMP和用于跨集群中的节点分配工作负载的MPI之上。如果图形处理单元可用,它还能够通过使用CUDA来促进培训。包含了一个稀疏内核,这对于高维但稀疏的数据很有用,比如文本挖掘工作流中常见的向量空间。Python、R和MATLAB接口便于交互式使用。除了快速执行之外,内存使用也得到了高度优化,即使在一台计算机上也可以训练大型紧急映射。
2017-06-09 cs.DC cs.MS cs.NE
Two-sample test based on Self-Organizing Maps
University of Cadiz(加的斯大学)
机器学习分类器可以用作双样本统计测试。假设每个样本都被分配了不同的标签,并且分类器可以获得比机会更好的结果来区分它们。在这种情况下,我们可以推断这两个样本来自不同的人群。然而,许多类型的模型,如神经网络,对用户来说就像一个黑盒子:它们可以拒绝两个样本来自同一个群体,但它们不能提供对两个样本如何不同的洞察。自组织映射是一种降维方法,最初被设计为一种数据可视化工具,用于显示紧急属性,也可用于分类任务。由于它们可以用作分类器,因此它们也可以用作双样本统计测试。但由于它们的最初目的是可视化,它们也可以提供见解。
2022-12-17 cs.LG cs.NE
Non-Euclidean Self-Organizing Maps
University of Warsaw(华沙大学)
针对传统SOM默认采用平坦欧氏空间的局限,提出非欧几里得自组织映射的广义框架,通过拓扑相关扩展改进算法,支持大数据降维、聚类与相似性发现。
2022-05-02 cs.LG cs.NE math.GT
Dendritic Self-Organizing Maps for Continual Learning
Technical University of Crete(克里特理工大学);Foundation for Research and Technology-Hellas(研究与科技基金会-赫尔拉斯)
当前的深度学习架构在大规模受控数据集中训练时表现出卓越的性能。然而,这些架构的预测能力显着下降时,学习新的类增量。这是由于他们倾向于忘记从以前看到的数据中获得的知识,这种现象称为灾难性遗忘。另一方面,自组织映射(SOM)可以利用约束k-means对输入空间进行建模,从而保持过去的知识。在这里,我们提出了一种新的算法的灵感来自生物神经元,称为树突状自组织映射(DendSOM)。DendSOM由单层SOM组成,它从输入空间的特定区域提取模式,并伴随着一组命中矩阵,每个SOM一个,估计单元和标签之间的关联。该算法利用最大余弦相似性准则选择输入模式的最佳匹配单元,同时利用逐点互信息进行类推理。DendSOM执行无监督的特征提取,因为它不使用标签来有针对性地更新权重。它在基准数据集上的性能优于经典SOM和几种最先进的持续学习算法,如Split-MNIST和Split-CIFAR-10。我们认为,在自组织记忆中加入神经元特性可能有助于补救灾难性遗忘。
2021-10-18 cs.CV cs.LG cs.NE
A Survey on Recent Advances in Self-Organizing Maps
Univ Angers(昂热大学);Université Catholique de l’Ouest(西部天主教大学)
本综述聚焦过去十年,梳理自组织映射(SOM)算法自Kohonen开创性工作以来的主要演进、方法学改进,及其在商业数据管理领域的应用情况。
2024-12-10 cs.AI cs.NE
Using Self-Organizing Maps for Sentiment Analysis
Indian Institute of Management Indore(印多尔印度管理学院)
Web 2.0服务使人们能够以用户生成内容的形式表达他们的意见,体验和感受。情感分析或意见挖掘涉及根据其积极或消极的极性识别,分类和汇总意见。本文研究了不同的自组织映射(SOM)的实现基于情感的可视化和分类的在线评论的有效性。具体来说,本文实现了SOM算法的监督和无监督学习从文本文件。无监督SOM算法实现基于情感的可视化和分类任务。对于监督式情感分析,使用称为学习向量量化的竞争性学习算法。这两种算法还比较了各自的多通道实现,其中快速粗排序通过之后是一个微调通过。在在线电影评论数据集上的实验结果表明,SOM非常适合于基于情感的分类和情感极性可视化。
2013-09-16 cs.CL cs.IR cs.NE
Rectifying Self Organizing Maps for Automatic Concept Learning from Web Images
Bilkent University(比尔肯大学)
我们攻击的问题,学习概念自动从嘈杂的网络图像搜索结果。超越低级别属性,如颜色和纹理,我们探索弱标记数据集,用于学习更高级别的概念,如场景类别。这个想法是基于发现图像子集之间共享的共同特征,提出了一种方法,能够组织数据,同时消除不相关的实例。我们提出了一种新的聚类和离群点检测方法,即纠正自组织映射(RSOM)。给定为概念查询返回的图像集合,RSOM提供从离群值修剪的聚类。每个集群用于训练表示概念的不同特征的模型。所提出的方法优于国家的最先进的研究任务的学习低层次的概念,它是有竞争力的学习更高层次的概念。它能够在没有监督的情况下通过利用可用资源大规模工作。
2013-12-16 cs.CV cs.LG cs.NE
Statistical tools to assess the reliability of self-organizing maps
由于对初始条件的敏感性,神经网络学习的结果总是受到一些可变性的影响,收敛到局部最小值,有时更引人注目的是,采样可变性。本文提出了一套工具,旨在评估自组织映射(SOM)的结果的可靠性,即测试的统计基础上的信心,我们可以对一个特定的SOM的结果。这些工具涉及SOM中的量化误差和邻域关系(在特定观测对的水平上和在地图上的全局上)。作为一个副产品,这些措施还允许评估在地图中选择的单位数量是否足够。这些工具还可以用于客观地测量SOM如何对非线性最优化问题(局部最小值、收敛等)不太敏感。其他神经网络模型。
2007-01-04 cs.NE math.ST stat.TH
Improving Self-Organizing Maps with Unsupervised Feature Extraction
Université Côte d’Azur, CNRS, LEAT(蔚蓝海岸大学、法国国家科学研究中心、电子天线与电信实验室)
自组织映射(SOM)是一种受大脑启发的神经模型,在无监督学习,特别是在嵌入式应用中非常有前途。然而,在处理复杂数据集时,它无法学习有效的原型。在这项工作中,我们建议使用提取的功能,而不是原始数据,以提高SOM的性能。我们使用两种不同的方法对SOM分类精度进行了比较研究:使用基于梯度学习的稀疏卷积自动编码器的机器学习方法,以及使用Spike Timing Dependant Plasticity学习的脉冲神经网络的神经科学方法。SOM在提取的特征上进行训练,然后使用很少的标记样本来标记具有相应类别的神经元。我们研究的影响的特征地图,SOM的大小和标记的子集的大小上的分类精度使用不同的特征提取方法。我们将SOM分类提高了+6.09\%,并在无监督图像分类方面达到了最先进的性能。
2020-09-04 cs.CV cs.NE
Self-Organizing Maps with Variable Input Length for Motif Discovery and Word Segmentation
Universidade Federal de Pernambuco(伯南布哥联邦大学)
时间序列基序发现(TSMD)被定义为搜索先前未知的模式,并在时间序列中以给定的频率出现。与TSMD密切相关的另一个问题是分词。这个问题已经引起了婴幼儿早期语言习得研究界的广泛关注。生物学上合理的分词模型的发展将极大地推动这一领域的发展。因此,在这篇文章中,我们提出了可变输入长度映射(VILMAP)的模体发现和分词。该模型基于自组织映射,可以识别时间序列中不同长度的模体。在我们的实验中,我们表明VILMAP在标准Motif发现数据集中找到Motif时表现出良好的结果,并且在使用具有增加的输入大小值的数据集进行训练时可以避免灾难性遗忘。我们还表明,VILMAP实现的结果相似或优于其他方法在文献中开发的任务的分词。
2019-08-07 cs.LG cs.NE stat.ML
GPU-based Self-Organizing Maps for Post-Labeled Few-Shot Unsupervised Learning
Université Côte d’Azur(蔚蓝海岸大学);CNRS(法国国家科学研究中心);LEAT(电子、天线与电信实验室);IMT Atlantique(大西洋高等矿业电信学校)
Few-Shot分类是机器学习中的一个挑战,其目标是使用非常有限数量的标记示例训练分类器。这种情况在现实生活中可能经常发生,例如当数据采集或标记昂贵时。在这项工作中,我们考虑的问题后标记的Few-Shot无监督学习,表示学习在一个无监督的方式分类任务,后来标记使用很少的注释的例子。我们认为,这个问题很可能发生在边缘,当嵌入式设备直接获取数据时,执行标记所需的专家不能经常得到提示。为了解决这个问题,我们考虑了一个算法,包括串联的迁移学习与聚类使用自组织映射(SOM)。我们引入了一个基于TensorFlow的实现,以加快多核CPU和GPU中的进程。最后,我们使用标准的现成的Few-Shot分类基准证明了该方法的有效性。
2020-09-04 cs.CV cs.NE
Minimally Supervised Topological Projections of Self-Organizing Maps for Phase of Flight Identification
Rochester Institute of Technology(罗切斯特理工学院)
针对通用航空飞行阶段识别中数据标注成本高且类别不平衡的问题,提出最小监督自组织映射(MS-SOMs)方法,利用SOM U矩阵最近邻多数投票进行类别估计,仅需每类30个标注点即可达到或超越全量标注的朴素SOM性能,且对类别不平衡更具鲁棒性。
2024-02-17 cs.LG cs.NE
Fast Algorithm and Implementation of Dissimilarity Self-Organizing Maps
Université de Metz(梅斯大学);INRIA(法国国家信息与自动化研究所)
在许多现实世界的应用中,数据不能用向量精确表示。在这些情况下,一个可能的解决方案是依赖于相异性测量,使观察之间的合理比较。Kohonen的自组织映射(SOM)已被改编为仅通过它们的相异性矩阵描述的数据。该算法同时提供了非线性投影和非矢量数据的聚类。不幸的是,该算法的成本很高,这使得它很难使用大量的数据集。在本文中,我们提出了一种新的算法,提供了一个重要的减少的理论成本的相异SOM,而不改变其结果(结果是完全相同的与原始算法获得的)。此外,我们引入的实现方法,导致在很短的运行时间。从理论成本模型推导出的改进验证模拟和现实世界的数据(一个单词列表聚类问题)。我们还表明,所提出的实施方法减少了一个因素高达3的运行时间的快速算法在一个标准的实施。
2007-09-21 cs.LG cs.NE
Minimally Supervised Learning using Topological Projections in Self-Organizing Maps
Rochester Institute of Technology(罗切斯特理工学院)
提出一种基于自组织映射拓扑投影的半监督学习方法,通过利用无标签数据显著减少标记数据需求,并在参数预测任务上优于多种传统回归和深度度学习模型。
2024-02-15 cs.LG cs.NE
Unsupervised classification of fully kinetic simulations of plasmoid instability using Self-Organizing Maps (SOMs)
Ruhr-Universität Bochum(波鸿鲁尔大学);Lancaster University(兰卡斯特大学);Cockcroft Institute(科克罗夫特研究所)
本文将基于 SOM 的无监督聚类用于等离子体团不稳定性完全动力学模拟,可准确识别关键物理区域,并有望服务于观测分析与自适应多模型耦合模拟。
2023-04-26 cs.LG cs.NE physics.plasm-ph
Time Makes Space: Emergence of Place Fields in Networks Encoding Temporally Continuous Sensory Experiences
Rudolf Peierls Centre for Theoretical Physics, University of Oxford(理论物理中心,牛津大学);Santa Fe Institute(圣菲研究所)
本研究通过循环自编码器模拟海马CA3区,发现训练其记忆时间连续的感觉经验可自发涌现位置细胞,重现重映射、正交表征等关键现象,并提出了可验证的预测。
2025-07-09 cs.AI cs.LG cs.NE
SOM-CPC: Unsupervised Contrastive Learning with Self-Organizing Maps for Structured Representations of High-Rate Time Series
Eindhoven University of Technology(埃因霍温理工大学);Onera Health(奥内拉健康公司);Sleep Medicine Center Kempenhaeghe(肯彭黑格睡眠医学中心)
针对高速率时间序列的高维难解释问题,提出SOM-CPC模型,通过无监督对比学习与自组织映射在二维流形中保留高维信息,并在合成与真实数据上验证其优于多种基线方法。
2023-05-25 cs.LG cs.NE
Towards a self-organizing pre-symbolic neural model representing sensorimotor primitives
University of Hamburg(汉堡大学);University of Plymouth(普利茅斯大学)
感觉运动行为的符号表征和语言表征的获得是主体在执行和/或观察自己或他人的动作时进行的认知过程。根据皮亚杰的认知发展理论,这些表征在感觉运动阶段和前操作阶段发展。我们提出了一个模型,涉及到概念化的更高层次的信息从视觉刺激腹侧/背侧视觉流的发展。该模型采用神经网络架构,结合了基于RNNPB(具有参数偏差的递归神经网络)和水平乘积模型的预测感觉模块。我们通过机器人被动地观察物体来学习它的特征和运动来建立这个模型。在观察感觉运动基元的学习过程中,即观察一组手臂运动轨迹及其定向对象特征,预符号表示在参数单元中自组织。这些代表性的单位作为分叉参数,指导机器人识别和预测各种学习的感觉运动基元。前符号表征也解释了潜在学习情境中感觉运动基元的学习。
2020-07-12 cs.AI cs.CL cs.NE
Deep Categorization with Semi-Supervised Self-Organizing Maps
Universidade Federal de Pernambuco(伯南布哥联邦大学);Center of Informatics - CIn(信息中心)
如今,随着技术的进步,每天都会产生越来越多的非结构化数据。然而,这是一个痛苦的工作,标签和组织。标签是一个昂贵的,耗时的,困难的任务。它通常是手动完成的,这与数据中的噪声和错误相结合。因此,开发可以从标记和未标记数据中受益的智能模型非常重要。目前,无监督学习和半监督学习的研究工作仍然被纯监督学习的成功所掩盖。然而,预计从长远来看,它们将变得更加重要。本文提出了一种半监督模型,称为批处理半监督自组织映射(Batch SS-SOM),它是SOM的扩展,结合了深度学习兴起时的一些进步,如批处理训练。实验结果表明,Batch SS-SOM是一种很好的半监督分类和聚类方法。它在准确性和聚类误差方面表现良好,即使是少量的标记样本,以及当呈现给无监督数据时,并且在传统图像分类基准数据集中的迁移学习场景中显示出竞争力。
2020-06-17 cs.LG cs.NE stat.ML
Neuro-mimetic Task-free Unsupervised Online Learning with Continual Self-Organizing Maps
University of South Florida(南佛罗里达大学);Rochester Institute of Technology(罗切斯特理工学院)
本文针对无监督在线持续学习中的灾难性遗忘问题,提出持续自组织映射CSOM,在低内存预算下实现无任务边界的在线学习,并在多个基准上显著提升准确率。
2024-02-19 cs.LG cs.NE
Self Organizing Maps Whose Topologies Can Be Learned With Adaptive Binary Search Trees Using Conditional Rotations
Universidad de Talca(塔尔卡大学);Carleton University(卡尔顿大学);University of Agder(阿格德尔大学)
在文献中已经提出了自组织映射(SOM)的许多变体,包括那些也具有底层结构的变体,并且在某些情况下,这种结构本身可以由用户定义。尽管已经研究了生长SOM和更新SOM的概念,但是使用自组织自适应数据结构(ADS)来进一步增强底层SOM的属性的整个问题,尚未被探索在早期的工作中,我们强加了一个任意的,用户定义的,树形拓扑的码本,从而强制执行的邻域现象和所谓的基于树的活动泡沫。在本文中,我们考虑如何底层树本身可以呈现动态和自适应变换。要做到这一点,我们提出的方法,SOM与一个基本的二叉搜索树(BST)结构可以自适应地重新结构使用条件旋转(CONROT)。树的节点上的这些旋转是局部的,可以在恒定时间内完成,并且执行以减小整个树的加权路径长度(WPL)。在此过程中,我们引入了称为神经促进的开创性概念,其中神经元在神经网络(NN)中随着其重要性的增加而变得突出。我们不知道有任何研究涉及神经促进的问题。这种方案的优点是用户不需要知道随机数据分布的任何拓扑特性。相反,该算法,被称为TTOSOM与条件旋转(TTOCONROT),收敛的方式,神经元最终被放置在输入空间,以表示其随机分布,此外,神经元的邻域属性适合最好的BST表示的数据。这些性质已经被我们在各种数据集上的实验结果所证实。
2015-06-09 cs.AI cs.NE
KohonAnts: A Self-Organizing Ant Algorithm for Clustering and Pattern Classification
University of Lisbon(里斯本大学);University of Granada(格拉纳达大学)
在本文中,我们介绍了一种新的基于蚂蚁的方法,利用蚁群系统的合作自组织创建一个自然启发聚类和模式识别方法。该方法将每个数据项视为一只蚂蚁,它在网格内移动,改变它所经过的单元格,类似于Kohonen的自组织地图。由此产生的算法是概念上更简单,需要更少的自由参数比其他蚂蚁为基础的聚类算法,并经过一些参数调整,在一些基准问题产生非常好的结果。
2008-03-18 cs.CV cs.NE
Opportunistic Self Organizing Migrating Algorithm for Real-Time Dynamic Traveling Salesman Problem
自组织迁移算法(SOMA)是一种基于模拟社会环境中个体自组织行为的元启发式算法。SOMA在给定的搜索空间中对潜在解的种群执行迭代计算以获得最优解。本文提出了一种新的扰动生成策略,即引入一种新的扰动生成策略,从而有效地生成扰动。这种策略允许个人跨越更多可能的解决方案,从而能够产生更好的解决方案。对多维无约束基准测试函数的OSOMA进行了全面的分析。然后将OSOMA应用于求解实时的【形】动态旅行商问题(DTSP)。实时的【形】DTSP的问题已经规定和模拟使用实时的【形】数据从谷歌地图与任何两个城市之间的不同成本度量。虽然DTSP是现实世界中非常常见和直观的模型,但它在文献中的存在仍然非常有限。OSOMA在上述问题上表现得非常好。为了证实这一说法,OSOMA的性能进行了比较SOMA,差分进化和粒子群优化。
2017-09-12 cs.NE
A Self-Organized Neural Comparator
学习算法通常需要比较几个信息流的可能性。因此,神经学习架构需要一个单元,一个比较器,能够比较编码内部或外部信息的多个输入,例如预测和感官读数。如果没有将预测值与实际感官输入进行比较的可能性,奖励评估和监督学习就不可能实现。比较器通常不显式实现,必要的比较通常通过直接对相应的活动进行一对一比较来执行。这意味着两个输入流的特征(如大小和编码)必须在设计系统时提供。然而,生物学比较器似乎是从自组织的、遗传编码的原则中产生的,这些原则允许系统适应输入和有机体的变化。我们提出了一种无监督的神经电路,其中输入比较的功能仅通过自组织从系统与相应输入的相互作用中出现,而没有外部影响或监督。建议的神经比较器适应,无监督,根据输入流中存在的相关性。该系统由一个多层前馈神经网络,它遵循本地输出最小化(反赫布)规则的突触权重的适应。局部输出最小化允许电路自主地获得比较从不同神经元群体接收的神经活动的能力,所述不同神经元群体可以在群体的大小和所使用的神经编码方面不同。比较器能够比较在感觉输入流中以前从未遇到过的对象,并评估它们的相似性的度量,即使在不同编码时也是如此。
2012-10-25 cond-mat.dis-nn cs.NE q-bio.NC
Advances in Self Organising Maps
自组织映射(SOM)及其相关扩展是用于无监督学习、聚类、分类和数据可视化的最流行的人工神经算法。在公开文献中已经报道了超过5,000篇出版物,并且许多商业项目将SOM用作解决现实世界难题的工具。每两年,“自组织地图研讨会”(WSOM)涵盖了该领域的新发展。WSOM系列会议由Teuvo Kohonen教授于1997年发起,并于1997年和1999年由赫尔辛基理工大学成功组织,2001年由林肯郡大学和亨伯赛德大学成功组织,2003年由九州理工大学成功组织。2005年9月5日至8日,巴黎先贤祠-索邦第一大学(SAMOS-MATISSE研究中心)在巴黎组织了2005年世界SOM。
2006-11-14 cs.NE math.ST nlin.AO
Neuromorphic hardware as a self-organizing computing system
University Côte d’Azur(蔚蓝海岸大学);CNRS(法国国家科学研究中心);University of Lorraine(洛林大学);Inria Bordeaux Sud-Ouest(法国国家信息与自动化研究所波尔多西南分所);University of Bordeaux(波尔多大学);University of Applied Sciences of Western Switzerland(瑞士西部应用科学大学);HES-SO(瑞士西部高等专业学院)
提出了一种自组织神经形态结构SOMA。目的是研究计算系统中基于神经的自组织,并证明自组织硬件结构的可行性。考虑到这些属性来自大规模和完全连接的神经映射,我们将重点关注基于数字尖峰神经元的自组织硬件架构的定义,这些神经元提供硬件效率。从生物学的角度来看,这对应于所谓的突触可塑性和结构可塑性的组合。我们打算定义计算模型能够同时自组织在计算和通信水平,我们希望这些模型是硬件兼容,容错和可扩展的神经细胞结构的手段。
2018-10-30 cs.AI cs.AR cs.DC
CUDA-Self-Organizing feature map based visual sentiment analysis of bank customer complaints for Analytical CRM
Center of Excellence in Analytics, Institute for Development and Research in Banking Technology(银行技术发展与研究所分析卓越中心);Indian Institute of Technology (Indian School of Mines), Dhanbad(丹巴德印度理工学院(印度矿业学院))
随着社交媒体的广泛使用,公司现在可以获得丰富的客户反馈数据,这些数据对客户关系管理(CRM)具有重要的应用价值。分析客户的不满数据,是至关重要的,因为他们的快速非redressal会导致客户流失,导致较低的盈利能力.在本文中,我们提出了一个描述性的分析框架,使用自组织特征映射(SOM),客户投诉的视觉情感分析。该网络自动学习投诉的固有分组,然后可以使用各种技术进行可视化。分析型客户关系管理(ACRM)的管理人员可以从地图中获得有用的业务见解,并及时采取补救措施。我们还提出了一个高性能版本的算法CUDASOM(基于CUDA的自组织特征映射),使用NVIDIA并行计算平台,CUDA,它加快了高维文本数据的处理,并生成快速的结果。所提出的模型的有效性已被证明的客户投诉数据的产品和服务的四个领先的印度银行。CUDASOM的平均速度提高了44倍。我们的方法可以扩展到智能申诉救济系统的研究,为投诉客户提供快速的解决方案。
2019-05-23 cs.CV cs.NE
Cognitive Discriminative Mappings for Rapid Learning
人类可以从少数几个例子中学习概念或识别项目,而机器需要更多的样本来执行相同的任务。在本文中,我们建立了一个计算模型来研究这种快速学习的可能性。所提出的方法旨在通过利用从长期记忆中检索的信息来改善从感觉记忆中输入的学习任务。我们提出了一个简单而直观的技术,称为认知判别映射(CDM)来探索认知问题。首先,当感觉输入触发算法时,CDM利用工作记忆中的判别方法将从长期记忆中提取的数据实例分离并聚类到不同的类中。然后,CDM将每个传感数据实例映射为尽可能接近具有相同类的数据组的中值点。实验结果表明,CDM方法是有效的学习有监督的分类与少量的训练感觉输入实例的区别性特征。
2016-11-08 cs.AI cs.LG cs.NE
Deep Neural Maps
University of British Columbia(不列颠哥伦比亚大学)
我们介绍了一种新的无监督表示学习和可视化,使用深度卷积网络和自组织映射,称为深度神经映射(DNM)。DNM联合学习输入数据的嵌入和从嵌入空间到二维网格的映射。我们比较DNM的可视化与那些的t-SNE和LLE的MNIST和COIL-20数据集。实验结果表明,DNM可以学习到有效的输入数据表示,反映了每个类的特点。这通过将映射的神经元反向投影到数据空间上来显示。
2018-10-16 cs.LG cs.NE stat.ML
A unified software/hardware scalable architecture for brain-inspired computing based on self-organizing neural models
受生物学和神经科学领域发现的启发,人工智能领域在过去几十年中取得了重大进展。这项工作的想法是受到人类大脑皮层区域从传入和横向/内部连接的自组织过程的启发。在这项工作中,我们开发了一个原始的大脑启发的神经模型,将自组织映射(SOM)和Hebbian学习关联在可重入SOM(ReSOM)模型中。该框架适用于多模态分类问题。与现有的基于后标记的无监督学习方法相比,该模型增强了最先进的结果。这项工作还通过仿真结果和在基于FPGA的专用平台SCALP(可自配置3D蜂窝自适应平台)上的硬件执行来演示该模型的分布式和可扩展性。SCALP板可以以模块化的方式互连,以支持神经模型的结构。这种统一的软件和硬件方法使得处理能够被缩放,并且允许来自若干模态的信息被动态地合并。硬件板上的部署提供了在多个设备上并行执行的性能结果,每个板之间通过专用串行链路进行通信。由ReSOM模型和SCALP硬件平台组成的拟议统一架构显示,由于多模态关联,准确性显著提高,并且与集中式GPU实现相比,延迟和功耗之间具有良好的权衡。
2022-01-06 cs.NE
Self-orthogonalizing attractor neural networks emerging from the free energy principle
Center for Translational Neuro- and Behavioral Sciences (C-TNBS), University Medicine Essen, Germany(转化神经与行为科学中心(C-TNBS),埃森大学医学中心,德国);Queen Square Institute of Neurology, University College London, WC1N 3AR, UK(皇后广场神经病学研究所,伦敦大学学院,英国);VERSES, Los Angeles, CA 90067, USA(VERSES,美国加利福尼亚州洛杉矶90067)
本文基于自由能原理,研究了自组织动力学如何从随机动力系统的基本原理中涌现,提出了一种无需显式学习和推断规则的高效且生物合理的方法,实现了多层贝叶斯主动推断过程,通过分析和模拟证明了所提网络倾向于产生近似正交化的吸引子表示,从而提升泛化能力和隐变量与可观测效应间的互信息。
2026-05-21 cs.AI cs.LG cs.NE
A Survey and Implementation of Performance Metrics for Self-Organized Maps
LIPN, Université Sorbonne Paris Nord(索邦巴黎北大学 LIPN 实验室);Safran Aircraft Engines(赛峰飞机发动机公司)
自组织映射算法已经在各种应用领域使用了近40年,如生物学,地质学,医疗保健,工业和人文科学,作为一种可解释的工具来探索,聚类和可视化高维数据集。在每个应用中,从业者需要知道他们是否可以\textit{trust}得到的映射,并执行模型选择来调整算法参数(例如映射大小)。自组织映射(SOM)的定量评估是聚类验证的一个子集,这是一个具有挑战性的问题。聚类模型选择通常通过使用聚类有效性指标来实现。虽然它们也适用于自组织聚类模型,但它们忽略了映射的拓扑结构,只回答了一个问题:SOM代码向量是否很好地近似了数据分布?评估SOM模型带来了评估其拓扑结构的额外挑战:映射是否保留了地图和原始数据之间的邻域关系?SOM模型的性能评估问题已经在文献中得到了相当彻底的解决,产生了一个家庭的质量指标纳入邻域约束,称为\textit{topographic}指数。这种度量的常用例子是地形误差、邻域保护或地形产品。然而,开源实现几乎是不可能找到的。这就是我们在这项工作中试图解决的问题:在调查了现有的SOM性能指标之后,我们在Python和广泛使用的数值库中实现了它们,并将它们作为开源库SOMperf提供。本文介绍了我们模块中可用的每个指标以及使用示例。
2020-11-11 cs.LG cs.NE
Contrastive Topographic Models: Energy-based density models applied to the understanding of sensory coding and cortical topography
Gatsby Computational Neuroscience Unit(盖茨比计算神经科学单元);University College London(伦敦大学学院);University of London(伦敦大学)
我们解决的问题,建立理论模型,帮助阐明视觉大脑的功能,在计算/算法和结构/机械水平。我们试图了解视觉皮层区域的感受野和地形图与潜在的计算需求之间的关系。我们从概率密度估计的流行观点来看待感觉系统的发展;这是由一个有效的内部表征方案可能反映生物体生活环境的统计结构的概念所激发的。我们对模型的元素应用基于生物学的约束。本文首先从神经生物学、理论神经科学和机器学习领域的相关文献开始调查。在这篇评论之后,我们提出了我们的主要理论和算法的发展:我们提出了一类概率模型,我们称之为“基于能量的模型”,并显示这个框架和其他各种类型的概率模型,如马尔可夫随机场和因子图之间的等价关系;我们还开发和讨论了近似算法,用于执行最大似然学习和推理,在我们的基于能量的模型。论文的其余部分则关注于探索这些模型的具体实例。通过对模型参数进行约束优化,以最大限度地提高适当的自然数据集的可能性,我们能够定性地重现体内发现的许多感受野和映射特性,同时了解数据中的统计特性。
2020-11-05 cs.LG cs.NE stat.ML
Magnification Laws of Winner-Relaxing and Winner-Enhancing Kohonen Feature Maps
自组织映射是在横向耦合赢者通吃前馈结构中通过刺激驱动的自组织来无监督地形成皮层受体场的表示的模型。本文讨论了修改原Kohonen模型的动机是一个潜在的功能,在他们的能力,建立一个最大的互信息的神经映射。增强获胜者更新,而不是放松它,导致生成对应于放大指数为1的infomax图的算法。尽管可能有一个以上的算法表现出相同的放大指数,放大率是一个实验上可访问的量,因此适合于定量描述神经优化原理。
2006-12-30 cs.IT cs.NE math.IT
A Self-Organizing Clustering System for Unsupervised Distribution Shift Detection
Technical University of Denmark(丹麦技术大学);INRIA Rennes – Bretagne Atlantique(法国国家信息与自动化研究所雷恩-大西洋分部)
本文提出一种基于自组织映射和尺度不变映射潜在空间的持续学习框架,通过比较高斯信号实现快速鲁棒的无监督分布偏移检测,并在图像、化学传感器和臭氧数据上验证了其有效性。
2024-10-22 cs.AI cs.LG cs.NE