Supervised Topological Maps
Institute of Cognitive Sciences and Technologies（认知科学与技术研究所）；National Research Council of Italy（意大利国家研究委员会）
控制神经网络的内部表示空间是期望的特征，因为它允许以监督的方式生成新数据。在本文中，我们将展示如何实现这一点，同时建立一个低维映射的输入流，从自组织映射（SOM）推导出一个通用的算法。SOM是一种神经网络，它可以通过无监督学习来训练，以产生输入空间的低维离散映射。它们可用于通过从映射网格进行插值的反向传播来生成新数据。不幸的是，SOM的映射空间的最终拓扑在学习之前是未知的，因此以监督的方式插入新数据并不是一件容易的事情。在这里，我们将展示SOM算法的一个变体，该变体包括约束原型的更新，使得它也是其原型与映射空间中的外部给定目标的距离的函数。我们将演示如何这样的变种，我们将呼吁监督拓扑地图（STM），允许监督映射的位置在映射空间中的内部表示是由实验者确定的。控制STM中的内部表示空间显示出比目前使用其他算法（如变分或对抗自动编码器）更容易的任务。
2020-09-02 cs.LG cs.NE stat.ML
Coincidence, Categorization, and Consolidation: Learning to Recognize Sounds with Minimal Supervision
人类不像我们训练机器那样获得感知能力。虽然机器学习算法通常在大量随机选择的、明确标记的示例上运行，但人类的学习更依赖于多模态无监督学习（婴儿）和主动学习（儿童）。基于这种动机，我们提出了一个用于声音表示和识别的学习框架，该框架结合了（i）基于单峰和跨模态重合的一般概念的自监督目标，（ii）反映我们需要对我们的经验施加类别结构的聚类目标，以及（iii）基于聚类的主动学习过程，其请求有针对性的弱监督以将类别合并到相关语义类中。通过根据这些标准训练组合的声音嵌入/聚类/分类网络，我们实现了一种新的最先进的无监督音频表示，并证明了达到所需分类性能所需的标签数量减少了20倍。
2019-11-14 cs.SD eess.AS stat.ML
Biologically Inspired Feedforward Supervised Learning for Deep Self-Organizing Map Networks
CiNet, National Institute of Information and Communications Technology（信息通信研究机构脑信息通信融合研究中心）；Graduate School of Information Science and Technology, Osaka University（大阪大学信息科学与技术研究科）
在这项研究中，我们提出了一种新的深度神经网络及其使用前馈监督信号的监督学习方法。该方法受到人类视觉系统的启发，并在没有任何向后错误传播的情况下执行类似人类的基于关联的学习。产生正确结果的前馈监控信号在目标信号之前，并且将其确认的标签与目标信号的分类结果相关联。它有效地利用了来自前馈信号的大量信息，并形成了一个连续而丰富的学习表示。该方法使用视觉识别任务的MNIST手写数据集进行验证。
2017-10-26 cs.LG cs.NE stat.ML
Supervised and Semi-Supervised Text Categorization using LSTM for Region Embeddings
RJ Research Consulting（RJ研究咨询公司）；Baidu Inc（百度公司）
One-hot CNN（卷积神经网络）已被证明对文本分类有效（Johnson & Zhang，2015）。我们将其视为一般框架的一个特例，该框架联合训练线性模型和由“文本区域嵌入+池化”组成的非线性特征生成器。在这个框架下，我们探索了一种使用长短期记忆（LSTM）的更复杂的区域嵌入方法。LSTM可以嵌入可变（可能很大）大小的文本区域，而区域大小需要在CNN中固定。我们寻求在监督和半监督设置中有效和高效地使用LSTM。通过结合LSTM形式的区域嵌入和在未标记数据上训练的卷积层，获得了最佳结果。结果表明，在这个任务中，嵌入的文本区域，可以传达复杂的概念，是更有用的比孤立的单个单词的嵌入。我们报告的性能超过了以前的最佳结果在四个基准数据集。
2016-05-26 cs.CL cs.LG stat.ML
Unsupervised Continual Learning with Growing Self-Organizing Maps and Synthetic Replay
Rochester Institute of Technology（罗切斯特理工学院）
本研究提出基于生长自组织映射与合成重放的无监督持续学习框架，无需原始数据与监督信息，在多基准测试中性能优于无内存方法，在单类增量场景表现突出，为相关研究提供参考。
2026-08-31 cs.LG
Inverse-Category-Frequency based supervised term weighting scheme for text categorization
Beihang University（北京航空航天大学）
在kNN、基于质心的分类器和支持向量机等分类器中，项加权策略往往决定着分类器的性能。文本分类中广泛使用的术语加权方案，即，idf，起源于信息检索领域。在文本分类中，idf的直观性似乎不如IR。本文将逆类别频率（icf）引入到术语加权方案中，提出了两种新的方法，即，tf.ICF和基于ICF的监督术语加权方案。icf采用icf来代替idf因子，并且倾向于出现在较少类别中的术语，而不是较少文档。基于icf的方法结合icf和相关频率（rf）以监督的方式对术语进行加权。我们的跨分类器和跨语料库的实验表明，我们提出的方法是优于或相当于六个监督术语加权方案和三个传统的计划，在宏观F1和微观F1。
2012-06-06 cs.AI cs.LG
Supervised learning Methods for Bangla Web Document Categorization
University Malaysia Pahang（马来西亚彭亨大学）；Hajee Mohammad Danesh Science and Technology University（哈吉·穆罕默德·达内什科学技术大学）；Rajshai University of Engineering and Technology（拉杰沙希工程技术大学）
本文探讨了机器学习方法的使用，或者更具体地说，四种监督学习方法，即决策树（C 4.5），K-最近邻（KNN），朴素贝叶斯（NB），和支持向量机（SVM）的孟加拉语Web文档的分类。这是一个自动将一组文档从预定义的集合中分类的任务。虽然广泛的方法已被应用于英语文本分类，孟加拉语文本分类的研究相对较少。因此，我们试图分析的效率，这四种方法分类孟加拉文文件。为了验证，孟加拉语语料库从各种网站已经开发并作为实验的例子。对于孟加拉语，实证结果支持，所有四种方法都产生了令人满意的性能与SVM达到良好的效果，在高维和相对嘈杂的文档特征向量。
2014-10-08 cs.CL cs.LG
Is 'Unsupervised Learning' a Misconceived Term?
RETINA-AI Health, Inc.（RETINA-AI健康公司）
所有的机器学习都在某种程度上受到监督吗？机器学习领域传统上被归类为$supervised~vs~unsupervised~learning$ ;其中监督学习通常指的是从标记数据中学习，而无监督学习通常指的是从未标记数据中学习。在本文中，我们断言所有的机器学习实际上都在某种程度上受到监督，并且监督的范围必然与学习潜力的范围相称。特别是，我们认为，聚类算法，如k-means，和降维算法，如主成分分析，变分自编码器，和深度信念网络都是由数据本身内部监督，以学习其各自的特征表示。此外，这些算法不能进行外部推理，直到它们各自的输出（聚类、主成分或表示代码）被识别并在外部标记生效。因此，它们不足以作为无监督学习的例子。我们建议，分类“监督与无监督学习”被免除，而不是，学习算法被归类为$internally~or~externally~supervised$（或两者兼而有之）。我们相信这种观点的改变将产生对数据和学习算法的结构和特征的新的基本见解。
2019-04-05 cs.AI cs.CV cs.LG
HierCat: Hierarchical Query Categorization from Weakly Supervised Data at Facebook Marketplace
Meta；University of Minnesota（明尼苏达大学）
在像Facebook Marketplace这样的客户对客户电子商务平台上，由于搜索意图的复杂性、真实数据中的噪声以及跨语言的不平衡训练数据，查询分类具有挑战性。它的部署还需要考虑可扩展性和下游集成方面的挑战，以便将建模进展转化为更好的搜索结果相关性。在本文中，我们提出了HierCat，Facebook Marketplace的查询分类系统。HierCat通过利用双编码器架构的多任务预训练和分层推理步骤来有效地从从自适应参与挖掘的弱监督训练数据中学习，从而解决了这些挑战。我们表明，HierCat不仅在离线实验中优于流行的方法，而且在在线A/B测试中，NDCG提高了1.4%，Facebook Marketplace Search的用户参与度提高了4.3%。
2023-02-22 cs.AI cs.IR cs.LG
Semi-WTC: A Practical Semi-supervised Framework for Attack Categorization through Weight-Task Consistency
Xiamen University（厦门大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Beijing Institute of Technology（北京理工大学）；Renmin University of China（中国人民大学）
监督学习已被广泛用于攻击分类，需要高质量的数据和标签。然而，数据往往是不平衡的，很难获得足够的注释。此外，监督模型受到现实世界部署问题的影响，例如防御看不见的人工攻击。为了应对这些挑战，我们提出了一个半监督细粒度攻击分类框架，该框架由编码器和两个分支结构组成，并且该框架可以推广到不同的监督模型。采用具有残差连接的多层感知器作为编码器，提取特征，降低了复杂度。循环原型模块（RPM）提出了训练的编码器有效地在半监督的方式。为了缓解数据不平衡的问题，我们引入重量任务一致性（WTC）的迭代过程中的RPM分配较大的权重，以较少的样本中的损失函数。此外，为了应对实际部署中的新攻击，我们提出了一种主动适应恢复（AAR）方法，该方法可以更好地发现未知样本数据的分布并自适应编码器的参数。实验结果表明，我们的模型优于国家的最先进的半监督攻击检测方法的分类精度提高了3%，训练时间减少了90%。
2022-09-02 cs.CR cs.LG
Minimally Supervised Topological Projections of Self-Organizing Maps for Phase of Flight Identification
Rochester Institute of Technology（罗切斯特理工学院）
针对通用航空飞行阶段识别中数据标注成本高且类别不平衡的问题，提出最小监督自组织映射（MS-SOMs）方法，利用SOM U矩阵最近邻多数投票进行类别估计，仅需每类30个标注点即可达到或超越全量标注的朴素SOM性能，且对类别不平衡更具鲁棒性。
2024-02-17 cs.LG cs.NE
Minimally Supervised Learning using Topological Projections in Self-Organizing Maps
Rochester Institute of Technology（罗切斯特理工学院）
提出一种基于自组织映射拓扑投影的半监督学习方法，通过利用无标签数据显著减少标记数据需求，并在参数预测任务上优于多种传统回归和深度度学习模型。
2024-02-15 cs.LG cs.NE
Minimally Supervised Categorization of Text with Metadata
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Carnegie Mellon University（卡内基梅隆大学）
针对文档分类中元数据未被利用和标签稀缺的问题，提出最小监督框架MetaCat，通过生成模型将文本与元数据嵌入同一语义空间并合成训练样本，有效提升了分类性能。
2021-11-13 cs.CL cs.IR cs.LG
Robust Graph Meta-learning for Weakly-supervised Few-shot Node Classification
Arizona State University（亚利桑那州立大学）；Texas A&M University（得克萨斯农工大学）；University of Virginia（弗吉尼亚大学）
图被广泛地用于对数据的关系结构进行建模，并且图机器学习（ML）的研究具有广泛的应用范围，从分子图中的药物设计到社交网络中的友谊推荐。图ML的流行方法通常需要大量的标记实例来实现令人满意的结果，这在现实世界的场景中通常是不可行的，因为新出现的概念的标记数据（例如，节点的新分类）是有限的。虽然元学习已经被应用于不同的Few-Shot图学习问题，但大多数现有的努力主要假设来自那些可见类的所有数据都是黄金标记的，而当可见数据被严重的标签噪声弱标记时，这些方法可能会失去它们的有效性。因此，我们的目标是研究一个新的问题，弱监督图元学习，以提高模型的鲁棒性方面的知识转移。为了实现这一目标，本文提出了一种新的图元学习框架--图幻觉网络（Meta-GHN）。基于一种新的鲁棒性增强的情景训练，Meta-GHN被元学习，以从弱标记数据中产生干净的节点表示，并提取高度可转移的元知识，这使得模型能够快速适应具有少量标记实例的看不见的任务。大量的实验证明了Meta-GHN在弱监督Few-Shot节点分类任务上优于现有的图元学习研究。
2022-08-21 cs.LG
Semi-supervised Text Categorization Using Recursive K-means Clustering
University of Mysore（迈索尔大学）
本文提出了一种用于文本分类的半监督学习算法。提出了一种对未标注文本进行标注的方法。所提出的方法是基于分而治之策略的原则。它使用递归K-means算法来划分标记和未标记的数据汇集。在每个分区上递归地应用K-means算法，直到实现期望的级别分区，使得每个分区包含单个类的标记文档。一旦获得所需的聚类，各自的聚类质心被认为是代表的集群和最近邻规则用于分类未知的文本文档。在20 Newsgroups数据集上进行了一系列的实验，以显示该模型相对于其他最新模型的优越性。
2017-06-24 cs.CL cs.IR cs.LG
CateCom: a practical data-centric approach to categorization of computational models
Exabyte Inc.（Exabyte公司）；University of California, Berkeley（加州大学伯克利分校）
21世纪数据驱动科学的出现带来了对组织良好的结构化数据和相关基础设施的需求，这些数据和基础设施能够促进人工智能和机器学习的应用。我们提出了一个努力，旨在组织不同的景观的物理为基础的和数据驱动的计算模型，以促进存储相关的信息作为结构化数据。我们应用面向对象的设计概念，并概述了开源协作框架的基础，即：（1）能够唯一地描述结构化数据中的方法，（2）足够灵活，以涵盖大多数广泛使用的模型，（3）通过社区贡献利用集体智慧。我们给出了示例数据库模式和相应的数据结构，并解释了在撰写本文时如何在软件中部署这些数据结构。
2021-09-28 cond-mat.mtrl-sci cs.CE cs.DB
A Data-Driven Approach to State Construction in Markov Models
Vrije Universiteit Brussel（布鲁塞尔自由大学）
本文针对马尔可夫模型状态构建依赖先验假设的问题，结合有监督特征选择与无监督学习技术，提出含多类度量的状态构建框架，经测试发现谱聚类与Kohonen自组织映射效果最优，为马尔可夫建模状态定义提供指导。
2026-08-25 cs.LG math.PR stat.ME
Quantifying Outlierness of Funds from their Categories using Supervised Similarity
BlackRock, Inc.（贝莱德集团）
本文将基金错误分类建模为基于距离的离群点检测，采用随机森林距离度量学习计算类别级离群度，并验证其与基金未来收益显著相关。
2023-08-14 cs.LG q-fin.CP q-fin.ST
DeepMCAT: Large-Scale Deep Clustering for Medical Image Categorization
Imperial College London（帝国理工学院）；Technical University of Munich（慕尼黑工业大学）
近年来，医学成像中机器学习的研究领域发生了巨大变化，从监督到半监督，弱监督或无监督方法。这主要是由于地面实况标签手动获取耗时且昂贵。从患者元数据生成标签可能是可行的，但它会受到用户引起的错误的影响，这些错误会引入偏见。在这项工作中，我们提出了一种无监督的方法来自动聚类和分类大规模的医学图像数据集，重点是心脏MR图像，而不使用任何标签。我们研究了使用类平衡和不平衡大规模数据集的端到端训练。我们的方法能够创建具有高纯度的聚类，并在这些数据集上实现了超过0.99的聚类纯度。结果表明，所提出的方法分类非结构化的大型医疗数据库，如组织临床PACS系统在医院的潜力。
2021-09-30 cs.CV cs.LG eess.IV
Robust Semi-Supervised Classification using GANs with Self-Organizing Maps
University of Florida（佛罗里达大学）
本文提出将自组织映射与 SS-GANs 结合，在高光谱图像数据上提升分类鲁棒性，并在保持准确率的同时显著增强离群点与内点的区分能力。
2021-10-19 cs.LG
Landmark Map: An Extension of the Self-Organizing Map for a User-Intended Nonlinear Projection
Chiba University（千叶大学）；Center for Frontier Medical Engineering（前沿医学工程中心）
自组织映射（SOM）是一种无监督的人工神经网络，其被广泛用于，例如，数据采掘和可视化。监督学习和半监督学习方法已被提出的SOM。然而，它们的教师标签并不描述数据和节点位置之间的关系。本研究提出了一个地标地图（LAMA），这是一个扩展的SOM，利用几个地标，例如，节点和数据点对。LAMA被设计为获得用户预期的非线性投影，以实现，例如，面向地标的数据可视化。为了揭示LAMA的学习特性，分析了来自UCI机器学习存储库的Zoo数据集和人工共振峰数据集。对Zoo数据集的分析结果表明，LAMA可以提供一种新的数据视图，如以地标为中心的数据可视化。此外，人工共振峰数据分析表明，LAMA成功地提供了预期的非线性投影关节运动与计算机光标的垂直和水平移动。LAMA的潜在应用包括数据采掘、推荐系统和人机交互。
2019-08-20 cs.HC cs.LG cs.NE
Leveraging Time Series Categorization and Temporal Fusion Transformers to Improve Cryptocurrency Price Forecasting
Yazd University（亚兹德大学）；New York Institute of Technology（纽约理工学院）
本研究提出利用时间序列分类和基于注意力机制的深度学习模型预测加密货币价格，并结合其他加密货币数据解决数据量不足问题，从而提高各子序列类别的预测准确性。
2024-12-19 cs.CE cs.LG q-fin.ST
Capturing human categorization of natural images at scale by combining deep networks and cognitive models
Princeton University（普林斯顿大学）
人类分类是心理学中认知建模最重要和最成功的目标之一，然而几十年来对竞争模型的开发和评估一直依赖于小的简单的人工实验刺激。在这里，我们将这种建模范式扩展到自然图像领域，揭示了刺激表征在分类中的关键作用及其对人们如何形成类别的结论的影响。将分类的心理学模型应用于自然图像需要两个重大进展。首先，我们进行了人类分类的第一次大规模实验研究，涉及来自10个非重叠对象类别的10，000幅自然图像的500，000多个人类分类判断。其次，我们通过探索当前最好的有监督和无监督的深度和浅层机器学习方法，解决了在认知模型中表示高维图像的传统瓶颈。我们发现，选择足够的表达，数据驱动的表示是至关重要的捕捉人类的分类，并使用这些表示允许简单的模型，表示类别与抽象的原型，以优于更复杂的基于记忆的范例帐户的分类，占主导地位的研究中使用较少的自然刺激。
2019-04-26 cs.AI cs.CV cs.LG
Artificial Perceptual Learning: Image Categorization with Weak Supervision
Columbia University（哥伦比亚大学）；University of Pennsylvania（宾夕法尼亚大学）；Goddard Space Flight Center（戈达德太空飞行中心）；NASA（美国国家航空航天局）
机器学习在监督学习任务中取得了很大的成功，具有大量标注良好的训练样本。然而，在许多实际情况下，由于昂贵且劳动密集的标记过程，由训练数据提供的这种强有力且高质量的监督是不可用的。自动识别和识别大量未标记图像中的对象类别，并且监督较弱，仍然是计算机视觉中一个重要但尚未解决的挑战。在本文中，我们提出了一个新的机器学习框架，人工感知学习（APL），以解决弱监督图像分类的问题。拟议的APL框架构建使用国家的最先进的机器学习算法作为积木，模仿认知发展过程中被称为婴儿分类。我们开发和说明了拟议的框架，通过实施一个广泛的领域细粒度的生态调查的树种超过8,000公顷的面积的El Yunque雨林在波多黎各。它是基于未标记的高分辨率空中图像的树冠。这些图像中只有不到1%的图像有错误的地面标签，这是这个学习框架唯一薄弱的监督。我们使用一小组具有高质量人类注释的图像来验证所提出的框架，并表明所提出的框架达到了人类水平的认知经济。
2021-06-02 cs.CV cs.LG
Sequence-to-Set Semantic Tagging: End-to-End Multi-label Prediction using Neural Attention for Complex Query Reformulation and Automated Text Categorization
The Ohio State University（俄亥俄州立大学）；Nationwide Children’s Hospital（全国儿童医院）
新颖的上下文可能经常出现在复杂的查询场景中，例如在涉及生物医学文献的循证医学（EBM）中，其可能不明确地指出现在任何基于事实或规则的知识源（例如，像UMLS的本体）中的实体或规范概念形式。此外，在当前上下文中有意义的候选概念之间的隐藏关联可能不存在于单个文档中，而是通过替代词汇形式存在于集合中。因此，受到最近序列到序列神经模型在广泛的NLP任务中提供最先进技术的成功的启发，我们开发了一种新的序列到集合框架，用于学习可以影响语料库内术语转移的文档表示，用于语义标记大量文档。我们证明了我们提出的方法在用于文本分类的监督多标签分类设置中以及在没有人类注释的文档标签的独特无监督设置中都是有效的，该设置不使用外部知识资源，只使用语料库派生的术语统计来驱动训练。此外，我们表明，使用我们的架构对大量未标记数据进行半监督训练，可以在有限的标记数据可用时提高文本分类任务的性能。我们的方法来生成文档编码，采用我们的序列到集合模型来推断语义标签，根据我们所知，在基于Okapi BM 25的文档检索系统上评估时，为TREC CDS 2016挑战数据集提供了最先进的无监督查询扩展任务;以及MLTM基线（Soleimani et al，2016），用于www.example.com和Ohsumed数据集上的监督和半监督多标签预测任务del.icio.us。我们将公开我们的代码和数据。
2019-11-11 cs.CL cs.IR cs.LG
Contrastive prediction strategies for unsupervised segmentation and categorization of phonemes and words
University of Wroclaw（弗罗茨瓦夫大学）；NavAlgo；NVIDIA（英伟达）
针对自监督语音学习中分类与分割性能的权衡问题，提出融合多层建模的mACPC方法，同时提升分类指标并实现单词分割的SOTA性能。
2022-02-25 cs.LG cs.SD eess.AS
Self Organizing Classifiers: First Steps in Structured Evolutionary Machine Learning
Kyushu University（九州大学）
学习分类器系统是一种进化的机器学习算法，具有很强的灵活性，可以应用于强化学习、监督学习和无监督学习问题，并具有良好的性能。最近，提出了自组织分类器，它类似于LCS，但具有的优点是，在其结构化的人口之间没有平衡小生境和健身压力是必要的。然而，需要更多的测试和分析来验证其好处。在这里，提出了第一种算法的变体，它使用无参数自组织映射（SOM）。该算法应用于大型、噪声大、输入动作连续动态变化的迷宫（包括增长迷宫和压缩迷宫）等具有挑战性的问题，取得了良好的性能。此外，提出了一种遗传算子，它利用了SOM的种群结构的拓扑信息，改善了结果。因此，结构化进化机器学习的第一步，尽管如此，所面临的问题比最先进的连续输入动作多步骤的更困难。
2018-11-20 cs.AI cs.LG cs.MA
Pattern Analysis with Layered Self-Organizing Maps
本文定义了一种新的学习体系结构，分层自组织映射（LSOMs），使用SOM和监督SOM学习算法。该体系结构与MNIST数据库的手写数字图像进行了验证。LSOM在采样数据的方式上与卷积神经网络（covnets）相似，但在表示特征和学习的方式上有所不同。LSOM分析（或生成）图像块与SOM学习算法确定的样本的地图，而不是通过反向传播学习的滤波器组的特征地图。LSOM为从covnet导出的特征提供了一种替代方案。多层LSOM是自下而上训练的，不使用反向传播，因此可能是视觉皮层的模型。结果显示，组织在多个层次。该算法在学习、分类和生成图像方面具有资源效率。虽然LSOM可以用于分类，他们的验证精度为这些探索性的运行远低于最先进的。本文的目标是定义的架构和显示的结构，从它的应用程序的MNIST图像。
2018-03-28 cs.CV cs.LG stat.ML
Semi-supervised model-based clustering with controlled clusters leakage
Jagiellonian University（雅盖隆大学）
在本文中，我们专注于在部分分类的数据集中发现聚类。我们提出了一个半监督版本的高斯混合模型，称为C3L，检索给定类别的自然子群。与其他半监督模型相比，C3L由用户定义的泄漏水平参数化，控制初始分类和结果聚类之间的最大不一致性。我们的方法可以实现为一个模块，在实际的专家系统，以检测集群，它结合了专家知识和真实的数据分布。此外，它可以用于改善不太灵活的聚类技术，如投影寻踪聚类的结果。本文对该模型进行了深入的理论分析，并提出了一种有效的快速优化算法。实验结果表明，C3L算法能够找到高质量的聚类模型，可以应用于部分分类数据中有意义组的发现。
2017-05-04 cs.LG stat.ML
Simple Self Organizing Map with Vision Transformers
Siebel School of Computing & Data Sciences at the University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校计算机与数据科学学院）；Safari AI Inc.（Safari AI公司）
本文提出将视觉变换器与自组织映射结合，以提升小数据集上的性能，通过相互赋能实现无监督和监督任务的性能提升。
2026-02-18 cs.AI cs.CV cs.LG
Consistent Text Categorization using Data Augmentation in e-Commerce
Technion – Israel Institute of Technology（以色列理工学院）；Yahoo Research（雅虎研究院）
本文针对电商产品分类中相似商品标注不一致的问题，提出一种基于半监督数据增强的一致性文本分类框架，在保持生产级性能的同时提升模型一致性。
2023-05-30 cs.CL cs.IR cs.LG
Adaptive SpikeDeep-Classifier: Self-organizing and self-supervised machine learning algorithm for online spike sorting
Ruhr-West University of Applied Science（鲁尔-西应用科学大学）；University hospital Knappschaftskrankenhaus Bochum GmbH（波鸿矿工医院有限公司大学医院）；Ruhr-University Bochum（鲁尔大学波鸿）
提出自适应在线spike排序算法Ada-SpikeDeepClassifier，通过通道选择、背景活动拒绝和自适应分类处理密集微电极数据，在多个数据集上优于现有算法，适合神经形态芯片硬件实现。
2023-03-30 cs.AI cs.IT cs.LG
Hierarchical Metadata-Aware Document Categorization under Weak Supervision
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文提出弱监督下融合标签层次、元数据与文本信号的生成式框架HiMeCat，通过联合表示学习模块与层次化数据增强模块，有效解决了小规模标注样本下的文档分类问题并取得持续性能提升。
2020-12-20 cs.CL cs.IR cs.LG
Improved Customer Transaction Classification using Semi-Supervised Knowledge Distillation
Swiggy（Swiggy公司）
在取货和送货服务中，基于客户提供的自由文本的交易分类是一个具有挑战性的问题。它涉及将各种各样的客户输入关联到一组固定的类别，同时适应各种客户写作风格。这种分类对企业来说很重要：它有助于了解市场需求和趋势，并有助于为不同的客户群体构建个性化的体验。因此，以高精度和召回率大规模捕获这些类别信息趋势至关重要。在本文中，我们关注一个特定的用例，其中单个类别驱动每个事务。本文提出了一种基于半监督和知识蒸馏框架的事务分类方法。该方法使用客户给出的自由文本输入来识别交易的类别。我们使用弱标记，并注意到性能增益与使用人工注释的样本相似。在大型内部数据集和20 Newsgroup数据集上，我们看到RoBERTa在分类任务中表现最好。此外，使用ALBERT模型（它的参数比RoBERTa的参数少33倍），以RoBERTa作为教师，我们看到与RoBERTa相似的性能，并且比未适应的ALBERT性能更好。这个框架，作为一个学生和ROBERTa作为教师，在本文中进一步被称为R-ALBERT。该模型已投入生产，并被企业用于了解不断变化的趋势并做出适当的决策。
2021-02-15 cs.CL cs.LG
Semi-supervised Vocabulary-informed Learning
Disney Research（迪士尼研究院）
尽管近年来在对象分类方面取得了重大进展，但仍然存在一些重要的挑战，主要是从有限的标记数据中学习的能力以及在大型，潜在开放的标签集合中识别对象类的能力。零样本学习是解决这些挑战的一种方法，但它只适用于有限大小的类词汇表，并且通常需要在监督和无监督类之间进行分离，允许前者通知后者，但反之亦然。我们提出了半监督词汇学习的概念，以减轻上述挑战，并使用统一的框架来解决监督，zero-shot和开集识别的问题。具体来说，我们提出了一个最大的利润框架语义流形为基础的识别，结合距离约束（监督和无监督）词汇原子，确保标记的样本投影最接近他们的正确的原型，在嵌入空间，比别人。我们发现，所得到的模型在监督，zero-shot和大型开集识别方面有所改进，在AwA和ImageNet数据集上具有高达310K的类词汇。
2016-04-24 cs.AI cs.CV cs.LG
Self-Organizing Survival Manifolds: A Theory for Unsupervised Discovery of Prognostic Structures in Biological Systems
Department of Computer Science University of Basel Basel, Switzerland（计算机科学系 巴塞尔大学 巴塞尔瑞士）
本研究提出自组织生存流形（SOSM）理论，通过潜流形上的低曲率测地线流无监督地发现生物系统预后结构，将生存建模为不依赖标签的几何涌现属性，连接了机器学习与生物物理。
2025-08-04 cs.LG math.OC
Scalable and Weakly Supervised Bank Transaction Classification
该研究提出一种基于弱监督、NLP与深度神经网络的可扩展银行交易分类方法，借助启发式规则与领域知识减少对人工标注的依赖，构建端到端数据流水线，性能优于市场领先方案，可支撑财务报告、风控等金融应用。
2023-06-10 cs.LG
apk2vec: Semi-supervised multi-view representation learning for profiling Android applications
Nanyang Technological University（南洋理工大学）
利用全面、丰富和多视图信息（例如，整合应用程序的多个语义视图，如API序列、系统调用等）将有助于更好地满足下游分析任务，如应用程序分类，推荐和恶意软件分析。为了实现这一目标，我们设计了一个名为apk 2 vec的半监督表示学习（RL）框架，以自动为给定应用生成紧凑表示（aka profile/embedding）。更具体地说，apk 2 vec具有以下三个独特的特性，这使其成为大规模应用分析的绝佳选择：（1）它包含来自多个语义视图的信息，如API序列，权限等，(2)作为半监督嵌入技术，它可以利用与应用程序相关联的标签（例如，恶意软件家族或应用程序类别标签）来构建高质量的应用程序简档，以及（3）其组合RL和特征散列，这允许其有效地构建随时间流式传输的应用程序的简档（即，在线学习）。由此产生的应用程序的半监督多视图哈希嵌入可以用于各种下游任务，例如上面提到的任务。我们对超过42，000个应用程序进行的广泛评估表明，apk 2 vec的应用程序配置文件在四个应用程序分析任务中的表现明显优于最先进的技术，即恶意软件检测，家族聚类，应用程序克隆检测和应用程序推荐。
2018-09-15 cs.LG stat.ML
SOMtime the World Ain$'$t Fair: Violating Fairness Using Self-Organizing Maps
Faculty of Biology, Technion University（生物学院，技术学院）；Taub Faculty of Computer Science, Technion University（计算机科学学院，技术学院）
研究发现基于自组织映射的SOMtime方法，能让敏感属性在无监督嵌入中成为主导潜在轴，恢复与敏感属性对齐的排序，其嵌入分割产生人口统计学倾斜聚类，揭示“通过无意识实现公平”在表示层面失败，公平审计需扩展到无监督组件。
2026-07-09 cs.AI cs.LG
Self-Organizing Visual Prototypes for Non-Parametric Representation Learning
Institute of Computing, University of Campinas, Campinas-SP, Brazil（坎皮纳斯大学计算学院）；Department of Informatics, University of Oslo, Oslo, Norway（奥斯陆大学信息学院）
提出自组织视觉原型（SOP）非参数训练策略，利用多个支持嵌入表征原型，并引入SOP-MIM任务，在多项检索等基准上达到SOTA。
2025-05-23 cs.CV cs.LG
Analyzing the Benefits of Prototypes for Semi-Supervised Category Learning
本文在变分自编码器中引入鼓励使用抽象原型的先验，应用于图像数据集，发现原型能改善半监督类别学习，并使模型在无监督下形成聚类表示以提升下游分类性能。
2024-06-04 cs.LG
A Self-Organizing Clustering System for Unsupervised Distribution Shift Detection
Technical University of Denmark（丹麦技术大学）；INRIA Rennes – Bretagne Atlantique（法国国家信息与自动化研究所雷恩-大西洋分部）
本文提出一种基于自组织映射和尺度不变映射潜在空间的持续学习框架，通过比较高斯信号实现快速鲁棒的无监督分布偏移检测，并在图像、化学传感器和臭氧数据上验证了其有效性。
2024-10-22 cs.AI cs.LG cs.NE
A Survey on Epistemic (Model) Uncertainty in Supervised Learning: Recent Advances and Applications
College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机与软件工程学院）；The Guangdong Key Laboratory of Intelligent Information Processing, Shenzhen University（深圳大学广东省智能信息处理重点实验室）；College of Mathematics and Statistics, Shenzhen University（深圳大学数学与统计学院）；Department of Mathematics, The Chinese University of Hong Kong（香港中文大学数学系）
量化监督学习模型的不确定性在做出更可靠的预测方面起着重要的作用。认知的不确定性，通常是由于对模型的知识不足，可以通过收集更多的数据或改进学习模型来减少。在过去的几年里，学者们提出了许多认知不确定性处理技术，这些技术大致可以分为两类，即，贝叶斯和合奏。本文综述了近五年来监督学习中认知不确定性学习技术的研究进展。因此，我们首先将认知不确定性分解为偏差和方差项。然后，介绍了认知不确定性学习技术的层次分类及其代表模型。此外，一些应用，如计算机视觉（CV）和自然语言处理（NLP），随后的研究差距和可能的未来研究方向进行了讨论。
2021-11-04 cs.LG
How AI Experiences Art: Emergent Aesthetic Structure in a Self-Supervised Multimodal Embedding Space
Independent Researcher Phoenix AZ USA；Independent Researcher
该研究提出自监督多模态嵌入框架，在无显式标签的情况下发现AI的审美结构，探讨其与人类情感标签的差异，可应用于RAG媒体组织与自动标注等场景。
2026-08-28 cs.CV cs.LG cs.MM
Sparse, self-organizing ensembles of local kernels detect rare statistical anomalies
NSF AI Institute for Artificial Intelligence and Fundamental Interactions（NSF人工智能与基础相互作用研究院）；Laboratory for Nuclear Science（核科学实验室）；School of Engineering and Applied Sciences（工程与应用科学学院）；Kempner Institute for the Study of Natural and Artificial Intelligence（自然与人工智能研究学院）
针对微弱罕见信号难以检测的问题，提出基于稀疏、局部和竞争原则的自组织高斯核集成模型SparKer，在半监督框架下局部建模似然比以高效检测高维空间中的罕见统计异常。
2026-09-29 cs.AI cs.LG
A Deep Learning Model with Hierarchical LSTMs and Supervised Attention for Anti-Phishing
Hanoi University of Science and Technology（河内科技大学）；New York University（纽约大学）；University of Oregon（俄勒冈大学）
反网络钓鱼旨在检测文本数据池中的网络钓鱼内容/文档。这是网络安全中的一个重要问题，可以帮助保护用户免受欺诈信息的侵害。自然语言处理（NLP）为这个问题提供了一个自然的解决方案，因为它能够分析文本内容来执行智能识别。在这项工作中，我们研究了NLP中文本分类的最新技术，以解决电子邮件的反钓鱼问题（即预测电子邮件是否是钓鱼）。这些技术都是基于深度学习模型，最近引起了社区的广泛关注。特别是，我们提出了一个框架，分层的长短期记忆网络（H-LSTMs）和注意力机制，同时在单词和句子水平的电子邮件建模。我们的期望是产生一个有效的反网络钓鱼模型，并证明深度学习对网络安全问题的有效性。
2018-05-03 cs.CR cs.LG stat.ML
Few-Shot Large Language Models for Actionable Triage Categorization of Online Patient Inquiries
seas.upenn.edu（宾夕法尼亚大学塞as学院）
本文研究少样本条件下大语言模型在在线患者咨询分诊中的应用，通过构建不同数据集比较TF-IDF和BioBERT与六个LLM在0-shot、4-shot和12-shot条件下的表现，发现Claude Haiku 4.5在12-shot条件下达到0.475的宏F1值，优于监督基线模型。
2026-05-15 cs.CL cs.LG q-bio.QM
Beyond Just Vision: A Review on Self-Supervised Representation Learning on Multimodal and Temporal Data
RMIT University（皇家墨尔本理工大学）；University of New South Wales（新南威尔士大学）；Philips Research（飞利浦研究院）；Data61, CSIRO（联邦科学与工业研究组织数据61所）
最近，自监督表示学习（SSRL）在计算机视觉，语音，自然语言处理（NLP）领域引起了广泛的关注，最近，与其他类型的模态，包括来自传感器的时间序列。自监督学习的流行是由于传统模型通常需要大量注释良好的数据进行训练。获取带注释的数据可能是一个困难且昂贵的过程。已经引入了自监督方法，以通过使用从原始数据自由获得的监督信号对模型进行有区别的预训练来提高训练数据的效率。与SSRL的现有综述主要集中在CV或NLP领域的单一模式的方法不同，我们的目标是提供第一个全面的回顾多模态自监督学习方法的时间数据。为此，我们1）提供了一个全面的分类现有的SSRL方法，2）通过定义一个SSRL框架的关键组件，3）比较现有的模型在其目标函数，网络架构和潜在的应用，和4）审查现有的多模态技术在每个类别和各种形式。最后，我们提出了现有的弱点和未来的机会。我们相信，我们的工作发展的角度来看，在利用多模态和/或时态数据的领域的SSRL的要求
2022-06-08 cs.CV cs.LG
Disentangling Task Relations for Few-shot Text Classification via Self-Supervised Hierarchical Task Clustering
University of Southern California（南加州大学）；Amazon.com Inc（亚马逊公司）；City University of Hong Kong（香港城市大学）；Southern University of Science and Technology（南方科技大学）
Few-Shot文本分类（FSTC）通过利用历史任务中的先验知识，模仿人类仅用少量样本就能有效地学习新的文本分类器。然而，大多数现有的工作假设，所有的任务都是从一个单一的数据源，这不能适应现实世界的情况下，任务是异构的，躺在不同的分布。因此，现有的方法可能会受到他们的全球知识共享机制来处理任务的异质性。另一方面，固有的任务关系没有被明确地捕获，使得任务知识无组织，难以转移到新的任务。因此，我们探索了一种新的FSTC设置，其中任务可以来自不同的数据源。为了解决任务的异构性，我们提出了一种自监督层次任务聚类（SS-HTC）方法。SS-HTC不仅通过动态地将异构任务组织成不同层次的集群来定制特定于集群的知识，而且还解开了任务之间的潜在关系，以提高可解释性。在五个公开的FSTC基准数据集上的实验证明了SS-HTC的有效性。
2022-11-16 cs.CL cs.LG
Local Label Propagation for Large-Scale Semi-Supervised Learning
Stanford University（斯坦福大学）
训练深度神经网络以解决监督学习任务的一个重要问题是需要大量标记的数据点。半监督学习的目标是利用无处不在的未标记数据以及少量的标记数据来实现高任务性能。虽然最近在开发对相对较小的数据集有效的半监督算法方面取得了重大进展，但这些技术中的许多技术并不容易扩展到现实世界应用程序的大型（未标记）数据集。在本文中，我们介绍了一种新的方法，可扩展的半监督学习，称为本地标签传播（LLP）。LLP扩展了最近关于无监督嵌入学习的工作的想法，首先使用深度神经网络将标记和其他数据点嵌入到公共潜在空间中。然后，它传播伪标签从已知到未知的数据点的方式，取决于嵌入的局部几何形状，同时考虑到点间距离和局部数据密度作为加权的传播可能性。然后训练深度嵌入的参数，以同时最大化伪标签分类性能以及每个伪标签组内的数据点聚类的度量，迭代地交替网络训练和标签传播的阶段。我们说明了LLP方法在ImageNet数据集上的实用性，实现了在各种各样的训练机制中始终优于先前最先进的可扩展半监督学习算法的结果。我们还表明，使用LLP学习的特征表示可以很好地转移到Places 205数据集中的场景识别。
2019-05-28 cs.AI cs.CV cs.LG
Semi-supervised lung nodule retrieval
Tel-Aviv University（特拉维夫大学）
基于内容的图像检索（CBIR）为临床医生提供了视觉信息，可以支持，并希望改善，他或她的决策过程。给定一个输入查询图像，CBIR系统提供一组图像作为其输出，这些图像根据与查询图像的相似性进行排名。检索的图像可能带有相关信息，例如基于活检的恶性肿瘤标记或分类。关于数据集元素之间（例如，结节之间）的相似性的基本事实并不容易获得，因此极大地挑战了机器学习方法。由于任务的主观性，此类注释特别难以获得，并且观察者之间的高度可变性需要多个专家注释者。因此，过去的方法集中于手动特征提取，而当前的方法使用辅助任务，诸如二进制分类任务（例如恶性肿瘤），对于该辅助任务，地面真实更容易获得。然而，在以前的研究中，我们已经表明，二进制辅助任务是劣于使用一个粗略的相似性估计，来自数据注释。目前的研究提出了一种半监督的方法，包括两个步骤：1）自动标注给定的部分标记的数据集; 2）学习语义相似性度量空间的基础上预测的注释。该系统在使用LIDC数据集的肺结节检索中得到了证明，并表明从预测评级中学习嵌入是可行的。半监督的方法已经证明了比完全无监督的参考显著更高的辨别能力。
2020-05-04 cs.CV cs.IR cs.LG
Causal Curiosity: RL Agents Discovering Self-supervised Experiments for Causal Representation Learning
University of Southern California（南加州大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
动物表现出一种天生的能力，通过相互作用来了解世界。通过在他们的环境中进行实验，他们能够辨别变异的因果因素，并推断它们如何影响世界的动态。受此启发，我们试图装备强化学习代理的能力，以执行实验，促进推出的轨迹的分类，并随后推断的因果因素的环境中的分层方式。我们引入{ \em因果好奇心}，一种新的内在奖励，并表明它允许我们的代理人学习最佳的行动序列，并发现因果因素的动态环境。学习的行为允许代理推断每个环境中的地面实况因果因素的二进制量化表示。此外，我们发现这些实验行为在语义上是有意义的（例如，我们的代理学习举起块来按重量对它们进行分类），并且以自我监督的方式学习，所用的数据比传统的监督规划器少大约2.5倍。我们表明，这些行为可以重新利用和微调（例如，从提升到推动或其他下游任务）。最后，我们表明，因果因子表示的知识有助于零样本学习更复杂的任务。访问https://sites.google.com/usc.edu/causal-curiosity/home网站。
2021-08-06 cs.AI cs.LG cs.RO
A Survey on Self-Supervised Graph Foundation Models: Knowledge-Based Perspective
Huazhong University of Science and Technology（华中科技大学）
本文从基于知识的新视角综述自监督图基础模型，提出涵盖微观、中观、宏观三类共9类知识、25余种预文本任务及下游泛化策略的分类框架。
2025-05-06 cs.LG cs.SI
Transductive Linear Probing: A Novel Framework for Few-Shot Node Classification
Arizona State University（亚利桑那州立大学）；University of Virginia（弗吉尼亚大学）
Few-Shot节点分类的任务是提供准确的预测节点从新的类只有几个代表性的标记节点。这个问题已经引起了极大的关注，因为它的投影到流行的现实世界的应用，如产品分类的新添加的商品类别的电子商务平台上的稀缺记录或罕见疾病的诊断上的患者相似性图。为了解决非欧几里德图域中具有挑战性的标签稀缺问题，元学习已经成为一种成功和主导的范式。最近，受图自监督学习发展的启发，为Few-Shot节点分类转移预训练的节点嵌入可能是元学习的一个有前途的替代方案，但尚未公开。在这项工作中，我们经验性地证明了另一种框架\textit{Transductive Linear Probing}的潜力，该框架可以传输从图对比学习方法中学习的预训练节点嵌入。我们进一步将Few-Shot节点分类的设置从标准的完全监督扩展到更现实的自监督设置，其中由于缺乏来自训练类的监督，元学习方法无法轻松部署。令人惊讶的是，即使没有任何地面事实标签，具有自监督图对比预训练的直推线性探测也可以在相同协议下优于最先进的完全监督元学习方法。我们希望这项工作可以揭示新的光在Few-Shot节点分类问题，并促进未来的研究，从几乎没有标记的实例图的学习。
2022-12-11 cs.LG
