Supervised Enhanced Soft Subspace Clustering (SESSC) for TSK Fuzzy Classifiers
Huazhong University of Science and Technology（华中科技大学）；Shandong University of Finance and Economics（山东财经大学）
基于模糊c-均值的聚类算法经常用于TSK模糊分类器的先验参数估计。从每个集群初始化一个规则。然而，这些聚类算法大多是无监督的，这浪费了宝贵的标签信息的训练数据。提出了一种有监督的增强软子空间聚类算法（SESSC），该算法在聚类过程中同时考虑了类内紧致度、类间分离度和标签信息。它可以有效地处理高维数据，可以单独作为分类器使用，也可以集成到TSK模糊分类器中，进一步提高其性能。在不同应用领域的九个UCI数据集上的实验表明，基于SESSC的初始化方法优于其他聚类方法，特别是当规则数量较少时。
2020-02-27 cs.LG stat.ML
Iterative Label Improvement: Robust Training by Confidence Based Filtering and Dataset Partitioning
University of Kassel（卡塞尔大学）；Robert Bosch GmbH（罗伯特博世有限公司）
最先进的高容量深度神经网络不仅需要大量的标记训练数据，它们还非常容易受到该数据中的标记错误的影响，通常导致大量的工作和成本，因此限制了深度学习的适用性。为了缓解这个问题，我们提出了一种新的Meta训练和标记方案，该方案能够利用深度神经网络的泛化能力，使用廉价的未标记数据。我们的实验表明，仅依靠一个网络架构和我们提出的迭代训练和预测步骤的方案，标签质量和所得模型的准确性都可以显着提高。我们的方法实现了最先进的结果，同时与架构无关，因此具有广泛的适用性。与其他处理错误标签的方法相比，我们的方法既不需要训练另一个网络，也不一定需要额外的高度准确的参考标签集。我们的技术不是从标记的集合中删除样本，而是使用额外的传感器数据，而无需手动标记。此外，我们的方法可以用于半监督学习。
2020-07-17 cs.CV cs.LG stat.ML
FSL-BM: Fuzzy Supervised Learning with Binary Meta-Feature for Classification
University of Virginia（弗吉尼亚大学）；The George Washington University（乔治华盛顿大学）
针对大数据分类问题，提出了一种基于二元元特征的实时模糊监督学习（FSL-BM）算法。实时算法的研究主要关注几个方面，即：准确性、内存消耗、扩展假设的能力和时间复杂度。获得一个快速的计算模型提供模糊逻辑和监督学习是机器学习的主要挑战之一。在这篇研究论文中，我们提出了FSL-BM算法作为监督学习与模糊逻辑处理的有效解决方案，使用汉明距离和哈希函数放松假设的二进制元特征表示。虽然在过去的十年中，许多研究都集中在降低时间复杂度和提高准确度上，但所提出的解决方案的新颖贡献在于通过集成汉明距离、哈希函数、二进制元特征、二进制分类来提供实时的监督方法。哈希表（HT）组件提供了一个快速访问现有的索引，因此，在一个恒定的时间复杂度，取代现有的模糊监督算法具有更好的或可比的结果，新的索引的生成。总而言之，这种实时模糊监督学习技术的主要贡献是通过二进制输入表示假设作为元特征空间，并创建模糊监督哈希表来训练和验证模型。
2017-11-15 cs.AI cs.LG stat.AP
Weakly-supervised causal discovery based on fuzzy knowledge and complex data complementarity
Tsinghua University（清华大学）；Shandong University（山东大学）
针对现有因果发现方法受先验知识不足、领域不一致及高维小样本限制的问题，提出融合模糊知识与数据的弱监督方法KEEL，结合ELCM处理复杂数据，在多场景下准确率、鲁棒性和效率均优于现有方法。
2024-05-14 cs.LG stat.ML
Semi-Supervised Federated Multi-Label Feature Selection with Fuzzy Information Measures
Department of Computer Science, University of Kentucky（计算机科学系，肯塔基大学）
本文提出SSFMLFS方法，通过模糊信息理论在联邦环境下实现半监督多标签特征选择，有效提升多标签学习模型性能。
2025-11-21 cs.LG stat.ML
Parametric UMAP embeddings for representation and semi-supervised learning
UC San Diego（加州大学圣迭戈分校）；Tutte Institute for Mathematics and Computing（图特数学与计算研究所）
UMAP是一种基于非参数图的降维算法，使用应用黎曼几何和代数拓扑来找到结构化数据的低维嵌入。UMAP算法由两个步骤组成：（1）计算数据集的图形表示（模糊单纯复形），以及（2）通过随机梯度下降，优化图的低维嵌入。在这里，我们将UMAP的第二步扩展到神经网络权重的参数优化，学习数据和嵌入之间的参数关系。我们首先证明了参数UMAP执行非参数映射，同时赋予学习参数映射的好处（例如，新数据的快速在线嵌入）。然后，我们探索UMAP作为正则化，约束自动编码器的潜在分布，参数变化的全局结构保存，并通过捕获未标记数据中的结构来提高半监督学习的分类器精度。Google Colab演练：https://colab.research.google.com/drive/1WkXVZ5pnMrm17m0YgmtoNjM_XHdnE5Vp? usp=共享
2021-08-29 cs.CG cs.LG q-bio.QM
$L^γ$-PageRank for Semi-Supervised Learning
Univ Lyon（里昂大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；ENS de Lyon（里昂高等师范学院）；UCB Lyon 1（里昂第一大学）；Univ Claude Bernard（克劳德·贝尔纳大学）；Laboratoire de Physique（物理实验室）
用于半监督学习的PageRank已经证明可以利用数据结构和有限的标记示例来产生有意义的分类。尽管取得了成功，分类性能仍然可以提高，特别是在模糊图或不平衡的标记数据的情况下。为了解决这些限制，提出了一种基于拉普拉斯矩阵$L^γ$（$γ> 0$）的幂的新方法，称为$L^γ$ -PageRank。它的理论研究表明，它在符号图上运行，其中属于同一类的节点更有可能共享正边，而来自不同类的节点更有可能与负边连接。结果表明，通过选择一个最佳的$γ$，分类性能可以显着提高。一个程序的自动估计的最佳$γ$，从一个独特的观察数据，设计和评估。在多个数据集上的实验证明了$L^γ$ -PageRank分类和最优$γ$估计的有效性。
2019-03-11 cs.LG cs.SI eess.SP
On the usage of the probability integral transform to reduce the complexity of multi-way fuzzy decision trees in Big Data classification problems
Public University of Navarre（纳瓦拉公立大学）；Navarrabiomed（纳瓦拉生物医学研究所）；Complejo Hospitalario de Navarra（纳瓦拉综合医院）；IdiSNA（纳瓦拉卫生研究所）；Institute of Smart Cities（智慧城市研究所）
针对大数据分类问题中多路模糊决策树的复杂性，提出了一种新的分布式模糊划分方法.该算法为所有变量建立固定数量的模糊集，并根据训练数据的实际分布调整其形状和位置。应用两个步骤的过程：1）通过概率积分变换将原始分布变换为标准均匀分布。由于原始分布通常是未知的，通过计算训练集的q分位数来近似累积分布函数; 2）使用固定数量的均匀分布的三角隶属函数在变换后的属性空间中构造Ruspini强模糊划分。尽管进行了上述变换，但原始空间中每个模糊集的定义都可以通过应用逆累积分布函数（也称为分位数函数）来恢复。实验结果表明，所提出的方法允许国家的最先进的多路模糊决策树（FMDT）的归纳算法，以保持分类精度高达6万少叶。
2019-02-28 cs.LG stat.ML
Consistency-guided semi-supervised outlier detection in heterogeneous data using fuzzy rough sets
College of Computer Science, Sichuan University（四川大学计算机科学学院）；Department of Computer Science and Operations Research, University of Montreal（蒙特利尔大学计算机科学与运筹学系）；School of Computing and Artificial Intelligence, Southwest Jiaotong University（西南交通大学计算机科学与人工智能学院）
本文提出基于模糊粗糙集理论的半监督异常检测算法，通过构建模糊相似关系和评估属性贡献，实现对异构数据中异常样本的高效检测。
2025-12-22 cs.LG
EGFC: Evolving Gaussian Fuzzy Classifier from Never-Ending Semi-Supervised Data Streams -- With Application to Power Quality Disturbance Detection and Classification
Federal University of Lavras（拉夫拉斯联邦大学）；University of Bologna（博洛尼亚大学）；INFN Bologna（意大利国家核物理研究所博洛尼亚分部）；Federal Center for Technological Education CEFET-MG（米纳斯吉拉斯联邦技术教育中心）
电能质量扰动导致若干缺点，例如生产能力的限制、线路和设备电流的增加以及随之而来的欧姆损耗;较高的操作温度、过早故障、机器预期寿命的减少、设备故障以及计划外停机。干扰的实时检测和分类被认为是行业标准的关键。我们提出了一个渐进的高斯模糊分类（EGFC）的半监督扰动检测和分类的框架相结合的混合Hodrick-Prescott和离散傅立叶变换属性提取方法应用于一个标志性窗口的电压波形。被认为是如尖峰，开槽，谐波和振荡瞬态的干扰。不同于其他监测系统，这需要离线训练的模型的基础上，有限的数据量和事件，提出的在线数据流为基础的EGFC方法是能够学习干扰模式自主从永无止境的数据流，通过适应的参数和结构的模糊规则的基础上飞。此外，所得到的模糊模型是语言上可解释的，这提高了模型的可接受性。我们展示了令人鼓舞的分类结果。
2020-04-17 cs.AI cs.LG eess.SP
Outlier detection in mixed-attribute data: a semi-supervised approach with fuzzy approximations and relative entropy
College of Computer Science, Sichuan University（四川大学计算机科学学院）；Sichuan National Innovation New Vision UHD Video Technology Co., Ltd.（四川国家创新新视野UHD视频技术有限公司）；School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院）
本文提出基于模糊粗糙集的半监督异常检测方法FROD，通过模糊近似和相对熵结合属性分类精度，有效应对混合属性数据的不确定性和异质性，实验表明其性能优于现有方法。
2025-12-22 cs.LG
A graphical heuristic for reduction and partitioning of large datasets for scalable supervised training
Gstech Technology Pvt. Ltd.（Gstech科技私人有限公司）；RWTH Aachen University（亚琛工业大学）
提出了一种可扩展的图形方法，用于选择和划分分类任务训练阶段的数据集。对于启发式算法，要求聚类算法的计算成本与任务本身成合理的比例。该步骤通过使用近似最近邻方法构建底层分类模式的信息图来进行。所提出的方法由两种方法组成，一种用于减少给定的训练集，另一种用于划分所选择的/减少的集合。启发式算法针对大型数据集，因为主要目标是在不影响预测准确性的情况下显著减少训练计算运行时间。测试结果表明，这两种方法显着加快了训练任务相比，最先进的收缩启发式LIBSVM。此外，这些方法在预测精度方面紧随其后甚至超越。一个网络设计也提出了基于分区的分布式训练配方。增加的速度在训练运行时观察相比，串行实现的方法。
2019-07-24 cs.DC cs.LG stat.ML
Distributed Semi-supervised Fuzzy Regression with Interpolation Consistency Regularization
University of Technology Sydney（悉尼科技大学）；University of Tasmania（塔斯马尼亚大学）；Indian Institute of Technology Indore（印度理工学院印多尔分校）
最近，分布式半监督学习（DSSL）算法已显示出其有效性，利用未标记的样本在互连网络，代理不能共享他们的原始数据与对方，只能与他们的邻居非敏感信息。然而，现有的DSSL算法不能应付数据的不确定性，并可能遭受高计算和通信开销的问题。为了解决这些问题，我们提出了一个分布式半监督模糊回归（DSFR）模型与模糊“若-则”规则和插值一致性正则化（ICR）。最近针对半监督问题提出的ICR算法可以强制决策边界通过稀疏数据区域，从而提高模型的鲁棒性。然而，其在分布式场景中的应用尚未被考虑。在这项工作中，我们提出了一个分布式的模糊C-均值（DFCM）方法和分布式插值一致性正则化（DICR）建立在著名的交替方向方法的乘数分别定位参数的前件和后件的DSFR。值得注意的是，DSFR模型收敛非常快，因为它不涉及反向传播过程，并且可扩展到大规模数据集，受益于DFCM和DICR的利用。在人工数据集和真实数据集上的实验结果表明，与现有的DSSL算法相比，本文提出的DSFR算法在损失值和计算代价方面都有明显的提高.
2022-09-18 cs.AI cs.LG
Fuzzy K-Means Clustering without Cluster Centroids
School of Telecommunications Engineering, Xidian University（西安电子科技大学电信工程学院）
本文提出一种无聚类中心的模糊K-Means聚类算法，仅通过距离矩阵计算隶属度，消除对初始中心的依赖并增强鲁棒性，在真实数据集上验证了有效性。
2024-11-07 cs.LG
Classification with Trust: A Supervised Approach based on Sequential Ellipsoidal Partitioning
International Institute of Information Technology Bangalore（班加罗尔国际信息技术研究所）
分类器性能的标准度量，例如准确性和灵敏度，并不揭示对数据预测标签的信任或信心。虽然其他度量，如标签的计算概率或与超平面的有符号距离可以作为信任度量，但这些都受到启发式阈值的影响。本文提出了一种基于凸优化的监督分类器，该分类器将数据集顺序地划分为多个椭球，每个椭球包含几乎所有相同标签的点。通过陈述基于该划分的分类规则，然后应用贝叶斯公式来计算分配给根据这些规则确定的测试数据点的标签的信任得分。所提出的序贯椭圆分割分类器（SEP-C）暴露了数据集的不规则性，例如重叠程度，而不需要单独的探索性数据分析。没有超参数的分类规则也不受类别不平衡、底层数据分布或特征数量的影响。当数据集不是线性可分的时，SEP-C不需要使用非线性内核。SEP-C的性能以及与其他方法的比较在XOR问题、圆数据集和其他开源数据集上得到了证明。
2023-02-21 cs.LG
K-GBS3FCM -- KNN Graph-Based Safe Semi-Supervised Fuzzy C-Means
Federal University of Uberlândia（Uberlândia联邦大学）；Computer Science Faculty（计算机学院）
本文提出K-GBS3FCM算法，利用KNN图动态评估标注与未标注数据的邻域关系，并通过正则化参数和平均安全度调节标注数据影响，在多数基准测试中显著提升了安全半监督聚类精度。
2024-11-22 cs.LG
SEMPART: Self-supervised Multi-resolution Partitioning of Image Semantics
Adobe（奥多比）
SEMPART在基于DINO的语义图上联合推断粗、细二部划分，通过图驱动正则化保留边界细节并将粗掩码语义蒸馏到细掩码，实现快速高质量的显著对象检测与单对象定位。
2023-09-20 cs.CV cs.LG
Fuzzy clustering algorithms with distance metric learning and entropy regularization
Universidade Federal de Pernambuco（伯南布哥联邦大学）；Centro de Informática（信息中心）
聚类方法已被用于各种领域，如图像处理、数据采掘、模式识别和统计分析。通常，聚类算法认为所有变量对于聚类任务同等相关或不相关。然而，在实际情况中，一些变量可能是相关的，或者可能或多或少相关，甚至与此任务无关。本文提出了基于欧氏距离、城市块距离和马氏距离以及熵正则化的划分模糊聚类算法。这些方法是一个迭代的三步算法，它提供了一个模糊分区，代表每个模糊聚类，并通过最小化一个合适的目标函数的变量或它们的相关性的相关性权重。合成和真实数据集上的几个实验，包括其应用于噪声图像纹理分割，证明了这些自适应聚类方法的有用性。
2021-02-18 cs.AI cs.LG
Hard Mixtures of Experts for Large Scale Weakly Supervised Vision
Facebook AI Research（Facebook人工智能研究院）
使用小批量随机梯度下降训练适合单个GPU的卷积网络（CNN）在实践中已经变得有效。然而，仍然没有有效的方法来训练不适合几个GPU卡的存储器的大型CNN，或者并行化CNN训练。在这项工作中，我们表明，一个简单的硬混合专家模型模型可以有效地训练大规模hashtag（多标签）预测任务的良好效果。混合专家模型混合专家模型并不新鲜（Jacobs et.等人，1991，Collobert et. 2003年），但在过去，研究人员不得不设计复杂的方法来处理数据碎片。我们的经验表明，现代弱监督数据集足够大，以支持天真的划分方案，每个数据点被分配给一个单一的专家。因为专家是独立的，所以并行训练他们很容易，并且评估模型的大小很便宜。此外，我们证明了我们可以为所有专家使用单个解码层，从而允许统一的特征嵌入空间。我们证明了，训练比标准CNN架构实际训练的模型大得多的模型是可行的（实际上是相对无痛的），并且额外的容量可以很好地用于当前的数据集。
2017-04-20 cs.CV stat.ML
Survival Prediction of Heart Failure Patients using Stacked Ensemble Machine Learning Algorithm
Islamic University of Technology（伊斯兰科技大学）；Khulna University of Engineering & Technology（库尔纳工程技术大学）；University of Toronto（多伦多大学）
心血管疾病，特别是心力衰竭是我们这个时代的主要健康危害问题之一，也是全球死亡的主要原因。使用机器学习（ML）模型的数据采掘技术的进步为有前途的预测方法铺平了道路。数据采掘是将医疗机构创建的大量原始数据转换为有意义的信息的过程，这些信息可以帮助做出预测和关键决策。本研究的主要目的是收集心力衰竭患者的各种随访数据，分析这些数据，并利用几种ML模型来预测心血管患者的生存可能性。由于数据集中类的不平衡性，采用了合成少数类过采样技术（SMOTE）。在我们的研究中使用了两种无监督模型（K-Means和模糊C-均值聚类）和三种有监督分类器（随机森林、XGBoost和决策树）。经过彻底的调查，我们的结果表明，监督ML算法的性能优于无监督模型。此外，我们设计并提出了一个有监督的堆叠集成学习模型，可以达到99.98%的准确率，精确率，召回率和F1得分。我们的研究表明，只有从患者中收集的某些属性才能使用监督ML算法成功预测心力衰竭后的生存可能性。
2021-08-30 cs.AI cs.LG q-bio.BM
K-SpecPart: Supervised embedding algorithms and cut overlay for improved hypergraph partitioning
本文提出监督谱超图划分框架 K-SpecPart，利用广义特征向量、监督降维嵌入和割叠加集成多路方案，在二分与多路划分上分别取得最高15%和20%的割尺寸改进。
2023-06-03 cs.LG
Implementation of Fuzzy C-Means and Possibilistic C-Means Clustering Algorithms, Cluster Tendency Analysis and Cluster Validation
International University of Business Agriculture and Technology（国际商业农业与技术大学）；Mississippi State University（密西西比州立大学）；Rajshahi College（拉杰沙希学院）
在本文中，几个二维聚类方案。在这些情况下，软分区聚类算法（模糊C均值（FCM）和可能性C均值（PCM））的应用。然后，使用VAT可视化地调查聚类趋势，然后按照检查聚类有效性的顺序，使用三种类型的指标（例如，PC、DI和DBI）。在观察聚类算法之后，很明显，它们中的每一个都有其局限性;然而，PCM比FCM对噪声更鲁棒，因为在FCM的情况下，噪声点必须被视为任何聚类的成员。
2019-05-12 cs.CV cs.LG
A Graph-Partitioning Based Continuous Optimization Approach to Semi-supervised Clustering Problems
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Hong Kong Baptist University（香港浸会大学）；Sun Yat-sen University（中山大学）
本文将半监督聚类视为图划分问题，通过松弛技术构建仅需簇数量过高估计的连续优化模型，并提出块坐标下降算法求解，理论满足必连约束且实验验证有效。
2025-03-06 cs.LG math.OC
FUSSL: Fuzzy Uncertain Self Supervised Learning
West Virginia University（西弗吉尼亚大学）
自监督学习（SSL）已经成为一种非常成功的技术，可以利用未标记数据的力量，而无需注释。一些成熟的方法正在发展，目标是超越相对成功的监督替代方法。SSL中的一个主要问题是在不同设置下方法的鲁棒性。在本文中，我们第一次认识到SSL的基本限制来自使用单一的监督信号。为了解决这个问题，我们利用不确定性表示的力量，为任何SSL基线设计一个强大的和通用的标准分层学习/训练协议，无论他们的假设和方法。从本质上讲，使用信息瓶颈原理，我们将特征学习分解为两个阶段的训练过程，每个阶段都有一个不同的监督信号。这种双重监督方法分为两个关键步骤：1）对数据增强的不变性强制，以及2）模糊伪标记（硬注释和软注释）。这种简单而有效的协议，使跨类/集群特征学习，是通过初始训练的整体模型，通过不变性强制数据增强作为第一训练阶段，然后分配模糊标签的原始样本的第二训练阶段实例化。我们考虑多个替代方案与双重监督和评估我们的方法对最近的基线的有效性，涵盖四个不同的SSL范例，包括几何，对比，非对比，和硬/软白化（冗余减少）基线。在多种设置下的大量实验表明，所提出的训练协议一致地提高了以前的基线的性能，独立于它们各自的基本原则。
2022-10-28 cs.CV cs.LG
Variable feature weighted fuzzy k-means algorithm for high dimensional data
Indian Institute of Technology（印度理工学院）
针对高维数据聚类中特征相关性与重要性差异问题，提出通过两个熵项修改目标函数的可变特征加权模糊k均值算法，提升聚类性能并在多数据集上验证了其有效性。
2025-02-13 cs.LG stat.ML
Comparison of Possibilistic Fuzzy Local Information C-Means and Possibilistic K-Nearest Neighbors for Synthetic Aperture Sonar Image Segmentation
University of Florida（佛罗里达大学）；University of Missouri（密苏里大学）
合成孔径声纳（SAS）图像可以生成高分辨率的海底图像。因此，分割算法可用于将图像划分为不同的海底环境。在本文中，我们比较了两种可能性分割方法。可能性方法允许检测新的或异常的环境以及已知的类的能力。可能性模糊局部信息C均值（PPLICM）算法已被应用于分割SAS图像。此外，可能性K最近邻（PKNN）算法已被用于其他领域，如地雷探测和高光谱图像。在本文中，我们比较了分割性能的半监督方法，使用PFLICM和监督方法，使用可能性K-NN。我们包括多个SAS图像的最终分割结果和每个算法的定量评估。
2019-04-01 cs.LG eess.IV stat.ML
FARCLUSS: Fuzzy Adaptive Rebalancing and Contrastive Uncertainty Learning for Semi-Supervised Semantic Segmentation
Department of Artificial Intelligence, Korea University（人工智能系，韩国大学）
本文提出FARCLUSS框架，通过模糊伪标签等四项技术解决半监督语义分割的未标记数据利用问题，在基准测试中优于现有方法，提升了代表性不足类别与模糊区域的分割效果。
2026-08-12 cs.CV cs.LG eess.IV
A Multilabel Classification Framework for Approximate Nearest Neighbor Search
University of Helsinki（赫尔辛基大学）；Helsinki Institute for Information Technology (HIIT)（赫尔辛基信息技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
监督和无监督机器学习算法都已被用于学习基于分区的索引结构，以用于近似最近邻（ANN）搜索。现有的监督算法将学习任务表述为找到一个分区，其中训练集点的最近邻居属于与点本身相同的分区元素，使得最近邻居候选者可以通过朴素查找或回溯搜索来检索。我们制定的候选集选择人工神经网络搜索直接作为一个多标签分类问题，标签对应的查询点的最近邻居，并解释分区分区分类器解决这个任务。实证结果表明，基于这种解释的自然分类器与任何无监督或有监督的分区策略相结合时，会导致严格的性能提高。我们还证明了一个充分条件的分割分类器的ANN搜索的一致性，并通过验证这个条件的时序$k$ -d树的结果。
2022-10-13 cs.LG stat.ML
Large-Margin Metric Learning for Partitioning Problems
Ecole Normale Supérieure（巴黎高等师范学院）；INRIA（法国国家信息与自动化研究所）
在本文中，我们考虑无监督分割问题，如聚类，图像分割，视频分割和其他变点检测问题。我们专注于分区问题的基础上明确或隐含的最小化欧几里德失真，其中包括基于均值的变点检测，K均值，谱聚类和归一化切割。我们的主要目标是为这些无监督问题学习Mahalanobis度量，从而进行特征加权和/或选择。这是通过假设共享相同度量的几个潜在部分标记的数据集的可用性，以监督的方式完成的。我们将度量学习问题转换为大幅度结构化预测问题，并适当定义正则化器和损失，从而导致凸优化问题，可以使用迭代技术有效解决。我们提供的实验中，我们展示了如何学习的度量可以显着提高分区的性能，在合成的例子，生物信息学，视频分割和图像分割问题。
2013-03-06 cs.LG stat.ML
Analyzing Differentiable Fuzzy Logic Operators
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Civic AI Lab, Amsterdam（阿姆斯特丹公民人工智能实验室）
人工智能社区越来越多地将注意力放在结合符号和神经方法上，因为人们经常认为这些方法的优点和缺点是互补的。文献中的一个最近的趋势是采用来自模糊逻辑的算子的弱监督学习技术。特别地，这些使用在这样的逻辑中描述的先验背景知识来帮助从未标记和噪声数据训练神经网络。通过使用神经网络解释逻辑符号，可以将这种背景知识添加到常规损失函数中，从而使推理成为学习的一部分。我们研究，正式和经验，如何从模糊逻辑文学的逻辑运算符的大集合表现在可微学习设置。我们发现，许多这些运营商，包括一些最知名的，是非常不适合在这种情况下。进一步的发现涉及这些模糊逻辑中蕴涵的处理，并且显示出由蕴涵的前件和后件驱动的梯度之间的强烈不平衡。此外，我们引入了一个新的家庭的模糊影响（称为sigmoidal影响），以解决这一现象。最后，我们经验表明，它是可能的，使用可微模糊逻辑的半监督学习，并比较不同的运营商在实践中的行为。我们发现，为了在监督基线上实现最大的性能改进，我们必须求助于在学习中表现良好的逻辑运算符的非标准组合，但不再满足通常的逻辑定律。
2021-08-24 cs.AI cs.LG cs.LO
Don't Settle for Average, Go for the Max: Fuzzy Sets and Max-Pooled Word Vectors
Babylon Health（巴比伦健康）
最近的文献表明，在语义文本相似性任务中，平均词向量加上简单的后处理优于许多深度学习方法。此外，当平均词向量在大型释义语料库上进行监督训练时，它们在标准STS基准测试中获得了最先进的结果。受这些见解的启发，我们进一步推动了词嵌入的极限。我们提出了一种新的模糊词袋（FBoW）表示的文本，同时包含所有的词汇，但具有不同程度的成员资格，这是来自词向量之间的相似性。我们发现，最大池词向量是模糊BoW的一个特例，应该通过模糊Jaccard指数，而不是余弦相似性进行比较。最后，我们提出了DynaMax，一个完全无监督和非参数的相似性度量，动态提取和最大池良好的功能，这取决于句子对。这种方法既高效又易于实现，但在STS任务上的表现远远优于当前的基线，甚至可以与经过训练以直接优化余弦相似度的监督词向量竞争。
2019-04-30 cs.CL cs.LG
Fuzzy Discriminant Clustering with Fuzzy Pairwise Constraints
Inner Mongolia University（内蒙古大学）；Jilin University（吉林大学）；Beijing University of Technology（北京工业大学）；Hainan University（海南大学）
在半监督模糊聚类中，本文扩展了传统的成对约束（即，必须链接或不能链接）到模糊成对约束。模糊成对约束允许监督者提供一对样本的隐式模糊向量之间的相似性或不相似性的等级。该约束条件能较好地反映样本间的复杂关系，避免了模糊特征的消除。我们提出了一个模糊判别聚类模型（FDC）融合模糊成对约束。在我们的FDC的非凸优化问题是解决一个修改的期望最大化算法，涉及到解决几个不定二次规划问题（IQPP）。进一步，提出了一种对角块坐标下降（DBCD）算法，其稳定点得到保证，并在一定条件下可以获得全局解。为了适应不同的应用，FDC被扩展到各种度量空间，例如，再生核希尔伯特空间在多个基准数据集和人脸表情数据库上的实验结果表明，与一些最先进的聚类模型相比，我们的FDC具有更好的性能。
2021-04-17 cs.LG
The role of data partitioning on the performance of EEG-based deep learning models in supervised cross-subject analysis: a preliminary study
University of Padua（帕多瓦大学）；Padova Neuroscience Center, University of Padua（帕多瓦大学帕多瓦神经科学中心）；University of Applied Sciences Western Switzerland (HES-SO Valais)（瑞士西部应用科学与艺术大学（瓦莱州校区））
该初步研究针对EEG深度学习领域缺乏数据划分规范的问题，通过多任务多架构的大量实验对比不同交叉验证策略，明确了基于被试的验证与嵌套方法的优势，给出了避免数据泄露的指南。
2025-05-19 cs.LG eess.SP
Random Partitioning Forest for Point-Wise and Collective Anomaly Detection -- Application to Intrusion Detection
IRISA（法国国家信息与自动化研究所/雷恩信息与随机系统研究所（IRISA））；CNRS（法国国家科学研究中心）；Université Bretagne Sud（南布列塔尼大学）
在本文中，我们提出了DiFF-RF，一个集成的方法组成的随机分区二叉树来检测逐点和集体（以及上下文）的异常。由于在树的叶子上使用了基于距离的范例，这种半监督方法解决了隔离森林（IF）算法中已经确定的缺点。此外，考虑到随机树的叶子中的访问频率允许在考虑集体异常的存在时显著提高DiFF-RF的性能。DiFF-RF是相当容易的训练，并通过使用一个简单的半监督过程来设置额外的超参数，引入，可以获得良好的性能。我们首先在一组合成数据上评估DiFF-RF，以i）验证IF算法的限制被克服，ii）演示如何实际检测到集体异常，以及iii）分析它涉及的元参数的影响。我们评估的DiFF-RF算法从UCI存储库的一个大的数据集，以及两个基准相关的入侵检测应用程序。我们的实验表明，DiFF-RF几乎系统地优于IF算法，但也挑战了一类SVM基线和深度学习变分自动编码器架构。此外，我们的经验表明，DiFF-RF可以在小规模学习数据的情况下工作得很好，而这对于深度神经架构来说是困难的。最后，DiFF-RF计算效率高，可以在多核架构上轻松并行化。
2021-01-14 cs.LG stat.ML
A New Gene Selection Algorithm using Fuzzy-Rough Set Theory for Tumor Classification
School of Electrical and Computer Engineering, Shiraz University（设拉子大学电气与计算机工程学院）；School of Information Management, Nanjing University（南京大学信息管理学院）
在统计学和机器学习中，特征选择是选择相关属性子集以用于预测模型的过程。最近，基于粗糙集的特征选择技术，利用特征依赖性来执行选择过程，已经引起了人们的注意。在生物信息学应用中，基于基因表达的肿瘤分类用于诊断疾病的适当治疗和预后。微阵列基因表达数据中含有多余的高维特征基因和较小的训练样本。由于在这样的高维问题中，基因表达实例的精确监督分类是非常复杂的，因此选择合适的基因是肿瘤分类的关键任务。在这项研究中，我们提出了一种新的技术，基因选择使用的模糊粗糙集的可扩展性矩阵。所提出的技术考虑了具有相同和不同类别标签的实例的相似性，以改善基因选择结果，而现有技术的先前方法仅解决具有不同类别标签的实例的相似性。为了满足这一要求，我们扩展了约翰逊减少技术的模糊情况下。实验结果表明，该技术提供了更好的效率相比，国家的最先进的方法。
2020-03-26 cs.LG stat.ML
A Novel Differentiable Loss Function for Unsupervised Graph Neural Networks in Graph Partitioning
针对无监督图神经网络求解图划分这一NP-hard问题时缺乏可微损失函数的痛点，提出新型可微损失函数及对应求解流水线，在割边与平衡指标上达到当前先进水平。
2023-12-11 cs.LG
New advances in enumerative biclustering algorithms with online partitioning
University of Campinas（坎皮纳斯大学）
本文进一步扩展了RIn-Close_CVC，一个双聚类算法，能够执行一个有效的，完整的，正确的和非冗余枚举的最大双聚类与数值数据集中的列上的常数值。通过避免数据集的先验分区和项目化，RIn-Close_CVC实现了在线分区，这里演示了如何引导更多信息的双聚类结果。改进后的算法被称为RIn-Close_CVC 3，保留了RIn-Close_CVC的那些有吸引力的属性，如这里正式证明的那样，并且其特征在于：内存使用的急剧减少;运行时的一致增益;处理具有缺失值的数据集的额外能力;以及对以不同分布甚至混合数据类型为特征的属性进行操作的额外能力。实验结果包括用于执行可扩展性和敏感性分析的合成和真实世界的数据集。作为一个实际的案例研究，一个简约的相关和可解释的混合属性类型的规则，在监督描述模式挖掘的背景下获得。
2020-03-07 cs.LG stat.ML
Ensemble Clustering with Logic Rules
本文将有监督学习的逻辑规则集成方法应用于无监督或半监督聚类。通过组合简单的合取规则得到的逻辑规则被用来划分输入空间，这些规则的集合被用来定义一个相似矩阵。相似性划分用于以分层方式划分数据。我们已经使用内部和外部的集群有效性的措施，以评估集群的质量或确定集群的数量。
2012-11-15 cs.LG stat.ML
Fuzzy Clustering with Similarity Queries
Tel Aviv University（特拉维夫大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
模糊或软$k$ -均值目标是众所周知的$k$ -均值问题的流行推广，将$k$ -均值的聚类能力扩展到不确定、模糊和难以聚类的数据集。在本文中，我们提出了一个半监督主动聚类框架，允许学习者与Oracle（领域专家）交互，询问某组所选项目之间的相似性。在此框架下，我们研究了聚类的查询和计算复杂性。我们证明，有几个这样的相似性查询，使人们能够得到一个多项式时间的近似算法，以其他形式的NP难问题。特别是，我们提供了模糊聚类算法，在这种设置，要求$O(\mathsf{poly}(k)\log n)$相似性查询和多项式时间复杂度，其中$n$是项目的数量运行。模糊$k$ -均值目标是非凸的，其中$k$ -均值目标是一个特殊情况，它等价于非负矩阵分解等一般非凸问题.无处不在的最小化算法（或交替最小化算法）可能会陷入局部最小值。我们的研究结果表明，通过一些相似性查询，问题变得更容易解决。最后，我们在真实世界的数据集上测试了我们的算法，显示了它们在真实世界应用中的有效性。
2021-11-04 cs.DS cs.LG stat.ML
Combining Supervised and Unsupervised Learning for GIS Classification
Laboratoire Informatique d’Avignon（阿维尼翁计算机实验室）；Université d’Avignon et des Pays de Vaucluse（阿维尼翁与沃克吕兹地区大学）；INRIA（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用实验室）
本文提出了一种新的混合学习算法的无监督分类任务。我们结合模糊c-均值学习算法和监督版本的Minimerror开发一个混合增量策略，允许无监督分类。我们将这种新方法应用到一个真实世界的数据库中，以了解地理信息系统（GIS）的未标记特征中所包含的信息是否允许很好地分类它。
2009-05-14 cs.LG
Towards Federated Clustering: A Federated Fuzzy $c$-Means Algorithm (FFCM)
Maastricht University（马斯特里赫特大学）
联邦学习（FL）是一种设置，其中具有分布式数据的多方协作训练联合机器学习（ML）模型，同时将所有数据保持在各方的本地。联邦聚类是FL中的一个研究领域，它关注的是将全局相似的数据分组在一起，同时保持所有数据的本地性。我们描述了这个研究领域本身是如何引起人们的兴趣的，或者它如何帮助解决非独立同一分布（i.i.d.）等问题。在监督FL框架中的数据。这项工作的重点，但是，是一个扩展的联邦模糊$c$ -手段算法的FL设置（FFCM），对联邦聚类的贡献。我们提出了两种方法来计算全球聚类中心，并通过具有挑战性的数值实验来评估其行为。我们观察到，即使在具有挑战性的情况下，其中一种方法也能够识别出良好的全球集群，但也承认许多挑战仍然存在。
2022-01-18 cs.LG
Mixed Robust/Average Submodular Partitioning: Fast Algorithms, Guarantees, and Applications to Parallel Machine Learning and Multi-Label Image Segmentation
University of Washington（华盛顿大学）
我们研究了两个混合的鲁棒/平均情况下的子模块划分问题，我们统称为子模块划分。这些问题概括了问题的纯鲁棒实例（即最大-最小子模块公平分配（SFA）和最小-最大子模块负载均衡（SLB）），并且还概括了平均情况实例（即子模块福利问题（SWP）和子模块多路划分（SMP））。虽然在理论界已经研究了强大的版本，现有的工作集中在紧近似保证，和由此产生的算法是不是，在一般情况下，可扩展到非常大的现实世界中的应用。这与大多数算法都是可扩展的平均情况相反。在本文中，我们弥合这一差距，提出了几个新的算法（包括基于贪婪，优化最小化，优化最大化，和松弛算法），不仅规模大，但也实现了理论近似保证接近国家的最先进的，并在某些情况下实现新的紧边界。我们还提供了新的可扩展算法，适用于添加剂组合的强大和平均情况下的极端目标。我们表明，这些问题在机器学习（ML）中有许多应用。这包括：1）并行机器上分布式机器算法的数据划分和负载均衡; 2）数据聚类;以及3）经由像素划分的具有（仅）布尔子模函数的多标记图像分割。我们经验性地证明了我们的算法在涉及标准机器学习目标（包括凸和深神经网络目标）的分布式优化的数据分区的现实问题上的功效，以及在纯无监督（即，无监督或半监督学习，以及无交互式分割）图像分割。
2016-08-16 cs.DM cs.DS cs.LG
FMMVCC: Fuzzy Mamba-based Multi-View Contrastive Clustering for Univariate Time Series
针对大量带有限或昂贵注释的时间序列数据，介绍基于曼巴的深度聚类框架FMMVCC。它利用状态空间序列建模及多视图自监督学习，在15个基准数据集实验中优于现有基线，在多指标评估中表现出色。
2026-07-09 cs.AI cs.LG
Semi-Supervised Clustering via Structural Entropy with Different Constraints
Beihang University（北京航空航天大学）；Salesforce AI Research（Salesforce人工智能研究院）；Didi Chuxing（滴滴出行）；Lehigh University（理海大学）
本研究提出基于结构熵的半监督聚类方法SSE，统一整合成对、标签等多类约束，支持划分式与层次聚类，在多数据集上精度优于现有11种同类方法，可用于生物单细胞数据分析。
2023-12-18 cs.LG
Fuzzy clustering for the within-season estimation of cotton phenology
National Observatory of Athens（雅典国家天文台）；National Technical University of Athens（雅典国立技术大学）
作物物候是作物估产和农业管理的重要信息。传统上，从地面观察物候;然而，地球观测、天气和土壤数据已被用于捕获作物的生理生长。在这项工作中，我们提出了一种新的方法，在田间水平上的棉花季节内物候估计。为此，我们利用各种地球观测植被指数（来自哨兵-2）和大气和土壤参数的数值模拟。我们的方法是无监督的，以解决一直存在的稀疏和稀缺的地面实况数据的问题，使得大多数监督的替代方案在现实世界中是不切实际的。应用模糊C均值聚类方法识别棉花的主要物候期，并利用聚类隶属度权重进一步预测相邻物候期之间的过渡期。为了评估我们的模型，我们在希腊的Orchomenos收集了1，285个作物生长地面观测数据。我们引入了一个新的收集协议，分配了两个物候标签，代表在该领域的主要和次要的生长阶段，从而表明当阶段过渡。我们的模型进行了测试，对基线模型，允许隔离随机协议，并评估其真正的能力。结果表明，我们的模型大大优于基线模型，考虑到该方法的无监督性质，这是有希望的。的局限性和相关的未来工作进行了深入的讨论。地面观测数据被格式化为一个随时可用的数据集，一经发布，将在https://github.com/Agri-Hub/cotton-phenology-dataset上提供。
2022-11-30 cs.LG
Semi-Supervised Clustering via Information-Theoretic Markov Chain Aggregation
Graz University of Technology（格拉茨技术大学）；Know-Center GmbH（Know-Center有限公司）；Jagiellonian University（雅盖隆大学）
我们将半监督聚类问题与约束马尔可夫聚合联系起来，即，划分马尔可夫链的状态空间的任务。我们通过将数据集中的每个数据点视为马尔可夫链状态空间的一个元素，通过定义状态之间的转移概率（通过相应数据点之间的相似性）以及将半监督信息作为Hartigan式算法中的硬约束来实现这种连接。引入约束马尔可夫聚类（CoMaC）是最近的信息理论框架（无监督）马尔可夫聚合的半监督的情况下的扩展。实例化CoMaC的某些参数设置进一步概括了两个以前的信息理论目标的无监督聚类。我们的研究结果表明，CoMaC是有竞争力的最先进的。
2022-02-07 cs.LG
Adaptive Gaussian Fuzzy Classifier for Real-Time Emotion Recognition in Computer Games
Federal University of Lavras (UFLA)（拉夫拉斯联邦大学）
人类情感识别已经成为更现实和交互式机器和计算机系统的需要。最大的挑战是高性能算法的可用性，以有效地管理生理数据流中的个体差异和非平稳性，即，为用户自定义的算法，而没有对象特定的校准数据。我们描述了一个不断发展的高斯模糊分类器（eGFC），这是支持在线半监督学习算法，以识别情绪模式从脑电图（EEG）数据流。我们提取特征的傅立叶频谱的EEG数据。这些数据是由28个玩“训练Sim World”、“Unravel”、“Slender The Arrival”和“Goat Simulator”的人提供的，这是一个公共数据集。不同的情绪占主导地位，即无聊，平静，恐怖和喜悦。我们分析了单个电极、时间窗长度和频带对用户独立eGFC准确性的影响。我们的结论是，两个大脑半球可能有助于分类，特别是在额叶（Af 3-Af 4），枕叶（O 1-O2）和颞叶（T7-T8）地区的电极。我们观察到，模式可能最终在任何频带中被发现;然而，Alpha（8- 13 Hz）、Delta（1- 4 Hz）和Theta（4-8Hz）频带按此顺序与情感类别相关性最高。eGFC已经被证明对于EEG数据的实时的【形】学习是有效的。它达到了72.2%的准确率，使用可变的规则库，10秒的窗口，和1.8ms/样本的处理时间在一个高度随机的时变4类分类问题。
2021-03-05 cs.AI cs.HC cs.LG
Text-Based Product Matching -- Semi-Supervised Clustering Approach
NASK National Research Institute（NASK国家研究院）；AGH University of Kraków（克拉科夫AGH大学）；University of Technology Sydney（悉尼科技大学）
本文提出一种基于半监督聚类的产品匹配新方法，通过在真实数据集上结合IDEC算法与模糊字符串匹配进行实验，证明了少量标注样本增强的无监督匹配可作为主流监督策略的有效替代方案。
2024-02-01 cs.AI cs.DB cs.LG
Semi-supervised Text Categorization Using Recursive K-means Clustering
University of Mysore（迈索尔大学）
本文提出了一种用于文本分类的半监督学习算法。提出了一种对未标注文本进行标注的方法。所提出的方法是基于分而治之策略的原则。它使用递归K-means算法来划分标记和未标记的数据汇集。在每个分区上递归地应用K-means算法，直到实现期望的级别分区，使得每个分区包含单个类的标记文档。一旦获得所需的聚类，各自的聚类质心被认为是代表的集群和最近邻规则用于分类未知的文本文档。在20 Newsgroups数据集上进行了一系列的实验，以显示该模型相对于其他最新模型的优越性。
2017-06-24 cs.CL cs.IR cs.LG
Feature Level Clustering of Large Biometric Database
NIT Rourkela（鲁尔克拉国家技术学院）；IIT Kanpur（坎普尔印度理工学院）
提出了一种在身份识别过程中对大型生物特征数据库进行有效划分的方法。该方法从离线签名中提取全局和局部特征向量，利用模糊聚类技术对数据库进行划分。由于生物特征没有自然的排序顺序，因此很难对其进行分类或数字索引。因此，需要一些监督标准来划分搜索空间。在识别过程中引入模糊聚类准则来寻找最近的聚类，以声明查询样本的身份。该系统进行了测试，使用箱错过率和传统的k均值方法相比，表现更好。
2010-02-02 cs.CV cs.DB cs.LG
TiWS-iForest: Isolation Forest in Weakly Supervised and Tiny ML scenarios
University of Padova（帕多瓦大学）
无监督异常检测解决了在没有标签可用性的情况下发现数据集内部异常的问题;由于数据标记通常很难或很昂贵，因此近年来这种方法具有巨大的适用性。在这种情况下，隔离森林是一种流行的算法，能够通过称为隔离树的特殊树的集合来定义异常分数。这些都是建立使用随机分区程序是非常快速和便宜的训练。然而，我们发现，标准算法可能会改善内存需求，延迟和性能方面，这是特别重要的低资源的情况下，在超约束微处理器上的TinyML实现。此外，异常检测方法目前没有利用弱监督：通常在决策支持系统中使用，来自用户的反馈，即使很少，也可以是目前未探索的有价值的信息来源。除了显示iForest训练的局限性外，我们还在这里提出了TiWS-iForest，这种方法通过利用弱监督能够降低隔离森林的复杂性并提高检测性能。我们展示了TiWS-iForest在真实数据集上的有效性，并在公共存储库中共享代码以提高可重复性。
2021-11-30 cs.LG
Self-Supervised Contrastive Graph Clustering Network via Structural Information Fusion
Nankai University（南开大学）
针对图聚类中先验分布可靠性不足的问题，提出CGCN方法，通过引入对比信号和深层结构信息进行自监督预训练，并在多个真实图数据集上验证了其提升聚类性能的有效性。
2024-08-08 cs.ET cs.LG
