Implicitly Constrained Semi-Supervised Linear Discriminant Analysis
Delft University of Technology（代尔夫特理工大学）；University of Copenhagen（哥本哈根大学）；Leiden University Medical Center（莱顿大学医学中心）
半监督学习是模式识别领域一个重要而活跃的研究课题。对于具体使用线性判别分析的分类，已经提出了几种半监督变体。使用这些方法中的任何一种都不能保证优于不考虑额外未标记数据的监督分类器。在这项工作中，我们比较了传统的期望最大化类型的半监督线性判别分析方法与基于内在约束的方法，并提出了一种新的原则性方法，半监督线性判别分析，使用所谓的隐式约束。我们探讨这些方法之间的关系，并考虑的问题，如果在什么意义上，我们可以预期的监督程序的性能改善。基于约束的方法对模型的错误指定更鲁棒，并且在未见过对象的对数似然性方面，可能优于对数据做出更多假设的替代方案。
2014-11-17 cs.LG stat.ML
Transfer Learning for Linear Discriminant Analysis with a Shared Classification Signal
Northeast Normal University（东北师范大学）；Zhejiang University of Finance and Economics（浙江财经大学）
研究高维两类分类线性判别分析的迁移学习，将各域均值差异分解，在尖峰协方差模型下推导目标域高斯校准误差极限，量化多种因素对迁移性能的影响，得出最优权重和估计器，还处理了截距偏差问题。
2026-07-09 stat.ME stat.ML
FEMDA: Une méthode de classification robuste et flexible
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；CentraleSupélec（中央理工-高等电力学院）；LAAS-CNRS（法国国家科学研究中心系统分析与架构实验室）；Université de Toulouse（图卢兹大学）
本文提出FEMDA判别分析方法，通过为每个数据点赋予独立的椭圆对称分布和尺度参数，实现对数据尺度变化的鲁棒分类，方法简单快速且优于现有技术。
2023-07-04 cs.LG stat.ML
Directly Handling Missing Data in Linear Discriminant Analysis for Enhancing Classification Accuracy and Interpretability
针对现实数据集存在缺失值影响LDA分类准确率与可解释性的问题，提出无需插补的WLDA方法，通过权重矩阵惩罚缺失条目直接优化参数估计，在多数据集上表现优于传统方法，兼顾性能与可解释性。
2024-10-09 cs.LG stat.ML
Local Discriminant Hyperalignment for multi-subject fMRI data alignment
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
多变量模式（MVP）分类可以将不同的认知状态映射到大脑任务。MVP分析的主要挑战之一是验证跨主题生成的结果。然而，分析多受试者的功能磁共振成像数据需要准确的神经元活动之间的功能对齐不同的主题，这可以迅速提高最终结果的性能和鲁棒性。超序列比对（HA）是最有效的功能序列比对方法之一，它可以通过典型相关分析（CCA）方法进行数学表达。由于HA主要使用无监督CCA技术，因此其解决方案可能不会针对MVP分析进行优化。将局部判别分析（LDA）的思想引入CCA，提出了局部判别超对齐（LDHA）方法，该方法能够为MVP分析提供更好的功能对齐。事实上，局部性是基于训练集中的刺激类别来定义的，其中相同类别中的所有刺激之间的相关性将被最大化，并且不同类别的刺激之间的相关性接近于零。多主题MVP分析的实验研究证实，LDHA方法实现了优于其他国家的最先进的HA算法的性能。
2016-11-25 cs.AI cs.LG stat.ML
Robust Locality-Aware Regression for Labeled Data Classification
Nanjing University of Science and Technology（南京理工大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
随着数据表示维数的急剧增加，提取潜在的低维特征对于有效的分类变得至关重要。针对现有线性判别方法存在边缘表示不清晰、难以揭示数据流形结构等问题，提出了一种新的判别特征提取框架--鲁棒局部感知回归（Robust Locality-Aware Regression，RLAR）。在我们的模型中，我们引入了一个重定向的回归来自适应地执行边缘表示学习，而不是使用一般的平均类间间隔。此外，我们制定了一个新的策略，以提高局部类内紧致的数据流形，它可以实现联合学习的局部感知图结构和理想的投影矩阵。为了减少异常值的干扰和防止过拟合，我们用L2，1范数度量回归项和局部感知项以及正则化项。进一步地，通过L2，1范数对投影矩阵强制行稀疏性，实现了特征选择和特征提取的协同。然后，我们推导出一个有效的迭代算法求解所提出的模型。在一系列UCI数据集和其他基准数据库上的实验结果表明，所提出的RLAR优于一些国家的最先进的方法。
2020-06-15 cs.LG stat.ML
Approximately optimal domain adaptation with Fisher's Linear Discriminant
Microsoft Research（微软研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出基于 FLD 的源任务平均假设与目标任务假设凸组合模型，推导 0-1 损失下的最优组合及可计算近似，并在 EEG、ECG 分类中验证其有效性。
2024-03-01 cs.LG eess.SP stat.AP
Clustering, Classification, Discriminant Analysis, and Dimension Reduction via Generalized Hyperbolic Mixtures
介绍了一种利用聚类、分类或判别分析进行降维的方法。这种基于混合模型的方法是基于拟合广义双曲混合物在一个减少的子空间内的基于模型的聚类，分类，或判别分析的范例。通过考虑组均值和协方差的变化程度，得到了数据的简化子空间。子空间的成员通过原始数据的线性组合产生，并通过相关的特征值按重要性排序。观测值可以投影到子空间上，从而产生一组变量，这些变量捕获了大部分可用的聚类信息。广义双曲混合物的使用提供了一个强大的框架，能够处理倾斜的集群。虽然在许多应用领域中，对降维的需求越来越大，但作者最熟悉的是生物学应用，因此五个真实数据示例中有两个属于该领域。模拟数据也用于说明。本文介绍的方法可以被认为是最一般的这种方法，所以我们比较结果的三个特殊和限制的情况下。与几个成熟的技术比较，说明了其良好的性能。
2015-06-23 stat.CO stat.ME stat.ML
Target contrastive pessimistic risk for robust domain adaptation
Delft University of Technology（代尔夫特理工大学）；University of Copenhagen（哥本哈根大学）
在域自适应中，具有来自源域的信息的分类器适应以推广到目标域。然而，由于无效的假设、对估计误差或模型误指定的增加的灵敏度，自适应分类器可能比非自适应分类器执行得更差。我们的目标是开发一个域自适应分类器，它是强大的意义上说，它不依赖于限制性的假设如何源和目标域相互关联，它不执行比非自适应分类器差。我们制定了一个保守的参数估计，只有偏离源分类器时，一个较低的风险是保证所有可能的标记给定的目标样本。我们推导出经典的最小二乘和判别分析的情况下，这些表现与国家的最先进的域自适应分类器在样本选择偏置设置，而优于他们在更一般的域自适应设置。
2017-06-25 cs.LG stat.ML
Nonparametric Linear Discriminant Analysis for High Dimensional Matrix-Valued Data
本文提出了一种非参数线性判别分析方法，用于高维矩阵值数据的分类，通过非参数最大似然估计提升分类性能。
2025-12-17 stat.AP stat.ME stat.ML
Classification approach based on association rules mining for unbalanced data
Université de Bordeaux（波尔多大学）
本文研究了目标类出现概率较低时的二元分类问题。在这种情况下，它是不可能建立一个强大的分类器，使用标准的方法，如逻辑斯谛回归，分类树，判别分析等，以克服这些方法，产生低灵敏度的分类器的缺点，我们解决了这里的分类问题，通过基于关联规则学习的方法。这种方法具有允许识别与目标类很好相关的模式的优点。关联规则学习是数据挖掘领域的一种常用方法。它用于处理大型数据库时，用于无监督地发现表达输入变量之间隐藏关系的局部模式。在考虑从监督学习的角度来看，关联规则的弱分类器的相关集合中获得一个派生的分类器，表现良好。
2015-02-24 cs.LG stat.ML
Distributionally Robust Domain Adaptation
University of Central Florida（中佛罗里达大学）
领域自适应（DA）最近受到了极大的关注，由于其潜在的适应学习模型在源和目标域与不匹配的分布。由于DA方法完全依赖于给定的源和目标域样本，它们通常会产生易受噪声影响的模型，并且无法适应目标域中的未知样本，这就要求DA方法能够保证学习模型的鲁棒性和泛化性。在本文中，我们提出了DRDA，一个分布式鲁棒域自适应方法。DRDA利用分布式鲁棒优化（DRO）框架来学习鲁棒决策函数，该函数最大限度地减少了最坏情况下的目标域风险，并通过从给定的标记源域样本转移知识来推广到目标域的任何样本。我们利用最大平均离散度（MMD）度量构建一个模糊的分布集，可证明包含源和目标域分布的概率很高。因此，风险被示出为样本外目标域损失的上限。我们的实验结果表明，我们的配方优于现有的强大的学习方法。
2022-10-30 cs.LG stat.ML
Target Consistency for Domain Adaptation: when Robustness meets Transferability
Université Paris-Saclay（巴黎萨克雷大学）；CentraleSupélec（中央理工-高等电力学院）；Sidetrade
学习不变表示已成功地应用于协调无监督领域自适应的源和目标域。通过研究这些方法的鲁棒性的棱镜下的集群假设，我们带来了新的证据，不变性与低源风险并不能保证一个性能良好的目标分类。更确切地说，我们表明，集群假设违反了在目标域，尽管被保持在源域，表明缺乏鲁棒性的目标分类。为了解决这个问题，我们证明了在目标域中执行集群假设的重要性，命名为目标一致性（TC），特别是当与类级不变（CLIV）配对时。我们的新方法在图像分类和分割基准上都有了显着的改进，超过了基于不变表示的最先进方法。重要的是，我们的方法是灵活的，易于实现，使其成为现有方法的补充技术，以提高表示的可转移性。
2020-06-30 cs.LG stat.ML
Learning Robust Representations for Automatic Target Recognition
MIT Lincoln Laboratory（麻省理工学院林肯实验室）
射频（RF）传感器与其他传感方式一起使用，以提供对世界的丰富表示。由于复值目标响应的高度可变性，RF系统容易受到攻击，从而掩盖了准确识别的真实目标特征。在这项工作中，我们评估了不同的技术，建立强大的分类架构，利用学到的物理结构，在接收到的合成孔径雷达信号的模拟三维目标。
2018-11-26 cs.CV cs.LG stat.ML
Unsupervised Domain Adaptation via Discriminative Manifold Embedding and Alignment
Sun Yat-Sen University（中山大学）；JiaYing University（嘉应学院）；Guangzhou University（广州大学）
无监督领域自适应能够有效地利用源域到无监督目标域的丰富信息。虽然深度学习和对抗策略在特征适应性方面取得了重要突破，但还有两个问题需要进一步探讨。首先，在目标域上硬分配的伪标签对固有的数据结构是有风险的。其次，深度学习中的分批训练方式限制了对全局结构的描述。本文提出了一个黎曼流形学习框架，以实现一致的可转移性和可区分性。对于第一个问题，该方法通过软标签在目标域上建立概率判别准则。此外，该标准扩展到第二个问题的全球近似计划，这种近似也是节省内存。利用流形度量对齐与嵌入空间兼容。理论上的误差界推导出，以方便对齐。通过大量的实验对提出的一致流形学习框架进行了研究，实验结果表明了一致流形学习框架的优越性。
2020-02-28 cs.CV cs.LG stat.ML
Minimax Supervised Clustering in the Anisotropic Gaussian Mixture Model: A new take on Robust Interpolation
本文研究了高维非渐近条件下两组分各向异性高斯混合模型下的监督聚类问题。首先，我们推导出一个下和匹配的上界的极小极大风险的聚类在这个框架中。我们还表明，在高维制度，线性判别分析（LDA）分类原来是次优的极大极小意义上。接下来，我们精确地描述了$\ell_2$ -正则化监督最小二乘分类器的风险。我们推断的事实是，插值的解决方案可能优于正则化分类器，在温和的假设下的噪声的协方差结构。我们的分析还表明，插值可以是强大的腐败的协方差的噪声时，信号是对齐的协方差的“干净”的一部分，为正确定义的对齐的概念。据我们所知，这种特殊的现象还没有被调查，在迅速增长的文献有关插值。我们的结论是，插值不仅是良性的，但也可以是最佳的，在某些情况下，强大的。
2021-11-13 math.ST stat.ML stat.TH
