An Extensive Evaluation of Filtering Misclassified Instances in Supervised Classification Tasks
Brigham Young University（杨百翰大学）
在训练学习算法之前去除或过滤离群值和错误标记的实例已被证明可以提高分类准确性。处理离群值和错误标记实例的流行方法是删除任何被学习算法错误分类的实例。然而，还没有对哪些学习算法用于过滤以及它们对大数据集上的多个学习算法的影响进行检查。由于运行这样的实验需要大量的计算，以前的工作通常受到限制，因此，检查通常限于计算成本低且使用少量数据集的学习算法。在本文中，我们检查9个学习算法作为过滤算法，以及检查过滤的效果，在9个选择的学习算法上的一组54个数据集。除了单独使用每个学习算法作为过滤器之外，我们还使用学习算法的集合作为集成过滤器，并使用自适应算法，该自适应算法选择学习算法的子集用于针对特定任务和学习算法进行过滤。我们发现，在大多数情况下，使用集成的学习算法过滤产生的分类精度的最大增加。我们还比较过滤与多数表决合奏。除非数据集中存在大量噪声，否则投票集合显著优于滤波。此外，我们发现，多数表决集成是强大的噪声过滤与表决集成不增加的分类精度的表决集成。
2013-12-13 cs.LG stat.ML
The Potential Benefits of Filtering Versus Hyper-Parameter Optimization
Brigham Young University（杨百翰大学）
通过学习算法导出的模型的质量取决于训练数据的质量和提供给学习算法的超参数。先前的工作已经表明，提高训练数据的质量（即，通过去除低质量实例）或调整学习算法超参数可以显著地提高导出模型的质量。然而，这两种方法的比较是缺乏的。在本文中，我们估计和比较过滤和超参数优化的潜在好处。估计潜在效益给出了过于乐观的估计，但也从经验上证明了每种方法的最大潜在效益的近似值。我们发现，虽然两者都显着改善了诱导模型，但提高训练集的质量比超参数优化具有更大的潜在影响。
2014-03-13 cs.LG stat.ML
Attribute-aware Collaborative Filtering: Survey and Classification
National Taiwan University（国立台湾大学）；Academia Sinica（中央研究院）
属性感知CF模型的目标是不仅考虑用户对项目的历史评级，而且还考虑与用户（例如年龄），项目（例如价格）甚至评级（例如评级时间）相关的信息进行评级预测。本文综述了近十年来属性感知CF系统的研究成果，发现在数学上可以将其分为四类。我们为读者提供的不仅是高层次的数学解释现有的作品在这一领域，但也为每一类模型的数学见解。最后，我们提供了深入的实验结果，比较每个类别中的主要作品的有效性。
2018-10-20 cs.IR cs.LG stat.ML
Collaborative Filtering and Multi-Label Classification with Matrix Factorization
University of Hyderabad（海得拉巴大学）；School of Computer & Information Sciences（计算机与信息科学学院）
用于推荐系统和分类的机器学习技术已成为解决信息过载问题的主要研究热点。RS是软件工具，旨在对用户可能喜欢的服务做出明智的决定。另一方面，分类技术将数据对象归类为几个预定义的类之一。在多标签分类问题中，与传统的多类分类设置不同，每个实例可以同时与标签的子集相关联。本论文的重点是协同过滤和多标签分类的新技术的发展。提出了一种新的构造层次化双层最大边际矩阵分解的方法来处理有序评分矩阵的矩阵完备化问题。从支持向量机的替代公式中得到启发，在矩阵分解框架中，将邻近度作为替代准则，而不是边缘最大化准则，从而得到一种新的损失函数。我们将矩阵分解的概念扩展到机器学习的另一个重要问题，即多标签分类，它处理具有多个标签的数据的分类。我们提出了一种新的分段线性嵌入方法与低秩约束的参数化捕获非线性的内在关系，存在于原始的特征和标签空间。我们还研究了标签的嵌入与组信息的目标，以建立一个有效的多标签分类器。我们假设存在一个低维空间，特征向量和标签向量可以嵌入到该空间上。我们确保属于同一组的标签在其低秩表示中共享相同的稀疏模式。
2019-07-23 cs.IR cs.LG stat.ML
Nonparametric Filtering, Estimation and Classification using Neural Jump ODEs
Department of Mathematics ETH Zurich（数学系，苏黎世联邦理工学院）；Department of Statistics UC Berkeley（统计系，伯克利大学）；Department of Mathematics Albert-Ludwigs-Universität Freiburg（数学系，弗赖堡阿尔伯特-路易斯大学）
本文提出基于神经跳ODEs的非参数滤波与分类方法，通过理论保证和实验证明其在复杂分布下的优越性能，适用于金融和健康监测等实时性要求高的领域。
2025-08-15 cs.LG cs.NA math.NA
Applying an Ensemble Learning Method for Improving Multi-label Classification Performance
近年来，多标签分类问题已经成为一个有争议的问题。在这种分类中，每个样本都与一组类别标签相关联。包围方法是监督学习算法，其中操作者采用多个学习算法，即基本级算法，并将它们的结果组合以进行估计。集成学习的最简单形式是在随机数据子集上训练基本级算法，然后让它们投票选择最流行的分类或平均基本级算法的预测。在这项研究中，集成学习方法提出了改进多标签分类评价标准。我们已经比较了我们的方法与一些数据集上的知名的基本水平的算法。实验结果表明，该方法在多标签分类问题上的性能优于基本的知名分类器。
2018-01-07 cs.LG stat.ML
Multi-Evidence Filtering and Fusion for Multi-Label Classification, Object Detection and Semantic Segmentation Based on Weakly Supervised Learning
The University of Hong Kong（香港大学）
监督目标检测和语义分割需要对象甚至像素级注释。当仅存在图像级标签时，弱监督算法实现准确预测是具有挑战性的。顶级弱监督算法实现的准确性仍然明显低于完全监督算法。在本文中，我们提出了一种新的弱监督课程学习管道多标签对象识别，检测和语义分割。在这个管道中，我们首先获得训练图像的中间对象定位和像素标记结果，然后使用这些结果以完全监督的方式训练特定于任务的深度网络。整个过程由四个阶段组成，包括训练图像中的对象定位，过滤和融合对象实例，训练图像的像素标记，以及特定任务的网络训练。为了在训练图像中获得干净的对象实例，我们提出了一种新的算法，用于过滤，融合和分类从多个解决方案机制收集的对象实例。在该算法中，我们将度量学习和基于密度的聚类过滤检测到的对象实例。实验表明，我们的弱监督流水线实现了最先进的多标签图像分类以及弱监督目标检测和非常有竞争力的结果，在弱监督语义分割的MS-COCO，PASCAL VOC 2007和PASCAL VOC 2012。
2018-02-26 cs.AI cs.CV cs.LG
Revisiting convolutional neural network on graphs with polynomial approximations of Laplace-Beltrami spectral filtering
National University of Singapore（新加坡国立大学）；University of Wisconsin（威斯康星大学）；N.1 Institute for Health（N.1健康研究所）
本文回顾了Defferrard（2016）中给出的谱图卷积神经网络（graph-CNN），并通过用LB算子替换图拉普拉斯算子来开发Laplace-Beltrami CNN（LB-CNN）。然后，我们定义光谱过滤器通过LB运营商的图。我们探索了Chebyshev，Laguerre和Hermite多项式近似基于LB的光谱滤波器的可行性，并定义了LB算子的更新，用于LBCNN中的池化。我们采用来自阿尔茨海默病神经成像倡议（ADNI）的大脑图像数据，并演示了所提出的LB-CNN的使用。基于ADNI数据集的皮质厚度，我们表明，与谱图CNN相比，LB-CNN并没有提高分类精度。这三个多项式具有相似的计算成本，并且在LB-CNN或谱图-CNN中显示出相当的分类精度。我们的研究结果表明，即使三个多项式的形状不同，深度学习架构也允许我们学习光谱滤波器，使得分类性能不依赖于多项式或算子（图拉普拉斯算子和LB算子）的类型。
2020-10-26 cs.LG stat.ML
Spectrum Attention Mechanism for Time Series Classification
Zhejiang University（浙江大学）
时间序列分类一直是一个重要而又具有挑战性的研究课题。随着深度学习的广泛应用，越来越多的研究者使用深度学习模型来解决TSC问题。由于时间序列总是包含大量的噪声，这对网络训练有负面影响，人们通常在训练网络之前对原始数据进行滤波。现有的方案都是将滤波和训练作为两个阶段来处理，滤波器的设计需要专家经验，增加了算法的设计难度，通用性不强。我们注意到，过滤的本质是滤除不重要的频率成分，突出重要的频率成分，这类似于注意力机制。在本文中，我们提出了一个注意力机制，作用于频谱（SAM）。该网络可以为每个频率分量分配适当的权重，以实现自适应滤波。我们使用L1正则化来进一步增强SAM的频率屏蔽能力。我们还提出了一个分段SAM（SSAM），以避免使用整个序列的频谱造成的时域信息的损失。该算法引入滚动窗口对原始数据进行分割。然后，SAM被应用到每个段以生成新的特征。我们提出了一种启发式策略来搜索适当数量的段。实验结果表明，SSAM能产生更好的特征表示，使网络收敛更快，提高了鲁棒性和分类精度。
2021-01-25 cs.LG stat.ML
Spatial Filtering for Brain Computer Interfaces: A Comparison between the Common Spatial Pattern and Its Variant
Huazhong University of Science and Technology（华中科技大学）
脑电图（EEG）是脑机接口（BCI）最常用的输入形式。然而，它很容易被各种伪像和噪声污染，例如，眨眼、肌肉活动、电力线噪声等。因此，在将EEG信号馈送到机器学习算法中进行识别之前，通常在空间上和时间上对EEG信号进行滤波以增加信噪比。本文考虑空间滤波，特别是，共同空间模式（CSP）滤波器的EEG分类。在二进制分类中，CSP寻求一组过滤器来最大化一个类的方差，同时最小化另一个类的方差。我们首先介绍传统的解决方案，然后介绍一个基于略有不同的目标函数的新解决方案。我们对运动想象进行了全面的实验，比较了这两种方法，发现传统的CSP解决方案仍然提供了更好的结果。我们还表明，无论使用哪种目标函数，向协方差矩阵添加正则化都可以提高最终的分类性能。
2018-08-08 cs.HC cs.LG eess.SP
Spam filtering on forums: A synthetic oversampling based approach for imbalanced data classification
Pune Institute of Computer Technology（浦那计算机技术学院）
论坛在为社区互动提供平台方面发挥着重要作用。个人为了商业和社会利益而引入不相关的内容或垃圾邮件往往会降低论坛用户的专业体验。期望对所发布的内容的相关性进行自动调节。机器学习用于文本分类，并在垃圾邮件检测、欺诈性交易检测等中找到应用。在分类算法的情况下，训练数据中的类的平衡是必不可少的，以使学习高效且准确。然而，在论坛的情况下，与相关内容相比，垃圾内容是稀疏的，从而在训练时产生对后者的偏见。在这种有偏见的数据上训练的模型将无法对垃圾邮件样本进行分类。针对训练数据不均衡的问题，提出了一种基于综合少数过采样技术（SMOTE）的训练方法。它涉及从现有样本中综合创建新的少数类样本，直到实现数据平衡。然后，增强的数据通过各种分类器，记录其性能。结果是在标准性能指标上对IIT孟买Spoken Bombay论坛的数据进行分析的，结果显示，在合成少数民族过采样后训练的模型比在不平衡数据上训练的模型表现更好。本文提出了一种经验比较的结果，通过SMOTE和没有SMOTE的各种监督分类算法。合成过采样被证明是实现均匀类分布的关键技术，从而在文本分类中产生值得称赞的结果。所提出的方法可以进一步扩展到教育网站的内容分类，从而有助于改善整体数字学习体验。
2019-09-10 cs.IR cs.LG stat.ML
ED-Filter: Dynamic Feature Filtering for Eating Disorder Classification
Institute of Innovation, Science, and Sustainability, Federation University Australia（澳大利亚联邦大学创新、科学与可持续发展研究所）；School of Business and Law, Edith Cowan University（埃迪斯科文大学商法学院）；Community College, King Saud University（沙特国王大学社区学院）；School of Computing Technologies, RMIT University（皇家墨尔本理工大学计算技术学院）
针对Twitter高维数据在进食障碍分类中的挑战，提出启发式分支定界方法ED-Filter，并结合混合贪心深度学习算法适应数据动态性，显著提升了分类准确率。
2025-01-04 cs.AI cs.LG cs.SI
Are Powerful Graph Neural Nets Necessary? A Dissection on Graph Classification
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Zhejiang University（浙江大学）
图神经网络（GNN）受到越来越多的关注，部分原因是它们在许多节点和图分类任务中具有优异的性能。然而，人们对他们正在学习的内容以及所学习的图函数的复杂程度缺乏了解。在这项工作中，我们提出了将GNN的图分类分解为两个部分：1）图过滤，其中执行基于图的邻居聚合，以及2）集合函数，其中组成一组隐藏节点特征用于预测。为了研究这两部分的重要性，我们建议将它们分别线性化。我们首先线性化的图过滤功能，产生的图形特征网络（GFN），这是一个简单的轻量级神经网络上定义的\textit{set}的图形增强功能。GFN的集函数的进一步线性化导致图线性网络（GLN），这是一个线性函数。根据经验，我们对常见的图分类基准进行评估。令我们惊讶的是，我们发现，尽管简化了，GFN可以匹配或超过最近提出的GNN产生的最佳精度（计算成本的一小部分），而GLN表现明显不佳。我们的研究结果表明，非线性集函数的重要性，并建议，线性图过滤与非线性集函数是一个有效的和强大的计划建模现有的图分类基准。
2020-06-09 cs.LG cs.SI stat.ML
Label Efficient Semi-Supervised Learning via Graph Filtering
The Hong Kong Polytechnic University（香港理工大学）；Zhejiang University（浙江大学）
基于图的方法已经被证明是半监督学习最有效的方法之一，因为它们可以利用标记和未标记数据样本之间的连接模式来提高学习性能。然而，现有的基于图的方法要么是有限的，在他们的能力，联合建模图结构和数据特征，如经典的标签传播方法，或需要大量的标记数据的训练和验证，由于高模型的复杂性，如最近的基于神经网络的方法。在本文中，我们解决标签有效的半监督学习从图过滤的角度。具体来说，我们提出了一个图形过滤框架，将图形相似性注入到数据特征中，将它们作为图形上的信号，并应用低通图形过滤器来提取有用的数据表示进行分类，其中可以通过方便地调整图形过滤器的强度来实现标签效率。有趣的是，这个框架统一了两种看似非常不同的方法--标签传播和图卷积网络。在图过滤框架下重新审视它们会带来新的见解，从而提高它们的建模能力并降低模型复杂性。在四个引文网络和一个知识图谱上的各种半监督分类任务和一个用于zero-shot图像识别的半监督回归任务上的实验验证了我们的发现和建议。
2019-06-28 cs.AI cs.LG stat.ML
A Noise-Filtering Approach for Cancer Drug Sensitivity Prediction
King Abdulaziz University（阿卜杜勒阿齐兹国王大学）；New Jersey Institute of Technology（新泽西理工学院）
准确预测药物对癌症的反应是阻碍肿瘤学家寻找最有效的治疗癌症药物的重要问题，这是精准医学的核心目标。科学界一直致力于基于在人类癌细胞系中测量的基因组、表观基因组和蛋白质组数据集来改进这种预测。真实世界的癌细胞系包含噪声，这降低了机器学习算法的性能。这个问题在现有的方法中很少得到解决。在本文中，我们提出了一种噪声过滤方法，它集成了数字线性代数和信息检索技术，旨在过滤出嘈杂的癌细胞系。通过滤除嘈杂的癌细胞系，我们可以在质量更好的癌细胞系上训练机器学习算法。我们评估我们的方法的性能，并将其与现有的方法进行比较，使用ROC曲线下面积（AUC）的临床试验数据。实验结果表明，我们提出的方法是稳定的，也产生了最高的AUC在统计上显着的水平。
2016-12-05 cs.LG q-bio.GN stat.ML
DeepFair: Deep Learning for Improving Fairness in Recommender Systems
Universidad Politécnica de Madrid（马德里理工大学）
推荐系统中缺乏偏见管理导致少数群体收到不公平的推荐。此外，公平与精确之间的权衡使得很难获得同时符合这两项标准的建议。在这里，我们提出了一种基于深度学习的协同过滤算法，该算法在不知道用户的人口统计信息的情况下，提供了公平性和准确性之间的最佳平衡的推荐。实验结果表明，它是可能的，使公平的建议，而不会失去一个显着比例的准确性。
2020-06-09 cs.AI cs.LG stat.ML
Improving performance and inference on audio classification tasks using capsule networks
AI For All（AI普惠组织）
音频样本的分类是许多听觉系统的重要组成部分。基于卷积层和递归层的深度学习模型在许多此类任务中是最先进的。在本文中，我们使用最近提出的动态路由协议机制训练的胶囊网络来处理音频分类任务。我们提出了一种适合音频分类任务的胶囊网络结构，并研究了各种参数对分类精度的影响。此外，我们建议修改正则化和多标签分类。我们还开发了使用胶囊输出的数据的见解，并显示了迁移学习的学习网络的效用。我们在7个不同领域和大小的数据集上进行了实验，与强基线模型相比，性能有了显着提高。据我们所知，这是第一次详细研究胶囊网络在音频领域的应用。
2019-02-13 cs.LG cs.SD eess.AS
Transfer Learning for Motor Imagery Based Brain-Computer Interfaces: A Complete Pipeline
Huazhong University of Science and Technology（华中科技大学）；Hangzhou Dianzi University（杭州电子科技大学）
针对基于运动想象的脑机接口校准工作量大的问题，本文提出在空间滤波前增设数据对齐模块，并在空间滤波、特征工程、分类全流程应用迁移学习，经两个数据集实验验证可显著提升分类性能、降低校准成本。
2021-01-22 cs.HC cs.LG eess.SP
Polarimetric Guided Nonlocal Means Covariance Matrix Estimation for Defoliation Mapping
在这项研究中，我们调查的潜力，使用合成孔径雷达（SAR）数据提供高分辨率落叶和树木的再生长映射在苔原森林交错带。利用航空照片，确定了四个有活森林的地区和四个有枯树的地区。从RADARSAT-2的四极化SAR数据收集从同一地区，和复杂的多视极化协方差矩阵的计算使用一种新的扩展的引导非局部均值斑点滤波。非局部的方法使我们能够保持高的空间分辨率的单看复杂的数据，这是必不可少的精确映射的稀疏分散的树木在研究区域。使用标准的随机森林分类算法，我们的过滤结果超过$99.7 \%$的分类精度，高于传统的斑点滤波方法，并与基于光学数据的分类精度相当。
2020-07-17 eess.IV stat.ML
Improving localization-based approaches for breast cancer screening exam classification
New York University（纽约大学）；New York University School of Medicine（纽约大学医学院）
我们训练和评估了一个基于定位的深度CNN，用于超过20万次检查（超过100万张图像）的乳腺癌筛查检查分类。我们的模型在预测经历乳腺癌筛查的患者中的恶性肿瘤方面实现了0.919的AUC，降低了基线的错误率（Wu等人，2019年，23%。此外，该模型为良性和恶性结果生成边界框，提供可解释的预测。
2019-08-01 cs.CV eess.IV stat.ML
