Who's in and who's out? A case study of multimodal CLIP-filtering in DataComp
University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学)
本研究审计DataComp的CommonPool上的CLIP过滤方法,发现其存在偏见,会更高比例排除边缘群体数据并放大表征差异,还存在不良内容过滤失效、版权内容高比例纳入等问题,呼吁变革数据集构建与过滤实践。
2024-10-09 cs.CL cs.CV cs.CY
Behavior-Specific Filtering for Enhanced Pig Behavior Classification in Precision Livestock Farming
Virginia Tech(弗吉尼亚理工大学);The University of Tokyo(东京大学)
针对猪只行为分类,本文提出结合小波去噪与低通滤波器、并按活跃与非活跃行为定制的行为特定滤波方法,将准确率由91.58%提升至94.73%。
2025-07-28 cs.LG
An Extensive Evaluation of Filtering Misclassified Instances in Supervised Classification Tasks
Brigham Young University(杨百翰大学)
在训练学习算法之前去除或过滤离群值和错误标记的实例已被证明可以提高分类准确性。处理离群值和错误标记实例的流行方法是删除任何被学习算法错误分类的实例。然而,还没有对哪些学习算法用于过滤以及它们对大数据集上的多个学习算法的影响进行检查。由于运行这样的实验需要大量的计算,以前的工作通常受到限制,因此,检查通常限于计算成本低且使用少量数据集的学习算法。在本文中,我们检查9个学习算法作为过滤算法,以及检查过滤的效果,在9个选择的学习算法上的一组54个数据集。除了单独使用每个学习算法作为过滤器之外,我们还使用学习算法的集合作为集成过滤器,并使用自适应算法,该自适应算法选择学习算法的子集用于针对特定任务和学习算法进行过滤。我们发现,在大多数情况下,使用集成的学习算法过滤产生的分类精度的最大增加。我们还比较过滤与多数表决合奏。除非数据集中存在大量噪声,否则投票集合显著优于滤波。此外,我们发现,多数表决集成是强大的噪声过滤与表决集成不增加的分类精度的表决集成。
2013-12-13 cs.LG stat.ML
Classification Filtering
Whoop, Boston, MA, USA(Whoop公司)
针对流式信号中多分类器融合问题,提出一种结合时间维度的状态空间模型与实时滤波器,并在可穿戴设备IMU活动分类中验证其有效性。
2025-09-17 cs.LG eess.SP
Multi-Class Unlearning for Image Classification via Weight Filtering
University of Modena and Reggio Emilia(摩德纳与雷焦艾米利亚大学)
本文提出一种基于权重过滤的多类机器遗忘框架,通过记忆矩阵调制网络组件,在单轮内实现所有类别的选择性遗忘,并恢复可解释的类别表示,在卷积和Transformer主干上验证了其有效性。
2024-06-08 cs.AI cs.CV cs.LG
Compute Less to Get More: Using ORC to Improve Sparse Filtering
Cornell University(康奈尔大学);University of California(加利福尼亚大学)
稀疏滤波是图像分类流水线中常用的特征学习算法。在本文中,我们连接的稀疏滤波性能与相应的特征矩阵的频谱特性。这种联系为稀疏滤波提供了新的见解;特别是,它建议提前停止稀疏滤波。因此,我们介绍了最佳圆度准则(ORC),一种新的停止标准稀疏滤波。我们表明,这种停止标准与预处理程序,如统计白化,并证明它可以使图像分类与稀疏滤波相当快,更准确。
2015-05-24 cs.CV cs.LG
ED-Filter: Dynamic Feature Filtering for Eating Disorder Classification
Institute of Innovation, Science, and Sustainability, Federation University Australia(澳大利亚联邦大学创新、科学与可持续发展研究所);School of Business and Law, Edith Cowan University(埃迪斯科文大学商法学院);Community College, King Saud University(沙特国王大学社区学院);School of Computing Technologies, RMIT University(皇家墨尔本理工大学计算技术学院)
针对Twitter高维数据在进食障碍分类中的挑战,提出启发式分支定界方法ED-Filter,并结合混合贪心深度学习算法适应数据动态性,显著提升了分类准确率。
2025-01-04 cs.AI cs.LG cs.SI
Hybrid Adaptive Kalman Filtering for Data-Efficient Joint Tracking and Classification
Charles Stark Draper Laboratory, Inc.(查尔斯·斯泰克·德帕尔实验室,Inc.);Ann and H. J. Smead Department of Aerospace Engineering Sciences(安与H.J.斯梅德航空航天工程科学系)
提出一种自监督混合自适应卡尔曼滤波器,通过仅从测量中学习系统动力学和过程噪声协方差的结构化校正,同时保持滤波器的概率结构,实现低数据和大数据场景下的高精度估计与鲁棒分类。
2026-06-01 cs.LG cs.RO
Improving spam filtering by combining Naive Bayes with simple k-nearest neighbor searches
在过去的几个月里,使用朴素贝叶斯进行电子邮件分类已经变得非常流行。它们很容易实现,而且非常有效。在本文中,我们要提出的经验结果的电子邮件分类使用朴素贝叶斯和k-最近邻搜索的组合。使用这种技术,我们表明,贝叶斯过滤器的准确性可以稍微提高了大量的功能和显着的少量功能。
2003-11-30 cs.LG
Graph Neural Network-based Spectral Filtering Mechanism for Imbalance Classification in Network Digital Twin
JNU(京畿大学)
针对5G核心网数字孪生中故障类别偏斜导致的图分类不平衡问题,提出CF-GNN,通过面向类别的特征值与特征向量频谱滤波提升少数类判别能力。
2025-05-15 cs.LG cs.NI
Wavelet-Filtering of Symbolic Music Representations for Folk Tune Segmentation and Classification
Aalborg University(奥尔堡大学);City University London(伦敦城市大学)
本研究提出利用 Haar 小波滤波对民谣符号表示进行分割与分类,通过小波系数局部极大值划分边界并结合 k 近邻分类,实验证明优化参数后其分类准确率优于基于格式塔的方法。
2025-04-29 cs.LG
Nonparametric Filtering, Estimation and Classification using Neural Jump ODEs
Department of Mathematics ETH Zurich(数学系,苏黎世联邦理工学院);Department of Statistics UC Berkeley(统计系,伯克利大学);Department of Mathematics Albert-Ludwigs-Universität Freiburg(数学系,弗赖堡阿尔伯特-路易斯大学)
本文提出基于神经跳ODEs的非参数滤波与分类方法,通过理论保证和实验证明其在复杂分布下的优越性能,适用于金融和健康监测等实时性要求高的领域。
2025-08-15 cs.LG cs.NA math.NA
Multi-Evidence Filtering and Fusion for Multi-Label Classification, Object Detection and Semantic Segmentation Based on Weakly Supervised Learning
The University of Hong Kong(香港大学)
监督目标检测和语义分割需要对象甚至像素级注释。当仅存在图像级标签时,弱监督算法实现准确预测是具有挑战性的。顶级弱监督算法实现的准确性仍然明显低于完全监督算法。在本文中,我们提出了一种新的弱监督课程学习管道多标签对象识别,检测和语义分割。在这个管道中,我们首先获得训练图像的中间对象定位和像素标记结果,然后使用这些结果以完全监督的方式训练特定于任务的深度网络。整个过程由四个阶段组成,包括训练图像中的对象定位,过滤和融合对象实例,训练图像的像素标记,以及特定任务的网络训练。为了在训练图像中获得干净的对象实例,我们提出了一种新的算法,用于过滤,融合和分类从多个解决方案机制收集的对象实例。在该算法中,我们将度量学习和基于密度的聚类过滤检测到的对象实例。实验表明,我们的弱监督流水线实现了最先进的多标签图像分类以及弱监督目标检测和非常有竞争力的结果,在弱监督语义分割的MS-COCO,PASCAL VOC 2007和PASCAL VOC 2012。
2018-02-26 cs.AI cs.CV cs.LG
Attribute-aware Collaborative Filtering: Survey and Classification
National Taiwan University(国立台湾大学);Academia Sinica(中央研究院)
属性感知CF模型的目标是不仅考虑用户对项目的历史评级,而且还考虑与用户(例如年龄),项目(例如价格)甚至评级(例如评级时间)相关的信息进行评级预测。本文综述了近十年来属性感知CF系统的研究成果,发现在数学上可以将其分为四类。我们为读者提供的不仅是高层次的数学解释现有的作品在这一领域,但也为每一类模型的数学见解。最后,我们提供了深入的实验结果,比较每个类别中的主要作品的有效性。
2018-10-20 cs.IR cs.LG stat.ML
Geometric Filtering of LLM-Generated Samples for Few-Shot Text Classification
本研究针对LLM生成样本质量异质性问题,提出基于句子嵌入空间欧氏距离的几何过滤框架,结合软加权机制提升小样本文本分类性能,在多任务、多模型及多配置下均表现优异。
2026-08-17 cs.CL cs.LG
Collaborative Filtering and Multi-Label Classification with Matrix Factorization
University of Hyderabad(海得拉巴大学);School of Computer & Information Sciences(计算机与信息科学学院)
用于推荐系统和分类的机器学习技术已成为解决信息过载问题的主要研究热点。RS是软件工具,旨在对用户可能喜欢的服务做出明智的决定。另一方面,分类技术将数据对象归类为几个预定义的类之一。在多标签分类问题中,与传统的多类分类设置不同,每个实例可以同时与标签的子集相关联。本论文的重点是协同过滤和多标签分类的新技术的发展。提出了一种新的构造层次化双层最大边际矩阵分解的方法来处理有序评分矩阵的矩阵完备化问题。从支持向量机的替代公式中得到启发,在矩阵分解框架中,将邻近度作为替代准则,而不是边缘最大化准则,从而得到一种新的损失函数。我们将矩阵分解的概念扩展到机器学习的另一个重要问题,即多标签分类,它处理具有多个标签的数据的分类。我们提出了一种新的分段线性嵌入方法与低秩约束的参数化捕获非线性的内在关系,存在于原始的特征和标签空间。我们还研究了标签的嵌入与组信息的目标,以建立一个有效的多标签分类器。我们假设存在一个低维空间,特征向量和标签向量可以嵌入到该空间上。我们确保属于同一组的标签在其低秩表示中共享相同的稀疏模式。
2019-07-23 cs.IR cs.LG stat.ML
An approach to melodic segmentation and classification based on filtering with the Haar-wavelet
Aalborg University(奥尔堡大学);City University London(伦敦城市大学)
本文提出一种基于 Haar 小波滤波的旋律分类与分割新方法,通过单尺度信号结合 k 近邻算法进行片段分类,在识别巴赫作品时优于未滤波信号,但在民歌分类上不及多特征字符串匹配法。
2025-04-29 cs.LG
Improving SMOTE via Fusing Conditional VAE for Data-adaptive Noise Filtering
University of Seoul(首尔大学)
本文提出利用条件VAE在潜在空间中量化数据密度并过滤噪声,以改进SMOTE的少数类样本选择与插值,在不平衡分类中超越深度学习模型。
2024-08-26 cs.AI cs.LG
Unsupervised Classification of Voiced Speech and Pitch Tracking Using Forward-Backward Kalman Filtering
Bucknell University(巴克内尔大学)
浊音语音的检测、基频的估计以及基音值随时间的跟踪是各种语音处理技术的关键子任务。许多不同的算法已经开发了三个子任务。我们提出了一个新的算法,将这三个子任务集成到一个单一的过程。该算法可以应用于预先录制的语音发声在存在大量的背景噪声。我们结合了一系列标准指标,如过零率,例如,制定一个无监督的发声分类。基音值的估计是用基于混合自相关的技术来完成的。我们提出了一个前向-后向卡尔曼滤波器来平滑估计的基音轮廓。在实验中,我们能够表明,所提出的方法相比,目前,国家的最先进的基音检测算法。
2021-03-01 cs.LG cs.SD eess.AS
Hybrid Approach of Relation Network and Localized Graph Convolutional Filtering for Breast Cancer Subtype Classification
Seoul National University(首尔国立大学);Bioinformatics Institute, Seoul National University(首尔国立大学生物信息学研究所)
网络生物学已成功用于帮助揭示疾病的复杂机制,特别是癌症。另一方面,网络生物学需要深入的知识来构建疾病特异性网络,但即使人类癌症生物学的最新进展,我们目前的知识也非常有限。深度学习已经显示出巨大的潜力来解决这样的困难情况。然而,深度学习技术通常使用网格状结构化数据,因此深度学习技术在人类疾病亚型分类中的应用还有待探索。最近,基于图的深度学习技术已经出现,这成为利用网络生物学分析的机会。在本文中,我们提出了一个混合模型,它集成了两个关键组件1)图卷积神经网络(图CNN)和2)关系网络(RN)。我们利用图CNN作为一个组件来学习合作基因社区的表达模式,RN作为一个组件来学习学习模式之间的关联。将所提出的模型应用于PAM50乳腺癌亚型分类任务中,对标准乳腺癌亚型分类的临床实用性进行了验证。在亚型分类和患者生存分析的实验中,我们提出的方法取得了显着优于现有方法的性能。我们认为,这项工作是实现即将到来的个性化医疗的重要起点。
2018-06-15 cs.CV cs.LG
Are Powerful Graph Neural Nets Necessary? A Dissection on Graph Classification
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Zhejiang University(浙江大学)
图神经网络(GNN)受到越来越多的关注,部分原因是它们在许多节点和图分类任务中具有优异的性能。然而,人们对他们正在学习的内容以及所学习的图函数的复杂程度缺乏了解。在这项工作中,我们提出了将GNN的图分类分解为两个部分:1)图过滤,其中执行基于图的邻居聚合,以及2)集合函数,其中组成一组隐藏节点特征用于预测。为了研究这两部分的重要性,我们建议将它们分别线性化。我们首先线性化的图过滤功能,产生的图形特征网络(GFN),这是一个简单的轻量级神经网络上定义的\textit{set}的图形增强功能。GFN的集函数的进一步线性化导致图线性网络(GLN),这是一个线性函数。根据经验,我们对常见的图分类基准进行评估。令我们惊讶的是,我们发现,尽管简化了,GFN可以匹配或超过最近提出的GNN产生的最佳精度(计算成本的一小部分),而GLN表现明显不佳。我们的研究结果表明,非线性集函数的重要性,并建议,线性图过滤与非线性集函数是一个有效的和强大的计划建模现有的图分类基准。
2020-06-09 cs.LG cs.SI stat.ML
Spatial Filtering for Brain Computer Interfaces: A Comparison between the Common Spatial Pattern and Its Variant
Huazhong University of Science and Technology(华中科技大学)
脑电图(EEG)是脑机接口(BCI)最常用的输入形式。然而,它很容易被各种伪像和噪声污染,例如,眨眼、肌肉活动、电力线噪声等。因此,在将EEG信号馈送到机器学习算法中进行识别之前,通常在空间上和时间上对EEG信号进行滤波以增加信噪比。本文考虑空间滤波,特别是,共同空间模式(CSP)滤波器的EEG分类。在二进制分类中,CSP寻求一组过滤器来最大化一个类的方差,同时最小化另一个类的方差。我们首先介绍传统的解决方案,然后介绍一个基于略有不同的目标函数的新解决方案。我们对运动想象进行了全面的实验,比较了这两种方法,发现传统的CSP解决方案仍然提供了更好的结果。我们还表明,无论使用哪种目标函数,向协方差矩阵添加正则化都可以提高最终的分类性能。
2018-08-08 cs.HC cs.LG eess.SP
RankAug: Augmented data ranking for text classification
Manipal Institute of Technology(马尼帕尔理工学院)
针对合成数据评估方法存在空白的问题,提出文本排序方法RankAug,用于过滤语义相似且具词汇句法多样性的增强文本,实验显示该方法可使样本不足类别的分类准确率最高提升35%。
2023-11-08 cs.AI cs.CL cs.LG
Label Efficient Semi-Supervised Learning via Graph Filtering
The Hong Kong Polytechnic University(香港理工大学);Zhejiang University(浙江大学)
基于图的方法已经被证明是半监督学习最有效的方法之一,因为它们可以利用标记和未标记数据样本之间的连接模式来提高学习性能。然而,现有的基于图的方法要么是有限的,在他们的能力,联合建模图结构和数据特征,如经典的标签传播方法,或需要大量的标记数据的训练和验证,由于高模型的复杂性,如最近的基于神经网络的方法。在本文中,我们解决标签有效的半监督学习从图过滤的角度。具体来说,我们提出了一个图形过滤框架,将图形相似性注入到数据特征中,将它们作为图形上的信号,并应用低通图形过滤器来提取有用的数据表示进行分类,其中可以通过方便地调整图形过滤器的强度来实现标签效率。有趣的是,这个框架统一了两种看似非常不同的方法--标签传播和图卷积网络。在图过滤框架下重新审视它们会带来新的见解,从而提高它们的建模能力并降低模型复杂性。在四个引文网络和一个知识图谱上的各种半监督分类任务和一个用于zero-shot图像识别的半监督回归任务上的实验验证了我们的发现和建议。
2019-06-28 cs.AI cs.LG stat.ML
A Comparative Evaluation of Curriculum Learning with Filtering and Boosting
Brigham Young University(杨百翰大学)
并非数据集中的所有实例都同样有利于推断数据的模型。某些实例(如离群值)不利于推断数据的模型。几种机器学习技术在训练期间以不同的方式处理数据集中的实例,例如课程学习,过滤和提升。然而,不存在用于确定实例对于推断数据的模型有多有益的自动化方法。在本文中,我们提出了一种自动化的方法,根据其被错误分类的可能性(实例硬度)的复杂性,在数据集中的实例排序。该方法的基本假设是,具有被错误分类的高可能性的实例表示数据集中更复杂的概念。对数据集中的实例进行排序允许学习算法专注于最有益的实例而忽略有害的实例。我们比较了课程学习中数据集实例的排序、过滤和提升。我们发现,排序的实例显着提高分类精度和过滤有最大的分类精度的影响。在一组52个数据集上,对实例进行排序将平均准确率从81%提高到84%。
2013-12-17 cs.LG
PC-Conv: Unifying Homophily and Heterophily with Two-fold Filtering
University of Electronic Science and Technology of China(电子科技大学)
本文提出双重滤波机制PC-Conv,通过扩展图热方程并利用PC多项式近似,统一处理同质性与异质性图,在节点分类任务上达到竞争性能。
2023-12-22 cs.AI cs.LG cs.SI
Scatter-based common spatial patterns -- a unified spatial filtering framework
Technische Universität Ilmenau(伊尔梅瑙工业大学);UMIT TIROL – Private University for Health Sciences and Health Technology(UMIT TIROL——蒂罗尔健康科学与健康技术私立大学)
在基于运动想象的脑机接口(BCI)中,公共空间模式(CSP)方法被认为是EEG分类的最流行的空间滤波技术之一。然而,它仍然存在对噪声敏感、非平稳性和对二值分类的局限性等缺点,因此,本文提出了一种基于脑电信号空间协方差散布矩阵的空间滤波框架scaCSP,它通常适用于二进制和多类问题,而CSP可以作为一种特殊情况被投射到我们的框架中,我们进一步提出了子空间增强的scaCSP算法,该算法在两种情况下容易地允许合并包含在类间和类内散布矩阵的其他范围空间和零空间中的更多判别信息:一个零空间分量减少方案和一个额外的空间滤波器学习方案。所提出的算法在两个数据集上进行评估包括4个MI任务。的分类性能进行比较,对国家的最先进的竞争算法:CSP,吉洪诺夫正则化CSP(TRCSP),固定CSP(sCSP)和固定TRCSP(sTRCSP)的二进制问题,而多类扩展的CSP的基础上对明智的和一对休息的技术在多类问题。实验结果表明,该框架在二分类和多分类问题上的平均分类精度和计算效率均优于其他同类算法,是解决一般多类问题的统一框架,有望提高MI-BCI的性能.
2023-03-07 cs.HC cs.LG eess.SP
Spam filtering on forums: A synthetic oversampling based approach for imbalanced data classification
Pune Institute of Computer Technology(浦那计算机技术学院)
论坛在为社区互动提供平台方面发挥着重要作用。个人为了商业和社会利益而引入不相关的内容或垃圾邮件往往会降低论坛用户的专业体验。期望对所发布的内容的相关性进行自动调节。机器学习用于文本分类,并在垃圾邮件检测、欺诈性交易检测等中找到应用。在分类算法的情况下,训练数据中的类的平衡是必不可少的,以使学习高效且准确。然而,在论坛的情况下,与相关内容相比,垃圾内容是稀疏的,从而在训练时产生对后者的偏见。在这种有偏见的数据上训练的模型将无法对垃圾邮件样本进行分类。针对训练数据不均衡的问题,提出了一种基于综合少数过采样技术(SMOTE)的训练方法。它涉及从现有样本中综合创建新的少数类样本,直到实现数据平衡。然后,增强的数据通过各种分类器,记录其性能。结果是在标准性能指标上对IIT孟买Spoken Bombay论坛的数据进行分析的,结果显示,在合成少数民族过采样后训练的模型比在不平衡数据上训练的模型表现更好。本文提出了一种经验比较的结果,通过SMOTE和没有SMOTE的各种监督分类算法。合成过采样被证明是实现均匀类分布的关键技术,从而在文本分类中产生值得称赞的结果。所提出的方法可以进一步扩展到教育网站的内容分类,从而有助于改善整体数字学习体验。
2019-09-10 cs.IR cs.LG stat.ML
Partition-wise Graph Filtering: A Unified Perspective Through the Lens of Graph Coarsening
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);University of Chinese Academy of Sciences(中国科学院大学);Hong Kong Baptist University(香港 Baptist 大学)
本文提出粗化引导的分区式滤波(CPF),通过图粗化与特征聚类实现分区滤波,统一图级与节点级滤波范式,并在节点分类和异常检测中验证其有效性。
2025-05-22 cs.LG cs.NA eess.SP
Re-scale AdaBoost for Attack Detection in Collaborative Filtering Recommender Systems
Xi’an Jiaotong University(西安交通大学)
协同过滤推荐系统是电子商务系统的关键组成部分。实际上,CFRS由于其开放性,极易受到攻击。然而,由于攻击的规模远小于真正的用户,传统的监督学习为基础的检测方法可能太“沉闷”处理这种不平衡的分类。本文主要从以下两个方面来提高检测性能。首先,我们根据不同攻击模型的统计特性,从用户简档中提取精心设计的特征,使得难以分类的任务变得更容易执行。然后,参考re-scale Boosting(RBoosting)和AdaBoost的一般思想,我们应用AdaBoost的变体,称为re-scale AdaBoost(RAdaBoost)作为我们基于提取特征的检测方法。RAdaBoost算法与最优Boosting类算法相当,在某些困难场景下能有效提高性能。最后,在MovieLens-100 K数据集上进行了一系列的实验,并与SVM、kNN和AdaBoost等经典方法进行了比较,验证了RAdaBoost算法的有效性。
2015-06-15 cs.CR cs.IR cs.LG
Revisiting convolutional neural network on graphs with polynomial approximations of Laplace-Beltrami spectral filtering
National University of Singapore(新加坡国立大学);University of Wisconsin(威斯康星大学);N.1 Institute for Health(N.1健康研究所)
本文回顾了Defferrard(2016)中给出的谱图卷积神经网络(graph-CNN),并通过用LB算子替换图拉普拉斯算子来开发Laplace-Beltrami CNN(LB-CNN)。然后,我们定义光谱过滤器通过LB运营商的图。我们探索了Chebyshev,Laguerre和Hermite多项式近似基于LB的光谱滤波器的可行性,并定义了LB算子的更新,用于LBCNN中的池化。我们采用来自阿尔茨海默病神经成像倡议(ADNI)的大脑图像数据,并演示了所提出的LB-CNN的使用。基于ADNI数据集的皮质厚度,我们表明,与谱图CNN相比,LB-CNN并没有提高分类精度。这三个多项式具有相似的计算成本,并且在LB-CNN或谱图-CNN中显示出相当的分类精度。我们的研究结果表明,即使三个多项式的形状不同,深度学习架构也允许我们学习光谱滤波器,使得分类性能不依赖于多项式或算子(图拉普拉斯算子和LB算子)的类型。
2020-10-26 cs.LG stat.ML
Enhancing Synthetic Training Data for Speech Commands: From ASR-Based Filtering to Domain Adaptation in SSL Latent Space
IRIT;Université de Toulouse(图卢兹大学);CNRS(法国国家科学研究中心);Toulouse INP(图卢兹国立综合理工学院);UT3(图卢兹第三大学)
本研究针对语音命令分类,提出基于ASR的过滤方法提升合成数据质量,并利用CycleGAN在自监督潜在空间中缩小合成与真实语音差距,实验验证了性能提升。
2024-09-19 cs.AI cs.LG cs.SD
A Piece-wise Polynomial Filtering Approach for Graph Neural Networks
Microsoft Research India(微软印度研究院)
图神经网络(GNN)利用来自节点特征和输入图拓扑的信号来提高节点分类任务性能。然而,这些模型往往在异嗜图上表现不佳,其中连接的节点具有不同的标签。最近提出的GNN可以在具有不同同质性水平的图上工作。其中,依赖于多项式图过滤器的模型已经显示出了希望。我们观察到,这些多项式图过滤器模型的解决方案也是一个超定方程组的解决方案。这表明,在某些情况下,模型需要学习一个合理的高阶多项式。在调查中,我们发现所提出的模型在学习这样的多项式,由于他们的设计无效。为了缓解这个问题,我们执行的图的特征分解,并建议学习多个自适应多项式滤波器作用于不同的子集的频谱。我们从理论上和经验上证明,我们提出的模型可以学习更好的过滤器,从而提高分类精度。我们研究了我们提出的模型的各个方面,包括依赖于使用的特征分量的数量,学习的潜在多项式过滤器,以及节点分类任务上的各个多项式的性能。我们进一步表明,我们的模型是可扩展的,通过评估大型图。我们的模型比最先进的模型实现了高达5%的性能增益,并且总体上优于现有的基于多项式滤波器的方法。
2021-12-07 cs.LG
Spectrum Attention Mechanism for Time Series Classification
Zhejiang University(浙江大学)
时间序列分类一直是一个重要而又具有挑战性的研究课题。随着深度学习的广泛应用,越来越多的研究者使用深度学习模型来解决TSC问题。由于时间序列总是包含大量的噪声,这对网络训练有负面影响,人们通常在训练网络之前对原始数据进行滤波。现有的方案都是将滤波和训练作为两个阶段来处理,滤波器的设计需要专家经验,增加了算法的设计难度,通用性不强。我们注意到,过滤的本质是滤除不重要的频率成分,突出重要的频率成分,这类似于注意力机制。在本文中,我们提出了一个注意力机制,作用于频谱(SAM)。该网络可以为每个频率分量分配适当的权重,以实现自适应滤波。我们使用L1正则化来进一步增强SAM的频率屏蔽能力。我们还提出了一个分段SAM(SSAM),以避免使用整个序列的频谱造成的时域信息的损失。该算法引入滚动窗口对原始数据进行分割。然后,SAM被应用到每个段以生成新的特征。我们提出了一种启发式策略来搜索适当数量的段。实验结果表明,SSAM能产生更好的特征表示,使网络收敛更快,提高了鲁棒性和分类精度。
2021-01-25 cs.LG stat.ML
Adversarial Filters for Secure Modulation Classification
The University of Arizona(亚利桑那大学)
调制分类(MC)是指对无线信号的调制类别进行分类的问题。在无线通信流水线中,MC是对接收信号执行的第一个操作,并且对于可靠解码至关重要。本文考虑了安全调制分类的问题,其中发射机(爱丽丝)希望在合法接收机(鲍勃)最大限度地提高MC精度,同时在窃听者(夏娃)最小化MC精度。这项工作的贡献是设计新的对抗学习技术的安全MC。特别是,我们提出了基于对抗性过滤的算法安全MC,其中爱丽丝使用精心设计的对抗性过滤器来掩盖传输的信号,可以最大限度地提高MC准确性在鲍勃,同时最大限度地减少MC准确性在前夕。我们提出了两种基于滤波的算法,即梯度上升滤波器(GAF),和一个快速梯度滤波方法(FGFM),具有不同程度的复杂性。我们提出的基于对抗性过滤的方法显著优于加性对抗性扰动(用于传统ML社区和安全MC的其他先前工作),并且还具有其他几个理想的属性。具体地,GAF和FGFM算法是a)计算高效的(允许在Bob处的快速解码),b)功率高效的(在Alice处不需要过多的发射功率);以及c)SNR高效的(即,即使在Bob处的低SNR值下也表现良好)。
2020-08-15 cs.LG eess.SP
Spatial Filtering for EEG-Based Regression Problems in Brain-Computer Interface (BCI)
DataNova;National Chiao-Tung University(国立交通大学);University of California San Diego(加州大学圣地亚哥分校)
脑电信号是脑机接口中的常用信号,但由于脑电信号容易受到伪迹和噪声的污染,在输入到机器学习算法进行分类或回归之前必须对其进行预处理。空间滤波器在脑机接口分类问题中被广泛用于提高脑电信号的信噪比,但在脑机接口回归问题中的应用却非常有限。本文提出了两个共同的空间模式(CSP)过滤器脑机接口的EEG为基础的回归问题,这是扩展的CSP过滤器的分类,利用模糊集。基于EEG的反应速度估计从一个大规模的研究,其中收集了143个会议的持续注意心理警觉任务的数据,从17个科目在5个月的时间内,实验结果表明,这两个建议的空间滤波器可以显着提高EEG信号的质量。当用于LASSO和k-近邻回归估计用户响应速度时,空间滤波器可以将均方根估计误差降低10.02- 19.77%,同时将与真实响应速度的相关性提高19.39- 86.47%。
2017-02-09 cs.HC cs.LG
Keyword Extraction, and Aspect Classification in Sinhala, English, and Code-Mixed Content
Sri Lanka Institute of Information Technology(斯里兰卡信息技术学院)
针对传统NLP模型处理僧伽罗语-英语等低资源语言混合代码文本时存在的分类错误、忽略及缺乏领域知识问题,本研究提出混合NLP方法,在关键词提取、内容过滤和方面分类上取得较高准确率,为混合代码及低资源银行环境的品牌声誉监测提供准确可扩展方案。
2025-04-14 cs.AI cs.CL cs.LG
Robust Mid-Pass Filtering Graph Convolutional Networks
Southwest Petroleum University(西南石油大学);Microsoft Research Asia(微软亚洲研究院)
图卷积网络(GCN)是目前处理图结构数据最有前途的范例,但最近的研究也表明GCN容易受到对抗攻击的攻击。因此,开发对此类攻击具有鲁棒性的GCN模型成为一个热门的研究课题。然而,基于结构净化学习或鲁棒性约束的GCN防御方法通常是针对特定的数据或攻击而设计的,并且引入了非分类的额外目标。在其设计中还需要额外的培训开销。为了解决这些问题,我们对图上的中频信号进行了深入的探索,并提出了一种简单而有效的中频滤波器GCN(Mid-GCN)。理论分析保证了信号通过中通滤波器的鲁棒性,并揭示了不同频率信号在对抗攻击下的特性。在六个基准图数据上的大量实验进一步验证了我们设计的Mid-GCN在各种对抗攻击策略下与最先进的GCN相比在节点分类准确性方面的有效性。
2023-02-16 cs.CR cs.LG
Complete the Missing Half: Augmenting Aggregation Filtering with Diversification for Graph Convolutional Neural Networks
McGill University(麦吉尔大学);Mila(米拉人工智能研究所);DeepMind(深度思维)
当前图神经网络的核心操作是通过图拉普拉斯算子或消息传递实现的聚合,过滤节点的邻域信息。虽然对各种任务有效,但在本文中,我们表明它们可能是所有GNN模型在某些数据集上学习的潜在问题因素,因为它们迫使节点表示相似,使节点逐渐失去身份并变得不可区分。因此,我们增加了聚合操作与他们的对偶,即多样化运营商,使节点更加独特,并保持身份。这种增强用双通道过滤过程代替聚合,理论上,这有利于丰富节点表示。在实践中,所提出的双通道滤波器可以很容易地在现有的GNN方法上使用不同的训练策略,包括频谱和空间(消息传递)方法。在实验中,我们观察到模型的期望特性和9个节点分类任务的基线上的显着性能提升。
2022-12-21 cs.AI cs.LG
Transfer Learning for Motor Imagery Based Brain-Computer Interfaces: A Complete Pipeline
Huazhong University of Science and Technology(华中科技大学);Hangzhou Dianzi University(杭州电子科技大学)
针对基于运动想象的脑机接口校准工作量大的问题,本文提出在空间滤波前增设数据对齐模块,并在空间滤波、特征工程、分类全流程应用迁移学习,经两个数据集实验验证可显著提升分类性能、降低校准成本。
2021-01-22 cs.HC cs.LG eess.SP
Active Learning for Identifying Disaster-Related Tweets: A Comparison with Keyword Filtering and Generic Fine-Tuning
University of Salzburg(萨尔茨堡大学);Harvard University(哈佛大学)
本研究针对社交媒体灾害相关推文识别难题,对比主动学习、关键词过滤、通用微调等方法,发现通用微调结合10轮主动学习效果最优,可低标注成本训练出通用的灾害推文识别模型。
2024-08-19 cs.CL cs.LG
Programmable Spectrometry -- Per-pixel Classification of Materials using Learned Spectral Filters
Carnegie Mellon University(卡内基梅隆大学)
许多材料具有不同的光谱轮廓。这有助于通过首先获取场景的高光谱图像并随后使用光谱轮廓库对其进行滤波来估计场景在每个像素处的材料组成。这个过程本质上是浪费的,因为只有一组线性投影的采集测量有助于分类任务。我们提出了一种新的可编程相机,能够产生图像的场景与任意的光谱滤波器。我们使用这个相机,以光学方式实现光谱过滤的场景的高光谱图像与银行的光谱配置文件需要执行每像素的材料分类。这在采集速度和信噪比两方面都有好处,前者因为只采集相关的测量结果,后者因为我们总是避免使用效率低的窄带滤波器。给定训练数据,我们使用一系列经典和现代技术,包括支持向量机和神经网络,以确定有助于材料分类的光谱轮廓库。我们在标准数据集上的模拟以及使用相机的实验室原型的真实数据中验证了该方法。
2019-05-13 cs.CV cs.LG eess.IV
Tensor Network Kalman Filtering for Large-Scale LS-SVMs
Delft University of Technology(代尔夫特理工大学);Katholieke Universiteit Leuven(鲁汶大学)
最小二乘支持向量机是一种常用的非线性回归和分类的监督学习方法。它们可以以原始或双重形式实现。后者需要求解线性系统,这可能是有利的,因为避免了数据到可能无限维特征空间的显式映射。然而,对于大规模的应用,目前的低秩近似方法可能无法充分执行。例如,当前的方法由于其采样过程而具有概率性,和/或遭受秩和近似功率之间的差的折衷。本文提出了一种基于张量网络和卡尔曼滤波器的递归贝叶斯滤波框架,以减轻与解决大规模对偶问题相关的内存需求和计算复杂性。所提出的方法是迭代的,不需要显式存储的核矩阵,并允许制定早期停止条件。此外,该框架产生所获得的模型的置信度估计,不同于替代方法。两个回归和三个分类实验的性能进行了测试,并比较Nyström和固定大小的LS-SVM方法。结果表明,我们的方法可以实现高性能,是特别有用的替代方法是计算上不可行的,由于缓慢衰减的核矩阵谱。
2021-10-26 cs.LG cs.SY eess.SY
Vector-Valued Graph Trend Filtering with Non-Convex Penalties
Carnegie Mellon University(卡内基梅隆大学);Tandon School of Engineering, New York University(纽约大学坦登工程学院)
这项工作研究了分段光滑图信号的去噪,这些信号在图上表现出不均匀的光滑度,其中每个节点处的值可以是向量值。我们扩展了图趋势滤波框架,使用一系列非凸正则化器对向量值图信号进行去噪,这些正则化器比现有的凸正则化器具有更好的恢复性能。利用预言不等式,我们建立了一般图的非凸方法的一阶稳定点的统计错误率。此外,我们提出了一个基于ADMM的算法来解决所提出的方法,并建立其收敛性。在合成和真实数据上进行了数值实验,用于去噪,支持恢复,事件检测和半监督分类。
2019-11-18 cs.LG eess.SP stat.ML
Dual-Frequency Filtering Self-aware Graph Neural Networks for Homophilic and Heterophilic Graphs
Beijing University of Technology(北京工业大学);Beijing Institute of Artificial Intelligence(北京人工智能研究院);Beijing University of Chemical Technology(北京化工大学);The University of Sydney(悉尼大学)
针对图神经网络中拓扑与属性干扰及高频信息丢失问题,提出双频滤波自感知图神经网络DFGNN,通过集成低通高通滤波器、动态调整滤波比例并利用频段间动态对应关系对齐拓扑与属性表示,有效提升了同质图和异质图的分类性能。
2024-11-18 cs.LG
BiGCN: A Bi-directional Low-Pass Filtering Graph Neural Network
Hong Kong University of Science and Technology(香港科技大学);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心)
提出双向低通滤波图神经网络BiGCN,同时利用原始图和特征潜在关联图进行信号过滤,增强鲁棒性和去噪能力,在节点分类和链接预测任务上优于现有方法。
2022-02-16 cs.LG
Clique pooling for graph classification
University of Cambridge(剑桥大学)
我们提出了一种新的图池操作使用团作为单位池。由于这种方法是纯粹的拓扑,而不是特征,它更容易解释,比过滤或修剪技术更好地模拟图像粗化,并且完全非参数化。该操作在图卷积网络(GCN)和GraphSAGE架构中实现,并针对标准图分类基准进行测试。此外,我们还探索了池化与常规图的向后兼容性,在用我们的机制替换标准卷积神经网络(CNN)中的两两池化时,表现出了竞争力。
2019-04-09 cs.LG stat.ML
Online Filtering over Expanding Graphs
Delft Institute of Technology(代尔夫特理工大学)
图上的数据处理任务通过图信号处理工具将驻留在节点上的数据与拓扑耦合。图滤波器就是这样一个突出的工具,已被用于去噪、插值和分类等应用。然而,它们主要用于固定图,尽管许多网络在实践中不断增长,节点不断地连接到拓扑结构。每次新节点连接时重新训练过滤器在计算上要求很高;因此需要适应不断变化的图的在线学习解决方案。我们提出了一个在线更新的过滤器,基于在线机器学习的原则。为了更新过滤器,我们执行在线梯度下降,它具有相对于离线计算的过滤器的可证明的遗憾界。我们展示了我们的方法在传入节点的信号插值的性能。合成和基于图的推荐系统的数值结果表明,所提出的方法相比,离线基线过滤器,同时优于竞争对手的方法。这些发现为扩展图的有效过滤奠定了基础。
2023-01-17 cs.LG eess.SP
Complete the Missing Half: Augmenting Aggregation Filtering with Diversification for Graph Convolutional Networks
McGill University(麦吉尔大学);Mila(米拉研究所);DeepMind(深度思维)
当前图神经网络的核心操作是通过图拉普拉斯算子或消息传递实现的聚合,其过滤邻域节点信息。虽然对各种任务有效,但在本文中,我们表明它们可能是所有GNN方法在某些数据集上学习的潜在问题因素,因为它们迫使节点表示相似,使节点逐渐失去身份并变得不可区分。因此,我们增加了聚合操作与他们的对偶,即多样化运营商,使节点更加独特,并保持身份。这种增强用双通道过滤过程代替聚合,理论上,这有利于丰富节点表示。在实践中,所提出的双通道滤波器可以很容易地在现有的GNN方法上使用不同的训练策略,包括频谱和空间(消息传递)方法。在实验中,我们观察到模型的期望特性和9个节点分类任务的基线上的显着性能提升。
2022-11-02 cs.LG stat.ML
Noisy, sparse, nonlinear: Navigating the Bermuda Triangle of physical inference with deep filtering
University of Cambridge(剑桥大学);Google Research(谷歌研究院)
捕捉决定分子反应性的微观相互作用对物理科学构成了挑战。即使是对潜在反应机制的基本理解也可以大大加快材料和化合物的设计,包括新催化剂或药物的开发。鉴于旨在提高我们对反应机理理解的实验和理论研究经常面临的困难,最近的进展集中在数据驱动的路线上,直接从高通量筛选中获得结构-性质关系。然而,即使是这些高质量、高容量的数据也是嘈杂的、稀疏的和有偏见的,这使得机器学习非常具有挑战性。在这里,我们展示了一种基于非线性特征网络深度过滤的统计方法,该方法产生的物理化学模型比标准机器学习架构更鲁棒、更透明、更通用。使用勤奋的描述符设计和数据后处理,我们使用文献和不对称催化氢化,钯催化的交叉偶联反应和药物-药物协同作用的新数据来验证该方法。我们说明了稀疏模型发现的过滤帮助我们制定物理化学反应“药效团”,调查实验偏差和机制检测和分类的策略。
2019-11-19 cs.LG physics.chem-ph stat.ML
Node-wise Filtering in Graph Neural Networks: A Mixture of Experts Approach
Michigan State University(密歇根州立大学);RIKEN AIP(理化学研究所人工智能项目);Amazon(亚马逊公司)
本文提出Node-MoE框架,通过专家混合机制为不同节点自适应选择滤波器,解决单一全局滤波器在同配与异配混合图中性能不佳的问题,并在两类图上验证了有效性。
2024-06-05 cs.LG
Position: Spectral GNNs Are Neither Spectral Nor Superior for Node Classification
Department of Computer Science, University of Heriot-Watt, Edinburgh, UK(赫瑞-瓦特大学计算机科学系,爱丁堡,英国)
本文指出谱图神经网络在节点分类中未能有效捕捉图谱,其成功更多归因于消息传递动态而非谱方法,且部分模型因实现问题表现不佳。
2026-03-26 cs.LG
A Graph Based Raman Spectral Processing Technique for Exosome Classification
Insight Centre for Data Analytics(数据分析洞察中心);Dublin City University(都柏林城市大学);School of Computing(计算学院);School of Chemical Sciences(化学科学学院);Ho Chi Minh City Open University(胡志明市开放大学)
本研究提出一种基于Neo4j图数据库和PageRank过滤结合最优降维的拉曼光谱处理框架,显著提升外泌体分类准确率,Extra Trees模型在两组实验中分别达到0.76和0.857的准确率。
2025-04-21 cs.AI cs.IT cs.LG