Robustness Analysis of Classification Using Recurrent Neural Networks with Perturbed Sequential Input
Lehigh University(理海大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
对于一个给定的稳定的递归神经网络(RNN),训练使用顺序输入执行分类任务,我们量化显式的鲁棒性边界作为可训练的权重矩阵的函数。顺序输入可以以各种方式被扰动,例如,流图像可能由于机器人运动或不完美的相机镜头而变形。使用稳定RNN的沃罗诺伊图和Lipschitz性质的概念,我们提供了一个彻底的分析和表征最大允许扰动,同时保证分类任务的完全准确性。我们说明和验证我们的理论结果使用地图数据集与云以及MNIST数据集。
2022-03-10 cs.LG
Classification of Long Sequential Data using Circular Dilated Convolutional Neural Networks
Norwegian University of Science and Technology(挪威科技大学)
长序列数据的分类是机器学习的一项重要任务,在许多应用场景中都有出现。递归神经网络、Transformers和卷积神经网络是从序列数据中学习的三种主要技术。在这些方法中,时间卷积网络(TCN),可扩展到很长的序列,在时间序列回归取得了显着的进展。然而,TCN的序列分类的性能并不令人满意,因为它们使用一个倾斜的连接协议和输出类在最后的位置。这种不对称性限制了它们对依赖于整个序列的分类的性能。在这项工作中,我们提出了一种称为圆形扩张卷积神经网络(CDIL-CNN)的对称多尺度架构,其中每个位置都有相等的机会从先前层的其他位置接收信息。我们的模型在所有位置都给出了分类逻辑,我们可以应用一个简单的集成学习来实现更好的决策。我们已经在各种长序列数据集上测试了CDIL-CNN。实验结果表明,我们的方法具有优越的性能超过许多国家的最先进的方法。
2022-05-27 cs.LG
Application of Fuzzy Rule based System for Highway Research Board Classification of Soils
RV College of Engineering(RV工程学院);University Visveswaraya College of Engineering(维斯瓦拉亚大学工程学院)
基于模糊规则的模型是模仿人类思维方式和解决不确定性相关问题的有力工具,因为它允许可理解和可解释的规则库。本文的目的是研究的适用性模糊规则为基础的建模,以量化土壤分类的工程目的,定性考虑土壤指标的属性。公路研究委员会的分类系统被认为是说明一个模糊规则为基础的模型。利用三角函数对土壤指标属性进行模糊化,并计算模糊隶属度值。模糊算术运算符,然后施加到分类获得的成员值。采用模糊决策树分类算法,推导出模糊“若-则”规则,实现土壤分类的量化。该系统在MATLAB中实现。所获得的结果进行检查,并对实验室测试的结果测量所提出的模型的实施。
2020-05-10 cs.AI cs.LG
Optimal Multiple Stopping Rule for Warm-Starting Sequential Selection
Université Paris-Saclay(巴黎萨克雷大学);ENS Paris-Saclay(巴黎萨克雷高等师范学院);CNRS(法国国家科学研究中心);Centre Borelli(博雷利中心)
在本文中,我们提出了热启动动态排队算法,开发使用动态规划,标准的在线选择问题的一个变种。该问题允许工作位置在过程开始时是空闲的或已经被占用。在整个选拔过程中,决策者会一个接一个地面试新的候选人,并为他们每个人公布一个质量分数。根据这些信息,她可以通过立即做出不可撤销的决定,最多(重新)分配一次工作。我们放宽了硬性要求的类动态规划算法,完全知道的分布,从该分布的候选人的分数绘制,通过提出扩展的部分和无信息的情况下,决策者可以学习的基本分数分布顺序,而面试的候选人。
2020-02-12 cs.AI cs.DS cs.LG
Preventing the Generation of Inconsistent Sets of Classification Rules
Federal University of São Carlos(圣保罗联邦大学);Department of Computer Science Federal University of São Carlos(圣保罗联邦大学计算机科学系)
近年来,对可解释分类模型的兴趣不断增长。改进基于规则的分类模型的可解释性的方法之一是使用规则集(无序集合),而不是规则列表(有序集合)。与集合相关的问题之一是,多个规则可能覆盖单个实例,但为它预测不同的类,因此需要冲突解决策略。在这项工作中,我们提出了两个算法,能够找到特征空间区域内的任何创建的规则将与现有的规则一致,防止出现不一致。我们的算法不生成分类模型,而是为了增强这样做的算法,例如学习分类器系统。这两种算法的描述和分析完全从理论的角度来看,因为我们还没有修改模型生成算法,将我们提出的解决方案。这项工作提出了新颖的冲突避免策略,而不是冲突解决策略。
2020-03-30 cs.AI cs.LG
Translating the Rashomon Effect to Sequential Decision-Making Tasks
本文将拉什omon效应应用于序列决策任务,定义多个行为一致但结构不同的策略,并通过形式验证方法展示其在鲁棒性和计算效率上的优势。
2025-12-19 cs.AI cs.LG
AdaBoost-assisted Extreme Learning Machine for Efficient Online Sequential Classification
National Taiwan University(台湾大学)
在本文中,我们提出了一个AdaBoost辅助的极端学习机有效的在线顺序分类(AOS-ELM)。为了在在线顺序学习场景中获得更好的准确率,我们利用代价敏感算法AdaBoost,使弱分类器多样化,并加入遗忘机制,从而稳定训练过程中的性能。因此,AOS-ELM更好地适应顺序到达的数据相比,其他基于投票的方法。实验结果表明,AOS-ELM在MNIST数据集上的准确率达到94.41%,这是原始批处理学习算法AdaBoost-ELM的理论准确率界限。此外,通过遗忘机制,在线顺序学习过程中的准确率标准差降低到8.26倍。
2019-09-16 cs.LG stat.ML
Interpretable Two-level Boolean Rule Learning for Classification
Massachusetts Institute of Technology(麻省理工学院);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心)
本文提出了一种基于合取范式(CNF,即AND-of-OR)或析取范式(DNF,即OR-of-AND)的两级布尔规则的学习算法,旨在实现分类精度和规则简单性之间的良好平衡。提出了两种提法。第一种是整数规划,其目标函数是错误总数和规则中使用的特征总数的组合。我们推广了以前提出的线性规划(LP)松弛从一级到两级的规则。第二个公式取代0-1的分类误差与汉明距离从当前的两级规则的最接近的规则,正确分类的样本。基于这第二个配方,块坐标下降和交替最小化算法的开发。实验结果表明,两级规则的建模能力明显优于一级规则,基于汉明距离公式的两种算法总体上优于其他两级规则学习方法.一个建议的方法来二进制化任何分数值的LP松弛的最佳解决方案也被证明是有效的。
2015-11-23 cs.AI cs.LG
Constraint-aware Learning of Probabilistic Sequential Models for Multi-Label Classification
Ukrainian Catholic University Lviv Ukraine;HUN-REN Alfr\' e d R\' e nyi Institute of Mathematics E \"o tv \"o s Lor\' a nd University Budapest Hungary;University of Oxford Oxford UK;Ukrainian Catholic University;HUN-REN Alfr\' e d R\' e nyi Institute of Mathematics;E \"o tv \"o s Lor\' a nd University;University of Oxford
本文研究带逻辑约束的大规模多标签分类,提出将单标签分类器接入表达性序列模型以建模联合分布,并实验证明该架构能在训练中利用约束、在推理时强制执行约束。
2025-07-20 cs.AI cs.LG cs.LO
Images as Weight Matrices: Sequential Image Generation Through Synaptic Learning Rules
The Swiss AI Lab, IDSIA(瑞士人工智能实验室(IDSIA));USI(瑞士意大利语区大学);SUPSI(瑞士意大利语区应用科学大学);KAUST(阿卜杜拉国王科技大学)
快速权重程序员的工作已经证明了基于键/值外积的学习规则的有效性,用于通过另一个NN或其自身顺序生成神经网络(NN)的权重矩阵(WM)。然而,权重生成步骤通常不能被人类视觉上解释,因为存储在NN的WM中的内容不是。在这里,我们应用相同的原理来生成自然图像。由此产生的快速权重画家(FPA)学习执行增量学习规则序列,以顺序生成图像作为自发明的键和值的外积之和,一次一个等级,就好像每个图像是NN的WM一样。我们在生成对抗网络框架中训练我们的FPA,并在各种图像数据集上进行评估。我们展示了这些通用的学习规则如何生成具有可观视觉质量的图像,而无需对图像进行任何明确的归纳。虽然性能在很大程度上落后于最先进的图像生成器,但我们的方法允许可视化突触学习规则如何迭代产生复杂的连接模式,从而产生人类可解释的有意义的图像。最后,我们还证明了FPA输出端的额外卷积U-Net(现在在扩散模型中很流行)可以学习FPA生成图像的一步“去噪”,以提高其质量。代码是公开的。
2023-02-28 cs.CV cs.LG cs.NE
Classification with Costly Features as a Sequential Decision-Making Problem
Czech Technical University in Prague(布拉格捷克理工大学)
这项工作的重点是一个具体的分类问题,其中有关样本的信息是不容易获得的,但必须获得的成本,并有一个每个样本的预算。受现实世界用例的启发,我们分析了直接指定预算的平均和硬变化。我们假设问题的显式公式,然后将其转换为等价的MDP,可以用深度强化学习解决。此外,我们评估了一个真实世界的启发设置与稀疏训练数据集缺失的功能。所提出的方法在几个不同的数据集的所有设置中表现良好,优于其他现有技术的算法。该方法是灵活的,正如所有提到的修改所展示的那样,并且可以通过RL中的任何领域独立的进步来改进。
2019-09-05 cs.AI cs.LG stat.ML
Optimally Efficient Sequential Calibration of Binary Classifiers to Minimize Classification Error
在这项工作中,我们的目标是通过找到一个“最优”映射到类概率,其中的“最优”映射是在这个意义上,最大限度地减少分类错误(或等价地,最大限度地提高准确性),校准的二进制分类问题的估计器的得分输出。我们表明,对于给定的目标变量和分数输出的估计,一个“最佳”的软映射,单调映射的得分值的概率,是一个硬映射的得分值映射到$0$和$1$。我们表明,类加权(其中一个类的准确性是更重要的)和样本加权(其中样本的准确分类是不同等重要的)的错误,甚至一般的线性损失,这种硬映射特性被保留。我们提出了一个顺序递归合并的方法,它产生一个“最佳”硬映射(到目前为止观察到的样本)顺序与每个传入的新样本。我们的方法具有对数的样本大小的时间复杂度,这是最佳的效率。
2021-08-19 cs.CC cs.LG
Sequential Short-Text Classification with Recurrent and Convolutional Neural Networks
MIT(麻省理工学院)
最近的方法基于人工神经网络(ANN)的短文本分类显示出可喜的成果。然而,许多短文本是按顺序出现的(例如,文档中的句子或对话中的话语),并且大多数现有的基于ANN的系统在对后续文本进行分类时不利用前面的短文本。在这项工作中,我们提出了一个基于递归神经网络和卷积神经网络的模型,它结合了前面的短文本。我们的模型在三个不同的对话行为预测数据集上实现了最先进的结果。
2016-03-12 cs.AI cs.CL cs.LG
Classification with Trust: A Supervised Approach based on Sequential Ellipsoidal Partitioning
International Institute of Information Technology Bangalore(班加罗尔国际信息技术研究所)
分类器性能的标准度量,例如准确性和灵敏度,并不揭示对数据预测标签的信任或信心。虽然其他度量,如标签的计算概率或与超平面的有符号距离可以作为信任度量,但这些都受到启发式阈值的影响。本文提出了一种基于凸优化的监督分类器,该分类器将数据集顺序地划分为多个椭球,每个椭球包含几乎所有相同标签的点。通过陈述基于该划分的分类规则,然后应用贝叶斯公式来计算分配给根据这些规则确定的测试数据点的标签的信任得分。所提出的序贯椭圆分割分类器(SEP-C)暴露了数据集的不规则性,例如重叠程度,而不需要单独的探索性数据分析。没有超参数的分类规则也不受类别不平衡、底层数据分布或特征数量的影响。当数据集不是线性可分的时,SEP-C不需要使用非线性内核。SEP-C的性能以及与其他方法的比较在XOR问题、圆数据集和其他开源数据集上得到了证明。
2023-02-21 cs.LG
Sequential Feature Classification in the Context of Redundancies
Bielefeld University(比勒费尔德大学)
所有相关特征选择的问题涉及找到保留冗余的相关特征集。有几种近似方法可以解决这个问题,但只有一种方法可以区分强相关性和弱相关性。这种方法仅限于线性问题的情况。在这项工作中,我们提出了一个新的解决方案,这种区别在非线性的情况下,通过使用随机森林模型和统计方法。
2020-04-15 cs.LG stat.ML
Unsupervised Sequence Classification using Sequential Output Statistics
Microsoft Research(微软研究院)
我们考虑使用序列输出统计来学习没有标记数据的序列分类器。该问题是非常有价值的,因为在训练数据中获得标签通常是昂贵的,而顺序输出统计(例如,语言模型)可以独立于输入数据获得,因此成本低或没有成本。为了解决这个问题,我们提出了一个无监督学习成本函数,并研究其性质。我们表明,与早期的作品相比,它是不太倾向于被困在平凡的解决方案,并避免了需要一个强大的生成模型。虽然它的函数形式的优化是困难的,随机原始-对偶梯度法的发展,有效地解决问题。在真实数据集上的实验结果表明,新的无监督学习方法给出了显着低于其他基线方法的错误。具体地说,它达到的测试误差约为完全监督学习的两倍。
2017-05-26 cs.LG
Sequential Convolutional Recurrent Neural Networks for Fast Automatic Modulation Classification
Science and Technology on Electronic Information Control Laboratory(电子信息控制科技实验室)
针对无线频谱监测应用,提出了一种新型高效的自动调制分类端到端学习模型,该模型能够从时域同相和正交数据中自动学习,无需手工设计专家特征。利用卷积层的直觉,池化作为前端特征提取和降维的作用,开发了顺序卷积递归神经网络,以利用卷积神经网络的并行计算能力和递归神经网络的时间敏感性。实验结果表明,该结构在信噪比大于-10 dB的范围内具有较好的分类性能,在高信噪比范围内,分类准确率从80%提高到92.1%,同时平均训练时间和预测时间分别减少了约74%和67%.通过所提出的架构学习的响应模式被可视化,以更好地理解模型的物理特性。此外,进行了比较研究,以调查各种顺序卷积递归神经网络结构设置对分类性能的影响。一个具有代表性的顺序卷积递归神经网络架构的两层卷积神经网络和随后的两层长短期记忆神经网络的开发建议的选择快速自动调制分类。
2021-01-20 cs.LG eess.SP
Sequential Naive Learning
Technion: The Israel Institute of Technology(以色列理工学院);IESE Business School, University of Navarra(纳瓦拉大学IESE商学院)
我们分析了有界理性更新的二元行动和二元状态的模型中的聚合统计。每个代理在观察到先前的无序动作集后,按顺序采取不可逆的动作。每个智能体首先基于总统计量形成她的先验,然后基于贝叶斯规则将她的信号与先验结合起来,最后应用一个决策规则,为每个信念分配一个(混合)动作。如果先验是根据离散化的DeGroot规则形成的,则动作收敛到状态(概率上),即,\emph{asymptotic learning},当且仅当决策规则满足概率匹配。这一结果推广到未指定的信息设置,其中信息结构不同的代理和代理只知道生成自己的信号的信息结构。此外,主要结果扩展到$n$状态和$n$动作的情况。
2021-01-08 cs.GT cs.LG
A Massive Local Rules Search Approach to the Classification Problem
针对机器学习中的分类问题,提出了一种基于局部分类规则的分类方法。局部规则被认为是全局分类规则对我们想要分类的事件的投影。质量指标的优化采用大规模全局优化算法。该算法在典型情况下具有多项式复杂度,用于发现所有高质量的局部规则。该算法的另一个显著特点是将属性层次选择(有序属性)与规则搜索和冲突规则消解策略相结合。算法实用性强;在UCI数据库的数据集上进行了测试,并与其他预测技术进行了比较。
2006-09-03 cs.LG
Sequential Classification with Empirically Observed Statistics
University of Toronto(多伦多大学);National University of Singapore(新加坡国立大学)
受现实世界的机器学习应用的启发,我们考虑了测试样本顺序到达的顺序设置中的统计分类任务。此外,生成的分布是未知的,只有一组经验采样序列可供决策者使用。决策者的任务是分类的测试序列,这是已知的根据任一分布生成。特别地,对于二元情况,决策者希望用最少数量的测试样本执行分类任务,因此,在每一步,她声明假设1为真,假设2为真,或者她请求额外的测试样本。我们提出了一个分类器,并分析了第一和第二类错误的概率。我们证明了显着的优势,我们的顺序计划相比,现有的非顺序分类古特曼提出的。最后,我们将我们的设置和结果扩展到多类分类场景,并再次证明了问题的可变长度性质提供了显着的优势,因为人们可以实现与古特曼的固定长度设置相同的指数集,但没有拒绝选项。
2021-02-10 cs.IT cs.LG math.IT
Discovering Sequential Patterns in a UK General Practice Database
University of Nottingham(诺丁汉大学)
计算机化的医疗信息的财富变得容易获得提供了机会来检查疾病,治疗和反应的模式。这些模式可能能够预测患者可能发展的疾病,从而允许实施预防措施。本文将序列规则挖掘应用于全科医学数据库,以发现涉及患者年龄,性别和病史的规则。通过将这些规则纳入当前的医疗保健,可以根据过去或当前的疾病、性别和出生年份,突出显示患者对未来疾病的易感性。这种知识能够大大改善保健和降低保健费用。
2013-07-04 cs.CE cs.LG stat.AP
Unsupervised Ensemble Classification with Sequential and Networked Data
University of Minnesota(明尼苏达大学)
包围学习是一种结合多种算法的机器学习范式,在各种任务中表现出了良好的性能。目前的工作重点是无监督集成分类。术语无监督是指集成组合器不知道每个分类器已经训练过的地面真实标签。数据,目前的工作介绍了一个无监督的计划,从合奏的分类器中存在的数据依赖关系的学习。两种类型的数据依赖关系被认为是:顺序数据和网络数据的依赖关系被捕获的图形。矩匹配和期望最大化算法开发上述情况下,其性能进行评估的合成和真实的数据集。
2020-12-20 cs.LG eess.SP stat.ML
Incremental Structure Discovery of Classification via Sequential Monte Carlo
Key Laboratory of High Confidence Software Technologies (Peking University)(高可信软件技术重点实验室(北京大学));School of Computer Science, Peking University(北京大学计算机学院)
针对高斯过程分类依赖先验知识、难以适配在线数据特征偏移的问题,本文提出结合序贯蒙特卡洛的增量结构发现方法,可自动学习分类结构,在真实数据上准确率提升达10%。
2024-08-15 cs.LG stat.ML
Sequential Binary Classification for Intrusion Detection
Ericsson(爱立信)
针对IDS数据集类别不平衡影响ML模型性能的问题,提出序列二进制分类(SBC)分层级联结构方法,实验证明该结构方法在基准IDS数据集上是处理多分类类别不平衡的可行方案。
2025-02-13 cs.CR cs.LG cs.NI
Mining Negative Sequential Patterns to Improve Viral Genomic Feature Representation and Classification
College of Information Science and Technology, Jinan University, Guangzhou 510632, China(信息科学与技术学院,暨南大学,广州510632,中国);College of Cyber Security, Jinan University, Guangzhou 510632, China(网络安全学院,暨南大学,广州510632,中国)
本文提出GeneNSPCla框架,通过挖掘RNA病毒基因组中的负序列模式提取判别性缺失特征,提升病毒分类准确性,实验表明在8种分类器中平均准确率提升24.75%。
2026-04-28 cs.DB cs.LG
Power Quality Event Recognition and Classification Using an Online Sequential Extreme Learning Machine Network based on Wavelets
降低系统可靠性和提高维护成本可能是电力质量差的后果,这可能会干扰设备的正常性能,加速老化,甚至导致彻底的故障。本研究实作并测试一个以小波为基础的线上序列极端学习机(OS-ELM)分类器原型,以侦测暂态条件下的电能质量问题。为了建立分类器,OSELM网络模型和离散小波变换(DWT)方法相结合。首先,利用离散小波变换(DWT)的多分辨率分析(MRA)提取失真信号在不同分辨率下的特征。OSELM然后通过瞬态持续时间和能量特征对检索到的数据进行分类,以确定干扰的类型。该方法可以在不改变信号原始质量的前提下,最大限度地减少大量失真信号的特征量,从而节省了存储空间和处理时间。使用几种类型的瞬态事件来证明分类器检测和分类各种类型的功率扰动的能力,包括暂降、暂升、瞬时中断、振荡瞬态、谐波、缺口、尖峰、闪烁、暂降暂升、暂降损害、暂升转换、暂降尖峰和暂升尖峰。
2022-12-27 cs.AI cs.LG eess.SP
A Nested Genetic Algorithm for Explaining Classification Data Sets with Decision Rules
Fraunhofer Institute for Manufacturing Engineering and Automation IPA(弗劳恩霍夫制造工程与自动化研究所(IPA));University of Stuttgart(斯图加特大学)
我们在本文中的目标是自动提取一组决策规则(规则集),最好地解释了分类数据集。首先,从在数据集上训练的一组决策树中提取大的决策规则集。规则集应简明、准确,具有最大的覆盖范围和最少的不一致性。这个问题可以被形式化为加权预算最大覆盖问题的修改版本,已知为NP-难。为了有效地解决组合优化问题,我们引入了一个嵌套的遗传算法,然后我们使用它来获得十个公共数据集的解释。
2022-08-23 cs.AI cs.LG cs.NE
Guaranteed Fixed-Confidence Best Arm Identification in Multi-Armed Bandits: Simple Sequential Elimination Algorithms
University of Southern California(南加州大学)
我们考虑的问题,通过自适应采样,$n$选项(武器)具有最大的平均值。我们的目标是确定一个规则,确定一个固定的最低置信度,使用尽可能少的观察,即最好的武器,这是一个固定的信心(FC)最好的武器识别(BAI)在多武装匪徒。我们研究这样的问题下的贝叶斯设置与伯努利和高斯武器。我们建议使用经典的“向量在一个时间”(VT)的规则,采样每个剩余的手臂在每一轮。我们展示了如何VT可以实现和分析在我们的贝叶斯设置,并通过早期消除得到改善。我们的分析表明,这些算法保证了一个最优的策略下的先验。我们还提出并分析了一个变种的经典的“发挥赢家”(PW)算法。数值结果表明,这些规则与最先进的算法相比毫不逊色。
2022-03-15 cs.LG
Efficient learning of large sets of locally optimal classification rules
Johannes Kepler University Linz(林茨约翰·开普勒大学)
传统的规则学习算法的目标是找到一组简单的规则,其中每个规则覆盖尽可能多的例子。在本文中,我们认为,以这种方式发现的规则可能不是他们所涵盖的每个例子的最佳解释。相反,我们提出了一个有效的算法,旨在找到最好的规则,覆盖每个训练样本在一个贪婪的优化组成的一个专业化和一个泛化循环。这些局部最优的规则被收集,然后过滤的最终规则集,这是远远大于传统的规则学习算法学习的集合。通过选择覆盖该示例的规则中的最佳规则来对新示例进行分类。在我们对小到非常大的数据集的实验中,该方法的平均分类准确率高于最先进的规则学习算法。此外,该算法是高效的,可以固有地并行处理,而不影响学习的规则集,从而分类精度。因此,我们相信,它关闭了一个重要的差距,大规模的分类规则归纳。
2023-01-26 cs.LG
Effective Sequential Classifier Training for SVM-based Multitemporal Remote Sensing Image Classification
The University of New South Wales(新南威尔士大学)
遥感图像的爆炸性可用性已经挑战了监督分类算法,如支持向量机(SVM),由于训练样本往往是非常有限的,由于昂贵和费力的地面真实任务。多时相图像之间的时间相关性和光谱相似性为缓解这一问题提供了机会。在这项研究中,一个基于SVM的序贯分类器训练(SCT-SVM)方法提出了多时相遥感图像分类。该方法利用先前图像的分类器来减少输入图像的分类器训练所需的训练样本的数量。对于每个输入图像,首先根据一组先前分类器的时间趋势预测粗略分类器。然后,预测的分类器被微调到具有当前训练样本的更准确的位置。这种方法可以逐步应用于连续的图像数据,从每个图像中只需要少量的训练样本。Sentinel-2A多时相数据在澳大利亚的一个农业区进行了实验。实验结果表明,与现有的两种模型传递算法相比,SCT-SVM具有更好的分类精度。当训练数据不足时,与没有先前图像的辅助相比,所提出的SCT-SVM对输入图像的总体分类准确率从76.18%提高到94.02%。这些结果表明,利用先验信息从以前的图像可以提供有利的帮助,为以后的图像在多时间图像分类。
2018-01-17 cs.CV cs.LG
An Adaptive Online HDP-HMM for Segmentation and Classification of Sequential Data
University of Technology, Sydney(悉尼科技大学)
近年来,对理解顺序数据的期望和需求一直在增加,特别是对诸如患者监测、理解日常活动、视频监控、股票市场等顺序上下文的兴趣。随着数据的不断流动,关键是要对动态观测进行分类和分段,而不限于严格的类别数量。此外,该模型需要能够更新其参数,以符合可能的演变。这个有趣的问题,但是,没有充分解决的文献,因为许多研究集中在离线分类在一个预先定义的类集。在本文中,我们提出了一个原则性的解决方案,通过引入一个自适应在线系统的基础上马尔可夫切换模型与分层狄利克雷过程先验。这种无限自适应在线方法能够在无限数量的类上对序列数据进行分割和分类,同时满足流上下文的内存和延迟约束。通过引入学习率来进一步增强模型,负责平衡模型维持其先前学习(参数)或适应新流式观测的程度。在固定和不断发展的合成数据和两个视频数据集TUM Assistive Kitchen和collatedWeizmann的几个变体上的实验结果显示出在分割和分类方面的出色性能,特别是对于具有变化的分布和/或包含新的、看不见的类的进化序列。
2015-03-13 cs.LG stat.ML
Employing Iterative Feature Selection in Fuzzy Rule-Based Binary Classification
Northwestern Polytechnical University(西北工业大学);Research & Development Institute of Northwestern Polytechnical University in Shenzhen(西北工业大学深圳研究院)
针对传统二分类特征选择与规则模糊信息利用不足的问题,提出结合模糊相关族特征选择与双聚类规则挖掘的迭代特征选择模糊规则二分类算法,经Adaptive Boosting选优弱分类器构建强分类器,性能优于同类方法。
2024-01-26 cs.LG
Classification Based on Association Rules Algorithm for Breast Cancer
University of Sharjah(沙迦大学)
本文提出一种基于加权分类的关联规则数据挖掘方法用于乳腺癌分类,通过规则生成、剪枝和预测三个核心算法实现,并在测试样本上验证了其可行性和性能。
2026-10-02 cs.LG
Cross-Domain Multi-Task Learning for Sequential Sentence Classification in Research Papers
TIB – Leibniz Information Centre for Science and Technology(莱布尼茨科技信息中心);L3S Research Center(L3S研究中心)
顺序句子分类处理基于其内容和上下文的句子分类。应用于科学文本,它使研究论文的自动结构和学术搜索引擎的改进。然而,以前的工作还没有调查的潜力,迁移学习的句子分类在不同的科学领域和不同的文本结构的问题,全文和摘要。在本文中,我们得出了七个相关的研究问题,并提出了几个贡献,以解决这些问题:首先,我们提出了一种新的统一的深度学习架构和多任务学习的跨域顺序句子分类在科学文本。其次,我们定制了两种常见的迁移学习方法,顺序迁移学习和多任务学习,以应对给定任务的挑战。任务的语义相关性是神经模型成功迁移学习的前提。因此,我们的第三个贡献是半自动识别语义相关的类从不同的注释方案的方法,我们提出了四个注释方案的分析。综合实验结果表明,模型,这是从不同的科学领域的数据集训练,受益于彼此时,使用所提出的多任务学习架构。我们还报告与几个国家的最先进的方法的比较。我们的方法在全文数据集上的表现明显优于最先进的方法,而在由摘要组成的数据集上则是如此。
2022-03-18 cs.CL cs.IR cs.LG
Efficient Sequential Evaluation of Large Language Models
研究在固定问题集上顺序评估新大语言模型,基于历史数据构建置信序列,提出增长导向查询规则,分析影响收缩率因素并提出混合查询规则,实验发现简单的均匀采样有时表现更好。
2026-07-21 cs.LG stat.ME stat.ML
Sequential Classification of Misinformation
Tel Aviv university(特拉维夫大学)
针对社交网络信息流的在线多类错误信息识别问题,提出图概率模型及多重序贯概率比检验与图神经网络序贯决策算法,并验证其更优。
2024-09-07 cs.LG cs.SI
A Voting Approach for Explainable Classification with Rule Learning
University of Innsbruck(因斯布鲁克大学);Data Lab Hell GmbH(达尔实验室赫尔有限责任公司)
针对深度神经网络等最优分类方法不可解释、普通规则学习方法准确率偏低的问题,提出融合两类方法的投票方法,兼具可解释性与媲美最优方法的分类性能。
2024-03-08 cs.LG
Conformal Rule-Based Multi-label Classification
Paderborn University(帕德博恩大学);Johannes Kepler University(约翰内斯·开普勒大学);Technical University Darmstadt(达姆施塔特工业大学)
我们提倡使用共形预测(CP)来增强基于规则的多标签分类(MLC)。特别是,我们强调了CP和规则学习的共同利益:规则能够提供CP所需的自然(非)一致性分数,而CP建议了一种校准候选规则评估的方法,从而支持更好的预测和更精细的决策。我们说明了潜在的有用性校准一致性分数在懒惰的多标签规则学习的案例研究。
2020-07-16 cs.LG stat.ML
Generalization of metric classification algorithms for sequences classification and labelling
Bauman Moscow State Technical University(莫斯科鲍曼国立技术大学)
本文讨论了度量分类算法的改进问题。特别是,它研究了算法的k-最近的邻居,其应用程序的顺序数据。提出了一种度量分类算法的推广方法。作为它的一部分,已经开发了一种算法来解决序列数据的分类和标记问题。文中还讨论了所开发的分类算法与现有算法相比的优点。在开放数据集CoNLL 2000上进行了组块识别实验,并与CRF算法进行了比较。
2016-12-16 cs.CL cs.LG
Capturing Temporal Components for Time Series Classification
Oklahoma State University(俄克拉荷马州立大学);Auburn University(奥本大学)
针对现有时间序列分类方法难以泛化到长序列的问题,提出基于多尺度变化空间的无监督分割与多任务组合表征学习方法,在分类和无监督分割基准上均取得有竞争力的结果。
2024-06-20 cs.CV cs.LG
Machine Learning on Sequential Data Using a Recurrent Weighted Average
UT Southwestern Medical Center(德克萨斯大学西南医学中心)
递归神经网络(RNN)是一种设计用于处理序列数据的统计模型。模型一次读取一个序列的一个符号。基于从先前符号收集的信息来处理每个符号。对于现有的RNN架构,每个符号仅使用来自先前处理步骤的信息进行处理。为了克服这一限制,我们提出了一种新的RNN模型,它在过去的每个处理步骤中计算递归加权平均值(RWA)。由于RWA可以计算为运行平均值,因此计算开销与任何其他RNN架构类似。该方法基本上将注意力机制重新表述为一个独立的模型。的RWA模型的性能进行评估的变量复制问题,添加问题,人工语法的分类,按长度的序列分类,和分类的MNIST图像(其中的像素顺序读取一个在一个时间)。在几乎每一项任务上,RWA模型都优于标准LSTM模型。
2017-05-04 cs.LG stat.ML
Sequential Targeting: an incremental learning approach for data imbalance in text classification
Korea University(高丽大学);NAVER;Yonsei University(延世大学);Naver Corp.(Naver公司);TU Kaiserslautern(凯泽斯劳滕工业大学);Korea Institute of Science and Technology Europe Forschungsgesellschaft mbH(韩国科学技术研究院欧洲研究所有限公司)
分类任务需要数据的均衡分布,以确保学习者被训练为在所有类上进行概括。然而,在现实世界的数据集中,实例的数量在类之间有很大的差异。这通常会导致学习者由于其主导属性而促进对多数群体的偏见。因此,处理不平衡数据集的方法对于减轻分布偏斜和充分利用代表性不足的数据至关重要,特别是在文本分类中。在解决文本数据不平衡的问题时,大多数方法都是利用抽样方法对数据进行数值表示,这限制了其表示效率。我们提出了一种新的训练方法,顺序定向(ST),独立的表示方法的有效性,它通过将数据分成互斥的子集和自适应地训练学习者来执行增量学习设置。为了解决增量学习中出现的问题,我们应用了弹性权重合并。我们证明了我们的方法的有效性,通过实验模拟基准数据集(IMDB)和NAVER收集的数据。
2020-11-23 cs.CL cs.IR cs.LG
Sequential Embedding-based Attentive (SEA) classifier for malware classification
National University of Computer and Emerging Sciences(国立计算机与新兴科学大学);NED University of Engineering and Technology(NED工程技术大学)
智能设备的巨大增长带来了一些安全威胁。最突出的威胁之一是恶意软件,也称为恶意软件。恶意软件有能力破坏设备并破坏整个网络。因此,及早发现和减轻其影响对于避免灾难性影响极为重要。在这项工作中,我们提出了一个使用最先进的自然语言处理(NLP)技术进行恶意软件检测的解决方案。我们的主要重点是提供一个轻量级的,但有效的恶意软件检测分类器,可用于异构设备,无论是资源约束设备或资源丰富的机器。我们提出的模型进行了测试的基准数据集的准确性和日志损失得分分别为99.13%和0.04。
2023-02-11 cs.CR cs.LG
On the Product Rule for Classification Problems
New York University(纽约大学)
我们讨论了理论方面的产品规则的分类问题,在监督机器学习的情况下,结合分类器。我们证明了:(1)乘积规则源于MAP分类器假设等价先验和条件独立性,(2)在一定条件下,乘积规则等价于最小化与不同特征相关的类到各自中心的平方距离之和,这种距离由类的分布加权;(3)在一定的假设条件下,乘积规则等价于特征向量的连接。
2013-01-17 cs.CV cs.LG stat.ML
A Data-Efficient Sequential Learning Framework for Melt Pool Defect Classification in Laser Powder Bed Fusion
West Virginia University(西弗吉尼亚大学);University of South Carolina(南卡罗来纳大学)
提出SL-RF+框架,结合随机森林、最小置信度采样和Sobol序列合成采样,在数据稀缺环境下高效选择信息样本细化决策边界,提升激光粉末床熔融熔池缺陷分类性能。
2024-11-16 cond-mat.mtrl-sci cs.CE cs.LG
AdaBatch: Efficient Gradient Aggregation Rules for Sequential and Parallel Stochastic Gradient Methods
Facebook AI Research(Facebook人工智能研究院);École Normale Supérieure(巴黎高等师范学院)
我们研究了一个新的聚合算子的梯度来自一个小批量的随机梯度(SG)方法,允许显着的速度在稀疏优化问题的情况下。我们将此方法称为AdaBatch,与常规的mini-batch SGD算法相比,它只需要几行代码更改。我们提供了一个理论上的见解,以了解这类新的算法是如何执行的,并表明它相当于一个隐式的每坐标重新缩放的梯度,类似于Adagrad方法可以做什么。在理论和实践中,这种新的聚合允许保持相同的样本效率的SG方法,同时增加批量大小。实验上,我们还表明,在光滑凸优化的情况下,我们的程序甚至可以获得更好的损失时,增加批量大小为固定数量的样本。然后,我们应用这个新的算法,以获得一个可并行的随机梯度方法,是同步的,但允许与Hogwild看齐的速度!方法的收敛性不会随着批量大小的增加而恶化。同样的方法可以用来使小批量证明有效的方差减少SG方法,如SVRG。
2017-11-06 cs.LG math.OC stat.ML
Discovery of Shifting Patterns in Sequence Classification
University of Minnesota(明尼苏达大学)
本文从多示例学习的角度研究了多变量序列分类问题。真实世界的序列数据通常只在特定的时间段显示出有区别的模式。例如,我们可以在生长季节识别农田,但它看起来类似于收获后或种植前的贫瘠土地。此外,即使在同一类中,判别模式也可能出现在不同的时序数据周期中。由于这种性质,这些区别性图案也被称为移位图案。在没有足够的训练数据的情况下,序列数据中的移位模式严重降低了传统分类方法的性能。提出了一种新的序列分类方法,通过自动挖掘多变量序列的移动模式。该方法采用多实例学习方法来检测移位模式,同时还通过LSTM模型对每个多实例包内的时间关系进行建模,以进一步提高分类性能。我们广泛地评估我们的方法在两个现实世界的应用-耕地映射和情感状态识别。实验表明,我们提出的方法在序列分类性能和检测歧视性移位模式的优越性。
2017-12-19 cs.LG stat.ML
GuideR: a guided separate-and-conquer rule learning in classification, regression, and survival settings
Silesian University of Technology(西里西亚工业大学);Institute of Innovative Technologies, EMAG(EMAG创新技术研究所)
本文提出了一种用户引导的规则归纳算法GuideR,它克服了现有方法的最大局限性--无法将用户的偏好或领域知识引入规则学习过程。属性和属性范围的自动选择通常会导致结果规则不包含感兴趣的信息的情况。我们提出了一个归纳算法,考虑到用户的要求。我们的方法使用顺序覆盖方法,适用于分类,回归和生存分析问题。该算法在所有这些任务中的有效性已被实验验证,确认引导规则归纳是一个强大的数据分析工具。
2018-06-05 cs.LG stat.ML
Adaptive Malware Detection using Sequential Feature Selection: A Dueling Double Deep Q-Network (D3QN) Framework for Intelligent Classification
Department of Computer Science and Engineering, Hamad Bin Khalifa University(计算机科学与工程系,哈马德·本·卡西姆大学);Qatar Computing Research Institute, Hamad Bin Khalifa University(卡塔尔计算研究所,哈马德·本·卡西姆大学)
本文提出D3QN强化学习框架,将恶意软件分类建模为马尔可夫决策过程,通过自适应序列特征选择在Microsoft Big2015和BODMAS数据集上以极少特征实现高准确率和显著计算效率提升。
2025-07-06 cs.CR cs.LG
Applications of Sequential Learning for Medical Image Classification
Johns Hopkins University(约翰斯·霍普金斯大学);Johns Hopkins School of Medicine(约翰斯·霍普金斯医学院)
本文提出面向少量医学影像持续训练的序列学习框架及无留出集评估启发法,并通过 Medical MNIST 与 NIH Chest X-Ray 验证其可减少训练步骤、缓解过拟合与遗忘。
2023-09-26 cs.CV cs.LG eess.IV
Fast Classification with Sequential Feature Selection in Test Phase
Amirkabir University of Technology(阿米卡比尔理工大学)
本文提出一种用于分类的主动特征获取新方法,通过测试阶段利用Fisher得分进行序列特征选择并过滤训练数据,在保持竞争性准确率的同时显著提升了速度。
2023-06-25 cs.IT cs.LG eess.SP
Transfer Learning for Classification under Decision Rule Drift with Application to Optimal Individualized Treatment Rule Estimation
Department of Statistics and Data Science, Cornell University(统计与数据科学系,康奈尔大学)
本文提出面向决策规则漂移的迁移学习分类方法,利用 Bayes 决策边界几何变换将后验漂移建模转化为低维经验风险最小化,证明一致性与风险界,并在个体化治疗规则、模拟及真实数据中验证其优势。
2025-08-28 cs.LG math.ST stat.ME