Active Learning Via Sequential Design and Uncertainty Sampling
分类是生物医学研究和机器学习等许多领域的重要任务。传统上，分类规则是基于一堆标记数据构建的。近年来，由于技术创新和自动数据收集方案，我们很容易遇到包含大量未标记样本的数据集。由于对每一个数据进行标记的代价很高且效率很低，因此如何利用这些未标记的数据进行分类器的构造就成为一个重要的问题。在机器学习文献中，主动学习或半监督学习是在这种情况下讨论的流行概念，其中分类算法基于从其学习过程的前一阶段学习到的信息顺序地招募新的未标记的主题，然后这些新的主题被标记并作为新的训练样本被包括在内。从统计学的角度来看，这些方法可以被认为是序贯设计和随机逼近过程的混合。在本文中，我们研究了顺序学习过程中建立高效和有效的分类器，其中只有选定的主题被标记，并包括在其学习阶段。该算法结合了贝叶斯序贯优化设计和不确定性抽样的思想。算法的计算问题进行了讨论。使用合成的数据和真实的例子的数值结果报告。
2014-06-18 stat.ME
Sequential Labeling with online Deep Learning
SUNY at Buffalo（纽约州立大学布法罗分校）
深度学习最近引起了极大的关注，并在降维和分类问题方面取得了最先进的表现。然而，它不能有效地处理结构化的输出预测，例如顺序标记。在本文中，我们提出了一个深度学习结构，它可以学习序列标记问题的判别特征。更具体地说，我们在我们的深度学习结构中添加了标签之间的相互关系，以便合并来自序列数据的上下文信息。因此，我们的模型比线性条件随机场（CRF）更强大，因为目标函数学习潜在的非线性特征，从而可以更好地预测目标标记。我们使用堆叠限制玻尔兹曼机（RBM）进行特征学习来预训练深度结构，并使用在线学习算法优化我们的目标函数，感知器训练和随机梯度下降的混合。我们在不同的挑战任务上测试了我们的模型，并表明我们的模型在完成基线上的表现显着优于。
2015-05-04 cs.LG
Grouped Sequential Optimization Strategy -- the Application of Hyperparameter Importance Assessment in Deep Learning
University of Bristol（布里斯托尔大学）
本文提出“序贯分组”超参数优化策略，利用超参数重要性评估指导分组优化，在六个图像分类数据集上验证可在不降低性能的情况下将优化时间平均缩短31.9%。
2025-03-07 cs.AI cs.LG
Fast Simultaneous Training of Generalized Linear Models (FaSTGLZ)
Columbia University（哥伦比亚大学）
我们提出了一种有效的算法，用于同时训练稀疏广义线性模型来解决许多相关问题，这些问题可能来自自举、交叉验证和非参数排列测试。我们的方法利用冗余的问题，以获得显着的计算改进相对于解决问题的顺序由传统的算法。我们在一些真实世界的数据集上展示了我们的快速同时训练广义线性模型（FaSTGLZ）算法，并且我们运行了计算密集型的自举和排列测试分析，这些分析通常是获得统计上严格的分类结果和有意义的解释所必需的。代码可以在http://liinc.bme.columbia.edu/fastglz上免费获得。
2013-07-31 cs.LG stat.ML
AdaBoost-assisted Extreme Learning Machine for Efficient Online Sequential Classification
National Taiwan University（台湾大学）
在本文中，我们提出了一个AdaBoost辅助的极端学习机有效的在线顺序分类（AOS-ELM）。为了在在线顺序学习场景中获得更好的准确率，我们利用代价敏感算法AdaBoost，使弱分类器多样化，并加入遗忘机制，从而稳定训练过程中的性能。因此，AOS-ELM更好地适应顺序到达的数据相比，其他基于投票的方法。实验结果表明，AOS-ELM在MNIST数据集上的准确率达到94.41%，这是原始批处理学习算法AdaBoost-ELM的理论准确率界限。此外，通过遗忘机制，在线顺序学习过程中的准确率标准差降低到8.26倍。
2019-09-16 cs.LG stat.ML
Incremental Structure Discovery of Classification via Sequential Monte Carlo
Key Laboratory of High Confidence Software Technologies (Peking University)（高可信软件技术重点实验室（北京大学））；School of Computer Science, Peking University（北京大学计算机学院）
针对高斯过程分类依赖先验知识、难以适配在线数据特征偏移的问题，本文提出结合序贯蒙特卡洛的增量结构发现方法，可自动学习分类结构，在真实数据上准确率提升达10%。
2024-08-15 cs.LG stat.ML
An Adaptive Online HDP-HMM for Segmentation and Classification of Sequential Data
University of Technology, Sydney（悉尼科技大学）
近年来，对理解顺序数据的期望和需求一直在增加，特别是对诸如患者监测、理解日常活动、视频监控、股票市场等顺序上下文的兴趣。随着数据的不断流动，关键是要对动态观测进行分类和分段，而不限于严格的类别数量。此外，该模型需要能够更新其参数，以符合可能的演变。这个有趣的问题，但是，没有充分解决的文献，因为许多研究集中在离线分类在一个预先定义的类集。在本文中，我们提出了一个原则性的解决方案，通过引入一个自适应在线系统的基础上马尔可夫切换模型与分层狄利克雷过程先验。这种无限自适应在线方法能够在无限数量的类上对序列数据进行分割和分类，同时满足流上下文的内存和延迟约束。通过引入学习率来进一步增强模型，负责平衡模型维持其先前学习（参数）或适应新流式观测的程度。在固定和不断发展的合成数据和两个视频数据集TUM Assistive Kitchen和collatedWeizmann的几个变体上的实验结果显示出在分割和分类方面的出色性能，特别是对于具有变化的分布和/或包含新的、看不见的类的进化序列。
2015-03-13 cs.LG stat.ML
Machine Learning on Sequential Data Using a Recurrent Weighted Average
UT Southwestern Medical Center（德克萨斯大学西南医学中心）
递归神经网络（RNN）是一种设计用于处理序列数据的统计模型。模型一次读取一个序列的一个符号。基于从先前符号收集的信息来处理每个符号。对于现有的RNN架构，每个符号仅使用来自先前处理步骤的信息进行处理。为了克服这一限制，我们提出了一种新的RNN模型，它在过去的每个处理步骤中计算递归加权平均值（RWA）。由于RWA可以计算为运行平均值，因此计算开销与任何其他RNN架构类似。该方法基本上将注意力机制重新表述为一个独立的模型。的RWA模型的性能进行评估的变量复制问题，添加问题，人工语法的分类，按长度的序列分类，和分类的MNIST图像（其中的像素顺序读取一个在一个时间）。在几乎每一项任务上，RWA模型都优于标准LSTM模型。
2017-05-04 cs.LG stat.ML
Toward Asymptotic Optimality: Sequential Unsupervised Regression of Density Ratio for Early Classification
NEC Corporation（日本电气股份有限公司）
提出了一种基于理论启发的序贯密度比估计（SDRE）算法，用于时间序列的早期分类。传统的SDRE算法由于内部过归一化问题而不能精确估计DR，这使得基于DR的顺序算法，顺序概率比检验（SPRT），不能达到其渐近贝叶斯最优性。两种新的SPRT算法，B2Bsqrt-TANDEM和TANDEMformer，设计，以避免过度规范化的问题，精确的无监督回归的SDR。这两种算法分别在人工序列高斯数据集和真实数据集（SiW，UCF 101和HMDB 51）上显著降低了DR估计误差和分类误差。该代码可从以下网址获得：https://github.com/Akinori-F-Ebihara/LLR_saturation_problem。
2023-02-20 cs.LG
Unsupervised Ensemble Classification with Sequential and Networked Data
University of Minnesota（明尼苏达大学）
包围学习是一种结合多种算法的机器学习范式，在各种任务中表现出了良好的性能。目前的工作重点是无监督集成分类。术语无监督是指集成组合器不知道每个分类器已经训练过的地面真实标签。数据，目前的工作介绍了一个无监督的计划，从合奏的分类器中存在的数据依赖关系的学习。两种类型的数据依赖关系被认为是：顺序数据和网络数据的依赖关系被捕获的图形。矩匹配和期望最大化算法开发上述情况下，其性能进行评估的合成和真实的数据集。
2020-12-20 cs.LG eess.SP stat.ML
Robustness Analysis of Classification Using Recurrent Neural Networks with Perturbed Sequential Input
Lehigh University（理海大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
对于一个给定的稳定的递归神经网络（RNN），训练使用顺序输入执行分类任务，我们量化显式的鲁棒性边界作为可训练的权重矩阵的函数。顺序输入可以以各种方式被扰动，例如，流图像可能由于机器人运动或不完美的相机镜头而变形。使用稳定RNN的沃罗诺伊图和Lipschitz性质的概念，我们提供了一个彻底的分析和表征最大允许扰动，同时保证分类任务的完全准确性。我们说明和验证我们的理论结果使用地图数据集与云以及MNIST数据集。
2022-03-10 cs.LG
Classification of Long Sequential Data using Circular Dilated Convolutional Neural Networks
Norwegian University of Science and Technology（挪威科技大学）
长序列数据的分类是机器学习的一项重要任务，在许多应用场景中都有出现。递归神经网络、Transformers和卷积神经网络是从序列数据中学习的三种主要技术。在这些方法中，时间卷积网络（TCN），可扩展到很长的序列，在时间序列回归取得了显着的进展。然而，TCN的序列分类的性能并不令人满意，因为它们使用一个倾斜的连接协议和输出类在最后的位置。这种不对称性限制了它们对依赖于整个序列的分类的性能。在这项工作中，我们提出了一种称为圆形扩张卷积神经网络（CDIL-CNN）的对称多尺度架构，其中每个位置都有相等的机会从先前层的其他位置接收信息。我们的模型在所有位置都给出了分类逻辑，我们可以应用一个简单的集成学习来实现更好的决策。我们已经在各种长序列数据集上测试了CDIL-CNN。实验结果表明，我们的方法具有优越的性能超过许多国家的最先进的方法。
2022-05-27 cs.LG
Sequential Classification with Empirically Observed Statistics
University of Toronto（多伦多大学）；National University of Singapore（新加坡国立大学）
受现实世界的机器学习应用的启发，我们考虑了测试样本顺序到达的顺序设置中的统计分类任务。此外，生成的分布是未知的，只有一组经验采样序列可供决策者使用。决策者的任务是分类的测试序列，这是已知的根据任一分布生成。特别地，对于二元情况，决策者希望用最少数量的测试样本执行分类任务，因此，在每一步，她声明假设1为真，假设2为真，或者她请求额外的测试样本。我们提出了一个分类器，并分析了第一和第二类错误的概率。我们证明了显着的优势，我们的顺序计划相比，现有的非顺序分类古特曼提出的。最后，我们将我们的设置和结果扩展到多类分类场景，并再次证明了问题的可变长度性质提供了显着的优势，因为人们可以实现与古特曼的固定长度设置相同的指数集，但没有拒绝选项。
2021-02-10 cs.IT cs.LG math.IT
Classification with Costly Features as a Sequential Decision-Making Problem
Czech Technical University in Prague（布拉格捷克理工大学）
这项工作的重点是一个具体的分类问题，其中有关样本的信息是不容易获得的，但必须获得的成本，并有一个每个样本的预算。受现实世界用例的启发，我们分析了直接指定预算的平均和硬变化。我们假设问题的显式公式，然后将其转换为等价的MDP，可以用深度强化学习解决。此外，我们评估了一个真实世界的启发设置与稀疏训练数据集缺失的功能。所提出的方法在几个不同的数据集的所有设置中表现良好，优于其他现有技术的算法。该方法是灵活的，正如所有提到的修改所展示的那样，并且可以通过RL中的任何领域独立的进步来改进。
2019-09-05 cs.AI cs.LG stat.ML
Sequential Ensemble Learning for Outlier Detection: A Bias-Variance Perspective
Stony Brook University（石溪大学）
用于分类和聚类的集成方法已经有效地使用了几十年，而用于离群点检测的集成学习只是最近才被研究。在这项工作中，我们设计了一个新的集成方法在多维点数据中的离群点检测，它提供了更高的精度，通过减少偏差和方差的错误。虽然分类和异常值检测看起来是不同的问题，但它们的理论基础在偏差-方差权衡方面非常相似[1]，其中异常值检测被认为是具有未观察到的标签的二进制分类任务，但类似的偏差-方差误差分解。在本文中，我们提出了一个顺序集成的方法，称为照顾，采用两个阶段的聚合的中间结果，在每次迭代，以达到最终的结果。与现有的离群值集成不同，现有的离群值集成仅通过聚合独立基础检测器的结果来合并并行框架以减少方差，我们的集成合并了并行和顺序构建块以减少偏差以及方差，（$i$）从原始数据集中连续地消除离群值以建立更好的数据模型，在该数据模型上估计离群值（顺序地），以及（$ii$）组合来自各个基本检测器的结果和跨迭代（重复）。通过对主要来自UCI机器学习库[2]的16个真实世界数据集进行广泛的实验，我们表明CARE的表现明显优于或至少类似于单个基线。我们还将CARE与最先进的离群值合奏进行了比较，当它是赢家时，它也提供了显着的改进，否则仍然接近。
2016-09-18 cs.LG stat.ML
A Sequential Model for Multi-Class Classification
许多分类问题需要在大量竞争类之间进行决策。然而，这些任务并没有被通用的学习方法很好地处理，并且通常以特设的方式处理。我们提出了一种通用的方法-顺序学习模型，利用分类器顺序限制竞争类的数量，同时保持高概率，在候选人集的真实结果的存在。一些理论和计算性质的模型进行了讨论，我们认为，这些都是重要的NLP类域。在词性标注的实验中说明了该模型的优点。
2001-06-20 cs.AI cs.CL cs.LG
Sequential Short-Text Classification with Recurrent and Convolutional Neural Networks
MIT（麻省理工学院）
最近的方法基于人工神经网络（ANN）的短文本分类显示出可喜的成果。然而，许多短文本是按顺序出现的（例如，文档中的句子或对话中的话语），并且大多数现有的基于ANN的系统在对后续文本进行分类时不利用前面的短文本。在这项工作中，我们提出了一个基于递归神经网络和卷积神经网络的模型，它结合了前面的短文本。我们的模型在三个不同的对话行为预测数据集上实现了最先进的结果。
2016-03-12 cs.AI cs.CL cs.LG
Optimally Efficient Sequential Calibration of Binary Classifiers to Minimize Classification Error
在这项工作中，我们的目标是通过找到一个“最优”映射到类概率，其中的“最优”映射是在这个意义上，最大限度地减少分类错误（或等价地，最大限度地提高准确性），校准的二进制分类问题的估计器的得分输出。我们表明，对于给定的目标变量和分数输出的估计，一个“最佳”的软映射，单调映射的得分值的概率，是一个硬映射的得分值映射到$0$和$1$。我们表明，类加权（其中一个类的准确性是更重要的）和样本加权（其中样本的准确分类是不同等重要的）的错误，甚至一般的线性损失，这种硬映射特性被保留。我们提出了一个顺序递归合并的方法，它产生一个“最佳”硬映射（到目前为止观察到的样本）顺序与每个传入的新样本。我们的方法具有对数的样本大小的时间复杂度，这是最佳的效率。
2021-08-19 cs.CC cs.LG
Text Classification: A Sequential Reading Approach
University Pierre et Marie Curie - UPMC（皮埃尔和玛丽·居里大学（UPMC））
我们建议将文本分类过程建模为顺序决策过程。在这个过程中，智能体学习将文档分类为主题，同时顺序阅读文档句子，并学习在阅读足够的信息进行决策时立即停止。所提出的算法是基于一个模型化的文本分类作为一个马尔可夫决策过程和学习使用强化学习。在四个不同的经典单标记语料库上的实验表明，该方法在大训练集上的性能优于经典SVM方法，而在小训练集上的性能更好。此外，该模型自动调整其阅读过程，以适应所提供的训练信息的数量。
2011-08-29 cs.AI cs.IR cs.LG
Unsupervised Sequence Classification using Sequential Output Statistics
Microsoft Research（微软研究院）
我们考虑使用序列输出统计来学习没有标记数据的序列分类器。该问题是非常有价值的，因为在训练数据中获得标签通常是昂贵的，而顺序输出统计（例如，语言模型）可以独立于输入数据获得，因此成本低或没有成本。为了解决这个问题，我们提出了一个无监督学习成本函数，并研究其性质。我们表明，与早期的作品相比，它是不太倾向于被困在平凡的解决方案，并避免了需要一个强大的生成模型。虽然它的函数形式的优化是困难的，随机原始-对偶梯度法的发展，有效地解决问题。在真实数据集上的实验结果表明，新的无监督学习方法给出了显着低于其他基线方法的错误。具体地说，它达到的测试误差约为完全监督学习的两倍。
2017-05-26 cs.LG
Neural-based classification rule learning for sequential data
IBM France Lab（IBM法国实验室）；Inria Saclay（法国国家信息与自动化研究所萨克雷分部）；IBM Research（IBM研究院）
发现序列数据分类的可解释模式对于从基因组学到欺诈检测或更一般的可解释决策的各种领域都至关重要。在本文中，我们提出了一种新的微分完全可解释的方法，发现本地和全球的模式（即捕捉相对或绝对的时间依赖性）基于规则的二进制分类。它由一个卷积二进制神经网络与一个可解释的神经过滤器和训练策略的基础上动态强制稀疏。我们证明了该方法在合成数据集和开源肽数据集上的有效性和实用性。这种端到端可区分方法的关键在于，规则中使用的表达模式是与规则本身一起学习的。
2023-02-22 cs.AI cs.LG
Sequential Convolutional Recurrent Neural Networks for Fast Automatic Modulation Classification
Science and Technology on Electronic Information Control Laboratory（电子信息控制科技实验室）
针对无线频谱监测应用，提出了一种新型高效的自动调制分类端到端学习模型，该模型能够从时域同相和正交数据中自动学习，无需手工设计专家特征。利用卷积层的直觉，池化作为前端特征提取和降维的作用，开发了顺序卷积递归神经网络，以利用卷积神经网络的并行计算能力和递归神经网络的时间敏感性。实验结果表明，该结构在信噪比大于-10 dB的范围内具有较好的分类性能，在高信噪比范围内，分类准确率从80%提高到92.1%，同时平均训练时间和预测时间分别减少了约74%和67%.通过所提出的架构学习的响应模式被可视化，以更好地理解模型的物理特性。此外，进行了比较研究，以调查各种顺序卷积递归神经网络结构设置对分类性能的影响。一个具有代表性的顺序卷积递归神经网络架构的两层卷积神经网络和随后的两层长短期记忆神经网络的开发建议的选择快速自动调制分类。
2021-01-20 cs.LG eess.SP
Datum-Wise Classification: A Sequential Approach to Sparsity
Université Pierre et Marie Curie - UPMC（皮埃尔和玛丽·居里大学（巴黎第六大学））；LIP6（巴黎第六大学计算机科学实验室）；LIFL (UMR CNRS)（法国国家科学研究中心里尔基础信息学实验室）；INRIA Lille Nord-Europe（法国国家信息与自动化研究所里尔-北欧分部）；Université de Lille（里尔大学）
我们提出了一种新的分类技术，其目的是为每个数据点选择一个适当的表示，而不是通常的方法，选择一个代表涵盖整个数据集。这种数据方面的表示是通过使用稀疏诱导经验风险，这是一个放松的标准L 0正则化的风险。分类问题被建模为一个顺序决策过程，顺序选择，为每个数据点，分类前使用的功能。Datum-Wise Classification可以自然地扩展到多类任务，我们描述了一个特定的案例，在这个案例中，我们的推理与传统的线性分类器具有相同的复杂性，同时仍然使用可变数量的特征。我们比较我们的分类器经典的L1正则化线性模型（L1-SVM和LARS）的一组常见的二进制和多类数据集，并表明，对于相同的平均数量的功能，我们可以得到改进的性能使用我们的方法。
2011-08-29 cs.AI cs.LG
SGAS: Sequential Greedy Architecture Search
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学（KAUST））；Intel Labs（英特尔研究院）
架构设计已经成为成功的深度学习的关键组成部分。自动神经结构搜索（NAS）的最新进展显示了很大的希望。然而，发现的架构往往无法在最终的评估中推广。在搜索阶段具有较高验证准确性的架构在评估中可能表现较差。为了缓解这个常见的问题，我们引入了顺序贪婪结构搜索（SGAS），一种有效的神经结构搜索方法。通过将搜索过程划分为子问题，SGAS以贪婪的方式选择和修剪候选操作。我们将SGAS应用于卷积神经网络（CNN）和图卷积网络（GCN）的搜索架构。大量的实验表明，SGAS是能够找到国家的最先进的架构任务，如图像分类，点云分类和蛋白质相互作用图中的节点分类，以最小的计算成本。请访问www.example.com了解有关SGAS的更多信息。
2020-04-02 cs.CV cs.LG stat.ML
Mining Negative Sequential Patterns to Improve Viral Genomic Feature Representation and Classification
College of Information Science and Technology, Jinan University, Guangzhou 510632, China（信息科学与技术学院，暨南大学，广州510632，中国）；College of Cyber Security, Jinan University, Guangzhou 510632, China（网络安全学院，暨南大学，广州510632，中国）
本文提出GeneNSPCla框架，通过挖掘RNA病毒基因组中的负序列模式提取判别性缺失特征，提升病毒分类准确性，实验表明在8种分类器中平均准确率提升24.75%。
2026-04-28 cs.DB cs.LG
Sequential Binary Classification for Intrusion Detection
Ericsson（爱立信）
针对IDS数据集类别不平衡影响ML模型性能的问题，提出序列二进制分类（SBC）分层级联结构方法，实验证明该结构方法在基准IDS数据集上是处理多分类类别不平衡的可行方案。
2025-02-13 cs.CR cs.LG cs.NI
Effective Sequential Classifier Training for SVM-based Multitemporal Remote Sensing Image Classification
The University of New South Wales（新南威尔士大学）
遥感图像的爆炸性可用性已经挑战了监督分类算法，如支持向量机（SVM），由于训练样本往往是非常有限的，由于昂贵和费力的地面真实任务。多时相图像之间的时间相关性和光谱相似性为缓解这一问题提供了机会。在这项研究中，一个基于SVM的序贯分类器训练（SCT-SVM）方法提出了多时相遥感图像分类。该方法利用先前图像的分类器来减少输入图像的分类器训练所需的训练样本的数量。对于每个输入图像，首先根据一组先前分类器的时间趋势预测粗略分类器。然后，预测的分类器被微调到具有当前训练样本的更准确的位置。这种方法可以逐步应用于连续的图像数据，从每个图像中只需要少量的训练样本。Sentinel-2A多时相数据在澳大利亚的一个农业区进行了实验。实验结果表明，与现有的两种模型传递算法相比，SCT-SVM具有更好的分类精度。当训练数据不足时，与没有先前图像的辅助相比，所提出的SCT-SVM对输入图像的总体分类准确率从76.18%提高到94.02%。这些结果表明，利用先验信息从以前的图像可以提供有利的帮助，为以后的图像在多时间图像分类。
2018-01-17 cs.CV cs.LG
Longitudinal Ensemble Integration for sequential classification with multimodal data
Department of Genetics and Genomic Sciences, Icahn School of Medicine at Mount Sinai（遗传学与基因组科学系，伊坎医学院-西奈山医院）；Department of Computer Science and Engineering, University of North Texas（计算机科学与工程系，北德克萨斯大学）；Department of Radiology, Keck School of Medicine, University of Southern California（放射学系，凯克医学院，南加州大学）
本研究提出纵向集成集成（LEI）框架，利用多模态数据的中间预测进行序列分类，在痴呆早期检测中优于现有方法，并能识别随时间一致重要的特征。
2025-07-08 cs.AI cs.LG
Multi-label Methods for Prediction with Sequential Data
Department of Computer Science, Aalto University and HIIT（阿尔托大学计算机科学系及赫尔辛基信息技术研究所）；Institute of Mathematical Sciences and Computing（数学科学与计算研究所）
近年来，可用于多标签数据分类的方法数量迅速增加，但与序列数据分类的相关任务的联系相对较少。如果将标签索引视为时间索引，则通常可以将问题视为等效问题。在本文中，我们检测和详细说明多标签方法和马尔可夫模型之间的联系，并研究多标签方法预测序列数据的适用性。从这项研究中，我们借鉴了该地区最合适的技术，并开发了两种新的竞争力的方法，可以应用于任何一种数据。我们进行了实证评估，调查现实世界的顺序预测任务的性能：电力需求和路线预测。以及表明，几个流行的多标签算法实际上很容易适用于测序任务，我们的新方法，受益于这些领域的统一观点，证明对既定的方法非常有竞争力。
2016-09-29 cs.DS cs.LG stat.ML
Cross-Domain Multi-Task Learning for Sequential Sentence Classification in Research Papers
TIB – Leibniz Information Centre for Science and Technology（莱布尼茨科技信息中心）；L3S Research Center（L3S研究中心）
顺序句子分类处理基于其内容和上下文的句子分类。应用于科学文本，它使研究论文的自动结构和学术搜索引擎的改进。然而，以前的工作还没有调查的潜力，迁移学习的句子分类在不同的科学领域和不同的文本结构的问题，全文和摘要。在本文中，我们得出了七个相关的研究问题，并提出了几个贡献，以解决这些问题：首先，我们提出了一种新的统一的深度学习架构和多任务学习的跨域顺序句子分类在科学文本。其次，我们定制了两种常见的迁移学习方法，顺序迁移学习和多任务学习，以应对给定任务的挑战。任务的语义相关性是神经模型成功迁移学习的前提。因此，我们的第三个贡献是半自动识别语义相关的类从不同的注释方案的方法，我们提出了四个注释方案的分析。综合实验结果表明，模型，这是从不同的科学领域的数据集训练，受益于彼此时，使用所提出的多任务学习架构。我们还报告与几个国家的最先进的方法的比较。我们的方法在全文数据集上的表现明显优于最先进的方法，而在由摘要组成的数据集上则是如此。
2022-03-18 cs.CL cs.IR cs.LG
Sequential Classification of Misinformation
Tel Aviv university（特拉维夫大学）
针对社交网络信息流的在线多类错误信息识别问题，提出图概率模型及多重序贯概率比检验与图神经网络序贯决策算法，并验证其更优。
2024-09-07 cs.LG cs.SI
Constraint-aware Learning of Probabilistic Sequential Models for Multi-Label Classification
Ukrainian Catholic University Lviv Ukraine；HUN-REN Alfr\' e d R\' e nyi Institute of Mathematics E \"o tv \"o s Lor\' a nd University Budapest Hungary；University of Oxford Oxford UK；Ukrainian Catholic University；HUN-REN Alfr\' e d R\' e nyi Institute of Mathematics；E \"o tv \"o s Lor\' a nd University；University of Oxford
本文研究带逻辑约束的大规模多标签分类，提出将单标签分类器接入表达性序列模型以建模联合分布，并实验证明该架构能在训练中利用约束、在推理时强制执行约束。
2025-07-20 cs.AI cs.LG cs.LO
Star Temporal Classification: Sequence Classification with Partially Labeled Data
Meta AI；Zoom AI（Zoom人工智能）；Apple（苹果公司）
我们开发了一个算法，可以学习部分标记和未分割的序列数据。大多数序列损失函数，如连接主义时间分类（CTC），打破了许多标签丢失。我们解决这个问题与星时间分类（STC），它使用一个特殊的星令牌，允许对齐，其中包括所有可能的令牌时，令牌可能会丢失。我们将STC表示为加权有限状态转换器（WFSTs）的组合，并使用GTN（一个用于WFSTs的自动微分框架）来计算梯度。我们进行了广泛的实验自动语音识别。这些实验表明，STC可以恢复大部分的监督基线的性能时，高达70%的标签丢失。我们还进行了手写识别实验，以表明我们的方法很容易适用于其他序列分类任务。
2022-03-03 cs.LG cs.SD eess.AS
Generalization of metric classification algorithms for sequences classification and labelling
Bauman Moscow State Technical University（莫斯科鲍曼国立技术大学）
本文讨论了度量分类算法的改进问题。特别是，它研究了算法的k-最近的邻居，其应用程序的顺序数据。提出了一种度量分类算法的推广方法。作为它的一部分，已经开发了一种算法来解决序列数据的分类和标记问题。文中还讨论了所开发的分类算法与现有算法相比的优点。在开放数据集CoNLL 2000上进行了组块识别实验，并与CRF算法进行了比较。
2016-12-16 cs.CL cs.LG
Capturing Temporal Components for Time Series Classification
Oklahoma State University（俄克拉荷马州立大学）；Auburn University（奥本大学）
针对现有时间序列分类方法难以泛化到长序列的问题，提出基于多尺度变化空间的无监督分割与多任务组合表征学习方法，在分类和无监督分割基准上均取得有竞争力的结果。
2024-06-20 cs.CV cs.LG
A Sequential Set Generation Method for Predicting Set-Valued Outputs
IBM Research（IBM研究）；Thomas J. Watson Research Center（托马斯·J·沃森研究中心）
考虑一个通用的机器学习设置，其中输出是一组标签或序列。此输出集是无序的，其大小随输入而变化。虽然多标签分类方法似乎是一个自然的第一手段，但它们并不容易适用于集值输出，因为输出空间的增长率;并且因为传统的序列生成并不反映集的无顺序性质。在本文中，我们提出了一个统一的框架-顺序集生成（SSG）-可以处理标签和序列的输出集。SSG是一种元算法，它利用任何概率学习方法进行标签或序列预测，但采用适当的正则化，以便重复生成新的标签或序列，直到产生完整的集合。虽然SSG本质上是顺序的，但它不会惩罚集合元素的外观顺序，并且可以应用于各种集合输出问题，例如一组分类标签或序列。我们用基准和合成数据集进行了实验，并证明了SSG在基线方法上的强大性能。
2019-03-12 cs.AI cs.LG stat.ML
Sequential Targeting: an incremental learning approach for data imbalance in text classification
Korea University（高丽大学）；NAVER；Yonsei University（延世大学）；Naver Corp.（Naver公司）；TU Kaiserslautern（凯泽斯劳滕工业大学）；Korea Institute of Science and Technology Europe Forschungsgesellschaft mbH（韩国科学技术研究院欧洲研究所有限公司）
分类任务需要数据的均衡分布，以确保学习者被训练为在所有类上进行概括。然而，在现实世界的数据集中，实例的数量在类之间有很大的差异。这通常会导致学习者由于其主导属性而促进对多数群体的偏见。因此，处理不平衡数据集的方法对于减轻分布偏斜和充分利用代表性不足的数据至关重要，特别是在文本分类中。在解决文本数据不平衡的问题时，大多数方法都是利用抽样方法对数据进行数值表示，这限制了其表示效率。我们提出了一种新的训练方法，顺序定向（ST），独立的表示方法的有效性，它通过将数据分成互斥的子集和自适应地训练学习者来执行增量学习设置。为了解决增量学习中出现的问题，我们应用了弹性权重合并。我们证明了我们的方法的有效性，通过实验模拟基准数据集（IMDB）和NAVER收集的数据。
2020-11-23 cs.CL cs.IR cs.LG
Sequential Embedding-based Attentive (SEA) classifier for malware classification
National University of Computer and Emerging Sciences（国立计算机与新兴科学大学）；NED University of Engineering and Technology（NED工程技术大学）
智能设备的巨大增长带来了一些安全威胁。最突出的威胁之一是恶意软件，也称为恶意软件。恶意软件有能力破坏设备并破坏整个网络。因此，及早发现和减轻其影响对于避免灾难性影响极为重要。在这项工作中，我们提出了一个使用最先进的自然语言处理（NLP）技术进行恶意软件检测的解决方案。我们的主要重点是提供一个轻量级的，但有效的恶意软件检测分类器，可用于异构设备，无论是资源约束设备或资源丰富的机器。我们提出的模型进行了测试的基准数据集的准确性和日志损失得分分别为99.13%和0.04。
2023-02-11 cs.CR cs.LG
Translating the Rashomon Effect to Sequential Decision-Making Tasks
本文将拉什omon效应应用于序列决策任务，定义多个行为一致但结构不同的策略，并通过形式验证方法展示其在鲁棒性和计算效率上的优势。
2025-12-19 cs.AI cs.LG
A Data-Efficient Sequential Learning Framework for Melt Pool Defect Classification in Laser Powder Bed Fusion
West Virginia University（西弗吉尼亚大学）；University of South Carolina（南卡罗来纳大学）
提出SL-RF+框架，结合随机森林、最小置信度采样和Sobol序列合成采样，在数据稀缺环境下高效选择信息样本细化决策边界，提升激光粉末床熔融熔池缺陷分类性能。
2024-11-16 cond-mat.mtrl-sci cs.CE cs.LG
Image Classification using Sequence of Pixels
Aarhus University（奥胡斯大学）
本文比较了基于递归神经网络的序列图像分类方法。我们描述了基于循环神经网络的方法，如长短期记忆（LSTM），双向长短期记忆（BiLSTM）架构等，我们还回顾了最先进的序列图像分类架构。我们主要关注LSTM，BiLSTM，时间卷积网络和独立递归神经网络架构。众所周知，RNN缺乏学习输入序列中的长期依赖关系。我们使用一个简单的特征构造方法，使用正交Ramanujan周期变换的输入序列。实验表明，如果将这些特征赋予LSTM或BiLSTM网络，性能将大幅提高。我们在这项研究中的重点是提高训练精度，同时减少LSTM和BiLSTM架构的训练时间，但不是推动最先进的结果，所以我们使用简单的LSTM/BiLSTM架构。我们将顺序输入与构造的特征作为MNIST和CIFAR数据集的单层LSTM和BiLSTM网络的输入进行比较。我们观察到，连续输入到具有128个隐藏单元训练的LSTM网络，持续5个epoch，训练准确率为33%，而构造的特征作为输入到相同的LSTM网络，训练准确率为90%，时间减少了1/3。
2022-09-23 cs.LG eess.IV
Power Quality Event Recognition and Classification Using an Online Sequential Extreme Learning Machine Network based on Wavelets
降低系统可靠性和提高维护成本可能是电力质量差的后果，这可能会干扰设备的正常性能，加速老化，甚至导致彻底的故障。本研究实作并测试一个以小波为基础的线上序列极端学习机（OS-ELM）分类器原型，以侦测暂态条件下的电能质量问题。为了建立分类器，OSELM网络模型和离散小波变换（DWT）方法相结合。首先，利用离散小波变换（DWT）的多分辨率分析（MRA）提取失真信号在不同分辨率下的特征。OSELM然后通过瞬态持续时间和能量特征对检索到的数据进行分类，以确定干扰的类型。该方法可以在不改变信号原始质量的前提下，最大限度地减少大量失真信号的特征量，从而节省了存储空间和处理时间。使用几种类型的瞬态事件来证明分类器检测和分类各种类型的功率扰动的能力，包括暂降、暂升、瞬时中断、振荡瞬态、谐波、缺口、尖峰、闪烁、暂降暂升、暂降损害、暂升转换、暂降尖峰和暂升尖峰。
2022-12-27 cs.AI cs.LG eess.SP
Applications of Sequential Learning for Medical Image Classification
Johns Hopkins University（约翰斯·霍普金斯大学）；Johns Hopkins School of Medicine（约翰斯·霍普金斯医学院）
本文提出面向少量医学影像持续训练的序列学习框架及无留出集评估启发法，并通过 Medical MNIST 与 NIH Chest X-Ray 验证其可减少训练步骤、缓解过拟合与遗忘。
2023-09-26 cs.CV cs.LG eess.IV
Predicting Legal Proceedings Status: Approaches Based on Sequential Text Data
University of São Paulo（圣保罗大学）；Tikal Tech（蒂卡尔科技）
本文的目的是开发预测模型，将巴西的法律程序分为三类：（一）存档的程序，（二）积极的程序，和（三）暂停的程序。解决这一问题的目的是协助公共和私营机构管理大量的法律诉讼，在规模和效率方面取得进展。在本文中，法律程序是由一系列被称为"动议"的简短文本组成的。"我们结合了几种自然语言处理（NLP）和机器学习技术来解决这个问题。虽然使用葡萄牙语NLP，由于缺乏资源，这可能具有挑战性，但我们的方法在分类任务中表现非常出色，实现了0.93的最高准确度和0.89（宏观）和0.93（加权）的最高平均F1得分。此外，除了量化这些模式与分类任务的关系之外，我们还可以提取和解释我们的模型所学习的模式。可解释性步骤在机器学习法律应用中非常重要，它让我们对黑盒模型如何做出决策有了令人兴奋的了解。
2021-06-23 cs.CL cs.LG stat.ML
The Power of Log-Sum-Exp: Sequential Density Ratio Matrix Estimation for Speed-Accuracy Optimization
NEC Corporation（日本电气股份有限公司）
我们提出了一个多类分类的时间序列模型，使预测尽可能早，尽可能准确。矩阵序贯概率比检验（MSPRT）被认为是这种情况下的渐近最优检验，但它包含一个关键假设，这阻碍了广泛的实际应用; MSPRT需要潜在的概率密度。为了解决这个问题，我们提出解决密度比矩阵估计（DRME），一种新型的密度比估计，包括估计矩阵的多个密度比的约束，因此比传统的密度比估计更具挑战性。我们提出了一个对数和指数型损失函数（LSEL）解决DRME，并证明了以下几点：（i）LSEL提供了真实的密度比矩阵作为训练集的样本大小增加（一致性）;（ii）它分配更大的梯度更硬的类（硬类加权效应）;（iii）它甚至提供了分类不平衡的数据集（猜测厌恶）的区别性得分。我们用于早期分类的整体架构MSPRT-TANDEM在统计上显著优于包括动作识别在内的四个数据集的基线模型，特别是在顺序观察的早期阶段。我们的代码和数据集可在https://github.com/TaikiMiyagawa/MSPRT-TANDEM上公开获取。
2021-05-31 cs.LG
Learning the Optimal Stopping for Early Classification within Finite Horizons via Sequential Probability Ratio Test
NEC Corporation（日本电气公司）
针对有限视界下早期分类最优停时计算量大的问题，提出基于SPRT的FIRMBOUND框架，利用密度比估计和凸函数学习求解后向归纳以最小化贝叶斯风险，在多种数据集上实现了速度与精度的最优权衡。
2025-01-29 cs.AI cs.LG
Real-Time Moving Flock Detection in Pedestrian Trajectories Using Sequential Deep Learning Models
Department of Information and Physical Sciences（信息与物理科学系）；Graduate School of Information Science and Technology（信息科学与技术研究生学校）；The University of Osaka（大阪大学）；Department of Research and Development（研究与发展部）；Voizzr Technologies（Voizzr技术公司）
本文研究使用RNN、LSTM和Transformers等序列深度学习模型进行实时行人群体检测，提出基于预训练二元分类和学习表示的两阶段方法，在真实数据集上验证了其高准确性与鲁棒性，并扩展至车队和蜂群等集体运动识别。
2025-08-11 cs.LG
LMU-Based Sequential Learning and Posterior Ensemble Fusion for Cross-Domain Infant Cry Classification
University of Ottawa（渥太华大学）；Crynostics Inc.（Crynostics公司）
本文提出一种紧凑的声学框架，融合MFCC、STFT和F0特征，利用增强型Legendre记忆单元进行时序建模，通过校准后验集成融合提升跨数据集泛化能力，实验证明在跨域评估中宏F1指标提升，适用于设备端监控。
2026-05-13 cs.LG cs.SD eess.AS
Joint Enhancement and Classification using Coupled Diffusion Models of Signals and Logits
Technion -- Israel Institute of Technology, Haifa, Israel（技术学院——以色列理工学院，海法，以色列）；NTT, Inc., Japan（日本NTT公司）
本文提出一种集成信号和logits扩散模型的框架，通过相互指导提升分类鲁棒性，有效应对噪声环境下的分类挑战。
2026-05-16 cs.LG
Fair Sequential Selection Using Supervised Learning Models
University of Delaware（特拉华大学）；Ohio State University（俄亥俄州立大学）；Alan Turing Institute（艾伦·图灵研究所）
我们考虑一个选择问题，顺序到达的申请人申请有限数量的职位/工作。在每个时间步，决策者使用预先训练的监督学习模型接受或拒绝给定的申请人，直到所有的空缺职位都被填补。在本文中，我们讨论是否公平的概念（例如，机会均等、统计均等等）分类问题中常用的两种方法都适用于序贯选择问题。特别是，我们表明，即使有一个预先训练的模型，满足常见的公平概念，选择结果仍然可能对某些人口统计群体有偏见。这一观察结果意味着，公平的概念中使用的分类问题是不适合的选择问题，申请人竞争的职位数量有限。我们引入了一个新的公平性概念，“平等选择（ES），”适合顺序选择问题，并提出了一个后处理方法，以满足ES公平性的概念。我们还考虑了申请人有隐私问题的设置，决策者只能访问敏感属性的嘈杂版本。在这种情况下，我们可以证明，完美的ES公平性仍然可以在一定条件下实现。
2021-10-26 cs.AI cs.CY cs.LG
Sequential Classification of Aviation Safety Occurrences with Natural Language Processing
University of New South Wales（新南威尔士大学）
本研究利用NLP和深度学习模型对航空安全事件文本进行分类，评估多种模型在NTSB数据集上的性能，准确率超87.9%，sRNN表现最优。
2025-01-11 cs.CL cs.LG
Feature based Sequential Classifier with Attention Mechanism
Lister Hill National Center for Biomedical Communications（李斯特希尔国家生物医学通信中心）；National Library of Medicine（美国国家医学图书馆）；National Institutes of Health（美国国立卫生研究院）；Missouri University of Science and Technology（密苏里科技大学）；University of Oklahoma Health Sciences Center（俄克拉荷马大学健康科学中心）；University of Missouri Hospitals and Clinics（密苏里大学医院及诊所）；Stoecker & Associates（斯托克联合事务所）
宫颈癌是影响全球妇女的最致命的癌症之一。宫颈上皮内瘤样病变（CIN）的评估使用宫颈活检切片的组织病理学检查是受观察者之间的差异。数字化组织病理学切片的自动化处理有可能更准确地分类CIN等级，从正常到癌前病变的递增等级：CIN 1，CIN 2和CIN 3。一般认为宫颈癌是从上皮的底部（基底膜）向顶部发展。为了对疾病严重程度与异常空间分布的这种关系进行建模，我们提出了一种网络管道DeepCIN，通过聚焦于局部垂直区域并融合此局部信息来分层分析高分辨率上皮图像（从全载玻片图像中手动提取），以确定正常/CIN分类。该流水线包含两个分类器网络：1）使用弱监督来训练横截面垂直段级序列生成器（两阶段编码器模型），以从垂直段生成特征序列，以保留上皮图像数据中的自底向上的特征关系; 2）基于注意力的融合网络图像级分类器，其通过合并垂直段序列来预测最终CIN等级。该模型产生CIN分类结果，并确定垂直段对CIN等级预测的贡献。实验表明，DeepCIN达到了病理学家级别的CIN分类精度。
2020-07-22 cs.CV cs.LG eess.IV
Active Sequential Two-Sample Testing
Arizona State University（亚利桑那州立大学）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；IBM Research（IBM研究中心）
本文提出首个主动序贯双样本检验框架，通过自适应分类模型主动标注高依赖度特征，在控制第一类错误的同时显著提升检验功效。
2024-06-28 cs.LG stat.ME
Tensor Graph Convolutional Networks for Text Classification
Tsinghua-iFLYTEK Joint Lab（清华-讯飞联合实验室）；iFlytek Research（科大讯飞研究院）；State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室）；Tsinghua University（清华大学）；Institute for Precision Medicine, Tsinghua University（清华大学精准医学研究院）
与序列学习模型相比，基于图的神经网络具有一些优异的性能，如全局信息捕获能力。在本文中，我们研究基于图的神经网络的文本分类问题。针对这一任务，提出了一种新的框架TensorGCN（张量图卷积网络）。首先构造文本图张量来描述语义、句法和顺序上下文信息。然后，在文本图张量上执行两种传播学习。第一种是用于聚集来自单个图中的邻域节点的信息的图内传播。第二种是图间传播，用于协调图之间的异构信息。在基准数据集上进行了大量的实验，结果表明了我们提出的框架的有效性。我们提出的TensorGCN提供了一种有效的方法来协调和集成来自不同类型图的异构信息。
2020-01-12 cs.CL cs.IR cs.LG
