Column generation based math-heuristic for classification trees
Eindhoven University of Technology（埃因霍温理工大学）；École Polytechnique Paris（巴黎综合理工学院）；Khalifa University（哈利法大学）
本文探讨了使用列生成（CG）技术在构建一元二元决策树的分类任务。我们提出了一种新的基于根到叶路径的决策树线性规划（ILP）公式。该模型通过基于列生成的启发式算法求解。为了加快启发式，我们使用一个有限的实例数据，考虑一个子集的决策分裂，采样从著名的CART算法的解决方案。大量的数值实验表明，我们的方法是具有竞争力的国家的最先进的ILP为基础的算法。特别是，所提出的方法能够处理具有数万个数据行的大数据集。此外，对于大型数据集，它找到了与CART竞争的解决方案。
2019-07-11 cs.LG stat.ML
Meta Path-Based Collective Classification in Heterogeneous Information Networks
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Indiana University Bloomington（印第安纳大学伯明顿分校）
由于集合分类在Web挖掘、生物信息学和引文分析等重要应用中的重要作用，集合分类得到了广泛的研究。集体分类方法利用一组链接对象的依赖关系，这些对象的类标签是相关的，需要同时预测。在本文中，我们专注于研究异构网络中的集体分类问题，其中涉及到多种类型的数据对象通过多种类型的链接相互连接。直觉上，如果两个对象被网络中的许多路径链接，则它们是相关的。然而，现有的方法大多通过直接链接或间接链接来度量对象之间的依赖关系，而没有考虑不同路径背后的不同语义。本文研究了异构网络中同类对象之间的集体分类问题。此外，通过考虑网络中的不同链接路径，可以捕获对象之间不同类型依赖关系的微妙之处。我们引入了基于元路径的对象间依赖的概念，其中Meta路径是由一定序列的链接类型组成的路径。我们表明，集体分类结果的质量强烈依赖于所使用的Meta路径。为了适应大的网络规模，一种新的解决方案，称为HCC（基于元路径的异构集体分类），被开发来有效地分配标签到一组通过不同的元路径互连的实例。所提出的HCC模型可以捕获对象之间关于不同Meta路径的不同类型的依赖关系。在真实网络上的实验研究表明，所提出的基于Meta路径的集体分类方法的有效性。
2013-05-20 cs.LG stat.ML
Genetic Column Generation for Computing Lower Bounds for Adversarial Classification
Technische Universität München（慕尼黑工业大学）
本文借鉴多边际最优传输的 Genetic Column Generation 方法，以缓解维数灾难并计算对抗性多类分类中的最小对抗风险下界。
2024-06-12 cs.LG cs.NA math.NA
An improved column-generation-based matheuristic for learning classification trees
Polytechnique Montréal（蒙特利尔理工学院）；Jacobs Technion-Cornell Institute, Cornell Tech and Technion - IIT（雅各布斯-以色列理工学院-康奈尔研究所，康奈尔科技校区和以色列理工学院）
针对基于列生成的决策树学习方法，本文通过重构多类子问题、将数据相关约束作为割平面并设计分离模型，显著提升了算法在大规模数据集上的可扩展性。
2024-01-22 cs.AI cs.LG math.OC
Supervised Collective Classification for Crowdsourcing
University of Michigan（密歇根大学）；Amazon Corporate LLC（亚马逊公司）；Georgia Institute of Technology（佐治亚理工学院）；National Taiwan University of Science and Technology（台湾科技大学）
众包利用群体的智慧通过信息进行集体分类（例如，物品的标签）。目前的众包算法主要是无监督的方法，不知道众包数据的质量。在本文中，我们提出了一种监督集体分类算法，其目的是从训练数据中识别可靠的标记者（例如，已知标签的项目）。可靠性（即，加权因子）通过鞍点算法确定。在多个众包数据上的实验结果表明，监督方法比非监督方法具有更好的分类精度，并且我们提出的方法优于其他算法。
2015-09-08 cs.LG cs.SI stat.ML
Semi-Supervised Collective Classification via Hybrid Label Regularization
U.S. Naval Academy（美国海军学院）；Naval Research Laboratory（海军研究实验室）
许多分类问题涉及相互链接的数据实例，例如通过超链接连接的网页。用于“集体分类”（CC）的技术通常会提高此类数据图的准确性，但通常需要完全标记的训练图。相比之下，我们研究如何提高CC模型的半监督学习时，只有一个稀疏标记的图，一种常见的情况。我们首先描述如何使用分类器的新组合来利用关系特征与非关系特征的不同特性。我们还将“标签正则化”的思想扩展到这种混合分类器，使它们能够利用未标记的数据来偏置学习过程。我们发现，这些技术，这是有效的，易于实现，显着提高三个真实数据集的准确性。此外，我们的研究结果解释了先前相关研究中相互矛盾的发现。
2012-06-27 cs.LG stat.ML
Recurrent Collective Classification
Virginia Tech（弗吉尼亚理工大学）
我们提出了一种新的方法来训练迭代集体分类器标记网络数据中的节点。迭代分类算法（ICA）是一种将关系信息纳入分类的规范方法。然而，现有的ICA模型训练方法依赖于关系特征反映节点真实标签的假设。这种不切实际的假设引入了与实际预测算法不一致的偏差。在本文中，我们介绍了经常性的集体分类（RCC），ICA的一个变种类似于经常性的神经网络预测。RCC适应任何可微的局部分类器和关系特征函数。我们提供了基于梯度的策略来优化模型参数，以更直接地最小化损失函数。在我们的实验中，这种直接损失最小化转化为实际网络数据的准确性和鲁棒性的提高。我们证明了鲁棒性RCC的设置，当地的分类是非常嘈杂的，设置ICA是特别具有挑战性的。
2017-03-19 cs.LG
Graph Classification via Deep Learning with Virtual Nodes
Deakin University（迪肯大学）；University of Wollongong（伍伦贡大学）
图分类的学习表示将可变大小的图转换为固定大小的向量（或矩阵）。这样的表示很好地与代数操作一起工作。在这里，我们介绍了一个简单的方法来增加一个属性图与一个虚拟节点，是双向连接到所有现有的节点。虚拟节点表示图的潜在方面，这些方面不能立即从属性和局部连接结构中获得。然后将扩展的图通过任何节点表示方法。虚拟节点的表示就是整个图的表示。在本文中，我们使用最近推出的列网络的扩展图，从而在一个新的端到端的图分类模型称为虚拟列网络（VCN）。该模型通过两项任务进行验证：（i）预测化合物的生物活性，以及（ii）从源代码中发现软件漏洞。结果表明，VCN是有竞争力的对成熟的竞争对手。
2017-08-14 cs.AI cs.LG stat.ML
Explainable prediction of Qcodes for NOTAMs using column generation
CERC, Polytechnique Montréal（蒙特利尔理工学院 CERC）；Polytechnique Montréal（蒙特利尔理工学院）；GERAD；Jacobs Technion-Cornell Institute, Cornell Tech（康奈尔科技学院雅各布斯技术-康奈尔研究所）；Technion - IIT（以色列理工学院）；Inria（法国国家信息与自动化研究所）
飞行员通告（NOTAM）包含重要的飞行路线相关信息。为了搜索和过滤它们，NOTAM被分成称为QCode的类别。在本文中，我们开发了一个工具来预测，与一些解释，一个Q代码的NOTAM。我们提出了一种方法，将Dash，Gunluk和Wei（2018）中提出的列生成的可解释的二进制分类扩展到多类文本分类方法。我们描述了用于解决与一个与其余分类相关的问题的技术，例如多个输出和类不平衡。此外，我们还介绍了一些技巧，包括使用CP-SAT求解器的子问题，以减少训练时间。最后，我们证明了我们的方法与最先进的机器学习算法（如线性SVM和小型神经网络）相比毫不逊色，同时添加了所需的可解释性组件。
2023-01-20 cs.AI cs.LG math.OC
Physically-interpretable classification of biological network dynamics for complex collective motions
Nagoya University（名古屋大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Japan Institute of Sports Sciences（日本体育科学研究所）；Kyushu University（九州大学）
理解生物网络动力学是各个科学和工程领域的基本问题。网络理论能够揭示元素之间的关系及其传播，但对于复杂的集体运动，网络的性质往往是瞬时的和复杂的变化。这里解决的一个基本问题是基于物理可解释的动力学特性对集体运动网络进行分类。在这里，我们应用一个数据驱动的频谱分析称为图形动态模式分解，获得集体运动分类的动力学特性。以一场球赛为例，我们对不同全局行为中的策略集体运动进行了分类，发现除了物理属性外，上下文节点信息对分类至关重要。此外，我们发现了标签特定的较强的光谱之间的关系最近的代理，提供物理和语义解释。我们的方法有助于从非线性动力系统的角度理解生物复杂网络动力学的原理。
2020-06-13 cs.LG cs.MA cs.SI
Collective Vertex Classification Using Recursive Neural Network
The Australian National University（澳大利亚国立大学）；Data61 CSIRO（澳大利亚联邦科学与工业研究组织Data61）
顶点的集体分类是基于顶点属性和链接结构为图中的每个顶点分配类别的任务。然而，由于邻近顶点的特征引入了噪声，一些现有的方法没有正确使用这些特征。在本文中，我们提出了一个基于图的递归神经网络框架的集体顶点分类。在这个框架中，我们通过递归神经网络从顶点的属性和相邻顶点的表示生成隐藏表示。在这个框架下，我们研究了两种类型的递归神经元，朴素递归神经元和长短期记忆单元。我们在四个真实世界的网络数据集上进行了实验。实验结果表明，我们的框架与长短期记忆模型取得了更好的结果，并优于几个竞争的基线方法。
2017-01-24 cs.LG cs.SI
Robust Collective Classification against Structural Attacks
Washington University in St. Louis（圣路易斯华盛顿大学）
集体学习方法利用数据点之间的关系来提高分类性能。然而，这种关系，在底层图形模型中表示为边，暴露了一个额外的攻击面的对手。我们研究了一类重要的这种图形模型，关联马尔可夫网络（AMN），结构攻击，攻击者可以在测试时修改图结构的对抗鲁棒性。我们制定的任务学习一个强大的AMN分类器作为一个双层程序，其中内部的问题是一个具有挑战性的非线性整数规划，计算最佳的结构变化的AMN。为了解决这一技术挑战，我们首先放松攻击者问题，然后使用对偶来获得鲁棒AMN问题的凸二次上界。然后，我们证明了所得到的近似最优解的质量上的约束，并通过实验证明了我们的方法的有效性。最后，我们将我们的方法应用于转导学习环境中，并表明鲁棒AMN比最先进的深度学习方法更鲁棒，同时在非对抗性数据上牺牲的准确性很小。
2020-07-26 cs.AI cs.CR cs.LG
Generating collective counterfactual explanations in score-based classification via mathematical optimization
Instituto de Matemáticas de la Universidad de Sevilla（塞维利亚大学数学研究所）；Copenhagen Business School（哥本哈根商学院）
本文提出集体反事实解释方法，通过数学优化为兴趣组实例生成总扰动成本最小的反事实解释，以发现对数据集分类至关重要的特征，并妥善处理异常值。
2023-10-19 cs.LG stat.ML
Graph-based Security and Privacy Analytics via Collective Classification with Joint Weight Learning and Propagation
Duke University（杜克大学）
许多安全和隐私问题可以建模为图分类问题，其中图中的节点同时被集体分类。用于这种基于图的安全和隐私分析的现有技术的集体分类方法遵循以下范例：向图的边分配权重，在加权图之间迭代地传播节点的信誉分数，以及使用最终信誉分数来对图中的节点进行分类。关键的挑战是分配边权重，使得如果两个对应的节点具有相同的标签，则边具有大的权重，否则具有小的权重。虽然集体分类已经被研究和应用于安全和隐私问题十多年，但如何应对这一挑战仍然是一个悬而未决的问题。在这项工作中，我们提出了一个新的集体分类框架，以解决这一长期存在的挑战。我们首先将学习边权重表示为一个优化问题，它量化了我们要实现的最终声誉得分的目标。然而，这是计算上难以解决的优化问题，因为最终的信誉分数取决于边缘权重在一个非常复杂的方式。为了解决计算挑战，我们建议联合学习边缘权重并传播声誉分数，这本质上是优化问题的近似解决方案。我们将我们的框架与最先进的基于图的安全和隐私分析方法进行比较，这些方法使用来自各种应用场景的四个大规模真实世界数据集，例如社交网络中的Sybil检测，Yelp中的虚假评论检测和属性推理攻击。我们的研究结果表明，我们的框架实现了更高的精度比国家的最先进的方法与可接受的计算开销。
2020-05-27 cs.CR cs.LG
Interpretable and Fair Boolean Rule Sets via Column Generation
Cornell University（康奈尔大学）；IBM Research（IBM研究院）
本文提出基于列生成的整数规划方法学习可解释布尔规则集，并扩展公平性约束，在准确率、简洁性与公平性之间取得更优权衡。
2023-09-18 cs.AI cs.LG math.OC
An Exact Junction-Tree Extended Formulation for Optimal Classification Trees
The Hong Kong Polytechnic University（香港理工大学）
提出一种基于联结树的精确线性规划形式用于有界深度二元特征分类树，通过精确约简缩小模型，支持列生成与消息传递求解，显著提升可证明最优性的实例数并大幅降低运行时间。
2026-09-22 cs.LG
Networked Information Aggregation for Binary Classification
University of Maryland, College Park, MD, USA（马里兰大学学院市分校）；Google Research, New York City, NY, USA（谷歌研究纽约市分校）；University of California, Irvine, CA, USA（加州大学尔湾分校）
研究网络二分类中信息聚合问题，通过序列分布式训练流程分析信息聚合效果，证明深度对信息聚合的限制。
2026-05-01 cs.GT cs.LG econ.TH
Associated Random Neural Networks for Collective Classification of Nodes in Botnet Attacks
Institute of Theoretical and Applied Informatics, Polish Academy of Sciences (PAN)（波兰科学院理论与应用信息学研究所）；Yaşar University（亚萨尔大学）
僵尸网络攻击是对网络系统的主要威胁，因为它们能够将它们所危害的网络节点变成额外的攻击者，从而导致长时间的大量攻击的传播。由于多个网络IP地址将同时受到危害，因此对此类僵尸网络的检测变得复杂，因此除了关注单个节点的现有传统方法之外，对受危害节点的集体分类可能是有用的。因此，这项工作介绍了一个集体僵尸网络攻击分类技术，从一个N节点的IP网络与一个新的关联随机神经网络（ARNN），识别的节点受到损害的流量。ARNN是一种递归架构，它包含两个相互关联、互连且架构相同的n-神经元随机神经网络，它们同时充当相互批评者，以做出关于n个节点中的哪些节点已经受损的决定。提出了一种新的梯度学习下降算法的ARNN，并有效地运行与传统的离线训练先验数据，并与在线增量训练没有事先离线学习。来自107个节点的分组网络的实际数据与超过700，000个分组一起用于评估ARNN，表明它提供了准确的预测。与使用相同学习和测试数据集的其他已知最先进方法的比较表明，ARNN提供了显着更好的性能。
2023-03-23 cs.CR cs.LG cs.NI
Collective Classification of Textual Documents by Guided Self-Organization in T-Cell Cross-Regulation Dynamics
School of Informatics and Computing, Indiana University（印第安纳大学信息与计算学院）；Instituto Gulbenkian de Ciência（古尔本基安科学研究所）
我们提出并研究了一个基于Agent的自适应免疫系统中T细胞交叉调节模型，并将其应用于二进制分类。我们的方法扩展了现有的T细胞交叉调节的分析模型（Quiniro等，Immunol Rev 216（1）：48-68，2007），其用于研究单个T细胞群体与能够呈递单个抗原的理想化抗原呈递细胞相互作用的自组织动力学。通过基于代理的建模，我们能够研究不同T细胞的多个群体的自组织动力学，这些T细胞通过呈递数百种不同抗原的抗原呈递细胞相互作用。此外，我们表明，这样的自组织动态可以引导产生一个有效的二进制分类的抗原，这是有竞争力的，与现有的机器学习方法时，应用于生物医学文本分类。更具体地说，在这里，我们在BioCreative挑战提供的公开全文生物医学文章的数据集上测试我们的模型（Krallinger在The biocreative ii. 5挑战概述，第19页，2009年）。我们研究了我们的模型的参数配置的鲁棒性，并表明，它会导致令人鼓舞的结果相比，国家的最先进的分类器。我们的研究结果有助于我们理解T细胞交叉调节作为指导自组织的一般原则，以及其对文档分类的适用性。因此，我们表明，我们的生物启发算法是一个很有前途的新方法，生物医学文章分类和二进制文档分类一般。
2011-02-04 cs.AI cs.IR cs.LG
Scale-Invariant Convolutional Neural Networks
Tsinghua University（清华大学）；Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）；NYU Shanghai（上海纽约大学）
尽管卷积神经网络（CNN）在各种计算机视觉任务中实现了接近人类的性能，但其容忍尺度变化的能力是有限的。流行的做法是先将模型做大，然后使用广泛的尺度抖动通过数据增强对其进行训练。在本文中，我们提出了一个尺度不变的卷积神经网络（SiCNN），一个模型，旨在将多尺度特征提取和分类到网络结构。SiCNN使用多列架构，每列专注于特定的规模。与以前的多列策略不同，这些列通过它们之间的尺度变换共享相同的过滤器参数集。这种设计处理比例变化，而不放大模型大小。实验结果表明，SiCNN能够检测出不同尺度下的特征，分类结果对目标尺度变化具有较强的鲁棒性。
2014-11-24 cs.CV cs.LG cs.NE
HOPF: Higher Order Propagation Framework for Deep Collective Classification
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Ohio State University（俄亥俄州立大学）
给定一个图，其中每个节点都有与之关联的某些属性，并且一些节点有与之关联的标签，集体分类（CC）是使用来自节点及其邻居的信息为每个未标记的节点分配标签的任务。通常情况下，节点不仅受到其直接邻居的影响，而且还受到多跳远的高阶邻居的影响。最近的最先进的CC模型学习Weisfeiler-Lehman（WL）内核的端到端可微变化，以聚合多跳邻域信息。在这项工作中，我们提出了一个高阶传播框架，HOPF，它提供了一个迭代推理机制，这些强大的可微内核。经典迭代推理机制与最近的可微内核的这种组合允许框架学习同时利用邻域中可用的属性和标签信息的图卷积滤波器。此外，这些迭代可微内核可以扩展到超过现有可微内核的存储器限制的更大跳数。我们还表明，现有的WL基于内核的模型遭受节点信息变形的问题，其中节点的信息变形或淹没时，考虑多跳的邻居的信息。为了解决这个问题，我们提出了HOPF的一个特定实例，称为NIP模型，它在每个传播步骤中保留节点信息。NIP模型的迭代公式化进一步有助于将远距离跳信息简洁地合并为推断标签的摘要。我们对来自不同领域的11个数据集进行了广泛的评估。我们发现，现有的CC模型不提供跨数据集一致的性能，而建议的NIP模型与迭代推理是更强大的。
2018-11-13 cs.LG cs.SI stat.ML
Packing Sparse Convolutional Neural Networks for Efficient Systolic Array Implementations: Column Combining Under Joint Optimization
Harvard University（哈佛大学）
本文描述了一种新的方法，包装稀疏卷积神经网络的有效脉动阵列实现。通过组合与卷积层相关联的原始滤波器矩阵中的列的子集，我们实质上提高了脉动阵列的利用效率（例如，~4x），这是由于在所得到的压缩滤波器矩阵中非零的密度增加。在组合列中，对于每一行，除了具有最大幅度的一个滤波器权重之外的所有滤波器权重都被修剪。我们重新训练剩余的权重以保持高精度。我们证明，在减轻数据隐私问题的重新训练可以完成只有原始数据集的一部分（例如，CIFAR-10为10%）。我们研究了这种联合优化的有效性，高利用率和分类精度与ASIC和FPGA设计的基础上，有效的位串行实现乘法器，乘法器。我们提出了分析和经验证据，我们的列组合方法对现有技术的性能优越的指标，如能源效率（3倍）和推理延迟（12倍）。
2018-11-07 cs.AR cs.LG stat.ML
Substituting Data Annotation with Balanced Updates and Collective Loss in Multi-label Text Classification
McGill University（麦吉尔大学）
本文针对多标签文本分类中标注稀缺问题，提出利用自然语言推理、标签依赖图和集体损失函数进行平衡更新的方法，在低监督下以极小开销将F1分数提升70%。
2023-09-24 cs.CL cs.LG
Transfer Learning across Networks for Collective Classification
University of Technology, Sydney（悉尼科技大学）；CSIRO（澳大利亚联邦科学与工业研究组织）；Florida Atlantic University（佛罗里达大西洋大学）
本文讨论了从源网络中转移有用的知识来预测新形成的目标网络中的节点标签的问题。虽然现有的迁移学习研究主要集中在基于向量的数据，其中的实例被假定为独立和相同的分布，如何有效地转移知识在不同的信息网络还没有得到很好的研究，主要是因为网络可能有其独特的节点特征和节点之间的链接关系。在本文中，我们提出了一种新的迁移学习算法，试图在源和目标网络之间转移共同的潜在结构特征。该算法通过在源网络和目标网络中构造标签传播矩阵，并将它们映射到共享的潜在特征空间来发现这些潜在特征。潜在特征捕获两个网络共享的共同结构模式，并作为域独立的特征在网络之间传输。结合域相关节点特征，我们提出了一种迭代分类算法，该算法利用标签相关性来预测目标网络中的节点标签。在真实网络上的实验表明，该算法能够成功实现网络间的知识传递，提高目标网络中节点的分类精度。
2014-03-11 cs.LG cs.SI
Simultaneous column-based deep learning progression analysis of atrophy associated with AMD in longitudinal OCT studies
School of Computer Science and Engineering, The Hebrew University of Jerusalem（耶路撒冷希伯来大学计算机科学与工程学院）；The Alexander Grass Center for Bioengineering, The Hebrew University of Jerusalem（耶路撒冷希伯来大学亚历山大·格拉斯生物工程中心）；Hadassah Medical Center（哈达萨医疗中心）
提出一种基于列的同步深度学习流水线，用于在纵向OCT扫描对中同时检测和量化与干性AMD相关的视网膜萎缩变化，实验证明其准确率优于独立分类方法。
2023-07-31 cs.CV cs.LG eess.IV
Combining Gradient Boosting Machines with Collective Inference to Predict Continuous Values
Purdue University（普渡大学）
回归树的梯度提升是用于学习连续数据的预测模型的竞争性过程，其用加性非参数模型拟合数据。梯度提升的经典版本假设数据是独立同分布的。然而，具有相互依赖的关联实例的关系数据现在很常见，并且可以利用此类数据中的依赖关系来提高预测性能。集体推理是一种利用关系相关模式并显着减少分类错误的方法。然而，大部分关于集体学习和推理的工作都集中在离散预测任务上，而不是连续的。%目标值在集体推理方面没有得到关注。在这项工作中，我们研究如何将这两种范式结合在一起，以提高回归关系域。具体来说，我们提出了一种用于学习预测连续目标变量的集体推理模型的提升算法。在该算法中，我们学习一个基本的关系模型，集体推断的目标值，然后迭代学习关系模型预测残差。我们在一个真实的网络数据集上评估了我们提出的算法，并表明它优于其他提升方法。然而，我们的调查还显示，关系特征相互作用，以产生更好的预测。
2016-07-01 cs.LG stat.ML
Collective Learning
Alma Mater Studiorum - Università di Bologna（博洛尼亚大学）
在本文中，我们介绍了集体学习（CL）的概念，利用分布式半监督学习领域的集体智慧的概念。建议的框架从人类的学习行为，谁交替阶段，涉及合作，对抗和交流意见，与其他组成的学习和学习自己的灵感。在这方面，CL包括两个主要阶段：一个自我训练阶段，其中只对本地私有（标记）数据进行学习，以及一个集体训练阶段，其中通过基于共识的算法将代理标签分配给共享（未标记）数据。在所考虑的框架中，异构系统可以通过相同的网络连接，每个系统都具有不同的计算能力和资源，网络中的每个人都可以利用合作，并最终达到更高的性能。一个广泛的实验活动上的图像分类问题强调CL的性能分析所取得的合作代理。
2021-05-26 cs.LG cs.MA math.OC
Early Diagnosis of Retinal Blood Vessel Damage via Deep Learning-Powered Collective Intelligence Models
Vellore Institute of Technology（韦洛尔理工学院）
糖尿病视网膜病变等视网膜疾病的早期诊断已经引起了许多研究者的关注。通过引入卷积神经网络的深度学习已成为分类和分割等图像相关任务的重要解决方案。图像分类中的大多数任务都由在imagenet数据集上预训练和评估的深度CNN处理。然而，这些模型并不总是转化为其他数据集上的最佳结果。基于遗传学从头开始手动设计神经网络可能不会导致最佳模型，因为有许多超参数在起作用。在本文中，我们使用两个自然启发的群算法：粒子群优化（PSO）和蚁群优化（ACO），以获得TDCN模型进行眼底图像的严重程度类的分类。群算法的强大功能用于搜索卷积层、池化层和归一化层的各种组合，以提供任务的最佳模型。据观察，TDCN-PSO优于imagenet模型和现有文献，而TDCN-ACO实现更快的架构搜索。最佳TDCN模型的准确度为90.3%，AUC ROC为0.956，Cohen kappa评分为0.967。与以往的研究结果进行了比较，表明所提出的TDCN模型表现出优越的性能。
2022-10-17 cs.CV cs.LG cs.NE
Fair Decision Rules for Binary Classification
School of Operations Research and Information Engineering（运筹学与信息工程学院）；Cornell University（康奈尔大学）
近年来，机器学习已经开始在大学招生、信贷和刑事判决等不同领域实现决策自动化。这些应用程序的社会敏感性，加上越来越多的监管限制，有必要对算法，是公平的和可解释的。在本文中，我们考虑的问题，建立布尔规则集的析取范式（DNF），一个可解释的二元分类模型，公平性约束。我们制定的问题作为一个整数规划，最大限度地提高分类精度与明确的限制两个不同的措施的分类奇偶性：平等的机会和均衡的赔率。列生成框架，与一个新的配方，用于有效地搜索指数许多可能的规则。当与更快的算法相结合时，我们的方法可以处理大型数据集。与其他公平和可解释的分类器相比，我们的方法能够找到满足更严格的公平概念的规则集，并在准确性方面进行适度的权衡。
2021-07-03 cs.AI cs.CY cs.LG
CG4AI: A Column Generation Framework for Training AI Models Under Constraints
Huawei Technologies Ltd., France Research Center（华为技术有限公司法国研究中心）
CG4AI是带线性约束的AI模型训练的列生成框架，通过主LP、定价子问题和割平面程序实现，在MNIST和SNDLIB网络上验证，可生成可行预测器且准确率优于单模型基线。
2026-08-28 cs.AI cs.DM cs.LG
Multi-Resolution Fusion and Multi-scale Input Priors Based Crowd Counting
University of Kansas（堪萨斯大学）；Ryerson University（瑞尔森大学）
静态图像中的人群计数是一个具有挑战性的问题，在实践中，由于巨大的人群密度变化，大的视角变化，严重的遮挡，和可变的照明条件。最先进的补丁重新缩放模块（PRM）为基础的方法被证明是非常有效的，在提高人群计数性能。然而，PRM模块需要一个额外的和妥协的人群密度分类过程。为了解决这些问题和挑战，本文提出了一种新的基于多分辨率融合的端到端人群计数网络。它采用了三个基于深层的列/分支，每个都满足各自的人群密度规模。这些专栏定期相互融合（共享）信息。网络分为三个阶段，每个阶段包含一个或多个列。三个输入先验被引入作为一个高效和有效的替代PRM模块，而不需要任何额外的分类操作。除了最终的人群计数回归头，网络还包含三个辅助人群估计回归头，它们被战略性地放置在每个阶段的末端，以提高整体性能。在三个基准数据集上的综合实验表明，所提出的方法优于所有最先进的模型下的RMSE评价指标。在跨数据集的实验中，该方法也具有更好的泛化能力和最好的结果。
2020-10-04 cs.CV cs.LG
Graph Based Classification Methods Using Inaccurate External Classifier Information
Yahoo! Labs（雅虎实验室）；Yahoo! Research（雅虎研究院）
在本文中，我们考虑的问题，集体分类实体的关系信息是跨实体。在实践中，每个实体的不准确的类分布通常可以从另一个（外部）分类器获得。例如，这种分布可以来自使用内容特征或简单字典构建的分类器。鉴于关系和不准确的外部分类器信息，我们考虑两个基于图的设置，其中集体分类的问题可以解决。在第一种设置中，类分布用于将标签固定到节点的子集，并且像在转换设置中一样获得剩余节点的标签。在另一种设置中，所有节点的类分布用于定义图正则化目标函数的拟合函数部分。我们定义了一个广义目标函数来处理这两个设置。文献中报道的谐波高斯场和局部-全局一致性（LGC）方法可以看作是特例。我们扩展了LGC和加权投票关系邻居分类（WvRN）方法，以支持使用外部分类器信息。我们还提出了一个有效的最小二乘正则化（LSR）的方法，并将其与信息正则化方法。所有的方法都在几个基准和真实世界的数据集上进行了评估。综合考虑速度、鲁棒性和准确性，实验结果表明，LSR和WvRN扩展方法的性能优于其他方法。
2012-06-26 cs.LG
Hybrid Spiking Neural Network -- Transformer Video Classification Model
University of Tehran（德黑兰大学）
本文提出一种受大脑皮层柱启发、融合SNN与Transformer的时间序列分类混合架构，配套多种编码与训练流程，并公开全部实现。
2024-11-29 cs.CV cs.LG
