Integer Programming-based Error-Correcting Output Code Design for Robust Classification
Massachusetts Institute of Technology(麻省理工学院)
纠错输出码(ECOCs)提供了一种将简单的二进制分类器组合成多类分类器的原则性方法。在本文中,我们研究了使用支持向量机(SVM)和二进制深度学习模型设计最佳ECOCs以实现标称和对抗精度的问题。在以往的文献中,我们提出了一个可编程(IP)制定设计最小码本所需的纠错性能。我们的工作利用IP求解器的进步来生成具有最优性保证的码本。为了实现易处理性,我们利用我们的IP制定的约束集的底层图论结构。这使得我们能够使用边团覆盖来大幅减少约束集。我们的码本相对于标准码本(例如,一对所有、一对一和密集/稀疏码)。我们还在白盒设置中估计了基于EECC的分类器的对抗准确性。我们的IP生成的码本即使没有任何对抗性训练,也能对对抗性扰动提供非平凡的鲁棒性。
2020-10-30 cs.CV cs.IT cs.LG
Sub-Classifier Construction for Error Correcting Output Code Using Minimum Weight Perfect Matching
Chulalongkorn University(朱拉隆功大学);Walailak University(瓦莱岚大学);National Institute of Informatics(国立信息学研究所)
多类分类是解决现实问题的一个重要手段,纠错输出码是多类分类的一种有效方法。我们提出了一种方法,用于构建纠错输出代码,以获得适当的组合的积极和消极的类编码代表二进制分类器。采用最小权完美匹配算法,以泛化性能作为加权准则,寻找最优的类子集对。基于我们的方法,每个子集的类与积极和消极的标签是适当的组合学习的二进制分类器。实验结果表明,我们的技术提供了显着更高的性能相比,传统的方法,包括密集的随机码和稀疏的随机码的准确性和分类时间。此外,与一对一相比,我们的方法需要的二进制分类器数量明显较少,同时保持准确性。
2013-12-27 cs.IT cs.LG math.IT
N-ary Error Correcting Coding Scheme
Institute of High Performance Computing(高性能计算研究所);University of Sydney(悉尼大学);Nanyang Technological University(南洋理工大学);Berlin Institute of Technology(柏林工业大学);Korea University(高丽大学)
编码矩阵的设计对基于纠错输出码的多类任务的预测性能起着至关重要的作用。{In多类分类问题,例如,细粒度分类,由于编码值的有限选择,在现有编码方案下难以区分细微的类间差异。在本文中,我们研究是否可以放宽现有的二进制和三进制码设计$N$ -ary码设计,以实现更好的分类性能。{In特别地,我们提出了一种新的$N$ -ary编码方案,该方案将原始多类问题分解为更简单的多类子问题,这类似于应用分治方法。这种编码方案的两个主要优点如下:(i)构造更多鉴别码的能力和(ii)用户选择用于基于ECC的分类的最佳$N$的灵活性。我们的经验表明,最佳的$N$(基于分类性能)在于$[3, 10]$与一些权衡计算成本。此外,我们提供了理论上的见解的泛化误差界的$N$ -ary ECOC上的平均基础分类器泛化误差和任何两个代码之间的最小距离的依赖。在基准多类数据集上的实验结果表明,该编码方案比现有的编码方法具有更好的预测性能。
2016-03-18 cs.LG
Heuristic Ternary Error-Correcting Output Codes Via Weight Optimization and Layered Clustering-Based Approach
Tsinghua University(清华大学)
多类分类问题的一个重要分类器集成是纠错输出码(ECOCs)。它通过将多类问题分解为一系列的二值类问题,将多类问题与二值类分类器连接起来。在本文中,我们提出了一个启发式的三元代码,命名为重量优化和分层排序为基础的ECOC(WOLC-ECOC)。它从一个任意有效的ECOC开始,迭代以下两个步骤,直到训练风险收敛。第一步,命名为基于分层聚类的ECOC(LC-ECOC),构造多个强分类器上最混乱的二进制类问题。第二步通过一种新的优化加权(OW)解码算法将新的分类器加入到ECOC中,其中解码的优化问题通过割平面算法来解决。从技术上讲,LC-ECOC使得启发式训练过程不会被一些困难的二元类问题所阻碍。OW译码保证了训练风险的不增加,从而保证了较小的码长。在14个UCI数据集和一个音乐流派分类问题上的实验结果证明了WOLC-ECOC的有效性。
2014-04-23 cs.LG
Rule Mining for Correcting Classification Models
Fujitsu Limited(富士通有限公司);Osaka University(大阪大学)
针对模型修正需谨慎改变预测结果的场景,提出修正规则挖掘方法,结合频繁项集挖掘与剪枝技术,高效发现描述不准确子群体及修正方法的规则,助力数据补充、输出修正和概念漂移分析。
2023-10-14 cs.LG cs.SE
A New Approach in Persian Handwritten Letters Recognition Using Error Correcting Output Coding
University College of Rouzbehan(鲁兹贝汉大学学院);Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
使用输出的加权轮询的分类枚举是组合一组基本分类器以生成高性能、鲁棒且更稳定的结果的艺术。本研究旨在改善纠错输出编码(ECOC)集成方法对波斯手写体字母的识别效果。此外,特征选择被用来减少错误的代价,在我们提出的方法。ECOC是一种将多路分类问题分解为许多二进制分类任务的方法;然后将子任务的结果组合成原始问题的假设解决方案。首先,利用主成分分析(PCA)提取图像特征。在此基础上,采用支持向量机(SVM)作为基本分类器,对波斯语手写体字母进行识别。使用10个真实世界的波斯手写字母数据集应用该集成方法的实证结果表明,该方法具有更好的结果,在识别波斯手写字母比其他集成方法和单一的分类。此外,通过对多个不同特征的测试,本文发现使用该方法可以减少特征选择阶段的额外成本。
2016-04-26 cs.CV cs.LG stat.ML
Correcting Underrepresentation and Intersectional Bias for Classification
Toyota Technological Institute at Chicago(芝加哥丰田技术学院);Emory University(埃默里大学)
针对数据中正例被不同速率过滤的代表性不足与交叉性偏差问题,提出利用少量无偏数据估计群体流失率并构建重加权方案的算法,实现了对有限VC维模型类的高效PAC学习。
2024-06-03 cs.CY cs.DS cs.LG
Interpreting and Correcting Medical Image Classification with PIP-Net
University of Twente(特文特大学);Hospital Group Twente(特文特医院集团);University of Mannheim(曼海姆大学);University of Marburg(马尔堡大学)
本文探讨PIP-Net在医学图像分类中的应用,证明其通过学习人类可理解的原型部件实现可解释诊断,并首次展示人类可手动纠正模型推理。
2023-09-11 cs.AI cs.CV cs.LG
Correcting Class Imbalance in Prior-Data Fitted Networks for Tabular Classification
School of Electrical, Computer and Energy Engineering(电气、计算机与能源工程学院)
本文研究了如何修正先验数据拟合网络在表格分类中因类别不平衡导致的性能问题,通过分析现有技术发现阈值法因PFNs的校准特性表现优异,下采样因PFNs的有限数据性能表现相当,并具有降低推理计算成本的优势。
2026-05-20 cs.IT cs.LG math.IT
Improving Generalizability of Kolmogorov-Arnold Networks via Error-Correcting Output Codes
School of Electrical Engineering, KAIST, South Korea(韩国国立首尔大学电子工程学院);Department of Applied AI, Hansung University, South Korea(韩国翰 Sung大学应用人工智能系)
本研究将 Error-Correcting Output Codes 集成到 Kolmogorov-Arnold Networks 框架中,通过 Hamming 距离解码将多类分类转化为多个二分类任务,显著提升了模型在血细胞分类等医疗 AI 应用中的泛化能力和鲁棒性。
2025-09-17 cs.CV cs.LG eess.IV
Challenging the adversarial robustness of DNNs based on error-correcting output codes
Xidian University(西安电子科技大学);University of Siena(锡耶纳大学)
对抗性示例的存在及其生成的容易性引发了关于深度学习系统的几个安全问题,促使研究人员开发合适的防御机制。最近提出了使用采用纠错输出码(ECOC)的网络来对抗白盒设置中对抗性示例的创建。在本文中,我们对ECOC方法所实现的对抗鲁棒性进行了深入的研究。我们提出了一种新的对抗攻击,专门为多标签分类架构,如基于ECOC的,并通过应用两个现有的攻击。与以前的研究结果相比,我们的分析表明,基于ECOC的网络可以通过引入一个小的对抗扰动很容易地被攻击。此外,可以以这样的方式生成对抗性示例,以实现预测目标类别的高概率,因此难以使用预测置信度来检测它们。我们的研究结果证明了MNIST,CIFAR-10和GTSRB分类任务的实验结果。
2020-10-09 cs.CR cs.LG
Error-Correcting Output Codes with Ensemble Diversity for Robust Learning in Neural Networks
Nanyang Technological University(南洋理工大学)
尽管深度学习已成功应用于许多场景,但带有人类无法察觉的扰动的恶意输入可能使其在实际应用中变得脆弱。本文提出了一种纠错神经网络(ECNN),它结合了一组二进制分类器来对抗多类分类问题中的对抗性样本。为了构建ECNN,我们提出设计码矩阵,使得任意两行之间的最小汉明距离(即,两个码字)和任意两列之间的最小共享信息距离(即,类标签的两个分区)被同时最大化。最大化行距离可以增加系统容错,而最大化列距离有助于增加二进制分类器之间的多样性。我们提出了一个端到端的训练方法,我们的ECNN,它允许进一步提高二进制分类器之间的多样性。端到端的训练使我们提出的ECNN不同于传统的基于纠错输出码(ECOC)的方法,独立训练二进制分类器。ECNN是对其他现有防御方法(如对抗训练)的补充,可以与它们结合应用。我们的经验表明,我们提出的ECNN是有效的对国家的最先进的白盒和黑盒攻击的几个数据集,同时保持良好的分类精度正常的例子。
2021-05-07 cs.LG stat.ML
Neural Network Decoders for Permutation Codes Correcting Different Errors
National University of Singapore(新加坡国立大学)
为了纠正电力线通信和闪存的秩调制等应用中的不同类型的错误,对排列码进行了广泛的研究。在本文中,我们介绍了神经网络解码器的置换码,以纠正这些错误与一次性解码,处理的解码为$n$分类任务的非二进制符号的代码长度$n$。这些实际上是第一个通用解码器,用于处理这两个应用程序的任何错误类型。解码器的性能进行了评估与不同的错误模型的模拟。
2022-06-07 cs.IT cs.LG math.IT
Deep Transformer Networks for Time Series Classification: The NPP Safety Case
The Ohio State University(俄亥俄州立大学);Texas A&M University(德克萨斯A&M大学)
核电厂动态概率风险评估的一个具有挑战性的部分是需要大量的时间模拟给定的各种启动事件和分支条件的代表性特征提取变得复杂的后续应用。人工智能技术已被证明是强有力的工具,在时间相关的顺序数据处理,自动提取和产生复杂的功能,从大数据。被称为Transformer的先进的时间神经网络被用于监督学习的时尚内的时间相关的NPP模拟数据建模,并推断是否一个给定的事件序列导致堆芯损坏或不。Transformer的训练和测试数据集是通过运行10,000个RELAP 5 -3D NPP停电模拟获得的,其中变量列表从RAVEN软件获得。根据结果,将每个模拟分类为“正常”或“堆芯损坏”。实验结果表明,Transformer能够学习序列数据的特征,并在测试数据集上取得了99%的分类准确率。
2021-04-18 cs.LG cs.NE
Classification with Conceptual Safeguards
UC San Diego(加州大学圣地亚哥分校);Stanford University(斯坦福大学)
提出概念防护作为验证层,通过弃权(不执行)不确定预测确保分类准确率,并允许人工确认概念以提高覆盖率,在真实与合成数据集上验证了有效性。
2024-11-07 cs.LG
CASA: Classification Augmented with Safety Attention for Robust Multimodal Alignment
The Ohio State University(俄亥俄州立大学);AWS(亚马逊云服务)
本文提出CASA方法,通过内部表示预测安全令牌以提升多模态大语言模型的安全性,实验显示其在多种基准上显著降低攻击成功率,同时保持良性输入的实用性。
2026-08-10 cs.AI cs.LG
Classification of Safety Events at Nuclear Sites using Large Language Models
Ontario Power Generation(安大略电力公司);Dalhousie University(达尔豪斯大学)
本文提出基于大型语言模型的分类器,用于将核电站工况状态记录自动划分为安全相关与非安全相关类别,并通过提示变体实验和数值评分机制提升分类效率、准确性及灵活性。
2024-08-26 cs.AI cs.CL cs.LG
Scaling behavior of large language models in emotional safety classification across sizes and tasks
Leibniz Institute for Resilience Research(莱比锡韧性研究所);University Medical Center Halle(哈雷医学院);German Center for Mental Health (DZPG)(德国心理健康中心(DZPG));University Medical Center of the Johannes Gutenberg-University Mainz(美因茨约瑟夫·冯·拉贝大学医学院)
该研究构建超1.5万样本的情感安全数据集,评估不同规模LLaMA模型在两类情感安全分类任务中的缩放行为,发现轻量微调的小模型可实现媲美大模型的性能,为隐私友好的端侧敏感应用提供可行方案。
2025-09-02 cs.CL cs.LG
Opir: Efficient Multi-Task Safety Classification for Toxicity, Jailbreaks, Hate Speech, and Harmful Content
Knowledgator;Wordcab
本文提出基于GLiClass架构的Opir系列编码器护栏模型,通过多任务学习实现二进制安全/不安全分类、多标签毒性分类、越狱分类和零样本不安全提示与响应分类,在12项安全分类任务和17项类别任务上与现有护栏系统竞争,同时部署开销更小。
2026-05-28 cs.AI cs.CL cs.LG
A Self-Correcting Deep Learning Approach to Predict Acute Conditions in Critical Care
Nanyang Technological University(南洋理工大学);National University Health System(新加坡国立大学医疗系统);National University of Singapore(新加坡国立大学);Weill Cornell Medical College(威尔康奈尔医学院);Cornell University(康奈尔大学)
在重症监护中,重症监护医生需要连续监测高维生命体征和实验室测量结果,以检测和诊断急性患者状况。这一直是一项具有挑战性的任务。在这项研究中,我们提出了一种新的自校正深度学习预测方法来应对这一挑战。我们专注于预测急性肾损伤(AKI)的一个例子。与现有的模型相比,我们的方法有一些明显的特点:我们利用了ICU患者的累积数据;我们开发了一种自校正机制,将先前预测的错误反馈到网络中;我们还提出了一种正则化方法,该方法不仅考虑了模型在标签上的预测误差,还考虑了它在输入数据上的估计误差。这种机制适用于回归和分类任务。我们在两个真实世界的临床数据集上比较了我们提出的方法与传统深度学习模型的性能,并证明了我们提出的模型不断优于这些基线模型。特别是,所提出的模型在MIMIC III数据集上的ROC曲线下面积为0.893,在Philips eICU数据集上为0.871。
2019-01-14 cs.LG stat.ML
CSULoRA: Closest Safe Update Low-Rank Adaptation
Department of Computer Science, University of Luxembourg(卢森堡大学计算机科学系)
提出CSULoRA方法,通过后处理校正LoRA适配器,在保留任务相关性的同时抑制不安全更新方向,降低攻击成功率。
2026-05-28 cs.CL cs.LG
Safe Reinforcement Learning Using Black-Box Reachability Analysis
Ain Shams University(艾因沙姆斯大学);Jacobs University(雅各布大学);Stanford University(斯坦福大学);KTH Royal Institute of Technology(KTH皇家理工学院)
强化学习(Reinforcement learning,RL)能够在不确定环境中对机器人进行复杂的运动规划和控制。然而,最先进的深度RL方法通常缺乏安全保证,特别是当机器人和环境模型未知时。为了证明广泛部署的合理性,机器人必须在不牺牲性能的情况下遵守安全约束。因此,我们提出了一个基于黑盒可达性的安全层(BRSL)有三个主要组成部分:(1)数据驱动的可达性分析的黑盒机器人模型,(2)一个轨迹推出规划器,预测未来的行动和观察使用的合奏在线训练的神经网络,和(3)可达集和障碍物之间的可微多面体碰撞检查,使纠正不安全的行动。在模拟中,BRSL在Turtlebot 3,四旋翼,跟踪点质量和风中的六旋翼上优于其他最先进的安全RL方法,其中不安全的集合邻近最高奖励的区域。
2022-11-21 cs.LG cs.RO cs.SY
Identifying and Correcting Label Bias in Machine Learning
Google Research(谷歌研究院);Google Brain(谷歌大脑)
数据集通常包含不公平地使某些群体处于不利地位的偏见,并且在这些数据集上训练的分类器可以继承这些偏见。在本文中,我们提供了一个数学公式,这种偏见是如何产生的。我们通过假设存在潜在的、未知的和无偏见的标签来做到这一点,这些标签被一个意图提供准确标签但可能对某些群体有偏见的代理所覆盖。尽管我们只观察到有偏差的标签,但我们能够证明,在不改变标签的情况下,通过重新加权数据点,可以纠正偏差。我们证明,在理论保证下,在重新加权的数据集上的训练对应于在未观察到但无偏的标签上的训练,从而导致无偏的机器学习分类器。我们的程序是快速和强大的,几乎可以用于任何学习算法。我们评估了一些标准的机器学习公平性数据集和各种公平性概念,发现我们的方法在实现公平分类方面优于标准方法。
2019-01-15 cs.AI cs.LG stat.ML
Ensemble Learning Model on Artificial Neural Network-Backpropagation (ANN-BP) Architecture for Coal Pillar Stability Classification
本文提出基于ANN-BP和深度集成学习的煤柱稳定性分类方法,引入与安全系数适配的四类标签,实验表明集成学习可提升分类性能,平均准确率达86.48%。
2023-05-25 cs.LG
Sequential Classification of Aviation Safety Occurrences with Natural Language Processing
University of New South Wales(新南威尔士大学)
本研究利用NLP和深度学习模型对航空安全事件文本进行分类,评估多种模型在NTSB数据集上的性能,准确率超87.9%,sRNN表现最优。
2025-01-11 cs.CL cs.LG
Offline Safe Reinforcement Learning Using Trajectory Classification
本文提出一种基于轨迹分类的离线安全强化学习方法,通过将轨迹分为理想与非理想集合并学习分类器来指导策略生成,绕过了极小极大目标的复杂性,在DSRL基准上取得更高奖励和更好约束满足。
2025-04-19 cs.AI cs.LG
Fast Reinforcement Learning with Large Action Sets using Error-Correcting Output Codes for MDP Factorization
UPMC(巴黎第六大学);LIP6(巴黎第六大学计算机科学实验室);LIFL (UMR CNRS)(法国国家科学研究中心里尔基础信息学实验室);INRIA Lille Nord-Europe(法国国家信息与自动化研究所里尔-北欧分部);Université de Lille(里尔大学)
强化学习在现实场景中的使用受到规模问题的严重限制。大多数RL学习算法无法处理由数百甚至数十个可能动作组成的问题,因此无法应用于许多现实问题。我们认为RL问题的监督分类框架中的最优策略是通过一个多类分类器,类的集合是一组行动的问题。我们引入纠错输出码(ECOCs)在这种情况下,并提出了两种新的方法来降低复杂性时,使用基于推出的方法。第一种方法是使用基于EECC的分类器作为多类分类器,将学习复杂度从O(A2)降低到O(Alog(A))。然后,我们提出了一种新的方法,从ECOC的编码字典的利润分裂成O(log(A))分开的两个动作MDP的初始MDP。第二种方法进一步降低了学习复杂度,从O(A2)到O(log(A)),从而使具有大动作集的问题变得易于处理。最后,我们通过实验证明了我们的方法在一组基准问题上的优势,无论是在速度和性能。
2012-02-29 cs.LG stat.ML
SpecRepair: Counter-Example Guided Safety Repair of Deep Neural Networks
University of Konstanz(康斯坦茨大学);Aalborg University(奥尔堡大学)
深度神经网络(DNN)越来越多地应用于安全关键领域,如自动驾驶汽车、无人驾驶飞机和医疗诊断。证明这些DNN的安全性至关重要,即它们符合正式的安全规范。虽然安全认证工具准确地回答了这个问题,但它们对调试不安全的DNN没有帮助,需要开发人员反复验证和修改DNN,直到最终实现安全。因此,需要开发一种可以自动生成安全DNN的修复技术。为了满足这一需求,我们提出了SpecRepair,这是一种有效消除DNN中反例的工具,并在不损害其分类准确性的情况下生成可证明安全的DNN。SpecRepair结合了基于规范的反例搜索,并恢复DNN的训练,惩罚反例并验证生成的DNN。我们评估SpecRepair在ACAS Xu基准测试(一种基于DNN的无人驾驶飞机控制器)和两个图像分类基准测试上的有效性。结果表明,SpecRepair在生成安全DNN方面比同类方法更成功,运行时间更短,并且在保持分类准确性的同时生成安全DNN。
2022-05-12 cs.LG cs.LO
NASP-T: A Fuzzy Neuro-Symbolic Transformer for Logic-Constrained Aviation Safety Report Classification
Faculty of Science and Technology (REALTEK)(科学与技术学院);Norwegian University of Life Sciences (NMBU)(挪威生命科学大学);Dresden International University (DIU)(德累斯顿国际大学)
提出NASP-T模糊神经符号框架,融合ASP规则与Transformer,通过数据增强和模糊正则化提升ASRS报告分类的逻辑一致性,F1分数提高且规则违规减少86%。
2025-10-06 cs.AI cs.LG
CodNN -- Robust Neural Networks From Coded Classification
Washington University in St. Louis(圣路易斯华盛顿大学);California Institute of Technology(加州理工学院);Texas A&M University(德州农工大学)
深度神经网络(DNN)是正在进行的信息革命中的革命性力量,但其内在属性仍然是一个谜。特别是,众所周知,DNN对噪声高度敏感,无论是对抗性的还是随机的。这对DNN的硬件实现及其在自动驾驶等关键应用中的部署提出了根本性挑战。在本文中,我们通过纠错码构造鲁棒DNN。通过我们的方法,DNN的数据或内部层都用纠错码编码,并且保证了在噪声下的成功计算。由于DNN可以被视为分类任务的分层级联,因此我们的研究从对噪声编码输入进行分类的核心任务开始,并朝着鲁棒DNN的方向发展。我们专注于二进制数据和线性代码。我们的主要结果是,流行的奇偶校验码可以保证一个大家庭的DNN,其中包括最近流行的二进制神经网络的鲁棒性。此外,我们表明,编码分类问题有着深刻的联系,布尔函数的傅立叶分析。与文献中现有的解决方案相比,我们的结果不依赖于改变DNN的训练过程,并提供数学上严格的保证,而不是实验证据。
2020-04-29 cs.CR cs.IT cs.LG
Enhancing Traffic Accident Classifications: Application of NLP Methods for City Safety
LMU Munich(慕尼黑大学);City of Munich(慕尼黑市政府);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本研究针对慕尼黑交通事故分类问题,应用NLP方法发现标注不一致问题,构建的分类模型结合文本与表格特征,证实文本数据对事故分类的关键作用及transformer模型的潜力,助力城市安全提升。
2025-06-11 cs.CL cs.LG
Leakage-Safe Empirical Benchmarking of EEG-Based Machine Learning Pipelines for Dementia Classification
Curtin University(科廷大学)
本文提出防泄漏基准测试,评估EEG痴呆分类流程,确定最佳实践为ASR+ICA、10秒时段、多域特征及线性SVM,在AD vs CN分类中达到87.69%准确率。
2026-09-22 cs.LG eess.SP
Assessing Robustness of Text Classification through Maximal Safe Radius Computation
University of Oxford(牛津大学);Genie AI
神经网络NLP模型容易受到输入的小修改,这些修改保持了原始含义,但会导致不同的预测。在本文中,我们专注于文本分类对单词替换的鲁棒性,旨在提供保证,如果一个单词被替换为一个合理的替代品,如同义词,模型预测不会改变。作为鲁棒性的度量,我们采用了对于给定输入文本的最大安全半径的概念,这是嵌入空间中到决策边界的最小距离。由于计算精确的最大安全半径在实践中是不可行的,因此我们通过计算下限和上限来近似它。对于上界计算,我们采用蒙特卡罗树搜索结合句法过滤来分析单个和多个词替换的效果。下界计算是通过调整工具CNN-Cert和POPQORN中分别针对卷积和递归网络模型实现的线性边界技术来实现的。我们评估了情感分析和新闻分类模型的四个数据集(IMDB,SST,AG News和NEWS)和一系列嵌入的方法,并提供了鲁棒性趋势的分析。我们还将我们的框架应用于可解释性分析,并将其与LIME进行比较。
2020-10-07 cs.CL cs.LG stat.ML
Lightweight Safety Classification Using Pruned Language Models
Neudesic, an IBM Company(Neudesic(IBM旗下公司));IBM(国际商业机器公司(IBM))
本文提出层增强分类(LEC)技术,通过在LLM最佳中间Transformer层上训练惩罚逻辑回归分类器,实现轻量级且超越GPT-4o的内容安全与提示注入分类,证明小型通用模型剪枝后可作为稳健特征提取器。
2024-12-18 cs.AI cs.CL cs.LG
LightMC: A Dynamic and Efficient Multiclass Decomposition Algorithm
Peking University(北京大学);Microsoft Research(微软研究院)
多类分解将多类分类问题分解为一系列独立的二进制学习器,并通过组合它们的输出来重构多类分类结果。这种分解方法的三种广泛使用的实现是One-Versus-All(OVA)、One-Versus-One(OVO)和纠错输出代码(ECOC)。而OVA和OVO都很简单,它们都假设所有的类都是正交的,忽略了现实世界中类之间的潜在相关性。另一方面,基于纠错输出码(ECOC)的分解方法由于其集成了类之间的相关性而更受欢迎。然而,现有的基于EECC的方法的性能高度依赖于编码矩阵和解码策略的设计。然而,要找到一个有效的编码矩阵并采用合适的解码策略是相当不确定和耗时的。为了解决这个问题,我们提出了LightMC,一个高效的动态多类分解算法。LightMC没有使用固定的编码矩阵和解码策略,而是使用了可微分解码策略,这使得它能够动态优化编码矩阵和解码策略,通过反向传播与迭代方式的基础学习器的训练相结合,提高多类分类的整体准确性。在几个公开的大规模多类分类数据集上的实验结果表明,LightMC具有良好的准确性和高效率。
2019-08-25 cs.AI cs.LG
Class-Dependent Hybrid Data Augmentation for Multiclass Migraine Classification under Severe Class Imbalance
University of Santiago de Compostela(圣地亚哥-德孔波斯特拉大学)
针对偏头痛分类中严重类别不平衡问题,提出一种基于类别样本量的混合数据增强策略,并引入保真度不对称概念,在纠正数据泄露和指标偏差后,显著提升了多分类器的平均鲁棒性。
2026-06-04 cs.LG
Empirical Validation of the Classification-Verification Dichotomy for AI Safety Gates
研究通过实证表明,基于分类器的安全闸门在AI系统经过数百次迭代后无法维持可靠监管,且结构上无法实现。
2026-03-31 cs.AI cs.LG stat.ML
False Sense of Safety in Selective Signal Classification: Auditing Bound Tightness and Exchangeability for Risk Control
Xidian University(西安电子科技大学)
审计分布自由风险控制下选择性预测的边界紧致性与可交换性假设,发现经验阈值法常超预算,而认证方法在可交换时有效,但组部署下因可交换性失效导致违规。
2026-06-16 cs.LG
Phase of Flight Classification in Aviation Safety using LSTM, GRU, and BiLSTM: A Case Study with ASN Dataset
University of New South Wales(新南威尔士大学)
本研究利用NLP和多种深度学习模型(LSTM、GRU、BiLSTM及其组合)对ASN数据集中的航空事故叙述进行飞行阶段分类,最高准确率达67%,为航空安全决策提供了有力支持。
2025-01-14 cs.LG
Comparative Study of Deep Learning Architectures for Textual Damage Level Classification
University of New South Wales(新南威尔士大学);School of Engineering and Technology(工程与技术学院);School of Systems and Computing(系统与计算学院);School of Science(理学院)
本研究比较了LSTM、BLSTM、GRU和sRNN四种深度学习模型,用于对航空安全事件叙述进行飞机损伤等级分类,其中sRNN表现最佳,准确率达89%,显著超越随机猜测基线。
2025-01-03 cs.LG
Contrastive ECOC: Learning Output Codes for Adversarial Defense
Computer Science and Information Engineering(计算机科学与信息工程系)
本文针对传统 ECOC 码本设计耗时且次优的问题,提出三种基于对比学习的自动化码本学习模型,在四个数据集上显著提升了对对抗攻击的鲁棒性。
2025-08-14 cs.AI cs.IT cs.LG
Correcting Noisy Multilabel Predictions: Modeling Label Noise through Latent Space Shifts
School of Computer Science and Software Engineering, Shenzhen Institute of Information Technology, Guangdong, China(计算机科学与软件工程学院,深圳信息技术研究所,广东,中国);State Key Lab of Integrated Service Networks, School of Cyber Engineering, Xidian University, Shaanxi, China(集成服务网络国家重点实验室,西安电子科技大学,陕西,中国);Cyberspace Institute of Advanced Technology, Guangzhou University, Guangdong, China(空天技术高级研究所,广州大学,广东,中国);School of Computer Science, University College Dublin, Dublin, Ireland(计算机科学学院,都柏林大学学院,都柏林,爱尔兰)
本文针对多标签分类中的标签噪声问题,提出通过潜在空间随机偏移建模标签噪声的深度生成方法,并开发无监督与半监督学习算法,实验证明其后校正策略能持续提升模型性能并优于现有方法。
2025-05-08 cs.AI cs.LG
Efficient Loss-Based Decoding on Graphs For Extreme Classification
The Technion(以色列理工学院)
在极端分类问题中,需要学习算法将实例从极大的标签集中映射到标签。我们建立在最近的极端分类框架与对数时间和空间,并在一个一般的方法纠错输出编码(ECOC)与基于损失的解码,并介绍了一个灵活和有效的方法,伴随着理论界。我们的框架采用了由图诱导的输出代码,我们展示了如何执行有效的基于丢失的解码以潜在地提高准确性。此外,我们的框架提供了准确性,模型大小和预测时间之间的权衡。我们展示了如何只使用训练数据来找到这种权衡的最佳点。我们的实验研究证明了我们的假设和索赔的有效性,并表明,我们的方法是具有竞争力的国家的最先进的算法。
2018-11-08 cs.LG stat.ML
Don't Fear the Bit Flips: Optimized Coding Strategies for Binary Classification
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
经过训练后,分类器必须经常对被噪声破坏的数据进行操作。在本文中,我们考虑这样的噪声对二进制分类器的功能的影响。受分类器鲁棒性工具的启发,我们引入了相同的分类概率(SCP)来测量分类器输出的失真。我们介绍了一个低复杂度的估计的SCP的基础上量化和多项式乘法。我们还研究了基于复制纠错码的信道编码技术。在传统的信道编码方法,纠错是为了保存数据,是不可知的应用程序相比,我们的计划的具体目标是最大限度地提高SCP(相当于最小化的分类器输出的失真)相同的冗余开销。
2017-03-08 cs.LG stat.ML
Simplex-enabled Safe Continual Learning Machine
Technical University of Munich(慕尼黑工业大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对安全关键自主系统的持续学习安全保障问题,提出由HP-Student、HA-Teacher和协调器构成的SeC-Learning Machine,基于Simplex逻辑与Phy-DRL实现终身安全、解决Sim2Real差距并耐受未知因素,实验验证其性能优于现有方法。
2024-10-06 cs.AI cs.LG cs.RO
Provable Repair of Deep Neural Networks
University of California, Davis(加州大学戴维斯分校)
深度神经网络(DNN)在过去十年中越来越受欢迎,现在正用于飞机防撞等安全关键领域。这激发了大量用于在DNN中发现不安全行为的技术。相反,本文解决了一旦发现不安全行为就纠正DNN的问题。我们引入了可证明修复问题,即修复网络N以构建满足给定规范的新网络N'的问题。如果安全规范是在一个有限的点集,我们的可证明点修复算法可以找到一个可证明的最小修复满足规范,无论使用的激活函数。对于解决包含无穷多个点的凸多面体的安全规范,我们的可证明多面体修复算法可以使用分段线性激活函数找到满足DNN规范的可证明最小修复。这两种算法背后的关键见解是引入了解耦DNN架构,这使我们能够将可证明的修复减少到线性规划问题。我们的实验结果证明了我们的可证明修复算法在各种具有挑战性的任务上的效率和有效性。
2021-04-25 cs.LG
Molecule Property Prediction and Classification with Graph Hypernetworks
Facebook AI Research(Facebook人工智能研究);Tel Aviv University(特拉维夫大学)
图神经网络目前在基于学习的分子性质预测和分类中的性能图表中处于领先地位。因此,计算化学已经成为通用图神经网络以及专门的消息传递方法的重要测试平台。在这项工作中,我们证明了用超网络替换底层网络会提高性能,在各种基准测试中获得最先进的结果。超网络应用中的一个主要困难是它们缺乏稳定性。我们通过结合当前消息和第一条消息来解决这个问题。最近的一项工作解决了超网络的训练不稳定性的上下文中的纠错码,通过替换的消息传递网络的激活函数的低阶Taylor approximates.We证明,我们的通用解决方案可以取代这个特定领域的解决方案。
2020-02-01 cs.LG stat.ML
An Empirical Analysis of Calibration and Selective Prediction in Multimodal Clinical Condition Classification
New York University(纽约大学);University of Toronto(多伦多大学)
本研究通过实证分析多标签临床状况分类中基于不确定性的选择性预测,发现其性能可能严重下降,原因是类别依赖的误校准,尤其对少数类别,并强调需要校准感知评估来确保临床AI的安全性。
2026-05-22 cs.LG
The Good, the Bad, and the Sampled: a No-Regret Approach to Safe Online Classification
Eric and Wendy Schmidt Center(埃里克和文黛斯中心);Department of Computer Science(计算机科学系);Broad Institute(Broad研究所);Boston University(波士顿大学);Department of Data Science(数据科学系);Faculty of Computing & Data Sciences(计算与数据科学学院)
研究二元疾病诊断的序列测试,通过保守阈值决定何时测试,实现低测试成本和可控误分类率。
2026-05-02 cs.AI cs.LG math.ST
Work In Progress: Safety and Robustness Verification of Autoencoder-Based Regression Models using the NNV Tool
Vanderbilt University(范德堡大学)
这篇正在进行的论文介绍了基于自动编码器的回归神经网络(NN)模型的鲁棒性验证,遵循图像分类NN鲁棒性验证的最新方法。尽管在开发各种深度神经网络(DNN)的安全性和鲁棒性验证方法方面正在取得进展,但尚未考虑自动编码器模型的鲁棒性检查。我们探索了这一开放的研究空间,并通过扩展此类自动编码器网络的现有鲁棒性分析方法来检查弥合现有DNN验证方法之间差距的方法。虽然使用自动编码器的分类模型或多或少地类似于图像分类NN,但回归模型的功能明显不同。我们介绍了两种基于自动编码器的回归模型的鲁棒性评估指标的定义,具体来说,百分比鲁棒性和非鲁棒性等级。我们还修改了现有的Imagestar方法,调整变量以照顾回归网络的特定输入类型。该方法被实现为NNV的扩展,然后在数据集上应用和评估,并使用相同的数据集进行案例研究实验。根据作者的理解,这篇正在进行的论文是第一篇展示基于自动编码器的NN的可能可达性分析的论文。
2022-07-14 cs.AI cs.LG
Safety Verification of Deep Neural Networks
University of Oxford(牛津大学)
深度神经网络在图像分类方面取得了令人印象深刻的实验结果,但令人惊讶的是,在对抗性扰动方面可能不稳定,即对输入图像的微小变化会导致网络错误分类。随着潜在的应用,包括感知模块和自动驾驶汽车的端到端控制器,这引发了对其安全性的担忧。提出了一种基于可满足性模理论(SMT)的前馈多层神经网络自动验证框架。我们专注于安全的图像分类的决定,相对于图像的操作,如划痕或改变相机的角度或照明条件,将导致在同一类被分配给一个人,并定义安全的个人决定在一个小邻域内的原始图像的分类的不变性。我们使穷举搜索的区域,采用离散化,并逐层传播的分析。我们的方法直接使用网络代码,与现有方法相比,可以保证在给定的区域和操作族中找到对抗性示例(如果存在)。如果找到了,对抗性的例子可以展示给人类测试人员和/或用于微调网络。我们使用Z3实现这些技术,并在最先进的网络上进行评估,包括正则化和深度学习网络。我们还比较了现有的技术,以搜索对抗性的例子和估计网络的鲁棒性。
2017-05-05 cs.AI cs.LG stat.ML
Safe Fairness Guarantees Without Demographics in Classification: Spectral Uncertainty Set Perspective
Basque Center for Applied Mathematics (BCAM)(巴斯克应用数学中心);Predictive Analytics Lab, University of Sussex(预测分析实验室,苏塞克斯大学);Monash University Indonesia(墨尔本大学印尼分校);University of the Basque Country EHU(巴斯克国家大学EHU)
SPECTRE通过调整傅里叶特征映射谱,提供无需人口统计信息的分类公平性保障,并通过理论分析推导出最坏情况误差的可计算界限。
2026-02-12 cs.AI cs.LG
The Pursuit of Algorithmic Fairness: On "Correcting" Algorithmic Unfairness in a Child Welfare Reunification Success Classifier
Oregon Department of Human Services (ODHS)(俄勒冈州人类服务部(ODHS));Office of Reporting, Research, Analytics, and Implementation (ORRAI)(报告、研究、分析和实施办公室(ORRAI))
公共部门预测分析工具的算法公平性越来越成为一个需要严格探索的话题。例如,虽然与刑事累犯和入学有关的文书引起了很大的关注,但儿童福利管辖区的预测文书却受到相当少的关注。部分原因是,这类工具相对较少,而且通过算法公平性的角度进行审查的工具更少。在这项工作中,我们试图解决这两个差距。为此,提出了一种新的分类算法,用于预测俄勒冈州儿童福利的团聚成功,包括所有相关的细节与建设这样一个工具。这一工具的目的是尽量增加稳定团聚的人数,并查明可能需要额外资源和审查的不稳定团聚情况。此外,由于所得到的工具的算法公平性,如果不改变,无疑是缺乏的,用于减轻这种不公平的使用程序,以及每个困难和不可避免的选择背后的理由。这个过程,虽然类似于其他后处理组特定的阈值方法,是新颖的,在其使用的惩罚优化器和上下文必要的子采样。这些新颖的方法组成部分产生了丰富的和翔实的经验理解的权衡公平性和准确性之间的连续性。由于所开发的程序可推广到各种组级别的算法公平性定义,以及任意数量的受保护属性级别和风险阈值,该方法广泛适用于儿童福利内外。
2020-10-22 cs.LG stat.CO
A Reproducible, License-Aware Distillation Recipe for CPUDeployable Safety Classification
本文提出一种可复现、许可感知的知识蒸馏方案,训练小型学生模型实现CPU可部署的安全分类,其性能接近大参数教师模型,误报率更低且推理速度更快。
2026-08-25 cs.AI cs.LG