Improving Compositionality of Neural Networks by Decoding Representations to Inputs
Stanford University(斯坦福大学)
在传统的软件程序中,很容易跟踪从变量到输入的程序逻辑,应用断言语句来阻止错误行为,并将程序组合在一起。尽管深度学习程序在新应用程序上表现出了强大的性能,但它们牺牲了传统软件程序的许多功能。以此为动机,我们朝着改进深度学习程序迈出了适度的第一步,通过联合训练一个生成模型来约束神经网络激活,以“解码”回输入。我们称这种设计为可解码神经网络,或DecNN。这样做可以在神经网络中实现某种形式的组合性,其中可以递归地将DecNN与自身组合,以创建具有不确定性的集合类模型。在我们的实验中,我们展示了这种不确定性在分布外检测、对抗性示例检测和校准中的应用--同时在准确性上与标准神经网络相匹配。我们通过将DecNN与预训练模型相结合来进一步探索这种组合性,在那里我们展示了有希望的结果,即神经网络可以通过使用受保护的特征进行正则化。
2021-10-26 cs.LG
Improving Performance of a Group of Classification Algorithms Using Resampling and Feature Selection
Islamic Azad University, Tehran North Branch(伊斯兰阿扎德大学德黑兰北部分校);Manchester University(曼彻斯特大学)
近年来,从庞大的数据集中找到有意义的模式变得越来越具有挑战性。数据挖掘者试图通过应用特征选择方法来采用创新的方法来面对这个问题。在本文中,我们提出了一种新的混合方法,在该方法中,我们使用的组合,过滤的样本域和包装器子集评估方法与遗传搜索,以减少维度的肺癌数据集,我们收到的UCI仓库的机器学习数据库。最后,我们应用一些著名的分类算法(朴素贝叶斯,逻辑斯蒂,多层感知器,最佳第一决策树和JRIP)得到的数据集,并比较我们的特征选择方法应用于该数据集之前和之后的结果和预测率。实验结果表明,五种分类算法的平均性能都有了很大的提高,分类误差也有了很大的降低。实验结果表明,该方法在性能上优于其他特征选择方法,且具有较低的代价。
2014-03-08 cs.LG
Improving the trustworthiness of image classification models by utilizing bounding-box annotations
University of Arizona(亚利桑那大学)
我们研究利用训练数据中的辅助信息来提高机器学习模型的可信度。具体而言,在图像分类的上下文中,我们建议优化的训练目标,结合限界框信息,这是在许多图像分类数据集。初步的实验结果表明,该算法实现了更好的性能,准确性,鲁棒性和可解释性相比,基线。
2021-08-15 cs.CV cs.LG
Improving Omics-Based Classification: The Role of Feature Selection and Synthetic Data Generation
University of Padova(帕多瓦大学);I4 Consulting Srl(I4咨询公司);London South Bank University(伦敦南岸大学)
本文提出一种融合特征选择与数据增强的机器学习分类框架,在E MTAB 8026数据集上验证其能在小样本高维组学场景下兼顾分类准确率与可解释性,并提升泛化能力。
2025-05-06 cs.LG
Improving regional weather forecasts with neural interpolation
Norwegian University of Science and Technology(挪威科学技术大学);King’s College London(伦敦大学国王学院);Synoptix Ltd(Synoptix有限公司)
针对区域天气模型边界数据在不同网格分辨率间映射多尺度动力学的难题,本文提出结合图像超分辨率、CNN、残差网络与大气动力学约束的神经插值方法。
2025-05-17 cs.LG
Survey of resampling techniques for improving classification performance in unbalanced datasets
许多分类问题需要处理类之间的数据不平衡。通常期望在少数类上具有高召回率,同时在多数类上保持高精确度。在本文中,我们回顾了文献中提出的一些重新排序技术来处理不平衡的数据集,并研究它们对分类性能的影响。
2016-08-22 cs.LG stat.AP stat.ML
Applying an Ensemble Learning Method for Improving Multi-label Classification Performance
近年来,多标签分类问题已经成为一个有争议的问题。在这种分类中,每个样本都与一组类别标签相关联。包围方法是监督学习算法,其中操作者采用多个学习算法,即基本级算法,并将它们的结果组合以进行估计。集成学习的最简单形式是在随机数据子集上训练基本级算法,然后让它们投票选择最流行的分类或平均基本级算法的预测。在这项研究中,集成学习方法提出了改进多标签分类评价标准。我们已经比较了我们的方法与一些数据集上的知名的基本水平的算法。实验结果表明,该方法在多标签分类问题上的性能优于基本的知名分类器。
2018-01-07 cs.LG stat.ML
Improving spam filtering by combining Naive Bayes with simple k-nearest neighbor searches
在过去的几个月里,使用朴素贝叶斯进行电子邮件分类已经变得非常流行。它们很容易实现,而且非常有效。在本文中,我们要提出的经验结果的电子邮件分类使用朴素贝叶斯和k-最近邻搜索的组合。使用这种技术,我们表明,贝叶斯过滤器的准确性可以稍微提高了大量的功能和显着的少量功能。
2003-11-30 cs.LG
Improving the Expressive Power of Graph Neural Network with Tinhofer Algorithm
近年来,图神经网络(GNN)在处理基于图的数据方面取得了长足的发展。大多数GNN遵循消息传递方案,并且它们的表达能力在数学上受到Weisfeiler-Lehman(WL)测试的区分能力的限制。根据Tinhofer对紧致图的研究,我们提出了一种称为Weisfeiler-Lehman-Tinhofer GNN(WLT-GNN)的消息传递方案的变体,该方案在理论上突破了WL测试的限制。此外,我们进行了比较实验和消融研究几个著名的数据集。实验结果表明,本文提出的方法在这些数据集上具有相当的性能和更好的表达能力。
2021-04-05 cs.LG
Improving Deep Neural Network Classification Confidence using Heatmap-based eXplainable AI
Nanyang Technological University(南洋理工大学)
针对图像分类问题,对基于热图的可解释人工智能(XAI)方法的质量进行了量化。在这里,如果热图提高了预测正确类别的概率,则热图被认为是可取的。根据经验,不同的基于XAI热图的方法可以在不同程度上提高分类置信度,具体取决于数据集,例如,显着性在ImageNet上效果最好,去卷积在胸部X射线肺炎数据集上效果最好。新颖性包括一个新的差距分布,显示了正确和错误的预测之间的明显差异。最后,介绍了生成增强解释,这是一种生成热图的方法,能够将预测置信度提高到一个高水平。
2023-01-21 cs.AI cs.LG
ClaHF: A Human Feedback-inspired Reinforcement Learning Framework for Improving Classification Tasks
School of Computer Science and Technology, Xi’an Jiaotong University(西安交通大学计算机科学与技术学院)
本文提出ClaHF,一种基于人类反馈的强化学习框架,用于改进文本分类任务,通过整合偏好建模和强化学习优化,无需额外人工标注,在分类流程中提升分类性能和置信度校准。
2026-05-17 cs.LG
When in Doubt: Improving Classification Performance with Alternating Normalization
Cornell University(康奈尔大学);Facebook AI
我们引入了交替归一化分类(CAN),这是一种用于分类的非参数后处理步骤。CAN通过使用高置信度验证示例的预测类分布重新调整其预测类概率分布来提高具有挑战性的示例的分类准确性。CAN可以很容易地应用于任何概率分类器,具有最小的计算开销。我们使用模拟实验分析CAN的属性,并实证证明其有效性在一组不同的分类任务。
2021-09-28 cs.CL cs.CV cs.LG
Improving the Classification of Rare Chords with Unlabeled Data
Institute of Informatics at UFRGS(南里奥格兰德联邦大学信息学研究所)
在这项工作中,我们探索的技术,以提高性能的自动和弦识别(ACR)的任务中罕见的类。我们首先探索了在ACR的背景下使用焦点损失,这最初是为了改善硬样本的分类而提出的。与此同时,我们采用了一种自学习技术,最初设计用于图像识别的音乐领域。我们的实验表明,这两种方法单独(及其组合)提高了罕见和弦的识别,但只使用自学习与噪声添加产生最好的结果。
2021-02-10 cs.LG cs.SD
A Hierarchical End-to-End Model for Jointly Improving Text Summarization and Sentiment Classification
Peking University(北京大学)
文本摘要和情感分类都旨在捕捉文本的主要思想,但在不同的层次上。文本摘要是在几个句子内描述文本,而情感分类可以被视为一种特殊类型的摘要,它将文本“概括”成更抽象的方式,即,情感课基于这一思想,我们提出了一个分层的端到端模型,用于文本摘要和情感分类的联合学习,其中情感分类标签被视为文本摘要输出的进一步“摘要”。因此,情感分类层放在文本摘要层上,并导出层次结构。在Amazon在线评论数据集上的实验结果表明,该模型在抽象摘要和情感分类方面都比强基线系统具有更好的性能。
2018-05-30 cs.CL cs.LG
Improving Persian Document Classification Using Semantic Relations between Words
University of Isfahan(伊斯法罕大学)
随着信息量的增加,文档分类作为文本挖掘的方法之一,在许多信息的管理和组织中起着重要的作用。文档分类是将文档分配给一个或多个预定义类别标签的过程。文本分类包括文本处理、术语选择、术语加权和最终分类。文档分类的准确性非常重要。因此,在每个部分的分类改进,应导致更好的结果和更高的精度。术语权重对分类的准确性有很大的影响。现有的加权方法大多利用文档中术语的统计信息,而没有考虑词与词之间的语义关系。在本文中,自动文档分类系统,使用一种新的术语加权方法的基础上,术语之间的语义关系。为了评估所提出的方法,三个标准的波斯语语料库。实验结果表明,与以前设计的最好的系统相比,波斯文文档的分类精度提高了2%至4%。
2014-12-28 cs.IR cs.LG
Improving Compositional Generalization in Classification Tasks via Structure Annotations
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院)
组合泛化是通过组合已知组件系统地泛化到新数据分布的能力。虽然人类似乎有很强的概括能力,但最先进的神经模型很难做到这一点。在这项工作中,我们研究了分类任务中的合成泛化,并提出了两个主要贡献。首先,我们研究如何将自然语言序列到序列数据集转换为分类数据集,也需要组合泛化。第二,我们表明,提供结构提示(特别是,提供解析树和实体链接作为Transformer模型的注意掩码)有助于组合泛化。
2021-06-19 cs.CL cs.LG
Improving Audio Classification by Transitioning from Zero- to Few-Shot
BabbleLabs
针对零样本音频分类中类别文本描述难以最优确定的问题,本文提出按类别聚合并处理少样本音频嵌入以替代噪声文本嵌入,实验表明其通常优于零样本基线。
2025-07-26 cs.LG cs.SD
Multi-Layer Perceptron Neural Network for Improving Detection Performance of Malicious Phishing URLs Without Affecting Other Attack Types Classification
New York University(纽约大学)
这里的假设指出,神经网络算法,如多层感知器(MLP)在区分恶意和半结构化钓鱼URL方面具有更高的准确性。与经典的机器学习算法如Logistic Regression和Multinomial Naive Bayes相比,经典算法严重依赖于大量的语料库数据训练和机器学习专家的领域知识来执行复杂的特征工程。MLP可以进行非线性的可分离多类分类,并且不需要太多的语料特征训练。此外,反向传播权重调整可以了解哪些特征在区分网络钓鱼和其他攻击类型方面更重要。
2022-02-25 cs.CR cs.LG
Improving Axial-Attention Network Classification via Cross-Channel Weight Sharing
University of Louisiana at Lafayette(路易斯安那大学拉斐特分校)
近年来,超复杂启发的神经网络(HCNN)已被用于改进深度学习架构,因为它们能够实现基于通道的权重共享,将颜色视为单个实体,并提高层内的表示一致性。本文描述的工作研究了用其代表性相干变体替换轴向注意力网络中的现有层的效果,以评估对图像分类的效果。我们对网络的主干、瓶颈层和完全连接的后端进行了实验,将它们替换为代表性一致的变体。这些不同的修改导致了新的架构,这些架构都提高了ImageNet300k分类数据集的准确性。我们用于比较的基线网络是原始的实值ResNet,原始的四元数值ResNet和轴向注意力ResNet。由于无论网络的哪一部分被修改,都观察到改进,因此有希望这种技术通常可用于提高大类网络的分类准确性。
2023-01-12 cs.CV cs.LG
Improving the performance of the ripper in insurance risk classification : A comparitive study using feature selection
University of Johannesburg(约翰内斯堡大学);Council for Scientific and Industrial Research (CSIR)(科学与工业研究理事会(CSIR))
Ripper算法旨在为具有许多特征的大型数据集生成规则集。然而,它表明,该算法的斗争与分类性能的缺失数据的存在。当数据质量由于丢失数据的增加而恶化时,该算法很难对实例进行分类。在本文中,特征选择技术被用来帮助提高Ripper模型的分类性能。主成分分析和证据自动相关性判定技术被用来提高性能。进行比较,看看哪种技术有助于算法提高最多。使用具有完全可观察数据的训练数据集来构建模型,使用具有缺失值的测试数据集来测量准确性。结果表明,主成分分析是一种较好的特征选择方法,可以提高Ripper分类器的分类性能。
2011-08-23 cs.CE cs.LG
SAT: Improving Semi-Supervised Text Classification with Simple Instance-Adaptive Self-Training
Singapore University of Technology and Design(新加坡科技设计大学)
自训练方法在近年来已经被探索,并且在改进半监督学习方面表现出很好的性能。本文提出了一种简单的实例自适应自训练方法(SAT)用于半监督文本分类。SAT首先为每个未标记的数据生成两个增强视图,然后训练元学习器基于原始视图和增强视图之间的相似性自动识别增强的相对强度。将弱增强视图馈送到模型以产生伪标签,并且使用强增强视图来训练模型以预测相同的伪标签。我们在三个文本分类数据集上进行了广泛的实验和分析,发现与现有的半监督学习方法相比,在不同大小的标记训练数据下,SAT始终表现出具有竞争力的性能。我们的代码可以在\url{https://github.com/declare-lab/SAT.git}中找到。
2022-10-23 cs.CL cs.LG
AutoGeTS: Knowledge-based Automated Generation of Text Synthetics for Improving Text Classification
FabLab, Inetum(FabLab,Inetum)
针对文本分类数据不足的问题,提出自动化工作流AutoGeTS,利用LLM生成合成数据提升模型性能,并构建集成算法根据类别特征选择最优搜索策略,实验证明其优于单一策略。
2025-08-04 cs.CL cs.LG
Improving the Long-Range Performance of Gated Graph Neural Networks
Ruhr University Bochum(波鸿鲁尔大学);University of Bonn(波恩大学)
能够处理多关系图的图神经网络(GNN)的许多流行变体可能遭受消失梯度。在这项工作中,我们提出了一种新的GNN架构的基础上的门控图神经网络具有改进的能力,以处理多关系图中的长程依赖关系。不同的合成任务的实验分析表明,该架构优于几个流行的GNN模型。
2020-07-19 cs.LG stat.ML
fairlib: A Unified Framework for Assessing and Improving Classification Fairness
The University of Melbourne(墨尔本大学);Huawei Technologies Co., Ltd.(华为技术有限公司);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文介绍了fairlib,一个用于评估和提高分类公平性的开源框架。它提供了一个系统的框架,用于快速复制现有的基线模型,开发新方法,使用不同的指标评估模型,并可视化其结果。它的模块化和可扩展性使该框架能够用于不同类型的输入,包括自然语言、图像和音频。详细地说,我们实现了14种去偏置方法,包括预处理,训练时和后处理方法。内置的度量涵盖了最常用的公平性标准,并可以进一步推广和定制的公平性评估。
2022-05-04 cs.AI cs.CY cs.LG
Improving Classification Accuracy with Graph Filtering
IMT Atlantique(大西洋矿业电信学院);Orange Labs(奥兰治实验室)
在机器学习中,分类器通常对训练数据中的噪声敏感。在这项工作中,我们的目标是减少类内噪声的帮助下,图过滤,以提高分类性能。考虑图是通过连接属于同一类的训练集的样本,根据它们在潜在空间中的表示的相似性来获得的。我们表明,所提出的图过滤方法具有渐近减少类内方差的效果,同时保持均值。虽然我们的方法一般适用于所有分类问题,但它在Few-Shot设置中特别有用,其中类内噪声可能会由于小样本选择而产生巨大影响。使用标准化的基准领域的视觉,我们凭经验证明所提出的方法的能力,稍微提高国家的最先进的结果在这两种情况下的Few-Shot和标准分类。
2021-01-25 cs.LG stat.ML
Classification-Specific Parts for Improving Fine-Grained Visual Categorization
Michael Stifel Center Jena(迈克尔·斯蒂费尔中心);Friedrich-Schiller-University Jena(耶拿弗里德里希·席勒大学)
细粒度视觉分类是一种区分类内方差大、类间方差小的类别的分类任务。虽然全局方法的目的是使用整个图像进行分类,但基于部分的解决方案会收集更多的局部信息,例如注意力或部分。我们提出了一种新的分类特定的部分估计,使用初始预测以及通过梯度计算的特征重要性的反向传播,以估计相关的图像区域。随后检测到的部分,然后不仅选择了后验分类知识,而且还具有一个内在的空间范围,自动确定。这与大多数基于零件的方法形成对比,甚至与可用的地面实况零件注释形成对比,后者仅提供点坐标而不提供额外的比例信息。我们在各种广泛使用的细粒度数据集上的实验中显示了上述部分选择方法与提取的部分特征相结合的有效性。
2019-09-16 cs.CV cs.LG
Improving neural networks with bunches of neurons modeled by Kumaraswamy units: Preliminary study
Wrocław University of Technology(弗罗茨瓦夫理工大学)
深度神经网络最近在许多机器学习问题中取得了最先进的成果,例如,语音识别或对象识别。最近,在整流线性单元(ReLU)上的工作提供了与通常使用的S形激活函数相比神经网络性能提高的经验和理论证据。在本文中,我们研究了一种新的方式来改善神经网络,通过引入一堆副本的相同的神经元模型的广义Kumaraswamy分布。因此,我们提出了一种新的非线性激活函数,我们称之为Kumaraswamy单元,它与ReLU密切相关。在MNIST图像语料库的实验研究中,我们评估了应用于单层(浅层)神经网络的Kumaraswamy单元,并报告了与sigmoid单元,ReLU和Noisy ReLU相比,测试分类错误和测试交叉熵的显着下降。
2015-05-11 cs.LG cs.NE
Improving Expressivity of Graph Neural Networks
University of Innsbruck(因斯布鲁克大学)
我们提出了一个图神经网络,其表达能力比常用的GNN更强-不限于仅区分Weisfeiler-Lehman测试识别为非同构的图。我们使用一个具有扩展注意力窗口的图注意力网络,它以指数方式聚集来自遥远节点的信息。我们还使用了部分随机的初始嵌入,允许区分看起来相同的节点。这可能会导致传统的dropout机制出现问题,因此我们使用“head dropout”,随机忽略一些注意力头,而不是嵌入的一些维度。
2020-04-08 cs.LG stat.ML
Improving classification performance by feature space transformations and model selection
INFOTEC Centro de Investigación e Innovación en Tecnologías de la Información y Comunicación(INFOTEC信息与通信技术研究与创新中心);Universidad Michoacana de San Nicolás de Hidalgo(米却肯州圣尼古拉斯·伊达尔戈大学);CONACyT Consejo Nacional de Ciencia y Tecnología(国家科学技术委员会)
提高分类器的性能是特征映射,原型选择和核函数转换的领域;这些技术旨在降低复杂性,同时提高模型的准确性。特别是,我们的目标是将它们结合起来,将数据的形状转换为另一种更方便的分布;这样一些简单的算法,如朴素贝叶斯或k-最近邻,就可以产生有竞争力的分类器。在本文中,我们介绍了一个家庭的分类特征映射和核函数的基础上,编排的模型选择方案,在性能上表现出色。我们提供了一个广泛的实验比较,我们的方法与16个流行的分类超过30个基准支持我们的主张。除了他们的竞争力表现,我们的统计测试还发现,我们的方法是不同的,他们之间,支持我们的要求,一个令人信服的家庭的分类。
2019-10-03 cs.LG stat.ML
Improving Multi-class Classifier Using Likelihood Ratio Estimation with Regularization
Nagoya Institute of Technology(名古屋工业大学)
提出了一种基于似然比的泛集朴素贝叶斯分类器(UNB)\cite{Komiya:13},用于解决不平衡分类问题.然而,在UNB中使用的LR估计高估了低频数据的LR,降低了分类性能。我们以前的研究~ \cite{Kikuchi:19}提出了一个有效的LR估计器,即使在低频数据。该估计器使用正则化来抑制高估,但我们没有考虑不平衡数据。在本文中,我们集成的估计与UNB。我们的实验与不平衡的数据表明,我们提出的分类器有效地调整分类分数根据类的平衡使用正则化参数,提高了分类性能。
2022-10-28 cs.AI cs.LG
Improving Neural Language Models with a Continuous Cache
Facebook AI Research(Facebook人工智能研究院)
我们提出了一个扩展神经网络语言模型,以适应他们的预测最近的历史。我们的模型是记忆增强网络的简化版本,它将过去的隐藏激活存储为记忆,并通过与当前隐藏激活的点积来访问它们。这种机制非常有效,可以扩展到非常大的内存大小。我们还绘制了神经网络中外部存储器的使用和基于计数的语言模型的缓存模型之间的联系。我们在几个语言模型数据集上证明,我们的方法比最近的记忆增强网络表现得更好。
2016-12-13 cs.CL cs.LG
Improving performance and inference on audio classification tasks using capsule networks
AI For All(AI普惠组织)
音频样本的分类是许多听觉系统的重要组成部分。基于卷积层和递归层的深度学习模型在许多此类任务中是最先进的。在本文中,我们使用最近提出的动态路由协议机制训练的胶囊网络来处理音频分类任务。我们提出了一种适合音频分类任务的胶囊网络结构,并研究了各种参数对分类精度的影响。此外,我们建议修改正则化和多标签分类。我们还开发了使用胶囊输出的数据的见解,并显示了迁移学习的学习网络的效用。我们在7个不同领域和大小的数据集上进行了实验,与强基线模型相比,性能有了显着提高。据我们所知,这是第一次详细研究胶囊网络在音频领域的应用。
2019-02-13 cs.LG cs.SD eess.AS
Improving Self-supervised Learning for Out-of-distribution Task via Auxiliary Classifier
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校);University of New South Wales(新南威尔士大学);Nanyang Technological University(南洋理工大学)
在现实世界中,分布外(OOD)数据集可能与训练数据集有很大的分布偏移。这种现象通常发生在经过训练的分类器部署在变化的动态环境中时,这会导致性能显著下降。为了解决这个问题,我们在这项工作中提出了一个端到端的深度多任务网络。在OOD任务中观察到旋转预测(自监督)准确性和语义分类准确性之间的密切关系,我们在多任务网络中引入了一个额外的辅助分类头以及语义分类和旋转预测头。为了观察这种附加分类器在改进旋转预测头方面的影响,我们提出的学习方法被构造成双层优化问题,其中上层被训练以更新语义分类和旋转预测头的参数。在低层优化中,通过固定语义分类头的参数,仅通过语义分类头更新辅助分类头。该方法已通过三个看不见的OOD数据集进行了验证,它表现出明显的改善,在语义分类精度比其他两个基线方法。我们的代码可以在GitHub \url{https://github.com/harshita-555/OSSL}上找到
2022-09-07 cs.LG eess.IV
Improving Neural Network Learning Through Dual Variable Learning Rates
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文介绍了一种新的神经网络训练方法:双变量学习率(DVLR)。基于行为心理学的见解,双学习率用于不同地强调正确和不正确的反应,从而使对网络的反馈更加具体。此外,学习率作为网络性能的函数而变化,从而使其更有效。DVLR在三种类型的网络上实现:前馈,卷积和残差,以及两个域:MNIST和CIFAR-10。结果表明,一致提高的准确性,表明DVLR是一个有前途的,心理动机的技术训练神经网络模型。
2021-02-09 cs.LG stat.ML
A Novel Method for improving accuracy in neural network by reinstating traditional back propagation technique
Sri Manakula Vinayagar Engineering College(斯里马纳库拉维纳亚加尔工程学院)
针对反向传播计算开销大且存在梯度消失的问题,本文提出无需逐层计算梯度的即时参数更新方法,可加速训练并在基准数据集上超过现有方法。
2023-08-09 cs.CV cs.LG
Learning from Attacks: Attacking Variational Autoencoder for Improving Image Classification
fortiss(弗劳恩霍夫软件系统技术研究所)
对抗攻击通常被认为是对深度神经网络(DNN)鲁棒性的威胁。已经开发了各种防御技术来减轻对抗攻击对任务预测的潜在负面影响。本文从不同的角度分析了对抗攻击。也就是说,对抗性示例包含对预测有用的隐式信息,即,图像分类,并将针对DNN的对抗攻击视为能够促进特定学习任务的提取的抽象表示。我们提出了一个算法框架,利用DNN的数据自我表达和特定任务的预测的优势,以提高图像分类。该框架联合学习一个用于攻击变分自编码器(VAE)网络的DNN和一个用于分类的DNN,称为Attacking VAE for Improve Classification(AVIC)。实验结果表明,AVIC在标准数据集上的准确率高于干净样本训练和传统的对抗训练。
2022-03-11 cs.CV cs.LG eess.IV
Every Node Counts: Improving the Training of Graph Neural Networks on Node Classification
Ben-Gurion University of the Negev(内盖夫本-古里安大学);University of British Columbia(不列颠哥伦比亚大学)
图神经网络(GNN)在高效处理稀疏和非结构化数据方面表现突出。具体来说,GNN被证明对节点分类任务非常有效,其中标记的信息仅适用于一小部分节点。通常,通过目标函数,优化过程仅考虑标记的节点,而忽略其余节点。在本文中,我们提出了新的目标术语来训练用于节点分类的GNN,旨在利用所有可用数据并提高准确性。我们的第一项旨在最大限度地提高节点和标签特征之间的互信息,同时考虑优化过程中的标记和未标记节点。我们的第二项促进了预测图中的各向异性平滑度。最后,我们提出了一种交叉验证梯度方法来增强对标记数据的学习。我们提出的目标是通用的,可以应用于各种GNN,不需要架构修改。广泛的实验证明了我们的方法使用流行的GNN,如GCN,GAT和GCNII,在10个真实世界的节点分类数据集上读取一致和显着的准确性提高。
2022-11-29 cs.LG cs.SI
Improving filling level classification with adversarial training
Queen Mary University of London(伦敦玛丽女王大学)
我们调查的问题分类-从一个单一的图像-在一个杯子或饮用玻璃杯的内容的水平。这个问题是具有挑战性的几个模糊性所造成的模糊性,形状变化和部分遮挡,并通过只有小的训练数据集的可用性。在本文中,我们解决了这个问题与适当的策略迁移学习。具体来说,我们在通用源数据集中使用对抗训练,然后使用特定于任务的数据集来改进训练。我们还讨论和实验评估了几种训练策略及其在CORSMAL容器操作数据集的一系列容器类型上的组合。我们表明,迁移学习与对抗训练在源域一致提高了测试集上的分类精度,并限制了分类器的过拟合到训练数据的特定特征。
2021-06-16 cs.CV cs.LG
GraphMixup: Improving Class-Imbalanced Node Classification on Graphs by Self-supervised Context Prediction
Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院);Zhejiang University(浙江大学)
近年来,图神经网络(GNNs)在处理节点分类任务方面取得了巨大成功。然而,大多数现有的GNN都是基于不同类别的节点样本是平衡的假设,而对于许多现实世界的图,存在类别不平衡的问题,即,某些类可能具有比其它类少得多的样本。在这种情况下,直接用原始数据训练GNN分类器将代表来自这些少数类别的样本,并导致次优性能。本文提出了GraphMixup,一种新的基于混合的框架,用于改善图上的类不平衡节点分类。然而,直接执行混合在输入空间或嵌入空间可能会产生域外的样本,由于少数类的极端稀疏性,因此,我们构建语义关系空间,允许在语义层面上执行的功能混合。此外,我们采用两种基于上下文的自监督技术来捕获图结构中的局部和全局信息,然后提出专门针对图数据的边缘混合。最后,我们开发了一个\emph{Reinforcement Mixup}机制,以自适应地确定有多少样本是由这些少数类的混合产生。在三个真实数据集上的广泛实验表明,GraphMixup对于类不平衡的节点分类任务产生了真正令人鼓舞的结果。
2021-06-21 cs.AI cs.LG
ERD: A Framework for Improving LLM Reasoning for Cognitive Distortion Classification
Yonsei University(延世大学);EverEx
本文提出 ERD 框架,通过提取认知扭曲相关部分和多智能体辩论推理步骤来提升 LLM 的认知扭曲分类性能,有效提高了多类 F1 和二分类特异性分数,并成功对高假阳性率的基线方法进行了去偏。
2024-03-21 cs.CL cs.LG
Improving End-to-End Speech-to-Intent Classification with Reptile
Huawei Noah's Ark Lab(华为诺亚方舟实验室)
端到端语言理解(SLU)系统相对于传统流水线系统具有许多优点,但是收集域内语音数据以训练端到端系统是昂贵且耗时的。由此产生了一个问题:如何用有限的数据量训练端到端SLU?许多研究人员已经探索了利用其他相关数据资源的方法,通常是通过对高资源语音识别模型的部分进行预训练。在本文中,我们建议提高SLU模型的泛化性能与非标准的学习算法,爬行动物。虽然Reptile最初是为模型不可知的Meta学习而提出的,但我们认为它也可以用于直接学习目标任务,并且比传统的梯度下降具有更好的泛化能力。在这项工作中,我们采用爬虫端到端的口语意图分类的任务。在不同语言和领域的四个数据集上进行的实验表明,无论是单独使用Reptile还是在预训练的基础上使用Reptile,意图预测准确率都有所提高。
2020-08-05 cs.CL cs.LG
Improving Time Series Classification with Representation Soft Label Smoothing
The University of Adelaide(阿德莱德大学)
针对时间序列分类模型易过拟合问题,提出表示软标签平滑方法,通过生成更可靠的软标签提升多种结构和复杂度模型的分类性能,并验证其优于仅用硬标签训练的基线方法。
2024-08-30 cs.AI cs.LG
Improving performance of heart rate time series classification by grouping subjects
Delft University of Technology(代尔夫特理工大学);Haga Teaching Hospital(哈加教学医院)
针对心率时间序列分类受受试者差异影响的问题,研究通过归一化、受试者分组及加入手工特征的深度学习方法,有效提升了BigIdeasLab_STEP数据集上的活动分类性能。
2023-11-22 cs.LG eess.SP
Inconsistent Node Flattening for Improving Top-down Hierarchical Classification
George Mason University(乔治梅森大学)
大规模的数据分类是一个重要的研究领域,其中的类在结构上组织在一个层次结构中。自顶向下的方法,利用层次结构的学习和预测阶段是有效的大规模层次分类。然而,自顶向下方法的准确性由于误差传播而较差,即,在层次结构中的较高层产生的预测误差不能在较低层校正。在更高层次上出现错误的主要原因之一是由于领域专家创建这些层次结构的任意过程而引入的不一致节点的存在。在本文中,我们提出了两种不同的数据驱动的方法(本地和全球)的层次结构的修改,识别和不一致的节点存在于层次结构。我们广泛的经验评估所提出的方法在几个图像和文本数据集不同分布的功能,类和训练实例,每类显示了改进的分类性能比竞争层次的修改方法。具体来说,我们看到我们的方法在最佳TD基线上的Macro-F1分数提高了7%。源码:http://www.cs.gmu.edu/~mlbio/InconsistentNodeFlattening
2017-06-05 cs.LG stat.ML
Back-Translated Task Adaptive Pretraining: Improving Accuracy and Robustness on Text Classification
Korea University(高丽大学)
在大型文本语料库上预训练并在下游文本语料库上微调并在下游任务上微调的语言模型(LM)成为若干自然语言处理(NLP)任务的事实上的训练策略。最近,一种自适应预训练方法重新训练预训练的语言模型与任务相关的数据已经显示出显着的性能改善。然而,目前的自适应预训练方法遭受欠拟合的任务分布,由于相对少量的数据来重新预训练LM。为了完全使用自适应预训练的概念,我们提出了一种反向翻译任务自适应预训练(BT-TAPT)方法,该方法通过使用反向翻译来增加任务数据以将LM推广到目标任务域,从而增加LM重新预训练的任务特定数据量。实验结果表明,所提出的BT-TAPT在低资源和高资源数据上都提高了分类精度,并且比传统的自适应预训练方法对噪声具有更好的鲁棒性。
2021-07-22 cs.CL cs.LG
Improving Astronomical Time-series Classification via Data Augmentation with Generative Adversarial Networks
Universidad de Chile(智利大学);Harvard University(哈佛大学);Millennium Institute of Astrophysics(千年天体物理研究所)
由于技术的最新进步,具有显著天空覆盖范围的望远镜每晚将产生数百万个天文警报,这些警报必须快速自动分类。目前,分类由监督机器学习算法组成,其性能受到天文物体现有注释数量及其高度不平衡的类分布的限制。在这项工作中,我们提出了一种基于生成对抗网络(GANs)的数据增强方法,以生成来自变星的各种合成光变曲线。我们的新贡献,包括一种重新排序技术和一个评估指标,可以评估不平衡数据集中生成模型的质量,并识别Fréchet Inception Distance没有揭示的GAN过拟合情况。我们将我们提出的模型应用于从Catalina和Zwicky Transient Facility调查中获取的两个数据集。相对于只使用真实数据的情况,采用合成数据进行训练,用真实数据进行测试,变星的分类精度得到了显著提高。
2022-05-13 astro-ph.IM cs.LG
Improving Simulations with Symmetry Control Neural Networks
Arnold-Sommerfeld-Center(阿诺德·索末菲中心);Max-Planck-Institut für Physik(马克斯·普朗克物理研究所);Ludwig-Maximilians-Universität(路德维希-马克西米利安-慕尼黑大学)
由于守恒量的存在,物理系统的动力学常常被限制在低维子空间中。在这里,我们提出了一种方法来学习和利用这种对称性约束的基础上,汉密尔顿神经网络。通过强制循环坐标与适当的损失函数,我们发现,我们可以实现简单的经典动力学任务的精度提高。通过将分析公式拟合到我们网络中的潜变量,我们发现我们的网络正在利用守恒量,如(角)动量。
2021-04-29 cs.LG physics.comp-ph
Improving Transfer Learning with a Dual Image and Video Transformer for Multi-label Movie Trailer Genre Classification
Instituto de Investigaciones en Matemáticas Aplicadas y en Sistemas, Universidad Nacional Autónoma de México(墨西哥国立自治大学应用数学与系统研究所)
在本文中,我们研究了ImageNet空间和Kinetics时空表示到多标签电影预告片类型分类(MTGC)的可移植性。特别是,我们对在ImageNet和Kinetics上预训练的ConvNet和Transformer模型到Trailers 12 k的可移植性进行了广泛的评估,Trailers 12 k是一个新的手动策划的电影预告片数据集,由12,000个标记有10种不同类型和相关元数据的视频组成。我们分析了可能影响可传输性的不同方面,例如帧速率、输入视频扩展和时空建模。为了减少ImageNet/Kinetics和Trailers 12 k之间的时空结构差距,我们提出了双图像和视频Transformer架构(DIViTA),它执行镜头检测,以便将预告片分割成高度相关的片段,为预训练的骨干提供更有凝聚力的输入,并提高可移植性(ImageNet增加1.83%,Kinetics增加3.75%)。我们的研究结果表明,在ImageNet或Kinetics上学习的表示相对而言可以转移到Trailers 12 k。此外,两个数据集都提供了互补的信息,可以结合起来提高分类性能(与前一个预训练相比,提高了2.91%)。有趣的是,使用轻量级ConvNets作为预训练的骨干,与顶级Transformer相比,分类性能仅下降3.46%,同时仅需要其参数的11.82%和FLOPS的0.81%。
2023-03-29 cs.CV cs.LG
Improving Human Sperm Head Morphology Classification with Unsupervised Anatomical Feature Distillation
University of Notre Dame(圣母大学);First Affiliated Hospital of Anhui Medical University(安徽医科大学第一附属医院)
随着男性不育症的日益增多,精子头部形态学分类对于准确及时的临床诊断至关重要。最近的深度学习(DL)形态学分析方法实现了有希望的基准测试结果,但由于依赖于有限且可能有噪声的类标签,因此性能和鲁棒性有待提高。为了解决这个问题,我们引入了一个新的DL训练框架,该框架利用人类精子显微镜作物的解剖学和图像先验来提取有用的特征,而无需额外的标记成本。我们的核心思想是通过可靠生成的伪掩模和无监督的空间预测任务来提取精子头部信息。然后利用来自该提取步骤的预测前景掩模来在调整阶段中正则化和减少图像和标签噪声。我们在两个公共精子数据集上评估了我们的新方法,并实现了最先进的性能(例如65.9%的SCIAN准确率和96.5%的HuSHeM准确率)。
2022-03-16 cs.CV cs.LG
Reproducing and Improving CheXNet: Deep Learning for Chest X-ray Disease Classification
Boston University(波士顿大学)
本文重现并改进CheXNet,通过深度学习方法在胸部X光图像中实现疾病分类,提升了模型在多标签分类任务中的性能指标。
2026-02-24 cs.CV cs.LG eess.IV
Improving The Reconstruction Quality by Overfitted Decoder Bias in Neural Image Compression
InterDigital, Inc.(交互数字公司)
端到端的可训练模型已经达到了视频和图像上传统手工压缩技术的性能。由于这些模型的参数是在大型训练集上学习的,因此它们对于任何给定的待压缩图像都不是最佳的。在本文中,我们提出了一个基于实例的微调解码器的偏置的一个子集,以提高重建质量,以换取额外的编码时间和较小的额外信令成本。所提出的方法适用于任何端到端压缩方法,通过$3-5\%$提高了最先进的神经图像压缩的BD率。
2022-10-10 cs.CV cs.LG eess.IV
Improving usual Naive Bayes classifier performances with Neural Naive Bayes based models
IBM France(IBM法国);Telecom SudParis(巴黎电信学院);Institut Polytechnique de Paris(巴黎综合理工学院)
朴素贝叶斯是一种流行的概率模型,因其简单性和可解释性而受到赞赏。然而,相关分类器的通常形式存在两个主要问题。首先,由于只考虑观测值的规律,不能考虑复杂的特征。此外,它考虑了条件独立的观察给定的隐藏变量。本文介绍了原始的神经朴素贝叶斯,用神经网络函数对朴素贝叶斯分类器的参数进行建模。这可以纠正第一个问题。我们还引入了新的神经池马尔可夫链模型,减轻了独立性条件。我们实证研究了这些模型对情感分析的好处,将通常分类器的错误率除以4.5,在IMDB数据集上使用FastText嵌入。
2021-11-14 cs.LG stat.ML
Improving Trip Mode Choice Modeling Using Ensemble Synthesizer (ENSY)
Sharif University of Technology(谢里夫理工大学)
本文提出利用概率分布进行数据增强的 Ensemble Synthesizer(ENSY),以改善出行方式选择数据集中少数类识别难的问题;实验表明其显著提升少数类 F1 与整体准确率,并优于多种基线增强方法。
2024-07-01 cs.AI cs.LG
Bound Propagation meets Constraint Simplification: Improving Logic-based XAI for Neural Networks
Department of Computer Science, Instituto Federal do Ceará (IFCE)(计算机科学系,巴西塞阿拉联邦大学(IFCE))
本文通过结合边界传播与约束简化,显著提升了基于逻辑的神经网络可解释性方法的效率,减少了高达89.26%的解释时间。
2026-03-02 cs.LG cs.LO