Extended Unconstrained Features Model for Exploring Deep Neural Collapse
New York University(纽约大学)
用于训练深度神经网络以执行分类任务的现代策略包括即使在训练误差消失后也要优化网络的权重,以进一步将训练损失推向零。最近,一种被称为“神经崩溃”(NC)的现象已被经验性地观察到在这个训练过程中。具体来说,已经表明类内样本的学习特征(倒数第二层的输出)收敛于它们的均值,并且不同类的均值表现出某种紧密的帧结构,该结构也与最后一层的权重对齐。最近的论文表明,这种结构的最小化出现时,优化一个简化的“无约束特征模型”(UFM)与正则化的交叉熵损失。在本文中,我们进一步分析和扩展UFM。首先,我们研究了正则化MSE损失的UFM,并表明极小化器的特征可以具有比交叉熵情况下更精细的结构。这也影响了权重的结构。然后,我们通过向模型添加另一层权重以及ReLU非线性来扩展UFM,并推广我们以前的结果。最后,我们实证证明了我们的非线性扩展UFM在模拟实际网络中发生的NC现象的有用性。
2022-10-12 cs.LG
Exploring Multi-Modality Dynamics: Insights and Challenges in Multimodal Fusion for Biomedical Tasks
Newnham College(纽纳姆学院);University of Cambridge(剑桥大学)
本研究分析了用于生物医学分类的MM dynamics多模态融合方法的局限,发现特征信息性有效、模态信息性易致性能下降,据此拓展出图像版方法,但其定量表现未超基线。
2024-11-01 cs.LG
Exploring Simple, High Quality Out-of-Distribution Detection with L2 Normalization
Simon Fraser University(西蒙菲莎大学);MetaOptima
本研究提出基于L2归一化的极简分布外检测方法,仅需两行代码、无需额外调优等操作,在多种架构和数据集上验证了其接近最优水平的检测性能与训练效率优势。
2024-02-01 cs.LG
Exploring Variational Graph Autoencoders for Distribution Grid Data Generation
Technical University of Munich(慕尼黑技术大学)
本文探讨了变分图自编码器在配电网数据生成中的应用,发现基于GCN的方法在ENGAGE数据集上表现良好,但在DINGO数据集上存在生成问题,强调了需要更先进的生成模型。
2025-11-30 cs.LG
A Methodology for Exploring Deep Convolutional Features in Relation to Hand-Crafted Features with an Application to Music Audio Modeling
Duke University(杜克大学)
从模型信任的角度来看,理解深度模型所学习到的特性非常重要,特别是当深度系统部署在现实世界中时。用于深度特征理解或模型解释的最新方法集中于突出与分类决策相关的输入数据特征。在这项工作中,我们反而采取了将深度特征与对感兴趣的应用有意义的精心研究的手工制作的特征相关联的观点。我们提出了一种方法和一套系统的实验,探索在这种情况下,深度特征理解的输入特征重要性方法不适用的深层功能。我们的实验专注于理解哪些手工制作的和深层的特征对感兴趣的分类任务有用,这些特征对相关任务的鲁棒性如何,以及深层特征与有意义的手工制作的特征有多相似。我们提出的方法是一般的许多应用领域,我们证明了其实用程序的管弦乐音频数据。
2021-10-09 cs.LG cs.SD eess.AS
Exploring Linear Feature Disentanglement For Neural Networks
Shandong University(山东大学);CSIRO(澳大利亚联邦科学与工业研究组织);Nanjing University of Science and Technology(南京理工大学);Shandong Jianzhu University(山东建筑大学)
非线性激活函数,例如,Sigmoid、ReLU和Tanh在神经网络(NN)中取得了巨大的成功。由于样本具有复杂的非线性特征,这些激活函数的目标是将样本从其原始特征空间投影到线性可分的特征空间。这一现象激发了我们的兴趣,探索在当前典型的神经网络中,是否所有的特征都需要通过所有的非线性函数来转换,即,在中间层中是否存在到达线性可分特征空间的特征的一部分,其不需要进一步的非线性变化而是需要仿射变换。为了验证上述假设,本文研究了神经网络的线性特征解纠缠问题。具体来说,我们设计了一个可学习的掩码模块来区分线性和非线性特征。通过我们设计的实验,我们发现一些特征比其他特征更早到达线性可分空间,并且可以部分地从神经网络中分离出来。探索的方法还提供了一个容易可行的修剪策略,几乎不影响原模型的性能。我们在四个数据集上进行了实验,并提出了有希望的结果。
2022-03-22 cs.AI cs.LG
Exploring Large Feature Spaces with Hierarchical Multiple Kernel Learning
INRIA(法国国家信息与自动化研究所);Laboratoire d’Informatique de l’Ecole Normale Supérieure(巴黎高等师范学院计算机实验室);CNRS(法国国家科学研究中心);ENS(巴黎高等师范学院)
对于监督学习和无监督学习,正定核允许使用大的且可能无限维的特征空间,其计算成本仅取决于观测的数量。这通常是通过欧几里德或希尔伯特范数对预测函数进行惩罚来完成的。在本文中,我们探讨了稀疏诱导范数,如l1-范数或块l1-范数的惩罚。我们假设,内核分解成一个大的总和,可以嵌入在一个有向无环图的个别基础内核,我们表明,它是可以通过一个分层的多内核学习框架,在多项式时间中选择内核的数量进行内核选择。这个框架自然适用于非线性变量选择;我们对合成数据集和UCI存储库数据集的广泛模拟表明,通过稀疏诱导范数有效地探索大特征空间可以带来最先进的预测性能。
2008-09-09 cs.LG stat.ML
Fea2Fea: Exploring Structural Feature Correlations via Graph Neural Networks
University of Edinburgh(爱丁堡大学);Stanford University(斯坦福大学)
结构特征是几何图形的重要特征。虽然有一些基于协方差的特征相关性分析,但还没有相关的研究与图神经网络的结构特征相关性分析。在低维空间中引入图特征到特征(Fea ~ 2Fea)预测流水线,探索基于图神经网络的结构特征相关性的一些初步结果.结果表明,某些结构特征之间存在高度相关性。在某些基于图的分类任务中,采用无冗余的初始节点特征组合,并经图神经网络过滤,提高了分类精度。我们比较了连接特征之间嵌入的串联方法之间的差异,并表明最简单的是最好的。我们推广了合成几何图,并证明了结构特征之间的预测难度的结果。
2021-09-09 cs.AI cs.LG cs.SI
NeuralDivergence: Exploring and Understanding Neural Networks by Comparing Activation Distributions
Georgia Institute of Technology(佐治亚理工学院)
随着深度神经网络越来越多地用于解决高风险问题,迫切需要了解其内部决策机制。可视化通过帮助解释复杂的深层神经网络来帮助解决这个问题。然而,当前的工具通常只支持单个数据实例,或者孤立地可视化层。我们介绍了NeuralDivergence,一个交互式可视化系统,它使用激活分布作为模型学习的高级摘要。NeuralDivergence使用户能够交互式地总结和比较跨层、类和实例的激活分布(例如,对抗攻击和良性图像对),帮助他们更好地理解神经网络模型。
2019-06-02 cs.CV cs.LG
What shapes feature representations? Exploring datasets, architectures, and training
Stanford University(斯坦福大学)
在自然主义学习问题中,模型的输入包含各种各样的特征,有些对手头的任务有用,有些则没有。在这些有用的特性中,模型使用了哪些?在与任务无关的特征中,模型代表了哪些特征?这些问题的答案对于理解模型决策的基础,以及构建能够学习超出原始训练任务的通用、适应性强的表示的模型非常重要。我们使用合成数据集研究这些问题,在合成数据集中,输入特征的任务相关性可以直接控制。我们发现,当两个特征冗余地预测标签时,模型优先表示其中一个,并且它的偏好反映了从未训练过的模型中最线性解码的内容。在训练过程中,任务相关的特征被增强,而任务无关的特征被部分抑制。有趣的是,在某些情况下,一个更容易、预测性较弱的特征可以抑制一个预测性更强、但更困难的特征。此外,经过训练以识别简单和困难特征的模型学习与仅使用简单特征的模型最相似的表示。此外,容易的功能导致更一致的表示跨模型运行比硬功能。最后,模型与未经训练的模型比在不同任务上训练的模型具有更大的代表性相似性。我们的研究结果突出了决定模型代表哪些特征的复杂过程。
2020-10-22 cs.LG stat.ML
Exploring linguistic feature and model combination for speech recognition based automatic AD detection
The Chinese University of Hong Kong(香港中文大学)
阿尔茨海默病(AD)的早期诊断对于促进预防性护理和延迟进展至关重要。基于语音的自动AD筛查系统为其他临床筛查技术提供了一种非侵入性且更具可扩展性的替代方案。这种专业数据的稀缺性导致在开发这种系统时模型选择和特征学习的不确定性。为此,本文研究了使用特征和模型组合方法来提高BERT和Roberta预训练文本编码器在有限数据上的域微调的鲁棒性,然后将所得嵌入特征馈送到后端分类器的集合中,通过多数表决产生最终的AD检测决策。在ADReSS20 Challenge数据集上进行的实验表明,在系统开发中使用模型和特征组合可以获得一致的性能改进。在由48名老年人组成的ADReSS 20测试集上,分别使用手动和ASR语音转录获得了91.67%和93.75%的最先进的AD检测准确率。
2022-08-08 cs.LG eess.AS
Exploring Feature-based Knowledge Distillation for Recommender System: A Frequency Perspective
East China Normal University(华东师范大学)
该研究从频域视角分析推荐系统的基于特征的知识蒸馏,指出均等权重分配会忽视重要知识,提出轻量级知识重加权方法FreqD,实验证明其显著优于现有最优知识蒸馏方法。
2025-01-13 cs.AI cs.IR cs.LG
Exploring The Landscape of Distributional Robustness for Question Answering Models
University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所)
我们进行了一个大型的实证评估,调查景观的分布鲁棒性问答。我们的调查涵盖了350多个模型和16个问答数据集,包括一组不同的架构、模型大小和适应方法(例如,微调、适配器调整、上下文学习等)。我们发现,在许多情况下,模型的变化并不影响鲁棒性和分布性能单独决定的分布性能。此外,我们的研究结果表明,i)zero-shot和上下文学习方法比完全微调模型对分布偏移更鲁棒; ii)Few-Shot提示微调模型比Few-Shot微调跨度预测模型表现出更好的鲁棒性; iii)参数有效和鲁棒性增强训练方法没有提供显着的鲁棒性改进。此外,我们公开发布所有评估,以鼓励研究人员进一步分析问答模型的鲁棒性趋势。
2022-10-22 cs.CL cs.LG
A novel DL approach to PE malware detection: exploring Glove vectorization, MCC_RCNN and feature fusion
Beijing Key Laboratory of Security and Privacy in Intelligent Transportation, Beijing Jiaotong University(北京交通大学智能交通信息安全与隐私保护北京市重点实验室)
近年来,恶意软件变得更具威胁性。关于不断增加的恶意软件变体,出现了基于机器学习(ML)和基于深度学习(DL)的启发式检测方法。然而,两者的预测精度都有待提高。针对PE恶意软件领域中的上述问题,我们提出了基于DL的检测方法,并使用基于静态的特征馈送到模型中。本文的主要贡献如下:概括了现有的恶意软件检测方法。提出了一种基于Glove的恶意软件指令层和语义层的矢量化表示模型。我们实现了一个称为MCC_R CNN(恶意软件检测和递归卷积神经网络)的神经网络模型,包括CNN和RNN的组合。此外,我们提供了一个描述的特征融合在静态行为水平。通过对基于手套的矢量化、基于MCC_RCNN的分类方法和特征融合阶段的比较实验,我们提出的分类方法可以获得比其他基线方法更高的预测精度。
2021-02-04 cs.CR cs.LG
Winning Prize Comes from Losing Tickets: Improve Invariant Learning by Exploring Variant Parameters for Out-of-Distribution Generalization
Sydney AI Centre, The University of Sydney(悉尼大学悉尼人工智能中心);JD Explore Academy(京东探索研究院);University of Science and Technology of China(中国科学技术大学);Nanjing University of Science and Technology(南京理工大学);Hong Kong Baptist University(香港浸会大学)
针对OOD泛化中分布噪声误导优化的问题,提出EVIL方法,通过探索并剔除对分布偏移敏感的变体参数,寻找相对稳定的不变参数以构建鲁棒子网络,在DomainBed上有效提升了多种主流方法的泛化能力。
2023-10-25 cs.CV cs.LG
Exploring the Semantic Content of Unsupervised Graph Embeddings: An Empirical Study
Durham University(杜伦大学);InlecomSystems;SUSTech(南方科技大学);Newcastle University(纽卡斯尔大学)
图嵌入已成为图挖掘领域中一项关键且广泛使用的技术,在社会、引文、交通和生物等广泛领域都取得了成功。图嵌入技术的目标是自动创建给定图的低维表示,该表示在所得到的嵌入空间中捕获关键结构元素。然而,到目前为止,很少有工作探索究竟是什么拓扑结构正在学习的嵌入过程。在本文中,我们调查,如果图嵌入近似的东西类似于传统的顶点级图的功能。如果能找到这样的关系,它可以用来提供一个理论上的洞察如何图嵌入方法的功能。我们通过预测已知的拓扑特征,使用监督和无监督的方法,直接从嵌入空间进行这项调查。如果可以找到嵌入和拓扑特征之间的映射,那么我们认为特征所封装的结构信息是在嵌入空间中表示的。为了探索这一点,我们提出了广泛的实验评估,从五个国家的最先进的无监督图嵌入技术,在一系列的经验图数据集,测量选择的拓扑特征。我们证明了几个拓扑特征确实是由嵌入空间近似的,这使得我们能够深入了解图嵌入如何创建良好的表示。
2018-06-19 cs.LG stat.ML
Towards Fair Classifiers Without Sensitive Attributes: Exploring Biases in Related Features
College of Information Sciences and Technology, The Pennsylvania State University(宾夕法尼亚州立大学信息科学与技术学院);Department of Computer Science, College of Computing, Illinois Institute of Technology(伊利诺伊理工学院计算学院计算机科学系)
尽管机器学习模型发展迅速并取得了巨大成功,但大量的研究已经暴露了它们从训练数据继承潜在歧视和社会偏见的缺点。这种现象阻碍了它们在高风险应用程序中的采用。因此,已经做出了许多努力来开发公平的机器学习模型。它们中的大多数要求在训练过程中敏感属性可用,以学习公平模型。然而,在现实应用中,由于隐私或法律问题,通常无法获得敏感属性,这对现有的公平保证策略提出了挑战。虽然每个数据样本的敏感属性是未知的,我们观察到,通常有一些不敏感的特征,在训练数据是高度相关的敏感属性,这可以用来减轻偏见。因此,在本文中,我们研究了一个新的问题,探索与敏感属性高度相关的特征,以学习公平和准确的分类器。我们从理论上证明,通过最小化这些相关特征与模型预测之间的相关性,我们可以学习一个公平的分类器。基于这一动机,我们提出了一个新的框架,同时使用这些相关的功能进行准确的预测和执行公平。此外,该模型可以动态调整每个相关特征的正则化权重,以平衡其对模型分类和公平性的贡献。在真实数据集上的实验结果证明了该模型在学习公平模型时的有效性,并具有较高的分类精度。
2021-12-28 cs.CY cs.LG
From Features to Graphs: Exploring Graph Structures and Pairwise Interactions via GNNs
IEEE
本研究聚焦成对特征交互,通过合成数据集实验与MDL原理理论分析,明确特征图中交互边的必要性与非交互边的噪声影响,为提升GNN性能与可解释性的特征图设计提供指导。
2025-06-12 cs.AI cs.LG stat.ML
Exploring the Deep Feature Space of a Cell Classification Neural Network
University of Tokyo(东京大学);University of Cambridge(剑桥大学);National Chiao Tung University(国立交通大学);Japan Science and Technology Agency(日本科学技术振兴机构)
在本文中,我们提出了用于可视化深度学习图像分类神经网络的特征空间的现代技术。这些技术被认为是在一个前馈网络的背景下训练分类低分辨率荧光图像的白细胞捕获使用光流成像。该模型有两个输出类,对应于两种不同的细胞类型,通常很难用眼睛区分。本文分为两大部分。第一种方法是通过降维技术(如t-SNE)来开发信息空间,用于将高维的pre-softmax层激活嵌入到二维平面中。第二部分通过优化来查看特征可视化,以生成代表网络学习特征的特征图像。使用和开发这些技术,我们使用聚类算法和特征图像可视化数据集中不同深度的类分离和结构;随着我们提升网络,跟踪特征复杂性的发展;并开始提取网络通过调制单通道特征图像与放大的神经元激活图来区分其最突出的部分而学习的特征。
2018-11-15 cs.CV cs.LG cs.NE
DeepHyperion: Exploring the Feature Space of Deep Learning-Based Systems through Illumination Search
Università della Svizzera Italiana(瑞士意大利语大学);University of Passau(帕绍大学)
深度学习(DL)已成功应用于广泛的应用领域,包括安全关键领域。最近在文献中提出了几种DL测试方法,但没有一种旨在评估所生成的输入的不同可解释特征如何影响系统的行为。在本文中,我们求助于照明搜索来找到性能最高的测试用例(即,行为不当和最接近行为不当),分布在表示系统的特征空间的图的单元上。我们介绍了一种方法,指导我们的方法的用户在识别和量化的特征空间的维度为一个给定的域的任务。我们开发了深度学习系统的基于搜索的工具Deepcup,它可以说明,即,通过为开发人员提供可解释的特征图,在特征图中,自动生成的输入与有关暴露行为的信息一起放置,从而探索特征空间。
2021-07-05 cs.AI cs.LG cs.SE
Open-Sampling: Exploring Out-of-Distribution data for Re-balancing Long-tailed datasets
Nanyang Technological University(南洋理工大学);Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Chongqing University(重庆大学)
深度神经网络通常在训练数据集遭受极端类别不平衡时表现不佳。最近的研究发现,直接用分布外的数据(即,开集样本)将损害泛化性能。在这项工作中,我们理论上表明,从贝叶斯的角度来看,仍然可以利用分布外的数据来增加少数类。基于这种动机,我们提出了一种新的方法,称为开放采样,它利用开放集的噪声标签来重新平衡训练数据集的类先验。对于每个开集实例,标签从我们预定义的分布中采样,该分布与原始类先验分布互补。我们的经验表明,开放采样不仅重新平衡类先验,但也鼓励神经网络学习可分离的表示。大量的实验表明,我们提出的方法显着优于现有的数据重新平衡方法,可以提高现有的最先进的方法的性能。
2022-07-05 cs.CV cs.LG
Exploring Urban Land Use Patterns by Pattern Mining and Unsupervised Learning
Department of Geoinformatics, Palacký University(帕拉茨基大学地理信息学院);The Kyoto College of Graduate Studies for Informatics(信息研究生学院)
本文提出利用频繁项集挖掘和无监督学习技术,基于Copernicus Urban Atlas数据挖掘相似城市,通过预处理、模式挖掘、后处理和知识提取可视化,实现城市土地利用模式分析。
2026-09-14 cs.DB cs.LG
On Better Exploring and Exploiting Task Relationships in Multi-Task Learning: Joint Model and Feature Learning
University of Science and Technology of China(中国科学技术大学);University of Technology, Sydney(悉尼科技大学)
多任务学习(MTL)的目的是通过不同任务之间的相互依赖性来同时学习多个任务。如何度量任务之间的相关性一直是一个热门的问题。任务间相关性的度量方法主要有两种:公共参数共享和不同任务间公共特征共享。然而,这两种类型的相关性主要是独立学习的,导致信息丢失。在本文中,我们提出了一种新的策略来衡量相关性,共同学习共享参数和共享特征表示。我们提出的方法的目的是将不同任务的特征转换到一个共同的特征空间中,在这个空间中,任务是密切相关的,共享参数可以更好地优化。我们给我们提出的多任务学习方法的详细介绍。此外,一个交替算法被引入到优化的非凸目标。一个理论上的界限,证明我们提出的多任务学习算法可以更好地衡量任务之间的相关性。我们进行了各种实验,以验证所提出的联合模型的优越性和功能的多任务学习方法。
2019-04-03 cs.AI cs.LG stat.ML
Exploring Sequence Feature Alignment for Domain Adaptive Detection Transformers
University of Science and Technology of China(中国科学技术大学);Institute of Artificial Intelligence, Hefei Comprehensive National Science Center(合肥综合性国家科学中心人工智能研究院);The University of Sydney(悉尼大学);JD Explore Academy(京东探索研究院);Nanyang Technological University(南洋理工大学)
针对检测Transformer跨域性能不足的问题,提出序列特征对齐(SFA)方法,含DQFA与TDA模块及二分匹配一致性损失,在三个基准上优于现有域自适应目标检测方法。
2026-11-05 cs.CV cs.LG
Unveiling the Unseen: Exploring Whitebox Membership Inference through the Lens of Explainability
Saint Louis University(圣路易斯大学)
本文针对成员推理攻击中隐藏特征影响不明及攻击根因解释不足的问题,提出基于统计的神经元筛选方法和攻击驱动的可解释框架,使攻击性能较现有最优方法提升最高26%。
2024-07-01 cs.CR cs.LG
Exploring spectro-temporal features in end-to-end convolutional neural networks
University of Toronto(多伦多大学);Vector Institute(向量研究所)
三角形重叠梅尔缩放滤波器(“f组”)是用于利用其输入的时间-频率几何形状的声学模型的当前标准输入,因为它们为语音信号提供心理声学激励的时间-频率几何形状。F-银行的系数是可证明的规模小变形的鲁棒性。在本文中,我们探讨了两种方法,其中滤波器组可以调整为目的的语音识别。首先,三角形滤波器可以用Gabor滤波器(一种更好地定位时间事件的compatible支持的滤波器)或Gammatone滤波器(一种心理声学驱动的滤波器)来代替。其次,通过重新安排计算滤波器组特征的操作顺序,可以在较小的时间尺度上对特征进行积分,同时提供更好的频率分辨率。我们通过开源存储库在线提供所有功能实现。使用现代端到端CNN电话识别器的初始实验由于任何一种修改都没有产生电话出错率的显著改善。结果,其后果与学习滤波器组,进行了讨论。
2019-01-01 cs.CL cs.LG cs.SD
Exploring Urban Factors with Autoencoders: Relationship Between Static and Dynamic Features
ICMC, University of Sao Paulo, Sao Carlos, Brazil(圣卡洛斯大学ICMC);Münster University, Westphalia, Germany(西发里亚大学)
本研究开发可视化辅助框架,利用自编码器融合动态与静态城市数据,发现组合潜在表示比单独表示能揭示更结构化模式。
2025-09-07 cs.GR cs.LG
Exploring the Limitations of kNN Noisy Feature Detection and Recovery for Self-Driving Labs
University of Toronto(多伦多大学);Artificial, Inc.(Artificial公司);National Research Council Canada(加拿大国家研究委员会);Natural Resources Canada(加拿大自然资源部);Vector Institute for Artificial Intelligence(Vector人工智能研究所);Schwartz Reisman Institute for Technology and Society(Schwartz Reisman技术与社会研究所)
本研究探讨了kNN噪声特征检测与恢复在自动驾驶实验室中的局限性,通过系统分析噪声强度、数据集大小等因素对特征可检测性和可恢复性的影响,提出了一种通用的数据恢复框架并建立了材料数据集的基准。
2026-01-30 cs.LG physics.data-an
Gaussian Smoothen Semantic Features (GSSF) -- Exploring the Linguistic Aspects of Visual Captioning in Indian Languages (Bengali) Using MSCOCO Framework
Computer & Information Science & Engineering Department, University of Florida(佛罗里达大学计算机与信息科学与工程系)
在这项工作中,我们引入了高斯平滑语义特征(GSSF),以更好地为印度区域语言为基础的图像描述的语义选择,并介绍了一个程序,我们使用现有的翻译和英语众包的句子进行训练。我们已经证明,这种架构是一个有前途的替代来源,在那里有一个紧缩的资源。我们这项工作的主要贡献是为孟加拉语(世界上第五种广泛使用的语言)开发深度学习架构,它具有完全不同的语法和语言属性。我们已经证明,这些对于从图像上下文生成语言生成等复杂应用非常有效,并且可以通过引入约束、更广泛的特征和独特的特征空间来实现表示的多样化。我们还确定,当我们使用平滑的语义张量与传统的LSTM和特征分解网络时,我们可以实现绝对的精度和多样性。通过更好的学习架构,我们成功地建立了一个自动化的算法和评估程序,可以帮助评估合格的应用程序,而无需专业知识和人工干预。
2020-02-16 cs.CL cs.CV cs.LG
Exploring Maximum Entropy Distributions with Evolutionary Algorithms
Freie Universitaet Berlin(柏林自由大学)
本文展示了如何在一组给定的约束条件下数值地演化最大熵概率分布,这是一个变分问题。进化算法可以获得一些众所周知的分析结果的近似值,但更灵活,可以找到一个封闭的公式不能很容易地陈述的分布。数值方法处理有限区间上的分布。我们表明,有两种方式进行的过程:直接优化的拉格朗日的约束问题,或通过优化的子集之间的熵的分布,满足的约束。增量进化策略很容易获得均匀的,指数,高斯,对数正态,拉普拉斯,以及其他分布,一旦约束问题用两种方法中的任何一种解决。混合(“嵌合体”)分布的解也可以找到。我们解释了为什么许多分布是对称和连续的,但有些不是。
2020-02-05 cs.IT cs.LG cs.NE
Exploring Kolmogorov-Arnold networks for realistic image sharpness assessment
School of Information and Communication Engineering(信息与通信工程学院);Communication University of China(中国传媒大学);Beijing Normal University(北京师范大学)
该研究提出 TaylorKAN,并在四个真实图像数据库上结合中、高层特征评估多种 KAN 的清晰度分数预测性能,发现其相较支持向量回归具有竞争力且 TaylorKAN 在中层特征下最佳。
2024-12-05 cs.CV cs.LG
Exploring Restart Distributions
Imperial College London(帝国理工学院);Mila(米拉研究所);McGill University(麦吉尔大学)
我们认为使用经验记忆,以帮助探索适应重新启动分布的通用方法。也就是说,考虑到重置状态的能力与那些对应于代理的过去的观察,我们通过促进更快的状态空间覆盖,通过重新启动代理从一组更多样化的初始状态,以及允许它重新启动与重要的过去的经验相关联的状态,帮助探索。这种方法与策略内和策略外方法都兼容。然而,需要注意的是,当在受限的策略类别中搜索时,改变初始状态的分布可能会改变最优策略。为了减少这种不必要的学习偏差,我们在深度强化学习中评估了我们的方法,该方法受益于深度神经网络的高表示能力。我们实例化我们的方法的三个变体,每个变体的灵感来自于经验重放的背景下的一个想法。使用这些变体,我们表明,可以实现性能增益,特别是在硬勘探问题。
2020-08-18 cs.AI cs.LG stat.ML
Exploring the Potential of Feature Density in Estimating Machine Learning Classifier Performance with Application to Cyberbullying Detection
Kitami Institute of Technology(北见工业大学);Samurai Labs(武士实验室)
在这项研究中。我们分析了特征密度(HD)作为在训练之前比较估计机器学习(ML)分类器性能的方式的潜力。该研究的目标是帮助解决ML模型的资源密集型训练问题,由于数据集大小的不断增加和深度神经网络(DNN)的日益普及,这正在成为一个严重的问题。对更强大的计算资源的需求不断增加,这也影响了环境,因为训练大规模的ML模型导致二氧化碳排放量惊人地增长。我们的方法是优化自然语言处理的ML模型的资源密集型训练,以减少所需的实验迭代次数。我们扩展了以前使用FD提高分类器训练效率的尝试,同时还提供了对各种语言支持的对话分类特征预处理方法的有效性的见解,特别是网络欺凌检测。
2022-06-04 cs.AI cs.CL cs.LG
Exploring Optimal Substructure for Out-of-distribution Generalization via Feature-targeted Model Pruning
The Hong Kong Polytechnic University(香港理工大学)
最近的研究表明,即使是高度偏置的稠密网络也包含一个无偏的子结构,可以实现比原始模型更好的分布外(OOD)泛化。现有的工作通常使用模块化风险最小化(MRM)与域外数据搜索的不变子网络。这样的范例可能会带来两个潜在的弱点:1)不公平,由于在训练期间对域外数据的观察不足;以及2)次优OOD泛化,由于对整个数据分布的特征非目标模型修剪。在本文中,我们提出了一种新的虚假目标模型剪枝框架,称为SFP,自动探索不变的子结构,而不涉及上述弱点。具体来说,SFP在训练过程中使用我们理论上验证的任务丢失来识别分布(ID)特征,在此基础上,SFP可以执行ID目标模型修剪,删除对ID特征具有强依赖性的分支。值得注意的是,通过衰减虚假特征到模型空间的投影,SFP可以将模型学习推向不变特征,并将其从环境特征中提取出来,从而设计出最佳的OOD泛化。此外,我们还进行了详细的理论分析,提供了合理性保证和证明框架的OOD结构通过模型稀疏性,并首次揭示了如何高度偏置的数据分布影响模型的OOD推广。在各种面向对象数据集上的大量实验表明,SFP可以显著优于基于结构和非结构的面向对象泛化SOTA,准确率分别提高了4.72%和23.35%。
2022-12-19 cs.AI cs.LG stat.ML
SpectralNET: Exploring Spatial-Spectral WaveletCNN for Hyperspectral Image Classification
EURECOM
使用卷积神经网络(CNN)的高光谱图像(HSI)分类在当前文献中被广泛发现。方法从使用SVM到2D CNN,3D CNN,3D-2D CNN。除了3D-2D CNN和FuSENet之外,其他方法没有同时考虑HSI分类任务的光谱和空间特征,从而导致性能不佳。3D CNN计算量大,没有得到广泛应用,而2D CNN不考虑图像的多分辨率处理,仅限于空间特征。尽管3D-2D CNN试图对光谱和空间特征进行建模,但当应用于多个数据集时,它们的性能似乎有限。在这篇文章中,我们提出了SpectralNET,一种小波CNN,它是用于多分辨率HSI分类的2D CNN的变体。小波CNN使用小波变换的层来带出谱特征。计算小波变换比计算3D CNN更轻。然后将提取的光谱特征连接到2D CNN,其带来空间特征,从而创建用于分类的空间-光谱特征向量。总体而言,实现了一个更好的模型,可以分类多分辨率HSI数据具有高精度。在基准数据集上使用SpectralNET进行的实验,即印度松树,帕维亚大学和萨利纳斯场景证实了所提出的SpectralNET相对于最先进方法的优越性。该代码可在https://github.com/tanmay-ty/SpectralNET上公开获取。
2021-04-01 cs.CV cs.LG eess.IV
Exploring Robust Intrusion Detection: A Benchmark Study of Feature Transferability in IoT Botnet Attack Detection
School of Computer Science, University of Nottingham, Ningbo, China(宁波大学计算机科学学院);School of Computer Science, University of Nottingham, Nottingham, United Kingdom(诺丁汉大学计算机科学学院)
本研究评估了物联网僵尸网络攻击检测中三种流特征集的可迁移性,发现域变化对性能有显著影响,提出了改进鲁棒性的特征工程和算法选择方法。
2026-02-27 cs.AI cs.CR cs.LG
Exploring Transformer-Augmented LSTM for Temporal and Spatial Feature Learning in Trajectory Prediction
University of Tennessee(田纳西大学)
本文提出一种结合LSTM与Transformer编码器的混合模型,用于车辆轨迹预测的时空特征学习,虽未超越现有LSTM方法,但展示了构建可解释预测模型的潜力。
2024-12-18 cs.CV cs.LG cs.RO
Exploring new ways: Enforcing representational dissimilarity to learn new features and reduce error consistency
Helmholtz Imaging(亥姆霍兹成像);German Cancer Research Center (DKFZ)(德国癌症研究中心(DKFZ));Heidelberg University Hospital(海德堡大学医院)
本文提出在训练过程中强制不同架构的中间表征不相似,以学习具有不相交失效模式的鲁棒集成,从而降低预测相关性和错误一致性,提升集成准确率。
2023-07-05 cs.AI cs.CV cs.LG