A Study of Feature Selection and Extraction Algorithms for Cancer Subtype Prediction
Kalinga Institute of Industrial Technology(卡林加工业技术学院);Aliah University(阿利亚大学)
在这项工作中,我们研究和分析不同的特征选择算法,可用于分类癌症亚型的情况下,高度变化的高维数据。我们对五种不同类型的癌症应用三种不同的特征选择方法,每种癌症具有两个单独的组学。我们表明,现有的特征选择方法是计算昂贵的单独应用时。相反,我们顺序应用这些算法,这有助于降低计算成本和提高预测性能。我们进一步表明,使用一些降维技术减少特征的数量可以提高机器学习模型的性能在某些情况下。我们通过全面的数据分析和可视化来支持我们的发现。
2021-09-29 cs.LG
Gram-Schmidt Methods for Unsupervised Feature Extraction and Selection
Department of Electrical and Systems Engineering, Washington University in St. Louis(电气与系统工程系,华盛顿大学圣路易斯分校);Department of Computer Science and Engineering, Washington University in St. Louis(计算机科学与工程系,华盛顿大学圣路易斯分校)
本文提出在函数空间上使用Gram-Schmidt型正交化过程检测非线性依赖,构建协方差矩阵用于特征提取与选择,其线性方法性能优于现有线性算法且媲美非线性方法,并推广了现有机制且降低复杂度。
2025-07-15 cs.IT cs.LG math.IT
Depth Selection for Deep ReLU Nets in Feature Extraction and Generalization
State Key Laboratory of Robotics, Shenyang Institute of Automation, Chinese Academy of Sciences(中国科学院沈阳自动化研究所机器人学国家重点实验室)
深度学习被认为能够通过利用人类的独创性和先验知识来发现用于表示学习和模式识别的深度特征,而不需要优雅的特征工程技术。因此,它引发了机器学习和模式识别的大量研究活动。深度学习最重要的挑战之一是弄清楚深度神经网络(简称深度网络)的特征和深度之间的关系,以反映深度的必要性。我们的目的是在特征提取和泛化中量化这种特征深度对应。我们提出的自适应功能的深度和反之亦然,通过显示在提取单一功能和复合功能的深度参数的权衡。基于这些结果,我们证明了在深度网络上实现经典的经验风险最小化可以为许多学习任务实现最佳的泛化性能。我们的理论结果得到了一系列数值实验的验证,包括玩具模拟和地震烈度预测的实际应用。
2020-04-01 cs.LG stat.ML
Brain tumor MRI image classification with feature selection and extraction using linear discriminant analysis
Sudharsan Engineering College(苏达尔桑工程学院)
特征提取是捕获图像的视觉内容的方法。特征提取是以其简化形式表示原始图像以便于诸如模式分类之类的决策的过程。我们试图通过创建一个强大的,更准确的分类器,可以作为一个专家助理的医疗从业者来解决分类MRI脑图像的问题。本文的目的是提出一种新的特征选择和提取方法。该方法结合了基于强度、纹理、形状的特征,并将肿瘤分类为白质、灰质、CSF、异常和正常区域。实验是在来自互联网脑分割库的140个包含肿瘤的脑MR图像上进行的。所提出的技术已经进行了一个更大的数据库相比,任何以前的工作,是更强大和有效的。PCA和线性判别分析(LDA)应用于训练集。支持向量机(SVM)分类器作为非线性技术与线性技术的比较。PCA和LDA方法用于减少所使用的特征的数量。使用该技术的特征选择是更有益的,因为它分析的数据,根据分组类变量,并给出了减少的特征集,具有较高的分类精度。
2012-08-10 cs.CV cs.LG
Feature selection or extraction decision process for clustering using PCA and FRSD
本文关注的关键决策过程中提取或选择的功能之前,应用聚类算法。评估特征的重要性并不明显,因为最流行的方法通常是针对监督学习技术过程。聚类算法是一种无监督的方法。这意味着没有已知的输出标签与输入数据匹配。本文提出了一种根据数据科学家的参数选择最佳降维方法(选择或提取)的新方法,旨在最终应用聚类过程。它使用基于轮廓分解的特征排名过程(FRSD)算法,主成分分析(PCA)算法和K-Means算法及其度量,轮廓指数(SI)。本文介绍了基于智慧城市数据集的5个用例。本研究还旨在讨论在这种无监督学习过程中可以做出的每种选择的影响、优点和缺点。
2021-11-20 cs.LG
Efficient Deep Feature Learning and Extraction via StochasticNets
University of Waterloo(滑铁卢大学)
深度神经网络是特征学习和提取的强大工具,因为它们能够对高度复杂数据中的高级抽象进行建模。在使用深度神经网络的特征学习和提取中值得探索的一个领域是用于更快特征学习和提取的有效神经连接形成。受大脑中随机突触连接形成的发现以及大脑有效表示信息的不可思议的能力的启发,我们提出了通过StochasticNets进行特征的有效学习和提取,其中稀疏连接的深度神经网络可以通过神经元之间的随机连接形成。为了评估这种深度神经网络架构用于特征学习和提取的可行性,我们训练深度卷积StochasticNets,以使用CIFAR-10数据集学习抽象特征,并从图像中提取学习的特征,以在SVHN和STL-10数据集上执行分类。实验结果表明,使用深度卷积StochasticNets学习的特征,比传统的深度卷积神经网络具有更少的神经连接,可以实现比传统的深度神经网络更好或相当的分类精度:STL-10数据集上分类的相对测试误差降低约4.5%,SVHN数据集上分类的相对测试误差降低约1%。此外,研究表明,即使只有10%的训练数据用于特征学习,使用深度卷积StochasticNets提取的深度特征也可以提供相当的分类精度。最后,它还表明,显着增益的特征提取速度可以实现在嵌入式应用程序中使用随机网络。因此,StochasticNets允许更快的特征学习和提取性能,同时有助于更好或相当的准确性性能。
2015-12-11 cs.LG stat.ML
"FRAME: Forward Recursive Adaptive Model Extraction-A Technique for Advance Feature Selection"
FRAME通过结合前向选择和递归特征消除,提升特征选择的准确性与效率,适用于需要可解释和准确预测的应用。
2026-01-03 cs.LG
Neural relation extraction: a survey
Huawei Turkey Research and Development Center(华为土耳其研发中心);Ford Otosan(福特奥托桑);Bogazici University(海峡大学);Yildiz Technical University(伊尔迪兹技术大学)
神经关系抽取使用深度学习方法从非结构化文本中发现实体之间的语义关系。本文对基于神经网络的关系抽取方法进行了综述。我们讨论了现有研究的优势和不足之处,并探讨了这一领域的其他研究方向和改进思路。
2020-06-23 cs.CL cs.LG
Neural Aspect and Opinion Term Extraction with Mined Rules as Weak Supervision
HKUST(香港科技大学)
基于神经网络的产品评论方面和观点词抽取的主要瓶颈是缺乏标注的训练数据。为了缓解这个问题,我们首先提出了一个算法,自动挖掘提取规则,从现有的训练样本的基础上依存句法分析的结果。然后将挖掘出的规则应用于标记大量辅助数据。最后,我们研究了训练过程,训练一个神经模型,该模型可以从规则自动标记的数据和少量人工精确标注的数据中学习。实验结果表明,虽然挖掘出的规则本身由于其有限的灵活性而表现不佳,但人类注释数据和规则标记辅助数据的组合可以改善神经模型,并使其实现比当前最先进的性能更好或与之相当的性能。
2019-07-07 cs.CL cs.LG stat.ML
Feature selection in weakly coherent matrices
National Physical Laboratory(国家物理实验室);Université de Franche Comté(弗朗什-孔泰大学)
在纯数学(受限可逆性问题)和应用数学(特征提取)中最重要的问题是选择给定矩阵的子矩阵,使得该子矩阵具有高于指定水平的最小奇异值。这样的问题可以使用扰动分析来解决。本文在给定矩阵的初始相干性不大的假设下,给出了矩阵加列后最小奇异值的扰动界,并利用此界导出了一种快速特征提取算法。
2018-04-03 cs.LG stat.ML
An Adaptive Neuro-Fuzzy System with Integrated Feature Selection and Rule Extraction for High-Dimensional Classification Problems
China University of Petroleum (East China)(中国石油大学(华东));Indian Statistical Institute(印度统计研究所)
模糊或神经模糊系统的一个主要限制是它们无法处理高维数据集。这主要是由于使用了T范数,特别是乘积或最小值(或它的较软版本)。因此,几乎没有任何工作处理维度超过一百左右的数据集。在这里,我们提出了一个神经模糊的框架,可以处理数据集的维度甚至超过7000!在这种情况下,我们提出了一个自适应softmin(Ada-softmin),有效地克服了现有的模糊系统在处理高维问题时出现的"数值下溢”和"假最小值”的缺点。我们称之为自适应Takagi-Sugeno-Kang(AdaTSK)模糊系统。然后,我们装备的AdaTSK系统进行特征选择和规则提取在一个集成的方式。在这种情况下,一个新的门函数被引入,并嵌入在随后的部分,它可以确定有用的功能和规则,在两个连续的学习阶段。与传统的模糊规则库,我们设计了一个增强的模糊规则库(En-FRB),它保持足够的规则,但不增长的规则数量与维度,通常发生的模糊神经网络。集成的特征选择和规则提取AdaTSK(FSRE-AdaTSK)系统包括三个连续的阶段:(i)特征选择,(ii)规则提取,和(iii)微调。FSRE-AdaTSK的有效性证明了19个数据集,其中5个是在超过2000的维度,包括两个维度大于7000。这可能是第一次模糊系统实现的分类涉及超过7000个输入功能。
2022-01-10 cs.AI cs.LG
Video traffic identification with novel feature extraction and selection method
近年来,视频应用的迅速兴起导致互联网视频流量呈爆炸式增长,对网络管理提出了严峻的挑战。因此,对视频流量进行有效识别和管理已成为一个亟待解决的问题。然而,现有的视频业务特征提取方法主要针对传统的分组和流级特征,视频业务识别准确率较低。另外,视频流量识别中往往存在数据维数较高的问题,需要一种有效的方法来选择最相关的特征来完成识别任务。虽然许多研究已经使用特征选择来实现改进的识别性能,但是没有特征选择研究集中于测量不重叠或具有小重叠的特征分布。首先,本研究提出撷取视讯相关特徴,以建构一个大规模的特徴集来辨识视讯流量。其次,为了降低视频流量识别的代价,选择有效的特征子集,提出了一种基于分布距离的自适应特征选择(ADDFS)方法。为了测试该方案的有效性,我们在校园网环境中收集了一组来自不同平台的视频流量,并使用这些数据集进行了一组实验。实验结果表明,该方法对视频场景流量和云游戏视频流量识别具有较高的识别性能。最后,将ADDFS与其他特征选择方法进行了比较,结果表明,ADDFS不仅适用于视频流量识别,而且适用于一般的分类任务,是一种实用的特征选择技术。
2023-03-06 cs.LG cs.NI
A Protection against the Extraction of Neural Network Models
Idemia(艾迪米亚);Télécom Paris(巴黎电信)
如果Oracle可以访问神经网络(NN),则可以提取其底层模型。在这里,我们通过添加寄生层来引入保护,这些寄生层保持底层NN的预测基本不变,同时使逆向工程的任务复杂化。我们的对策依赖于用卷积神经网络近似噪声身份映射。我们解释了为什么引入新的寄生层复杂的攻击。我们报告实验的性能和精度的保护NN。
2020-07-31 cs.CR cs.LG stat.ML
Convolutional Feature Extraction and Neural Arithmetic Logic Units for Stock Prediction
BITS Pilani Goa Campus(贝拉理工学院皮拉尼果阿校区)
股票预测是一个多年来一直在深入研究的课题。金融专家和数学家一直在研究一种方法来预测未来的股票价格,以便决定购买或出售股票以获利。股票专家或经济学家,通常会对以前的股票价值进行分析,利用技术指标、情感分析等来预测未来的股票价格。近年来,许多研究已经广泛地使用机器学习来预测股票行为。在本文中,我们提出了数据驱动的深度学习方法,利用卷积神经网络的特征提取特性,并使用神经算术逻辑单元来预测未来的股票价值。
2019-05-18 cs.LG q-fin.ST stat.ML
An Empirical Evaluation of Rule Extraction from Recurrent Neural Networks
McGill University(麦吉尔大学);Pennsylvania State University(宾夕法尼亚州立大学)
从黑盒模型中提取规则对于需要在实现之前进行模型验证的领域至关重要,例如信用评分和医疗诊断。虽然在一般的统计学习中已经是一个具有挑战性的问题,但当高度非线性的递归模型(如循环神经网络(RNN))适合数据时,难度甚至更大。在这里,我们研究的规则提取二阶循环神经网络训练识别富田文法。我们表明,产生式规则可以稳定地从训练的RNN中提取,并且在某些情况下,规则优于训练的RNN。
2018-11-14 cs.LG
Event Arguments Extraction via Dilate Gated Convolutional Neural Network with Enhanced Local Features
National University of Defense Technology(国防科技大学)
事件抽取在信息抽取中起着重要的作用。事件提取可以分为两个子任务:一个是事件触发器提取,另一个是事件参数提取。然而,事件参数提取的F-Score远低于事件触发器提取的F-Score,即在最近的工作中,事件触发器提取达到80.7%,而事件参数提取仅达到58%。在流水线结构中,事件参数提取的困难在于缺乏分类特征,计算量大。本文提出了一种基于多层扩张门控卷积神经网络(EE-DGCNN)的事件提取方法。此外,增强的本地信息被纳入到词的功能,分配事件参数角色的触发器预测的第一个子任务。数值实验表明,显着的性能改善超出了最先进的事件提取方法在现实世界的数据集。进一步分析了提取过程,并通过实验分析了影响性能提高的相关因素。
2020-06-02 cs.CL cs.LG
Using Neural Networks for Relation Extraction from Biomedical Literature
LASIGE, Faculdade de Ciências, Universidade de Lisboa(里斯本大学理学院 LASIGE 实验室)
使用不同的信息源来支持自动提取生物医学概念之间的关系,有助于我们对生物系统的理解的发展。这些关系的主要综合来源是生物医学文献。已经提出了几种关系抽取方法来识别生物医学文献中概念之间的关系,即使用神经网络算法。使用由多个数据表示组成的多通道架构,如在深度神经网络中,正在产生最先进的结果。数据表示的正确组合最终可以使我们在关系抽取任务中获得更高的评估分数。因此,生物医学本体通过提供关于实体的语义和祖先信息而发挥基本作用。生物医学本体的纳入已经被证明可以增强以前的最先进的结果。
2020-09-18 cs.CL cs.LG stat.ML
Denoising and feature extraction in photoemission spectra with variational auto-encoder neural networks
University of Virginia(弗吉尼亚大学)
近年来,不同的机器学习(ML)模型已分别用于从原始角分辨光电子能谱(ARPES)数据获得的能量-动量色散强度图的特征提取和降噪。在这项工作中,我们采用了一个浅层变分自动编码器(VAE)神经网络来展示使用ML进行ARPES色散图去噪和特征提取的前景。
2022-03-14 cond-mat.str-el cs.LG physics.ins-det
A Novel Biologically Mechanism-Based Visual Cognition Model--Automatic Extraction of Semantics, Formation of Integrated Concepts and Re-selection Features for Ambiguity
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Institute of Applied Mathematics, Academy of Mathematics and Systems Science, Chinese Academy of Science(中国科学院数学与系统科学研究院应用数学研究所)
生物学和信息科学的结合对两个领域都有好处。人们提出了许多相关的模型,如计算视觉认知模型、计算运动控制模型以及两者的综合模型等。一般来说,识别的鲁棒性和精确性是目标识别模型的关键问题之一。本文从人类认知过程的特点及其生物学机制出发,提出了一种新的集成的动态框架来模拟人类视觉过程中的语义提取、概念形成和特征重新选择。该模型的主要贡献如下:(1)语义特征提取:通过深度神经网络从原始图像中提取的情节特征中学习局部语义特征;(2)集成概念形成:通过网络学习局部语义信息和结构信息形成概念。(3)功能重新选择:当在识别过程中检测到歧义时,根据歧义候选者之间的差异重新选择区别特征进行识别。在手写数字和人脸数据集上的实验结果表明,与其他方法相比,该模型具有更高的鲁棒性和识别精度,尤其是在输入样本为语义模糊的情况下。同时,生物学机制的引入进一步加强了神经科学与信息科学之间的互动。
2016-03-25 cs.AI cs.CV cs.LG
Information Extraction with Character-level Neural Networks and Free Noisy Supervision
Bloomberg LP(彭博有限合伙企业);AT&T Labs Research(AT&T实验室研究部)
我们提出了一个架构,信息抽取,从文本中增强了现有的分析器与字符级神经网络。使用提取的数据与现有数据库的一致性度量作为噪声监督的形式来训练网络。我们的架构结合了基于约束的信息抽取系统的能力,可以轻松地将领域知识和约束与深度神经网络的能力结合起来,利用大量数据来学习复杂的特征。该系统提高了现有解析器的精度,大大改进了彭博社用于金融语言文本的成熟和高度调整的基于约束的生产信息抽取系统。
2017-01-24 cs.CL cs.IR cs.LG
Electrode Selection for Noninvasive Fetal Electrocardiogram Extraction using Mutual Information Criteria
Laboratoire des Images et des Signaux (LIS) – CNRS UMR 5083(图像与信号实验室(LIS)——法国国家科学研究中心 UMR 5083);INPG(格勒诺布尔国立理工学院);UJF(约瑟夫·傅里叶大学(格勒诺布尔第一大学));Sharif University of Technology(谢里夫理工大学);Université Catholique de Louvain (UCL)(鲁汶天主教大学(UCL));Laboratoire Systémes Complexes (LSC) – CNRS FRE 2494(复杂系统实验室(LSC)——法国国家科学研究中心 FRE 2494)
盲源分离(Blind Source Separation,BSS)技术在生物医学信号处理等领域具有广阔的应用前景。具体地,对于从母体腹部记录中无创提取胎儿心脏信号,其中常规滤波方案未能提取完整的胎儿ECG分量。根据以前的研究,现在认为,精心选择的电极阵列良好地放置在孕妇的腹部包含BSS所需的“信息”,以提取完整的胎儿成分。基于这一思想,在以前的作品阵列记录系统和传感器选择策略的基础上的互信息(MI)标准已经开发。在本文中,以前的工作已被扩展,通过考虑心脏电活动的3维方面。所提出的方法已经过测试,模拟和真实的产妇腹部记录。结果表明,新的传感器选择策略与MI标准一起,可以有效地用于从72个记录的阵列中选择包含最多关于胎儿ECG分量的“信息”的通道。因此,考虑到不同的胎儿位置和运动,该方法被认为对于在线应用中选择信息量最大的通道是有用的。
2023-02-01 cs.LG eess.SP q-bio.QM
A Comparison of Handcrafted and Deep Neural Network Feature Extraction for Classifying Optical Coherence Tomography (OCT) Images
Universitas Diponegoro(迪波内戈罗大学)
光学相干断层扫描允许眼科医生获得眼睛视网膜的横截面成像。借助数字图像分析方法,可以进行有效的疾病检测。存在从OCT图像提取特征的各种方法。这项研究旨在比较手工制作和深度神经网络特征的有效性。评估的数据集包括32339例分布在四个类,即CNV,DME,DRUSEN和NORMAL。这些方法是方向梯度直方图(HOG),局部二进制模式(LBP),DenseNet-169和ResNet 50。因此,基于深度神经网络的方法优于手工特征,DenseNet和ResNet的准确率分别为88%和89%,而HOG和LBP的准确率分别为50%和42%。基于深度神经网络的方法在代表性不足的类上也表现出更好的结果。
2018-09-02 cs.CV cs.LG stat.ML
Rule-Extraction Methods From Feedforward Neural Networks: A Systematic Literature Review
École Mohammadia d’Ingénieurs(穆罕默迪亚工程师学院);Université du Québec à Rimouski(魁北克大学里穆斯基分校)
本文通过系统性文献综述,梳理了从前馈神经网络中提取规则的方法,涵盖二十多年来的发展,重点服务于神经网络可解释性,并展望了未来扩展方向。
2023-12-20 cs.LG
Clinical Information Extraction via Convolutional Neural Network
University of Texas at Arlington(德克萨斯大学阿灵顿分校)
我们报告了一个临床信息抽取工具的实现,该工具利用深度神经网络从原始临床笔记和病理报告中注释事件跨度及其属性。我们的方法使用上下文单词和他们的词性标签和形状信息作为特征。然后,我们雇用时间(1D)卷积神经网络来学习隐藏的特征表示。最后,我们使用多层感知器(MLP)来预测事件跨度。实证评估表明,我们的方法显着优于基线。
2016-03-30 cs.CL cs.LG cs.NE
High Accuracy and High Fidelity Extraction of Neural Networks
Google Research(谷歌研究院);Northeastern University(东北大学)
在模型窃取攻击中,攻击者窃取远程部署的机器学习模型的副本,并给予oracle预测访问权限。我们围绕两个目标对模型窃取攻击进行分类:* 准确性 *,即,在潜在的学习任务上表现良好,以及 * 保真度 *,即,在任何输入上匹配远程受害者分类器的预测。为了提取高精度的模型,我们开发了一种基于学习的攻击,利用受害者来监督提取模型的训练。通过分析和实证论证,我们解释了阻止任何基于学习的策略提取真正高保真模型的固有局限性-即,提取功能上等效的模型,其预测与受害者模型在所有可能输入上的预测相同。为了解决这些限制,我们扩展了先前的工作,开发了第一个用于直接提取的实用功能等效提取攻击(即,没有训练)模型的权重。我们在学术数据集和用10亿张专有图像训练的最先进的图像分类器上进行实验。除了拓宽模型提取研究的范围外,我们的工作还证明了模型窃取攻击对生产级系统的实用性。
2020-03-03 cs.CR cs.LG stat.ML
DIAG-NRE: A Neural Pattern Diagnosis Framework for Distantly Supervised Neural Relation Extraction
Tsinghua University(清华大学);University of Wisconsin - Madison(威斯康星大学麦迪逊分校);AHI Fintech Inc.(AHI金融科技公司)
基于模式的标记方法在减轻远程监督神经关系抽取中不可避免的标记噪声方面取得了令人满意的结果。然而,这些方法需要大量的专家劳动来编写特定于关系的模式,这使得它们太复杂,无法快速泛化。为了减轻模式编写的劳动密集型工作量,并能够快速泛化到新的关系类型,我们提出了一个神经模式诊断框架,DIAG-NRE,它可以自动总结和提炼高质量的关系模式,从噪音数据与人类专家在循环中。为了证明DIAG-NRE的有效性,我们将其应用于两个真实世界的数据集,并提出了比最先进的方法显着和可解释的改进。
2019-06-10 cs.CL cs.LG
Extraction of digital wavefront sets using applied harmonic analysis and deep neural networks
Technische Universität Berlin(柏林工业大学);KTH - Royal Institute of Technology(KTH皇家理工学院);University of Oxford(牛津大学)
微局部分析提供了对奇异结构的深入洞察,并且对于解决成像科学中的反问题通常至关重要。特别重要的是波前集的分析和正确的提取。在本文中,我们介绍了第一个算法的方法来提取波前集的图像,它结合了基于数据和基于模型的方法。基于剪切波变换的一个著名属性来解开波前集上的信息,我们首先应用离散剪切波变换来提取图像的波前集,然后将该变换的局部补丁馈送到在标记数据上训练的深度卷积神经网络。由此产生的算法优于所有竞争的算法在边缘方向和斜坡方向检测。
2019-07-10 cs.LG eess.IV eess.SP
Combining Neural Networks and Log-linear Models to Improve Relation Extraction
New York University(纽约大学)
在过去的十年中,传统的基于特征的方法在利用诸如词或词汇模式的离散结构从文本中提取关系方面取得了成功。最近,卷积和递归神经网络提供了非常有效的机制,通过连续表示捕获句子中的隐藏结构,从而显着提高了关系抽取的性能。卷积神经网络的优点是它们能够概括句子中的连续k元语法,而递归神经网络则能有效地对长范围的句子上下文进行编码。本文提出将传统的基于特征的方法与卷积和递归神经网络相结合,以同时发挥它们的优势。我们对不同网络架构和组合方法的系统评估证明了这种方法的有效性,并在ACE 2005和SemEval数据集上获得了最先进的性能。
2015-11-18 cs.CL cs.LG
Navigating the Deep: End-to-End Extraction on Deep Neural Networks
Shanghai Jiao Tong University, China(上海交通大学);Nanyang Technological University, Singapore(南洋理工大学);IRIF, Université Paris Cité, France(IRIF,巴黎cité大学,法国);Institut universitaire de France (IUF), Paris, France(法国国家科学院(IUF),巴黎,法国)
本文提出了一种端到端的神经网络模型提取方法,通过改进签名提取和符号提取过程,实现了多项式时间复杂度的深度网络提取。
2026-02-18 cs.CR cs.LG
Unsupervised Neural Aspect Search with Related Terms Extraction
ITMO University(圣彼得堡国立信息技术机械与光学大学)
在自然语言处理中,体识别和术语抽取一直是一个具有挑战性的任务。虽然监督方法获得了很高的分数,但由于缺乏标记数据集,很难在现实世界中使用它们。无监督方法在几个任务上优于这些方法,但提取方面和相应的术语仍然是一个挑战,特别是在多方面设置中。在这项工作中,我们提出了一种新的无监督神经网络与卷积多注意力机制,允许同时提取对(方面,术语),并证明了对现实世界的数据集的有效性。我们应用了一种特殊的损失,旨在提高多方面提取的质量。实验研究表明,什么与此损失,我们增加的精度不仅在这个联合设置,而且在方面的预测只。
2020-05-06 cs.CL cs.LG
Rethinking Cooperative Rationalization: Introspective Extraction and Complement Control
IBM Research(IBM研究院);MIT(麻省理工学院);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室)
选择性合理化已经成为一种常见的机制,以确保预测模型揭示它们如何使用任何可用的功能。选择可以是软的或硬的,并且识别与预测相关的输入特征的子集。这个设置可以被看作是选择器(又称基本原理生成器)和预测器之间的合作游戏,只使用选定的功能。然而,由于两个原因,合作环境可能会受到损害。首先,生成器通常不能直接存取它旨在证明的结果,从而导致性能差。第二,通常没有对选择之外的信息施加控制。我们修订了整体合作框架,以应对这些挑战。我们引入了一个内省模型,明确预测,并将结果纳入选择过程。此外,我们通过对手明确控制的理由补充,以免留下任何有用的信息的选择。我们发现,这两个互补的机制保持高的预测准确性,并导致全面的理由。
2019-12-15 cs.CL cs.LG
Takens-inspired neuromorphic processor: a downsizing tool for random recurrent neural networks via feature extraction
Queen’s University(女王大学);Elettra-Sincrotrone Trieste(的里雅斯特埃莱特拉同步辐射光源);International Centre for Theoretical Physics(国际理论物理中心)
我们描述了一种新的技术,它最大限度地减少了隐藏层的随机递归神经网络(rRNN)的时间序列预测的神经元的数量。将基于Takens的吸引子重构方法与机器学习相结合,我们确定了一种用于特征提取的机制,该机制可以用来降低网络大小。我们获得特定的预测任务的标准,并推导出预测误差的缩放定律。我们的理论的后果是通过设计一个Takens启发的混合处理器来证明的,该处理器扩展了具有先验设计的延迟外部存储器的rRNN。因此,我们的混合架构的设计,包括真实和虚拟节点。通过这种共生关系,我们显示的混合处理器的性能稳定的神经网络模型。由于我们获得的设计规则,我们可以减少稳定的神经网络的大小的一个因素的15个标准系统。
2019-07-06 cs.LG cs.NE nlin.CD
Cryptanalytic Extraction of Neural Network Models
Google(谷歌);Northeastern University(东北大学);Facebook(脸书)
我们认为,模型提取的机器学习问题实际上是一个伪装的密码分析问题,应该这样研究。鉴于Oracle访问一个神经网络,我们引入了差分攻击,可以有效地窃取远程模型的参数高达浮点精度。我们的攻击依赖于ReLU神经网络是分段线性函数的事实,因此在临界点的查询会揭示有关模型参数的信息。我们评估了我们对多个神经网络模型的攻击,并提取了比以前工作精确2^20倍的模型,并且需要的查询次数减少了100倍。例如,我们提取了一个10万个参数的神经网络,该网络在MNIST数字识别任务中训练,在一小时内有2^21.5个查询,这样提取的模型在所有输入上都与预言机一致,最坏情况误差为2^-25,或者在2^18.5个查询中有4,000个参数的模型,最坏情况误差为2^-40.4。代码可在https://github.com/google-research/cryptanalytic-model-extraction上获得。
2020-07-22 cs.CR cs.LG
RGCL at SemEval-2020 Task 6: Neural Approaches to Definition Extraction
University of Wolverhampton(伍尔弗汉普顿大学);University of Surrey(萨里大学)
本文介绍了RGCL团队提交给SemEval 2020任务6:DeftEval,子任务1和2。该系统在句子和标记级别对定义进行分类。它利用了最先进的神经网络架构,该架构具有一些特定于任务的适应性,包括自动扩展的训练集。总体而言,该方法达到了可接受的评估分数,同时保持了架构选择的灵活性。
2020-10-13 cs.AI cs.CL cs.LG
Hard-Label Cryptanalytic Extraction of Neural Network Models
Institute for Advanced Study, Tsinghua University(清华大学高等研究院);Zhongguancun Laboratory(中关村实验室);School of Physical and Mathematical Sciences, Nanyang Technological University(南洋理工大学物理与数学科学学院);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系);Shandong Key Laboratory of Artificial Intelligence Security(山东省人工智能安全重点实验室)
针对硬标签设置下无法实现神经网络功能等价提取的问题,提出首个适用于ReLU网络的理论可行攻击方法,经多数据集实验验证,对十万参数网络单核数小时即可完成提取。
2024-09-18 cs.CR cs.LG
NLNDE at CANTEMIST: Neural Sequence Labeling and Parsing Approaches for Clinical Concept Extraction
Bosch Center for Artificial Intelligence(博世人工智能中心);Saarland University(萨尔大学);University of Sydney(悉尼大学)
临床信息的识别和标准化,如肿瘤形态的提及,是一个重要的,但复杂的过程,包括多个子任务。在本文中,我们描述了我们的系统CANTEMIST共享任务,它能够提取,规范化和排名ICD代码从西班牙电子健康记录使用神经序列标签和解析方法与上下文感知嵌入。我们最好的系统实现了85.3 F1,76.7 F1和77.0 MAP的三个任务,分别。
2020-10-23 cs.CL cs.LG
NAS-Cap: Deep-Learning Driven 3-D Capacitance Extraction with Neural Architecture Search and Data Augmentation
Tsinghua University(清华大学)
本文提出NAS-Cap,利用神经架构搜索和数据增强训练CNN模型进行三维电容提取,在精度、推理时间和存储上优于CNN-Cap,并验证了架构的可迁移性。
2024-08-23 cs.AR cs.LG
Neural Speech Extraction with Human Feedback
University of Washington(华盛顿大学);Sesame AI
本文提出首个基于人类反馈的神经目标语音提取系统,通过用户标记生成编辑掩码进行迭代细化,实验表明该方法能有效提升提取性能并获得用户偏好。
2025-08-05 cs.LG cs.SD eess.AS
Optimizing Speech Emotion Recognition using Manta-Ray Based Feature Selection
Jadavpur University(贾达普大学);Maulana Abul Kalam Azad University of Technology(毛拉纳·阿布尔·卡拉姆·阿扎德技术大学)
从音频信号中进行情感识别一直被认为是信号处理中具有挑战性的任务,因为它可以被认为是静态和动态分类任务的集合。从语音数据中识别情感在很大程度上依赖于使用机器学习模型的端到端特征提取和分类,尽管缺乏特征选择和优化限制了这些方法的性能。近年来的研究表明,Mel频率倒谱系数(MFCC)是一种可靠的特征提取方法,但它的特征维数很小,限制了分类的准确性。在本文中,我们提出的串联的特征,使用不同的现有的特征提取方法提取,不仅可以提高分类精度,但也扩大了有效的特征选择的可能性。在特征合并之前,除了MFCC特征提取方法之外,我们还使用了线性预测编码(LPC)。此外,我们还在语音情感识别任务中执行了Manta Ray优化的新应用,从而在该领域取得了最先进的结果。我们已经使用SAVEE和SAV-DB(两个公开可用的数据集)评估了我们模型的性能。我们提出的方法优于所有现有的方法在语音情感分析,并导致在这两个数据集的分类准确率分别为97.06%和97.68%的体面的结果。
2020-09-18 cs.LG cs.SD eess.AS
A Comparative Study of Rule Extraction for Recurrent Neural Networks
McGill University(麦吉尔大学);Pennsylvania State University(宾夕法尼亚州立大学)
通过规则提取来理解递归网络有着悠久的历史。由于需要解释或验证神经网络,这已经引起了新的兴趣。表示有状态规则的一种基本形式是确定性有限自动机(DFA)。以往的研究表明,从训练好的二阶递归网络中提取DFA不仅是可能的,而且是相对稳定的。最近,几种新类型的递归网络与更复杂的架构已经推出。这些处理具有挑战性的学习任务,通常涉及序列数据。然而,它仍然是一个悬而未决的问题,是否可以充分地从这些模型中提取的DFA。具体来说,目前还不清楚当应用于在不同复杂程度的数据集上训练的不同递归网络时,DFA提取将受到什么影响。在这里,我们研究了几个被广泛采用的递归网络上的DFA提取,这些网络被训练来学习一组七个规则的Tomita文法。我们首先正式分析富田文法的复杂性,并根据复杂性对这些文法进行分类。然后,我们实证评估不同的递归网络的DFA提取的所有富田文法的性能。我们的实验表明,对于大多数递归网络,其提取性能随着底层语法复杂度的增加而降低。在较低复杂度的文法上,大多数递归网络获得了理想的提取性能。对于复杂度最高的语法,几个复杂的模型都失败了,只有某些递归网络具有令人满意的提取性能。
2018-11-14 cs.CL cs.LG
Eclectic Extraction of Propositional Rules from Neural Networks
American International University-Bangladesh(孟加拉国国际大学)
人工神经网络是监督学习中最流行的算法之一。然而,神经网络有一个众所周知的缺点,即它是一个“黑箱”学习器,用户无法理解。这种透明度的缺乏使得它不适合许多高风险的任务,如医疗诊断,需要一个合理的理由作出决定。规则提取方法试图通过从经过训练的网络中提取可理解的规则来抑制这种限制。许多这样的提取算法已经开发了多年,具有各自的优点和缺点。它们根据使用网络内部模型的方法大致分为三类。折衷方法是结合其他方法以获得更高性能的混合算法。在本文中,我们提出了一个折衷的方法称为HERETIC。我们的算法使用归纳决策树学习结合信息的神经网络结构提取逻辑规则。实验和理论分析表明,HERETIC算法在速度和性能上都有较大的提高.
2011-10-02 cs.AI cs.CV cs.LG
A Practical Introduction to Side-Channel Extraction of Deep Neural Network Parameters
CEA Tech(法国原子能与替代能源委员会技术部);Mines Saint-Etienne(圣艾蒂安国立高等矿业学校);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CEA(法国原子能与替代能源委员会);Leti(法国原子能委员会电子与信息技术实验室)
模型提取是利用扩展攻击面的嵌入式深度神经网络模型的主要威胁。实际上,通过物理地访问设备,对手可以利用侧信道泄漏来提取模型的关键信息(即,其架构或内部参数)。不同的对抗性目标是可能的,包括基于可信度的场景,其中精确提取架构和参数(模型克隆)。我们将这项工作的重点放在嵌入在高端32位微控制器(Cortex-M7)中的深度神经网络的软件实现上,并通过侧通道分析,从基本的乘法运算到通过层的前馈连接,揭示了与基于并行性的参数提取相关的几个挑战。为了精确地提取单精度浮点IEEE-754标准中表示的参数值,我们提出了一个迭代过程,该过程使用Cortex-M7目标的模拟和跟踪进行评估。据我们所知,这项工作是第一次针对这样一个高端32位平台。重要的是,我们提出并讨论了完整提取深度神经网络模型的剩余挑战,特别是偏差的关键情况。
2022-11-10 cs.CR cs.LG
Model Extraction Attacks against Recurrent Neural Networks
Osaka University(大阪大学)
模型窃取攻击是指攻击者通过对目标模型的高效查询访问,获得与目标模型性能相当的新模型的攻击,即,比目标模型的数据集和计算资源更少。现有的工作仅涉及简单的深度神经网络(DNN),例如,只有三层,作为模型窃取攻击的目标,因此不知道循环神经网络(RNN)在处理时间序列数据时的有效性。在这项工作中,我们揭示了模型窃取攻击对RNN的威胁。我们讨论了一个更高精度的模型是否可以从长短期记忆(LSTM)中提取一个简单的RNN,这是一个更复杂和强大的RNN。具体来说,我们要解决以下问题。首先,在分类问题的情况下,例如图像识别,通过利用序列中途的输出来呈现没有来自LSTM模型的最终输出的RNN模型的提取。接下来,在一个回归问题的情况下。例如在天气预报中,提出了通过重新配置损失函数的新攻击。我们对我们的模型窃取攻击进行了实验,攻击对象是RNN和使用公开学术数据集训练的LSTM。然后,我们表明,可以有效地提取具有更高精度的模型,特别是通过配置损失函数和与目标模型不同的更复杂的架构。
2020-02-01 cs.CR cs.LG
Annotating Social Determinants of Health Using Active Learning, and Characterizing Determinants Using Neural Event Extraction
University of Washington(华盛顿大学)
健康的社会决定因素(SDOH)影响健康结果,SDOH的知识可以为临床决策提供信息。从临床文本中自动提取SDOH信息需要在注释语料库上训练的数据驱动的信息抽取模型,这些语料库是异构的并且经常包括关键SDOH。这项工作提出了一个新的语料库与SDOH注释,一个新的主动学习框架,并在新的语料库的第一个提取结果。社会历史注释语料库(SHAC)包括4,480个社会历史部分,详细注释了12个SDOH,描述了18 K个不同事件的状态,程度和时间信息。我们介绍了一种新的主动学习框架,选择样本的注释使用代理文本分类任务作为一个更复杂的事件提取任务的代理。主动学习框架成功地增加了健康风险因素的频率,并在无向注释上改进了这些事件的自动提取。在SHAC上训练的事件提取模型在来自三个机构的数据上实现了物质使用状态(0.82-0.93 F1)、就业状态(0.81-0.86 F1)和生活状态类型(0.81-0.93 F1)的高提取性能。
2020-12-02 cs.CL cs.LG
Neural Relation Extraction Within and Across Sentence Boundaries
Siemens AG(西门子股份公司);University of Munich (LMU)(慕尼黑大学)
以往的关系抽取研究主要集中在单句中实体对之间的二元关系。最近,NLP社区对跨越多个句子的实体对中的关系抽取产生了兴趣。在本文中,我们提出了一种新的架构,这一任务:基于内部依赖性的神经网络(iDepNN)。iDepNN通过递归和递归神经网络对最短和增强的依赖路径进行建模,以提取句子边界内(内部)和跨句子边界(内部)的关系。与SVM和神经网络基线相比,iDepNN对跨句子关系中的误报更具鲁棒性。我们在来自新闻专线(MUC6)和医疗(BioNLP共享任务)领域的四个数据集上评估了我们的模型,这些数据集实现了最先进的性能,并在精确度和召回率方面表现出更好的平衡。我们的表现优于参加2016年BioNLP共享任务的11支球队,并在F1中获得了5.2%的收益(0.587 vs 0.558)。我们还发布了MUC6的跨句注释。
2019-01-14 cs.AI cs.CL cs.IR
Randomized Dimensionality Reduction for k-means Clustering
Yahoo Labs(雅虎实验室);IBM Zürich Research Lab(IBM苏黎世研究实验室);UC Berkeley(加州大学伯克利分校);Rensselaer Polytechnic Institute(伦斯勒理工学院)
研究了$k$ -均值聚类的降维问题。简化包含两种方法的结合:\emph{feature selection}和\emph{feature extraction}。一种基于特征选择的$k$均值聚类算法选择输入特征的一个小子集,然后对所选特征应用$k$均值聚类。一种基于特征提取的$k$均值聚类算法构造了一个小的新的人工特征集,然后对构造的特征应用$k$均值聚类。尽管$k$均值聚类的重要性以及解决它的探试法的财富,可证明准确的特征选择方法$k$均值聚类是未知的。另一方面,在文献中已知两种可证明准确的$k$均值聚类特征提取方法;一种是基于随机投影,另一种是基于奇异值分解(SVD)。本文对$k$ -均值聚类的降维方法有了进一步的认识。也就是说,我们提出了第一个证明准确的特征选择方法$k$ -均值聚类,此外,我们提出了两个特征提取方法。第一种特征提取方法是基于随机投影的,它在时间复杂度和需要提取的特征数量方面改进了现有的结果。第二种特征提取方法是基于快速近似SVD分解,它也改善了现有的结果方面的时间复杂度。所提出的算法是随机的,并提供恒定的因素近似保证最佳的$k$ -手段的目标值。
2014-11-04 cs.DS cs.LG
Feature Extraction Functions for Neural Logic Rule Learning
Deakin University(迪肯大学)
将符号人类知识与神经网络相结合,提供了对输出的基于规则的事前解释。在本文中,我们提出的特征提取功能集成人类知识抽象为逻辑规则的预测行为的神经网络。这些功能被实现为编程功能,其将可应用的领域知识表示为一组逻辑指令,并且提供输入数据上的独立特征的修改的分布。与其他现有的神经逻辑方法不同,这些函数的编程性质意味着它们不需要任何特殊的数学编码,这使得我们的方法在本质上非常通用和灵活。我们说明了我们的情感分类方法的性能,并将我们的结果与使用两个基线获得的结果进行比较。
2021-04-11 cs.AI cs.LG
Deep Convolutional Neural Networks with Zero-Padding: Feature Extraction and Learning
Shenyang Institute of Automation, Chinese Academy of Sciences(中国科学院沈阳自动化研究所);Institutes for Robotics and Intelligent Manufacturing, Chinese Academy of Sciences(中国科学院机器人与智能制造创新研究院);Xi’an Jiaotong University(西安交通大学);University of Sydney(悉尼大学)
本文研究带零填充的深度卷积神经网络(DCNNs),证明其在参数相似时可表示深度全连接网络,在特征提取上更具优势,并推导出其普适一致性与平移不变性,理论结果经数值实验验证。
2023-07-30 cs.CV cs.LG
Rule Extraction from Binary Neural Networks with Convolutional Rules for Model Validation
TU Kaiserslautern(凯泽斯劳滕工业大学);University of Mainz(美因茨大学);Johannes Gutenberg University of Mainz(约翰内斯·古腾堡大学美因茨分校);TU Darmstadt(达姆施塔特工业大学)
大多数深度神经网络被认为是黑匣子,这意味着它们的输出很难解释。相比之下,逻辑表达式被认为是更容易理解的,因为它们使用的符号在语义上接近自然语言,而不是分布式表示。然而,对于诸如图像的高维输入数据,各个符号(即,像素)不容易解释。我们引入了一阶卷积规则的概念,这是可以使用卷积神经网络(CNN)提取的逻辑规则,其复杂度取决于卷积滤波器的大小,而不是输入的维数。我们的方法是基于随机局部搜索的二进制神经网络的规则提取。我们展示了如何提取规则,不一定是短的,但输入的特点,易于可视化。我们的实验表明,所提出的方法是能够建模的神经网络的功能,而在同一时间产生可解释的逻辑规则。
2020-12-15 cs.AI cs.LG
X-TREPAN: a multi class regression and adapted extraction of comprehensible decision tree in artificial neural networks
Chongqing University(重庆大学)
在这项工作中,TREPAN算法的增强和扩展提取决策树的神经网络。我们经验性地评估了一组数据库从现实世界中的事件的算法的性能。这种基准测试增强是通过采用单测试TREPAN和C4.5决策树归纳算法来分析数据集而实现的。然后将模型与X-TREPAN进行比较,以获得可理解性和分类准确性。此外,我们通过应用统计方法来验证实验。最后,将改进算法扩展到多类回归问题,并实现了对广义前馈网络的理解能力。
2015-08-30 cs.LG cs.NE
A Local Geometric Interpretation of Feature Extraction in Deep Feedforward Neural Networks
Auburn University(奥本大学)
在本文中,我们提出了一个局部几何分析来解释如何深前馈神经网络提取低维特征从高维数据。我们的研究表明,在局部几何区域中,神经网络的一层中的最佳权重和由前一层生成的最佳特征构成了由该层的贝叶斯作用确定的矩阵的低秩近似。这个结果适用于(i)分析神经网络的输出层和隐藏层,以及(ii)具有非零梯度的神经元激活函数。我们使用两个监督学习问题来说明我们的结果:基于神经网络的最大似然分类(即,softmax回归)和基于神经网络的最小均方估计。这些理论结果的实验验证将在我们未来的工作。
2022-02-10 cs.IT cs.LG math.IT
Machine Learning-Based Differential Diagnosis of Parkinson's Disease Using Kinematic Feature Extraction and Selection
School of Computer Science and Engineering, The University of Aizu(会津大学计算机科学与工程学院)
提出基于运动学特征分层提取与选择的机器学习系统,用于帕金森病等神经退行性疾病的鉴别诊断,通过新运动学特征与统计特征结合SVM分类,在患者级别达到88.89%准确率。
2025-01-02 cs.AI cs.LG
Deep Neural Networks for automatic extraction of features in time series satellite images
许多地球观测计划,如Landsat、Sentinel、SPOT和Pleiades,每天都会产生大量的中高分辨率多光谱图像,这些图像可以按时间序列进行组织。在这项工作中,我们利用这些图像提供的时间和空间信息来生成土地覆盖图。为此,我们将完全卷积神经网络与卷积长短期记忆相结合。提出的时空神经网络架构的实施细节。实验结果表明,时间序列图像提供的时间信息可以提高土地覆盖分类的准确性,从而产生最新的地图,可以帮助确定地球上的变化。
2020-08-17 cs.CV cs.LG eess.IV
Data Extraction from Charts via Single Deep Neural Network
Northwestern University(西北大学);Intel Corporation(英特尔公司)
从图表中自动提取数据具有挑战性,原因有两个:图表中的对象之间存在许多关系,这在一般的计算机视觉问题中不是一个常见的考虑因素;不同类型的图表可能无法由同一模型处理。为了解决这些问题,我们提出了一个单一的深度神经网络的框架,它由目标检测,文本识别和对象匹配模块。该框架处理条形图和饼图,并且还可以通过稍微修改和通过增加训练数据来扩展到其他类型的图表。我们的模型在79.4%的测试模拟条形图和88.0%的测试模拟饼图上成功执行,而对于训练域之外的图表,它分别下降了57.5%和62.3%。
2019-06-06 cs.CL cs.CV cs.LG