Neural Sequence-to-Sequence Modeling with Attention by Leveraging Deep Learning Architectures for Enhanced Contextual Understanding in Abstractive Text Summarization
SRMIST（SRM理工学院）
本文提出一种融合结构化、语义和神经方法的统一框架，通过词义消歧和深度注意力序列到序列模型实现抽象式文本摘要，在Gigaword等数据集上优于现有技术。
2024-04-08 cs.CL cs.LG
Software demodulation of weak radio signals using convolutional neural network
Vasyl Stefanyk Precarpathian National University（瓦西里·斯特凡尼克普里卡尔帕季国立大学）；Taras Shevchenko National University of Kyiv（基辅塔拉斯·舍甫琴科国立大学）
本文提出使用深度卷积神经网络对JT65A协议传输的微弱MFSK信号进行软件解调，在-30至0 dB信噪比下验证了抗干扰性，其性能比理论极限低约1.5 dB。
2025-02-26 cs.LG eess.SP
Online Deep Learning based on Auto-Encoder
China University of Petroleum（中国石油大学）；College of Information Science and Engineering（信息科学与工程学院）
在线学习是素描海量实时高速数据的重要技术手段。虽然这一方向已经引起了广泛的关注，但这方面的文献大多忽略了以下三个问题：（1）它们很少考虑存在于实例中的潜在的抽象层次信息，即使提取这些抽象层次潜在表示有助于更好地预测实例的类标签;（2）在未知数据点上预分配模型的思想不适用于具有演化概率分布的流数据建模。这种挑战被称为模型灵活性。因此，考虑到这一点，我们需要设计的在线深度学习模型应该具有可变的底层结构;（3）此外，融合这些抽象层次潜在表示以实现更好的分类性能至关重要，并且在处理数据分布变化的数据流时，我们应该对不同层次的隐式表示信息赋予不同的权重。为了解决这些问题，我们提出了一种基于自动编码器的两阶段在线深度学习（ODLAE）。基于自动编码器，考虑重构损失，提取实例的抽象层次潜在表示;基于预测损失，设计了两种融合策略：输出级融合策略，将编码器的分类结果融合到各隐层;特征级融合策略，利用自注意机制融合各隐层输出。最后，为了提高算法的鲁棒性，我们还尝试利用去噪自动编码器来产生层次潜在表示。在不同数据集上的实验结果验证了我们提出的算法（ODLAE）的有效性，优于几个基线。
2022-01-19 cs.CV cs.LG
Attention on Abstract Visual Reasoning
注意力机制一直在提高深度学习模型在从语音理解到程序归纳等广泛应用中的性能。然而，尽管心理学实验表明，注意力在视觉推理中起着至关重要的作用，但到目前为止，注意力机制的全部潜力还没有被探索用于解决图像数据上的抽象认知任务。在这项工作中，我们提出了一个混合网络架构，自我注意力和关系推理的基础上。我们称这种新的模型为注意力关系网络（ARNe）。ARNe结合了最近引入的Transformer和Wild Relation Network（WReN）的功能。我们测试ARNe的程序生成矩阵（PGMs）数据集的抽象视觉推理。ARNe在这项任务上优于WReN模型11.28 ppt。对象之间的关系概念被有效地学习，只需要35%的训练样本就可以超过基线模型的报告精度。我们提出的混合模型，代表了一种替代学习抽象的关系，使用自我注意力，并证明了Transformer网络也非常适合抽象的视觉推理。
2019-11-14 cs.LG stat.ML
Abstract Neural Networks
University of California, Davis（加州大学戴维斯分校）
深度神经网络（DNN）正迅速应用于无人机和飞机控制等安全关键领域，激发了验证其行为安全性的技术。不幸的是，DNN验证是NP难的，当前的算法随着DNN中节点的数量呈指数级增长。本文介绍了抽象神经网络（ANN）的概念，它可以用来在使用较少节点的情况下完全过度逼近DNN。ANN类似于DNN，除了权重矩阵被给定抽象域中的值所取代。我们提出了一个由抽象域和DNN中使用的激活函数参数化的框架，可以用来构建相应的ANN。我们提出了DNN激活函数的必要和充分条件，以使所构建的ANN完全过逼近给定的DNN。先前关于DNN抽象的工作仅限于区间域和ReLU激活函数。我们的框架可以用其他抽象域（如八边形和多面体）以及其他激活函数（如Leaky ReLU、Sigmoid和Hyperbolic Tangent）来实例化。
2020-09-11 cs.LG cs.PL stat.ML
Demodulation of chaotic signals using convolutional neural network
SoftServe Inc（软服务公司）；Karabuk University（卡拉比克大学）；Universitas Ahmad Dahlan（艾哈迈德·达兰大学）
研究针对混沌信号解调问题，采用基于深度学习的方法，通过卷积神经网络架构对混沌逻辑映射生成信号进行解调，在特定噪声和参数条件下得出误码率，展现出能检测未在训练集的混沌模式的能力。
2026-07-21 cs.LG eess.SP
End-to-End Radio Traffic Sequence Recognition with Deep Recurrent Neural Networks
Virginia Tech（弗吉尼亚理工大学）；Corgan Labs（科尔根实验室）
我们调查序列机器学习技术的原始无线电信号的时间序列数据。通过应用深度循环神经网络，我们学会了在不使用专家解调算法的情况下，在恒定包络调制的基础上区分几种应用层流量类型。我们表明，复杂的协议序列可以学习和使用这种方法的分类和生成任务。
2016-10-03 cs.LG cs.NI
Qualitative Projection Using Deep Neural Networks
University of Surrey（萨里大学）
深度神经网络（DNN）通过解调线性滤波器的输出进行抽象。在本文中，我们改进了抽象的定义，以表明DNN的输入是相对于过滤器抽象的。或者，重申一下，抽象是由过滤器限定的。这使我们引入定性投射的概念。我们使用定性投影抽象MNIST手写数字相对于各种狗，马，飞机和汽车的CIFAR数据集。然后，我们分类的MNIST数字根据他们的狗，马，平面和carness质量的大小，说明了定性投影的一般性。
2015-10-28 cs.LG cs.NE
Learning During Detection: Continual Learning for Neural OFDM Receivers via DMRS
Advanced Wireless Technology Lab, Huawei Technologies Canada Co. Ltd（华为加拿大技术有限公司先进无线技术实验室）
本文提出通过DMRS实现神经OFDM接收器的持续学习方法，利用现有导频信号同时完成信号解调和模型适应，减少计算复杂性并提升信道变化适应能力。
2026-02-23 cs.AI cs.IT cs.LG
Deep Receiver Design for Multi-carrier Waveforms Using CNNs
Istanbul Technical University（伊斯坦布尔理工大学）；Bilkent University（比尔肯特大学）
在本文中，提出了一种基于深度学习的接收器，用于包括当前和下一代无线通信系统的多载波波形的集合。特别是，我们建议使用卷积神经网络（CNN）在无线环境中的接收器处的接收信号的联合检测和解调。我们将我们提出的架构与经典方法进行比较，并证明我们提出的基于CNN的架构可以在各种仿真中在不同的多载波形式（包括OFDM和GFDM）上表现得更好。此外，我们还比较了每个网络所需参数的总数，以满足内存需求。
2020-06-02 cs.LG cs.SY eess.SP
Does Deep Learning Learn to Abstract? A Systematic Probing Framework
Microsoft Corporation（微软公司）
抽象是深度学习模型的理想能力，这意味着从具体实例中归纳抽象概念，并在学习上下文之外灵活地应用它们。与此同时，人们对深度学习模型中这种能力的存在和进一步特征缺乏清晰的了解。在本文中，我们引入了一个系统的探测框架，从可移植性的角度探索深度学习模型的抽象能力。基于该框架进行了一组对照实验，有力地证明了两种预训练语言模型（PLMs）T5和GPT 2具有抽象能力。我们还进行了深入的分析，从而进一步揭示：（1）整个训练阶段表现出一个“记忆-然后-抽象”的两阶段过程：（2）学习的抽象概念集中在几个中间层的注意头，而不是均匀分布在整个模型;（3）被探测的抽象能力对概念突变具有鲁棒性，并且对低层/源端突变的鲁棒性强于对高层/目标端突变的鲁棒性;（4）通用预训练对于抽象能力的出现至关重要，并且PLM在更大的模型大小和数据规模下表现出更好的抽象。
2023-02-23 cs.CL cs.LG
Deep Learning-Based Constellation Optimization for Physical Network Coding in Two-Way Relay Networks
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）；Yokohama National University（横滨国立大学）
研究了深度学习（DL）在物理层网络编码（PNC）双向中继星座图优化中的新应用，其中在每个终端和中继节点处采用基于深度神经网络（DNN）的调制和解调。我们训练DNN，使得交叉熵损失直接最小化，因此它最大化了可能性，而不是考虑星座的欧几里得距离。所提出的方案可以扩展到更高级别的星座与DNN结构的轻微修改。仿真结果表明，一个显着的性能增益方面的可实现的和速率超过传统的中继方案。此外，由于我们的DNN解调器直接输出逐位概率，因此可以直接与软判决信道解码级联。
2019-03-09 cs.IT cs.LG eess.SP
Deep Abstract Q-Networks
Carnegie Mellon University（卡内基梅隆大学）；University of Michigan（密歇根大学）；Brown University（布朗大学）
我们研究了高维域的学习和规划问题，具有较长的视野和稀疏的奖励。最近的方法在许多Atari 2600领域取得了巨大的成功。然而，具有长期视野和稀疏奖励的领域，例如Montezuma的复仇和冒险，对现有方法仍然具有挑战性。使用抽象的方法（Dietterich 2000; Sutton，Precup和Singh 1999）已经被证明在解决长期问题时是有用的。我们将深度强化学习的最新技术与现有的基于模型的方法相结合，使用专家提供的状态抽象。我们构建玩具领域，阐明了长期的视野，稀疏的奖励和高维输入的问题，并表明我们的算法显着优于以前的方法在这些领域。我们基于抽象的方法在Montezuma的Revenge和Venture上优于Deep Q-Networks（Mnih et al. 2015），并表现出以前方法所没有的回溯行为。
2018-08-25 cs.AI cs.LG
Medical Imaging with Deep Learning: MIDL 2019 -- Extended Abstract Track
本汇编收集了2019年7月8日至10日在英国伦敦举行的第二届深度学习医学成像国际会议（MIDL 2019）的所有已接受的扩展摘要。请注意，这里只列出了可接受的扩展摘要，MIDL 2019全文跟踪的论文集作为机器学习研究论文集（PMLR）http://proceedings.mlr.press/v102/的第102卷出版。
2019-07-22 cs.CV cs.LG eess.IV
DeepAbstract: Neural Network Abstraction for Accelerating Verification
Technical University of Munich（慕尼黑工业大学）；Audi AG（奥迪股份公司）
虽然抽象是一个经典的验证工具，可以扩展它，但它并不经常用于验证神经网络。然而，它可以帮助完成将现有算法扩展到最先进的网络架构的仍然开放的任务。我们介绍了一个抽象的框架，适用于全连接前馈神经网络的基础上聚类的神经元，在一些输入的行为相似。对于ReLU的特定情况，我们还提供了抽象所引起的错误范围。我们展示了抽象如何减少网络的大小，同时保持其准确性，以及如何将抽象网络上的验证结果传输回原始网络。
2020-06-24 cs.AI cs.LG cs.LO
Learning Discrete State Abstractions With Deep Variational Inference
Khoury College of Computer Sciences, Northeastern University（东北大学Khoury计算机科学学院）
在具有大状态空间的域中，抽象对于有效的顺序决策至关重要。在这项工作中，我们提出了一个信息瓶颈的方法学习近似互模拟，一种类型的状态抽象。我们使用深度神经编码器将状态映射到连续嵌入。我们将这些嵌入映射到一个离散表示使用的动作条件隐马尔可夫模型，这是训练端到端的神经网络。我们的方法适用于高维状态的环境，并从马尔可夫决策过程中代理收集的经验流中学习。通过这种学习的离散抽象模型，我们可以在多目标强化学习设置中有效地规划看不见的目标。我们测试我们的方法在简化的机器人操作域的图像状态。我们还将其与以前的基于模型的方法进行比较，在离散网格世界的环境中找到互模拟。源代码可在https://github.com/ondrejba/discrete_abstractions上获得。
2021-01-11 cs.LG stat.ML
Spatio-temporal Value Semantics-based Abstraction for Dense Deep Reinforcement Learning
Shanghai Key Laboratory of Trustworthy Computing（上海可信计算重点实验室）
针对深度强化学习在智能信息物理系统中的效率与泛化挑战，提出基于时空值语义的抽象建模方法，构建抽象MDP并优化，经PRISM验证及多场景实验证明有效。
2024-05-24 cs.AI cs.LG
Deep dive into language traits of AI-generated Abstracts
University of Delhi（德里大学）
针对ChatGPT生成的短摘要难检测的问题，研究提取其语义与词汇特征，发现传统机器学习模型可可靠检测这类AI生成摘要，助力维护学术信息透明可信。
2023-12-17 cs.CL cs.LG
An Abstraction-based Method to Check Multi-Agent Deep Reinforcement-Learning Behaviors
Imperial College London（伦敦帝国理工学院）
多智能体强化学习（RL）通常难以确保学习代理的安全行为，因此通常不适用于安全关键型应用。为了解决这个问题，我们提出了一种方法，结合形式化验证与（深）RL算法，以保证满足正式指定的安全约束的培训和测试。我们提出的方法表示的约束，以验证概率计算树逻辑（PCTL），并建立一个抽象的表示系统，以减少验证步骤的复杂性。该抽象模型允许模型检验技术来识别满足PCTL中表达的安全约束的一组抽象策略。然后，根据这些安全的抽象策略来限制代理的行为。我们提供了形式化的保证，通过使用这种方法，代理的行动总是满足安全约束，并提供了一个过程，自动生成一个抽象的模型。我们经验评估，并显示我们的方法在多智能体环境中的有效性。
2021-04-02 cs.AI cs.LG cs.MA
Abstraction and Symbolic Execution of Deep Neural Networks with Bayesian Approximation of Hidden Features
University of Liverpool（利物浦大学）；Defence Science and Technology Laboratory (Dstl)（国防科学与技术实验室）
深度神经网络（DNN）的验证和确认已经进行了深入的研究，旨在了解DNN是否以及如何应用于安全关键应用。然而，现有的验证和确认技术在DNN的大小和数据集的大小上都受到其可扩展性的限制。在本文中，我们提出了一种新的抽象方法，将DNN和数据集抽象为贝叶斯网络（BN）。我们利用降维技术来识别DNN的隐藏层已经学习的隐藏特征，并将每个隐藏特征与BN的节点相关联。在这个BN上，我们可以进行概率推理来理解DNN处理数据的行为。更重要的是，我们可以推导出一种运行时监控方法，以检测在操作时间罕见的输入和输入数据的协变量偏移。我们还可以调整现有的结构覆盖率引导测试技术（即，基于DNN的低级元素，例如神经元），以便生成更好地运用隐藏特征的测试用例。我们使用可在https://github.com/TrustAI/DeepConcolic上获得的DeepConcolic工具来实现和评估BN抽象技术。
2021-03-05 cs.LG cs.SE
Abstraction Mechanisms Predict Generalization in Deep Neural Networks
深度神经网络（DNN）的一个长期问题是理解它们令人困惑的泛化能力。我们通过\textit{cognitive abstraction mechanisms}的非传统角度来处理这个问题，从最近的神经科学工作中汲取灵感，使我们能够定义DNN的认知神经激活度量（CNA），这是给定输入的信息复杂性（熵）与网络深层中较高激活值的集中度之间的相关性。CNA对泛化能力具有高度预测性，在对超过100个小网络和网络架构组合的广泛评估中，表现优于基于范数和边缘的泛化度量，特别是在存在加性噪声和/或训练标签损坏的情况下。这些强有力的实证结果表明了CNA作为泛化度量的有用性，并鼓励进一步研究信息复杂性与网络深层表示之间的联系，以便更好地理解DNN的泛化能力。
2020-04-17 cs.LG q-bio.NC stat.ML
Automated Deep Abstractions for Stochastic Chemical Reaction Networks
University of Konstanz（康斯坦茨大学）；Centre for the Advanced Study of Collective Behaviour（集体行为高级研究中心）
从分子相互作用的机械模型中预测随机细胞动力学是系统生物学中的一个长期挑战：低级化学反应网络（CRN）模型引发了高维连续时间马尔可夫链（CTMC），其计算要求很高，并且通常在实践中无法分析。最近提出的一种抽象方法使用深度学习来用离散时间连续空间过程取代CTMC，方法是用以规则时间间隔采样的迹线（可以通过模拟给定的CRN或从实验中获得的时间序列数据来获得）训练混合密度深度神经网络。这种抽象的主要优点是，它产生了一个计算模型，执行起来非常便宜，同时保留了训练数据的统计特征。一般来说，抽象准确性随着训练数据量的增加而提高。然而，根据CRN，方法的整体质量-效率增益和抽象精度-也将取决于由超参数（例如层类型和它们之间的连接）给出的神经网络架构的选择。因此，在实践中，建模人员必须通过繁琐而耗时的反复试验来手动为每个给定的CRN找到合适的架构。在本文中，我们建议通过学习最佳神经网络架构以及学习抽象过程的转换内核，进一步自动化随机CRN的深度抽象。对架构的自动搜索使该方法直接适用于任何给定的CRN，这对于深度学习专家来说是节省时间的，对于非专家来说是至关重要的。我们实现了该方法，并证明了其性能上的一些代表性的CRN与多模态紧急表型。
2020-01-30 cs.LG q-bio.MN stat.ML
Context-Specific Representation Abstraction for Deep Option Learning
MIT LIDS（麻省理工学院信息与决策系统实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
分层强化学习专注于发现时间上扩展的动作，例如选项，可以在需要广泛探索的问题中提供益处。一种很有前途的方法是端到端学习这些选项，这就是选项批评（OC）框架。我们在本文中研究并表明，OC不会将问题分解为更简单的子问题，而是增加了策略空间上的搜索大小，每个选项都考虑了学习过程中的整个状态空间。这个问题可能导致这种方法的实际局限性，包括样本学习效率低下。为了解决这个问题，我们引入了深度选项学习的上下文特定表示抽象（CRADOL），这是一个新的框架，它考虑了时间抽象和上下文特定表示抽象，以有效地减少策略空间上的搜索大小。具体来说，我们的方法学习一个因子化的信念状态表示，使每个选项只在状态空间的一个子部分上学习一个策略。我们测试我们的方法对分层，非分层和模块化的递归神经网络基线，证明显着的样本效率的改善，在具有挑战性的部分可观察的环境。
2022-04-24 cs.AI cs.LG
Contextual Pre-planning on Reward Machine Abstractions for Enhanced Transfer in Deep Reinforcement Learning
Technion – Israel Institute of Technology（以色列理工学院）；McGill University（麦吉尔大学）；University of Edinburgh（爱丁堡大学）
本文提出利用奖励机抽象为深度强化学习智能体提供可跨任务共享的最优转移符号表示，通过上下文预规划增强少样本迁移和样本效率。
2024-02-21 cs.AI cs.LG
Deep Learning in Customer Churn Prediction: Unsupervised Feature Learning on Abstract Company Independent Feature Vectors
Framed Data Inc（Framed Data 公司）；New York University（纽约大学）；Data Science Institute at Lancaster University（兰卡斯特大学数据科学研究所）
随着公司加大留住客户的力度，能够提前准确预测客户是否会在可预见的未来流失，这对任何营销团队来说都是一个非常强大的工具。本文深入阐述了深度学习在流失预测问题中的应用。使用抽象的特征向量，可以在任何基于订阅的公司的用户事件日志中生成，本文证明，通过使用深度神经网络的固有属性（以无监督的方式学习次要特征），完整的管道可以应用于任何基于订阅的公司，具有非常好的流失预测性能。此外，本文中记录的研究是为Framed Data（一家为其他公司提供流失预测服务的公司）与英国兰开斯特大学数据科学研究所合作进行的。本文是Framed Data的知识产权。
2017-03-10 cs.LG stat.ML
A Visual Programming Paradigm for Abstract Deep Learning Model Development
深度学习是计算机科学中发展最快的技术之一，具有大量的应用。但这种前所未有的增长迄今为止仅限于深度学习专家的消费。主要的挑战是学习编程库的学习曲线陡峭，以及缺乏直观的系统，使非专家能够使用深度学习。为了实现这一目标，我们研究了无代码范式设计深度学习模型的有效性。特别是，一个可视化的拖放界面相比，传统的编程和替代的可视化编程范式更有效。我们对不同专业水平的用户进行研究，以衡量不同编程范式的入门级障碍和开发人员负载。我们获得了系统可用性量表（SUS）的90和NASA的任务负荷指数（TLX）得分为21的建议的可视化编程相比，68和52，分别为传统的编程方法。
2019-08-19 cs.HC cs.LG
Learning Abstract Task Representations
University of Houston（休斯顿大学）
适当的数据表征形式可以指导学习算法选择和模型性能估计的过程。元学习领域提供了丰富的工作，描述了使用不同元特征家族（统计、基于模型、信息理论、拓扑等）进行数据表征的有效形式。在本文中，我们从丰富的现有的元特征集，并提出了一种方法来诱导新的抽象元特征作为潜变量在一个深神经网络。我们讨论了直接使用传统的元功能的陷阱，并认为学习高层次的任务属性的重要性。我们使用深度神经网络作为特征提取器来演示我们的方法。我们证明了1）将抽象元特征映射到泛化性能的诱导元模型平均优于其他方法约18%，2）抽象元特征获得高特征相关性分数。
2021-01-28 cs.LG
A Provable Defense for Deep Residual Networks
ETH Zurich（苏黎世联邦理工学院）
我们提出了一个训练系统，它可以证明比以前更大的神经网络，包括ResNet-34和DenseNet-100。我们的方法是基于可区分的抽象解释，并引入了两个新的概念：（i）抽象层微调的精度和可扩展性的抽象，（ii）一个灵活的域特定的语言（DSL）用于描述训练目标，结合抽象和具体的损失与任意规格。我们的训练方法在DiffAI系统中实现。
2020-01-07 cs.AI cs.CR cs.LG
WiP Abstract : Robust Out-of-distribution Motion Detection and Localization in Autonomous CPS
Nanyang Technological University（南洋理工大学）
高度复杂的深度学习模型越来越多地集成到现代网络物理系统（CPS）中，其中许多系统具有严格的安全要求。由此产生的一个问题是，深度学习缺乏可解释性，就像一个黑匣子。深度学习的可靠性受到模型训练数据表示运行时测试数据的程度的严重影响，特别是当输入空间维度像自然图像一样高时。作为回应，我们提出了一个强大的分布（OOD）检测框架。我们的方法通过将经典的光流运算与经由变分自编码器（VAE）的表示学习相结合，实时检测驾驶视频中的异常运动。我们还设计了一种方法来定位图像中的OOD因子。驾驶模拟数据集上的评估表明，我们的方法是统计上更强大的比相关作品。
2021-07-25 cs.LG
Deep learning for classification of noisy QR codes
Université de Paris（巴黎大学）
本研究探索深度学习分类模型在抽象图像上的性能极限，以QR码为研究对象，在健康通行证生成的含噪QR码上训练模型，与经典确定性解码方法对比，证明深度学习可有效用于抽象图像理解。
2023-07-20 cs.CV cs.LG
Deep Learning for Abstract Argumentation Semantics
National Police Lab AI, Netherlands Police（荷兰警察局人工智能实验室）；Utrecht University（乌得勒支大学）；Tilburg University（蒂尔堡大学）
在本文中，我们提出了一个基于学习的方法来确定接受的论点下几个抽象的论证语义。更具体地说，我们提出了一个论证图神经网络（AGNN），学习消息传递算法来预测参数被接受的可能性。实验结果表明，AGNN几乎可以完美地预测不同语义和规模下的可接受性，以及更大的论证框架。此外，分析的消息传递算法的行为表明，AGNN学习坚持基本原则的参数语义在文献中确定，因此可以训练预测扩展不同的语义-我们展示了后者如何可以做多扩展语义使用AGNN指导基本搜索。我们在https://github.com/DennisCraandijk/DL-Abstract-Argumentation上发布代码
2020-07-16 cs.AI cs.LG
Deep Transform: Error Correction via Probabilistic Re-Synthesis
Surrey University（萨里大学）
数据中的错误通常是不受欢迎的，因此一些纠正它们的方法是有用的。然而，很难以无监督的方式定义、检测或纠正错误。在这里，我们训练一个深度神经网络，以在输出层重新合成给定类别数据的输入。然后，我们利用这样一个事实，即这种抽象变换，我们称之为深度变换（DT），本质上拒绝存在于抽象特征空间之外的信息（错误）。使用DT进行概率再合成，我们证明了数据的恢复，已受到极端退化。
2015-02-16 cs.LG
DANets: Deep Abstract Networks for Tabular Data Classification and Regression
Zhejiang University（浙江大学）；Huazhong University of Science and Technology（华中科技大学）；University of Notre Dame（圣母大学）；Zhejiang University School of Medicine（浙江大学医学院）
表格数据在现实世界的应用中无处不在。虽然许多常用的神经组件（例如，卷积）和可扩展神经网络（例如，ResNet）已经由机器学习社区开发，其中很少有对表格数据有效的，并且很少有设计针对表格数据结构进行充分定制。在本文中，我们提出了一种新的和灵活的神经元组件的表格数据，称为抽象层（AbstLay），学习显式分组相关的输入功能，并生成更高层次的功能语义抽象。此外，我们设计了一种结构重新参数化的方法来压缩学习的AbstLay，从而降低了计算复杂性的参考阶段的一个明确的保证金。使用AbstLays构建一个特殊的基本块，并通过堆叠这些块来构建一个用于表格数据分类和回归的深度抽象网络（DANets）家族。在DANets中，引入了一个特殊的快捷路径来从原始表格特征中获取信息，以帮助不同级别的特征交互。在7个实际表格数据集上的综合实验表明，本文提出的AbstLay和DANets对表格数据的分类和回归是有效的，且计算复杂性优于同类方法.此外，我们评估了DANet的性能增益，因为它深入，验证了我们的方法的可扩展性。我们的代码可在https://github.com/WhatAShot/DANet上获得。
2022-09-07 cs.AI cs.LG
Uniform State Abstraction For Reinforcement Learning
University of York（约克大学）；L3S Research Center, Leibniz University Hannover（莱布尼茨汉诺威大学L3S研究中心）
基于潜力的奖励塑造结合基于适当定义的抽象知识的潜力函数已被证明可以显着提高强化学习的学习速度。多网格强化学习（MRL）进一步表明，这种抽象的知识，在一个潜在的功能的形式，可以学习几乎完全从代理与环境的互动。然而，我们发现，MRL面临着无法很好地扩展到深度学习的问题。在本文中，我们扩展和改进了MRL，以利用现代深度学习算法，如深度Q网络（DQN）。我们表明，DQN增强我们的方法在连续控制任务上的表现显着优于其香草对应物和DQN增强MRL。
2020-04-06 cs.AI cs.LG stat.ML
Learning Markov State Abstractions for Deep Reinforcement Learning
Brown University（布朗大学）
本文提出一组充分条件及结合逆模型估计与时间对比学习的训练方法，学习保持马尔可夫性质的抽象状态表示，在视觉网格世界和连续控制任务中提升样本效率，匹配或超越手工设计状态性能。
2024-03-15 cs.AI cs.LG stat.ML
Multi-Level Feature Abstraction from Convolutional Neural Networks for Multimodal Biometric Identification
West Virginia University（西弗吉尼亚大学）
在本文中，我们提出了一个深度多模态融合网络，融合多模态（人脸，虹膜和指纹）的个人身份识别。所提出的深度多模态融合算法由多个模态特定的卷积神经网络（CNN）流组成，这些流在多个特征抽象级别上进行联合优化。从每个模态特定的CNN在几个不同的卷积层提取多个特征，用于联合特征融合、优化和分类。在特定于模态的CNN的不同卷积层处提取的特征表示在若干不同抽象表示级别处的输入。我们证明了一个有效的多模态分类可以通过利用从所有模态特定的CNN中提取的这些多级抽象表示来显著减少网络参数的数量。我们通过在我们的多模态融合中利用所提出的多级特征抽象表示来证明多模态人员识别性能的提高，而不是仅使用每个模态特定CNN的最后一层的特征。我们表明，我们的深度多模态CNN与多模态融合在几个不同的特征级别抽象可以显着优于单峰表示的准确性。我们还证明了所有模态特定CNN的联合优化优于独立优化CNN的分数和决策级融合。
2018-07-03 cs.LG stat.ML
Component Transfer Learning for Deep RL Based on Abstract Representations
VU Amsterdam（阿姆斯特丹自由大学）
在这项工作中，我们研究了一种特定的迁移学习方法，用于深度强化学习，在这种背景下，两个任务之间的内部动态是相同的，但视觉表示不同。我们学习环境的低维编码，旨在捕获总结抽象，从中学习内部动态和价值函数。然后通过冻结学习的内部动态和价值函数来获得转移，从而重用共享的低维嵌入空间。当重新训练编码器进行传输时，我们进行了几项观察：（i）在某些情况下，存在局部最小值，这些最小值具有较小的损失，但嵌入空间不匹配，导致任务性能较差;（ii）在没有局部最小值的情况下，编码器的输出在我们的实验中收敛到相同的嵌入空间，与从头开始学习相比，这导致了快速有效的传输。局部最小值是由冻结模型引起的优化过程的自由度降低引起的。我们还发现，传输性能是严重依赖于基础模型，一些基础模型往往会导致成功的传输，而其他基础模型往往会导致失败的传输。
2021-11-22 cs.AI cs.LG
Hierarchical Abstraction Enables Human-Like 3D Object Recognition in Deep Learning Models
UCLA（加州大学洛杉矶分校）
本研究比较了DGCNN和point transformer模型在3D物体识别上与人类表现的差异，发现point transformer因具备支持3D形状层次化抽象的机制，能更好地模拟人类识别表现。
2025-07-13 cs.CV cs.LG
Deep Learning Methods for Abstract Visual Reasoning: A Survey on Raven's Progressive Matrices
本文聚焦抽象视觉推理中的Raven's Progressive Matrices任务，综述了相关深度学习方法、模型及基准，分析前沿方法性能并提出领域趋势，展示了RPM研究对现实问题的价值。
2022-04-19 cs.AI cs.CV cs.LG
Real-World Robot Control by Deep Active Inference With a Temporally Hierarchical World Model
Graduate School of Integrated Design Engineering, Keio University（Keio大学整合设计工程研究院）
本文提出一种结合时序分层世界模型的深度主动推断框架，用于在不确定环境中实现机器人高成功率的操作与探索性动作切换。
2025-12-01 cs.AI cs.LG cs.RO
Medical Imaging with Deep Learning: MIDL 2020 -- Short Paper Track
本汇编收集了2020年7月6日至9日在加拿大蒙特利尔举行的第三届医学成像与深度学习国际会议（MIDL 2020）的所有已接受的扩展摘要。请注意，这里只列出了可接受的扩展摘要，MIDL 2020 Full Paper Track的论文集发表在Proceedings of机器学习研究（PMLR）中。
2020-06-29 cs.CV cs.LG
Deep learning for enhanced free-space optical communications
Tulane University（杜兰大学）；Louisiana State University（路易斯安那州立大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）；NASA Goddard Space Flight Center（美国国家航空航天局戈达德太空飞行中心）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）；DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）
大气效应，如湍流和背景热噪声，抑制了用于ON-OFF键控自由空间光通信的相干光的传播。在这里，我们提出并实验验证了一个卷积神经网络，以减少在后处理中的自由空间光通信的比特出错率，这是显着更简单，更便宜的比现有的解决方案的基础上先进的光学。我们的方法包括两个神经网络，第一个确定的存在下，在热噪声和湍流的相干比特序列和第二解调的相干比特序列。用于训练和测试我们的网络的所有数据都是通过实验获得的，通过生成相干光的开-关键控比特流，将这些与热光相结合，并将所得光通过湍流水箱，我们已经验证了该水箱能够高度准确地模拟空气中的湍流。我们的卷积神经网络提高了阈值分类方案的检测精度，并有能力与当前的解调和纠错方案相结合。
2022-08-15 cs.LG physics.optics
Hybrid Embedded Deep Stacked Sparse Autoencoder with w_LPPD SVM Ensemble
School of Microelectornics and Communication Engineering, Chongqing University（重庆大学微电子与通信工程学院）
深度学习是一种具有很强的非线性特征变换能力的特征学习方法，在人工智能的许多领域中发挥着越来越重要的作用。深度自动编码是深度学习方法中的一种代表性方法，能够有效地提取和抽象数据集的信息。但是，它没有考虑在深特征转换过程中的深特征和原始特征之间的互补性。此外，它还存在小样本问题。为了解决这些问题，本文提出了一种新的深度自编码器-混合特征嵌入堆叠稀疏自编码器（HESSAE）。HFESAE能够在训练期间嵌入原始特征以过滤弱隐藏层输出的帮助下学习判别式深度特征。针对小样本问题限制了抽象信息的类表示能力的问题，设计了一种特征融合策略，旨在将HFESAE学习到的抽象信息与原始特征相结合，获得混合特征进行特征约简。该策略是一种基于L1正则化的混合特征选择策略，然后采用一种支持向量机（SVM）集成模型，在每个基分类器上设计并使用加权局部判别保持投影（w_LPPD）。最后，通过几个具有代表性的公共数据集验证了算法的有效性。实验结果表明，与现有的特征学习算法（包括一些有代表性的深度自动编码方法）相比，该方法具有更好的性能。
2020-02-17 cs.LG
Colour and Brush Stroke Pattern Recognition in Abstract Art using Modified Deep Convolutional Generative Adversarial Networks
Vellore Institute of Technology（韦洛尔理工学院）
本文提出一种改进的深度卷积生成对抗网络（mDCGAN），通过优化架构和正则化方法解决训练不稳定问题，生成高质量抽象艺术，并利用潜在空间随机游走分析笔触与颜色的向量关系。
2024-12-05 cs.AI cs.CV cs.LG
Deep Learning in Wireless Communication Receiver: A Survey
本综述探讨了深度学习架构在无线通信接收机设计中的应用，分析了其在OFDM和MIMO等先进技术下关键模块的实现，并指出了未来面临的挑战。
2025-01-25 cs.IT cs.LG cs.NI
Mitigating severe over-parameterization in deep convolutional neural networks through forced feature abstraction and compression with an entropy-based heuristic
Auckland University of Technology（奥克兰理工大学）
卷积神经网络（CNN），如ResNet-50，DenseNet-40和ResNeXt-56是严重过度参数化的，因此需要增加模型训练所需的计算资源，模型训练以指数方式增加模型深度。在本文中，我们提出了一个基于熵的卷积层估计（EBCLE）启发式算法，这是强大的，简单的，但有效地解决了过度参数化的问题，关于CNN模型的网络深度。EBCLE启发式算法采用输入数据集的熵数据分布的先验知识来确定卷积网络深度的上限，超过该上限，恒等变换是普遍的，为增强模型性能提供了微不足道的贡献。通过强制特征压缩和抽象来限制深度冗余，限制了过度参数化，同时减少了24.99% - 78.59%的训练时间，而不会降低模型性能。我们提出了经验证据来强调使用EBCLE启发式训练的较宽但较浅的模型的相对有效性，该模型保持或优于较窄但较深的模型的基线分类准确性。EBCLE启发式算法在架构上是不可知的，并且基于EBCLE的CNN模型限制深度冗余，从而增强了对可用计算资源的利用。提出的EBCLE启发式是一种令人信服的技术，研究人员可以分析证明他们对CNN的HyperParameter（HP）选择。EBCLE启发式训练CNN模型的经验验证是在五个基准数据集（ImageNet 32，CIFAR-10/100，STL-10，MNIST）和四个网络架构（DenseNet，ResNet，ResNeXt和EfficientNet B 0-…
2021-06-27 cs.CV cs.LG
Sectioning of Biomedical Abstracts: A Sequence of Sequence Classification Task
University of Delaware（特拉华大学）
生物医学文献的快速增长导致了生物医学文本挖掘领域的许多进展。在海量的信息中，生物医学文章摘要是最容易获取的信息来源。然而，以背景、目的、方法、结果和结论为分类的结构化摘要的数量仍然不多。序列句子分类任务的改进可以加快对生物医学摘要中有价值信息的探索。基于深度学习的模型在这项任务中取得重大成果方面具有很大的性能/潜力。然而，它们往往过于复杂，并过度拟合特定数据。在这个项目中，我们研究了一个最先进的深度学习模型，我们称之为SSN-4模型。我们调查的SSN-4模型的不同组成部分，研究性能和复杂性之间的权衡。我们探讨如何以及这个模型推广到一个新的数据集以外的随机对照试验（RCT）数据集。我们解决的问题是，词嵌入是否可以调整到任务，以提高性能。此外，我们开发了第二个模型，解决了第一个模型中的混淆对。结果表明，SSN-4模型似乎没有推广到RCT数据集之外。
2022-01-18 cs.CL cs.LG
AGNES: Abstraction-guided Framework for Deep Neural Networks Security
AUDI AG（奥迪股份公司）；University of Twente（特温特大学）；Utrecht University（乌得勒支大学）
本文提出AGNES工具，通过抽象引导方法检测图像识别DNN中的后门，在多个案例研究中优于现有方法。
2023-11-07 cs.CR cs.CV cs.LG
SketchTransfer: A Challenging New Task for Exploring Detail-Invariance and the Abstractions Learned by Deep Networks
MILA（蒙特利尔学习算法研究所）；Aalto University（阿尔托大学）；Google Brain（谷歌大脑）
深度网络在感知任务中取得了优异的成绩，但它们在训练过程中没有看到的变化的能力受到了越来越多的关注。在这项工作中，我们专注于他们的能力，有不变性对存在或不存在的细节。例如，人类能够观看缺少许多视觉细节的卡通片，而无需进行明确的训练。作为另一个例子，3D渲染软件是一个相对较新的发展，但人们能够理解这样的渲染场景，即使他们缺少细节（考虑像玩具总动员电影）。机器学习算法未能做到这一点，表明人类能力和深度网络能力之间在泛化方面存在显著差距。我们提出了一个数据集，这将使它更容易具体地研究细节不变性问题。我们为此产生了一个具体的任务：SketchTransfer，我们表明，最先进的域转移算法仍然在努力完成这项任务。在MNIST $\xrightarrow{}$ SVHN转换上达到95%以上的最新技术在SketchTransfer任务上仅达到59%的准确率，这比随机（11%的准确率）好得多，但低于直接在标记草图上训练的分类器的87%的准确率。这表明，这项任务是接近今天的最好的方法，但有很大的改进空间。
2019-12-25 cs.CV cs.LG stat.ML
Absolute abstraction: a renormalisation group approach
SISSA - International School for Advanced Studies（国际先进研究学院）；University of Tübingen（图宾根大学）；Universitá di Trieste（特里埃斯特大学）；The Abdus Salam International Centre for Theoretical Physics（阿布杜斯-萨拉姆国际理论物理中心）
本文提出通过重整化群方法，利用数据广度和深度增强神经网络的抽象能力，最终达到绝对抽象的层次特征模型。
2026-03-03 cond-mat.dis-nn cs.LG physics.data-an
Learn Goal-Conditioned Policy with Intrinsic Motivation for Deep Reinforcement Learning
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
学习一个广泛适用的、通用的、能够实现包括图像和文本描述在内的多种目标的策略对于智能体具有重要意义。考虑到这些感知特定的目标，深度强化学习研究的前沿是学习一个目标条件的政策，而无需手工制作的奖励。为了学习这种策略，最近的工作通常采取的奖励非参数距离的一个明确的嵌入空间中的给定目标。从不同的角度，我们提出了一种新的无监督学习方法命名为目标有条件的政策与内在动机（GPIM），共同学习的抽象级别的政策和目标有条件的政策。抽象级策略以潜在变量为条件，以优化策略，并发现进一步呈现为目标条件策略的感知特定目标的各种状态。学习的策略作为目标条件策略的内在奖励函数，以模仿抽象级策略诱导的轨迹。各种机器人任务的实验证明了我们提出的GPIM方法的有效性和效率，大大优于现有技术。
2021-12-13 cs.LG cs.RO
Discovering Abstract Symbolic Relations by Learning Unitary Group Representations
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
本研究提出一种基于群表示论的分解双线性模型，高效完成符号操作完成任务，实现完美准确率并快速学习，同时自动发现底层酉群结构，为深度学习中的对称性发现提供新范式。
2024-05-22 cs.LG math.GR math.RT
Contrastive Abstraction for Reinforcement Learning
LIT AI Lab（LIT人工智能实验室）；Ellis Unit Linz（林茨埃利斯单元）；Institute for Machine Learning（机器学习研究所）；Johannes Kepler University Linz（约翰内斯·开普勒大学林茨分校）
本文提出对比抽象学习方法，通过对比学习聚类状态表示并用现代Hopfield网络映射到抽象状态，从而在不依赖奖励的情况下提升强化学习在长轨迹任务中的效率。
2024-10-01 cs.AI cs.LG
Evolving Culture vs Local Minima
U. Montreal（蒙特利尔大学）
我们提出了一种理论，将深层架构中的学习难度与文化和语言联系起来。它围绕以下假设进行阐述：（1）在单个人类大脑中的学习受到有效局部最小值的阻碍;（2）当涉及到学习更高级别的抽象时，这种优化困难特别重要，即，覆盖感觉配置的巨大和高度非线性跨度的概念;（3）这种高级抽象在大脑中最好由许多表示水平的组合来表示，即，通过深入的架构;（4）如果在其他人产生的信号的引导下，人脑可以学习这种高级抽象，这些信号充当这些高级抽象的暗示或间接监督;（5）语言和心理概念的重组优化提供了一个有效的进化重组算子，这就产生了在可交流的思想空间中的快速搜索，这些思想帮助人类建立起对他们世界的更好的高层次的内部表征。这些假设放在一起意味着人类文化和思想的进化对于克服优化困难至关重要：否则，这种优化困难将使人类大脑很难捕获世界的高级知识。该理论基于对训练深度人工神经网络的困难的实验观察。这一理论的文化进化的效率的合理后果勾勒。
2012-11-29 cs.AI cs.LG
