Semi-Supervised Few-Shot Classification with Deep Invertible Hybrid Models
Kyushu University（九州大学）
在本文中，我们提出了一个深度可逆的混合模型，它集成了半监督Few-Shot分类在潜在空间水平的判别和生成学习。从图像数据中分类新物种的各种任务可以建模为半监督的Few-Shot分类，其假设标记和未标记的训练样本和目标类的小支持集。预测目标类与几个支持的例子，每个类使得学习任务困难的现有的半监督分类方法，包括自训练，迭代地估计类标签的未标记的训练样本学习分类器的训练类。为了有效地利用未标记的训练样本，我们采用复合似然作为目标函数，它集成了判别式和生成式学习，比参数耦合先验更适合深度神经网络，另一种流行的集成学习方法。在我们提出的模型中，判别模型和生成模型分别是原型网络，它们在各种少样本学习中表现出出色的性能，而Normalizing Flow是一种深度可逆模型，它与其他三种主要方法不同，返回精确的边际似然，即，VAE、GAN和自回归模型。我们的主要创意在于我们在潜在的空间水平，这是有效地防止过度拟合这些组件的集成。使用mini-ImageNet和VGG-Face数据集的实验表明，我们的方法优于基于自训练的原型网络。
2021-05-22 cs.CV cs.LG
Embarrassingly parallel MCMC using deep invertible transformations
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所HIIT）；Aalto University（阿尔托大学）
虽然MCMC方法已经成为贝叶斯推理的主要工作，但将其扩展到大型分布式数据集仍然是一个挑战。令人尴尬的并行MCMC策略采取分而治之的立场来实现这一目标，将目标后验写成子后验的乘积，并行地为每个子后验运行MCMC，然后组合结果。因此，挑战在于制定有效的聚合战略。当前的策略在近似质量与通信和计算成本之间进行权衡。在这项工作中，我们介绍了一种新的方法，同时解决这些问题。我们的关键见解是引入一个深度可逆变换来近似每个子后验。即使对于复杂的分布，这些近似也可以精确，并作为中间表示，保持总通信成本有限。此外，他们使我们能够使用一个有效的和稳定的重要性采样计划从产品的次后验样本。我们证明了该方法优于现有的国家的最先进的方法在一系列具有挑战性的情况下，包括高维和异构的subposteriors。
2021-06-15 cs.LG stat.ML
Investigation of inverse design of multilayer thin-films with conditional invertible Neural Networks
University Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）；ams OSRAM（艾迈斯欧司朗）；Max Planck Institute for the Science of Light（马克斯·普朗克光科学研究所）
本研究将条件可逆神经网络（cINN）用于多层光学薄膜逆设计，结合局部优化可生成精度优于现有方法的薄膜构型，且能处理分布外目标，验证了机器学习方法结合用于薄膜设计的价值。
2022-10-10 cs.LG physics.comp-ph
Symplectic Generative Networks (SGNs): A Hamiltonian Framework for Invertible Deep Generative Modeling
University of Louisiana at Lafayette（路易斯安那州立大学）；Presidency College
本研究提出基于哈密顿力学的辛生成网络SGN，通过辛结构实现隐空间到数据空间的可逆保体积映射，无需雅可比行列式计算即可精确估计似然，并建立了含理论证明、复杂度分析等的完整理论框架，为后续研究与应用奠基。
2025-10-29 cs.LG stat.ML
Hybrid Classical-Quantum Deep Learning Models for Autonomous Vehicle Traffic Image Classification Under Adversarial Attack
Clemson University（克莱姆森大学）；University of South Carolina（南卡罗来纳大学）；South Carolina State University（南卡罗来纳州立大学）；Benedict College（贝内迪克特学院）；The Citadel（城堡军事学院）
图像分类必须适用于在公共道路上运行的自动驾驶汽车（AV），基于图像错误分类执行的操作可能会产生严重的后果。交通标志图像可能会被自动驾驶汽车用于交通标志识别的机器学习模型的对抗性攻击错误分类。为了使分类模型能够抵御对抗性攻击，我们使用了具有量子层和经典层的混合深度学习模型。我们的目标是研究经典量子迁移学习模型的混合深度学习架构，以支持当前的中等规模量子技术时代。我们评估了各种白盒对抗攻击对这些混合模型的影响。混合模型的经典部分包括来自预训练Resnet 18模型的卷积网络，该卷积网络从高维LISA交通标志图像数据集中提取信息特征。来自经典处理器的输出通过量子层进一步处理，量子层由各种量子门组成，并为各种量子力学特征（如纠缠和叠加）提供支持。我们已经测试了量子线路的多种组合，以在减少训练数据的情况下提供更好的分类准确性，并发现与仅经典的机器学习模型相比，我们的混合经典-量子深度学习模型在攻击期间具有更好的弹性。
2021-08-02 cs.CR cs.LG quant-ph
i-RevNet: Deep Invertible Networks
University of Tübingen（图宾根大学）；CentraleSupélec（中央理工-高等电力学院）；Université Paris-Saclay（巴黎-萨克雷大学）；INRIA Saclay（法国国家信息与自动化研究所萨克雷中心）；INRIA Lille（法国国家信息与自动化研究所里尔中心）；ENS, Université PSL（巴黎文理研究大学高等师范学院）；University of Amsterdam（阿姆斯特丹大学）
人们普遍认为，深度卷积网络的成功是基于逐步丢弃关于手头问题的输入的无信息可变性。在大多数常用的网络架构中，从其隐藏表示中恢复图像的难度从经验上支持这一点。在本文中，我们通过一对一的映射表明，这种信息丢失并不是学习在复杂问题（如ImageNet）上推广良好的表示的必要条件。通过级联同胚层，我们构建了i-RevNet，这是一个可以完全反转到最终投影到类上的网络，即没有信息被丢弃。建立一个可逆的体系结构是困难的，因为局部逆是病态的，我们通过提供一个显式的逆来克服这一点。对i-RevNets学习表示的分析表明，深度网络的成功是通过渐进收缩和深度线性分离来实现的。为了揭示i-RevNet学习的模型的本质，我们在自然图像表示之间重建线性插值。
2018-02-20 cs.CV cs.LG stat.ML
Are Deep Neural Architectures Losing Information? Invertibility Is Indispensable
Australian National University（澳大利亚国立大学）；Data61-CSIRO（澳大利亚联邦科学与工业研究组织数据61中心）
自从AlexNet出现以来，为不同任务设计新颖的深度神经架构一直是一个富有成效的研究方向。尽管各种架构在实践中表现出色，但我们研究了一个理论问题：深度神经架构保留输入数据的所有信息的条件是什么？识别深度神经架构的信息无损条件非常重要，因为诸如图像复原之类的任务需要尽可能多地保留输入数据的详细信息。使用互信息的定义，我们表明：当且仅当该结构是可逆的时，深度神经结构可以保留关于给定数据的最大细节。我们验证了我们的可逆恢复自动编码器（IRAE）网络的优势，通过比较它与竞争对手的模型在三个扰动的图像复原任务：图像去噪，JPEG图像解压缩和图像修补。实验结果表明，IRAE始终优于不可逆的。我们的模型甚至包含更少的参数。因此，尝试用它们的可逆对应物替换深度神经架构的标准组件（如残差块和ReLU）可能是值得的。我们相信我们的工作为未来的深度学习研究提供了独特的视角和方向。
2020-09-29 cs.CV cs.IT cs.LG
Deep Diffeomorphic Normalizing Flows
Microsoft Research AI（微软研究院人工智能部门）；University of Pittsburgh（匹兹堡大学）
标准化流（NF）通过估计应用于从已知分布中提取的样本的可逆变换来对一般概率密度进行建模。我们介绍了一种新的NF类型，称为深度同构规范化流（DDNF）。非纯流是一个可逆函数，其中函数及其逆函数都是光滑的。我们使用一个常微分方程（ODE）由一个随时间变化的光滑向量场来构造流。我们使用一个神经网络参数化的光滑向量场和一个递归神经网络（RNN）的ODE近似的解决方案。RNN中的每个单元都是实现一个欧拉积分步骤的残差网络。我们的流的架构，使高效的似然评估，简单的流反演，并在高度灵活的密度估计的结果。端到端训练的DDNF在一系列密度估计和变分推断任务上使用最先进的方法实现了有竞争力的结果。最后，我们的方法带来了黎曼几何的概念，我们相信，可以打开一个新的研究方向神经密度估计。
2018-11-22 cs.LG stat.ML
Using Non-invertible Data Transformations to Build Adversarial-Robust Neural Networks
Pennsylvania State University（宾夕法尼亚州立大学）；McGill University（麦吉尔大学）；Shanghai Jiao Tong University（上海交通大学）；Chinese Academy of Sciences（中国科学院）
深度神经网络已被证明在各种机器学习任务中非常有效，从改进的语音识别系统到推进自动驾驶汽车的开发。然而，尽管这些模型在许多应用中表现出色，但最近已被证明容易受到特定类型的攻击，这些攻击可能通过生成称为对抗样本的特定合成示例来实现。这些样本是通过操纵来自训练数据分布的真实样本来构造的，以便“愚弄”原始神经模型，从而导致先前正确分类的样本的错误分类（具有高置信度）。如果要将深度神经架构应用于关键应用（例如网络安全领域的应用），解决这一弱点至关重要。在本文中，我们对潜伏在所有神经架构中的这一基本缺陷进行了分析，以揭示先前提出的防御机制的局限性。更重要的是，我们提出了一个使用不可逆数据转换来保护深度神经模型的统一框架--开发了两个利用线性和非线性降维的对抗弹性架构。实证结果表明，我们的框架提供了更好的鲁棒性相比，国家的最先进的解决方案，同时具有可忽略不计的精度下降。
2016-12-13 cs.LG
Self Supervised Low Dose Computed Tomography Image Denoising Using Invertible Network Exploiting Inter Slice Congruence
Indian Institute of Technology Kharagpur（印度理工学院卡拉格布尔分校）
深度神经网络的复兴通过学习低剂量CT（LDCT）和正常剂量CT（NDCT）图像对之间的非线性变换函数，为低剂量计算机断层扫描去噪创造了另一种途径。然而，这些配对的LDCT和NDCT图像在临床环境中很少可用，使得深度神经网络部署不可行。提出了一种新的自监督低剂量CT去噪方法，以减轻对LDCT和NDCT图像的要求。具体来说，我们已经训练了一个可逆神经网络，以最小化噪声切片与其两个紧邻噪声切片的平均值之间的基于像素的均方距离。我们已经证明了上述类似于训练神经网络以最小化干净NDCT和噪声LDCT图像对之间的距离。同样，在可逆网络的反向映射期间，输出图像被映射到原始输入图像，类似于循环一致性损失。最后，将训练好的可逆网络的前向映射用于LDCT图像的去噪。在两个公开数据集上的大量实验表明，我们的方法与其他现有的无监督方法相比表现良好。
2022-11-03 cs.LG eess.IV
Invertible Voice Conversion
Duke University（杜克大学）；Duke Kunshan University（昆山杜克大学）
在本文中，我们提出了一个用于语音转换的可逆深度学习框架，称为INVVC。它旨在应对语音转换系统固有的潜在威胁。具体来说，我们开发了一个可逆的框架，使源身份可追溯。该框架是建立在一系列可逆的$1\times1$卷积和流组成的仿射耦合层。我们提出的框架，一对一的语音转换和多对一的转换，使用并行训练数据。实验结果表明，这种方法在语音转换上产生了令人印象深刻的性能，而且，转换后的结果可以利用与转发相同的参数被反转回源输入。
2022-01-26 cs.LG cs.SD eess.AS
Understanding Anomaly Detection with Deep Invertible Networks through Hierarchies of Distributions and Features
University Medical Center Freiburg（弗莱堡大学医学中心）；Bosch Center for Artificial Intelligence（博世人工智能中心）
通过对自然图像数据集（如CIFAR10）进行最大似然训练的深度生成网络通常将高似然分配给来自具有不同对象的数据集的图像（例如，SVHN）。我们改进了以前对可逆生成网络异常检测失败的研究，并将其解释为模型偏差和域先验的组合：卷积网络在任何自然图像数据集上训练时都会学习类似的低级特征分布，这些低级特征主导了可能性。因此，当内点和离群点之间的区别特征处于高水平时，例如，物体形状，异常检测变得特别具有挑战性。为了消除模型偏差和域先验对检测高水平差异的负面影响，我们提出了两种方法，首先，使用两个相同模型的对数似然比，一个是在分布数据上训练的（例如，CIFAR10）和另一个关于更一般的图像分布（例如，8000万张小图片）。我们还从更一般的分布中推导出一种新的分布网络样本的离群值损失，以进一步提高性能。其次，使用像Glow这样的多尺度模型，我们证明了低级特征主要是在早期尺度上捕获的。因此，仅使用最终尺度的似然贡献对于检测分布外和分布内的高级特征差异表现得非常好。如果没有合适的一般分布，这种方法特别有用。总体而言，我们的方法在无监督环境中实现了强大的异常检测性能，并且在监督环境中仅略低于最先进的基于分类器的方法。代码可以在https://github.com/boschresearch/hierarchical_anomaly_detection上找到。
2020-11-02 cs.CV cs.LG cs.NE
Deep Invertible Autoencoders for Dimensionality Reduction of Dynamical Systems
MOX Laboratory, Department of Mathematics, Politecnico di Milano（米兰理工学院数学系MOX实验室）；Department of Applied Mathematics, University of Twente（埃因霍温理工大学应用数学系）
本文提出深度可逆自编码器inv-AE，通过可逆神经网络层提升投影误差稳定性，结合传统ROM方法提高精度，应用于参数化Burgers方程和流体流动问题。
2026-09-16 cs.LG
Adaptive Density Estimation for Generative Models
Inria（法国国家信息与自动化研究所）；Noah’s Ark Lab, Huawei（华为诺亚方舟实验室）
近年来，生成模型的无监督学习取得了巨大进展，特别是由于生成对抗网络（GANs），变分自编码器和基于流的模型。GANs显著地提高了样本质量，但存在两个缺点：（i）它们的模式下降，即，不涵盖对训练数据的完全支持，以及（ii）它们不允许对保留的数据进行可能性评估。相比之下，基于可能性的训练鼓励模型覆盖训练数据的全部支持，但产生较差的样本。这些相互的缺点原则上可以通过以混合对抗似然方式训练生成潜在变量模型来解决。然而，我们发现，通常的参数假设之间产生了冲突，成功的混合模型不平凡。作为解决方案，我们建议在潜在变量解码器中使用深度可逆变换。这种方法允许在图像空间中进行似然计算，比完全可逆模型更有效，并且可以充分利用对抗训练。我们表明，我们的模型比现有的混合模型有显着改进：提供类似GAN的样本，与完全对抗模型竞争的IS和FID分数，以及改进的似然分数。
2020-01-03 cs.CV cs.LG
Deep Air Quality Forecasting Using Hybrid Deep Learning Framework
空气质量预报一直被认为是空气污染预警和控制管理的关键问题。本文提出了一种新的空气质量（主要是PM2. 5）预测的深度学习模型，该模型通过混合深度学习架构学习多变量空气质量相关时间序列数据的时空相关性特征和相互依赖性。由于多变量空气质量时间序列数据的非线性和动态特性，模型的基本模块包括一维卷积神经网络（1D-CNN）和双向长短期记忆网络（Bi-LSTM）。前者是提取局部趋势特征和空间相关性特征，后者是学习时空相关性。然后，我们设计了一个基于一维CNN和Bi-LSTM的联合混合深度学习框架，用于多变量空气质量相关时间序列数据的共享表示特征学习。我们使用两个真实世界的数据集进行了广泛的实验评估，结果表明，我们的模型是能够处理PM2.5空气污染预测满意的精度。
2019-11-25 cs.LG stat.ML
Deep Invertible Approximation of Topologically Rich Maps between Manifolds
South Dakota State University（南达科他州立大学）；University of Helsinki（赫尔辛基大学）；University of Basel（巴塞尔大学）；Rice University（莱斯大学）
我们怎样才能设计出神经网络，使其能够对拓扑上有趣的流形之间的映射进行稳定的通用逼近？答案是坐标投影。基于拓扑数据分析（TDA）的神经网络使用诸如持久同源性之类的工具来学习数据的拓扑签名并稳定训练，但可能不是通用近似器或具有稳定逆。其他架构普遍近似子流形上的数据分布，但仅当后者由单个图表给出时，使它们无法学习改变拓扑的地图。通过利用局部bilipschitz映射，覆盖空间和局部同胚之间的拓扑相似性，并通过使用机器学习中的通用近似参数，我们发现一种形式为$\mathcal{T} \circ p \circ \mathcal{E}$的新型网络，其中$\mathcal{E}$是内射网络，$p$是固定坐标投影，$\mathcal{T}$是双射网络，是嵌入在$\mathbb{R}^n$中的紧致光滑子流形之间的局部自同态的泛逼近器。我们强调的情况下，目标地图改变拓扑结构。此外，我们发现，通过约束投影$p$，我们的网络的多值反演可以计算而不牺牲普遍性。作为一个应用程序，我们表明，学习一个群不变函数与未知的组行动自然减少到学习局部有限群的同构的问题。我们的理论使我们能够恢复轨道的群体行动。我们还概述了我们的架构，以解决分子成像的对称性的可能的扩展。最后，我们的分析通知生成问题的拓扑表达的起始空间的选择。
2022-10-02 cs.LG math.AT
A Statistics and Deep Learning Hybrid Method for Multivariate Time Series Forecasting and Mortality Modeling
University of the Witwatersrand（金山大学）；University of Johannesburg（约翰内斯堡大学）
混合方法已被证明在预测任务和量化与这些预测（预测区间）相关的不确定性方面优于纯统计和纯深度学习方法。一个例子是指数平滑递归神经网络（ES-RNN），它是统计预测模型和递归神经网络变体之间的混合。ES-RNN在Makridakis-4预测竞赛中的绝对误差提高了9.4%。这种改进和其他混合模型的类似表现主要仅在单变量数据集上得到证明。将混合预测方法应用于多变量数据的困难包括（$i$）不简约的模型的超参数调整所涉及的高计算成本，（$ii$）与数据中固有的自相关相关联的挑战，以及（$iii$）可能难以捕获的协变量之间的复杂依赖性（互相关）。本文提出了多元指数平滑长短期记忆（MES-LSTM），这是ES-RNN的一种广义多元扩展，它克服了这些挑战。MES-LSTM使用矢量化实现。我们在2019年冠状病毒病（COVID-19）发病率数据集上测试了MES-LSTM，发现我们的混合方法在预测准确性和预测区间构建方面比纯统计和深度学习方法表现出一致的显着改进。
2021-12-16 cs.LG stat.ML
Reversible Deep Learning for 13C NMR in Chemoinformatics: On Structures and Spectra
Department of Computer Science（计算机科学系）；Department of Industrial and Applied Mathematics（工业与应用数学系）；Tartu University（塔尔图大学）；Delft University of Technology（代尔夫特理工大学）；De Montfort University（德蒙福特大学）；Faculty of Pharmacy（药学院）；Tartu, Estonia（塔尔图，爱沙尼亚）
本文提出一种可逆深度学习模型，用于13C核磁共振，通过单个条件可逆神经网络在分子结构与光谱之间双向建模，实现光谱到结构的逆向推理。
2026-04-23 cs.AI cs.LG q-bio.QM
Deep Gated Recurrent and Convolutional Network Hybrid Model for Univariate Time Series Classification
用于时间序列分类的混合LSTM-全卷积网络（LSTM-FCN）在单变量时间序列上产生了最先进的分类结果。我们证明，用门控递归单元（GRU）替换LSTM来创建GRU-全卷积网络混合模型（GRU-FCN）可以在许多时间序列数据集上提供更好的性能。所提出的GRU-FCN模型在许多单变量和多变量时间序列数据集上的分类性能优于最先进的分类性能。此外，由于GRU使用比LSTM更简单的架构，因此与基于LSTM的模型相比，它具有更少的训练参数，更少的训练时间和更简单的硬件实现。
2019-02-20 cs.LG stat.ML
Learnability Lock: Authorized Learnability Control Through Adversarial Invertible Transformations
Yale University（耶鲁大学）；Pennsylvania State University（宾夕法尼亚州立大学）
由于信息技术的革命，深度学习的最新进展令人难以置信地受益于对各种数字格式数据的极大增强的访问。然而，在某些情况下，人们可能不希望他们的数据被用于训练商业模型，因此研究如何攻击深度学习模型的可学习性。以往的可学习性攻击只考虑了防止对特定数据集的未授权利用的目标，而没有考虑对授权情况恢复可学习性的过程。为了解决这个问题，本文引入并研究了一个新的概念，称为“可学习性锁”，用于控制模型在特定数据集上的可学习性。特别是，我们提出了对抗性可逆变换，可以被视为从图像到图像的映射，稍微修改数据样本，使它们变得“不可学习”的机器学习模型与视觉特征的损失可以忽略不计。同时，可以使用相应的密钥解锁数据集的可学习性和正常的训练模型。所提出的可学习性锁利用了类式扰动，该类式扰动对相同标签的数据样本应用通用变换函数。这确保了可学习性可以通过简单的逆变换容易地恢复，同时保持难以被检测或逆向工程。我们经验证明了我们的方法在视觉分类任务上的成功性和实用性。
2022-02-03 cs.AI cs.CR cs.CV
Latent SHAP: Toward Practical Human-Interpretable Explanations
Ben-Gurion University of the Negev（内盖夫本-古里安大学）；NEC Corporation（日本电气股份有限公司）
模型无关的特征属性算法（如SHAP和LIME）是解释复杂分类模型（如深度神经网络）决策的普遍技术。然而，由于复杂的分类模型在低级别（或编码）特征上训练时会产生卓越的性能，因此在许多情况下，这些算法生成的解释既不可解释也不可由人类使用。在最近的研究中提出的方法，支持人类可解释的解释是不切实际的，因为它们需要一个完全可逆的转换函数，映射模型的输入功能的人类可解释的功能。在这项工作中，我们介绍了潜在的SHAP，一个黑盒特征属性框架，提供人类可解释的解释，而不需要一个完全可逆的转换功能。我们使用（1）可逆转换函数可用的对照实验来证明潜在SHAP的有效性，这使得我们的方法能够进行强大的定量评估，以及（2）名人吸引力分类（使用CelebA数据集），其中可逆转换函数不可用，这使得我们的方法能够进行全面的定性评估。
2022-11-27 cs.LG
Stock2Vec: A Hybrid Deep Learning Framework for Stock Market Prediction with Representation Learning and Temporal Convolutional Network
Auburn University（奥本大学）；Verizon Media Group (Yahoo!)（威瑞森媒体集团（雅虎））；Amazon.com Inc.（亚马逊公司）
我们提出了开发一个全球混合深度学习框架来预测股票市场的每日价格。通过表示学习，我们得到了一个名为Stock2Vec的嵌入，它让我们了解不同股票之间的关系，而时间卷积层用于自动捕获序列内和序列间的有效时间模式。在标准普尔500指数上进行评估，我们的混合框架集成了这两个优点，并在股票价格预测任务上取得了比几个流行的基准模型更好的性能。
2020-09-29 cs.LG q-fin.ST stat.ML
Parametrized Deep Q-Networks Learning: Reinforcement Learning with Discrete-Continuous Hybrid Action Space
Tencent AI Lab（腾讯人工智能实验室）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）
大多数现有的深度强化学习（DRL）框架只考虑离散动作空间或连续动作空间。受计算机游戏中应用的启发，我们考虑了离散-连续混合动作空间的场景。为了处理混合动作空间，以前的工作要么近似的混合空间离散化，或放松到一个连续的集合。在本文中，我们提出了一个参数化的深度Q网络（P-DQN）框架的混合行动空间没有近似或松弛。该算法结合了DQN（处理离散动作空间）和DDPG（处理连续动作空间）的思想，将它们无缝融合。仿真算例、RoboCup足球比赛进球和王者荣耀单人模式下的实验结果验证了该方法的有效性。
2018-10-10 cs.AI cs.LG stat.ML
Online Semi-Supervised Learning with Deep Hybrid Boltzmann Machines and Denoising Autoencoders
College of Information Science & Technology（信息科学与技术学院）；The Pennsylvania State University（宾夕法尼亚州立大学）
提出了两种新的深度混合结构，深度混合玻尔兹曼机和深度混合去噪自动编码器，用于处理半监督学习问题。这些模型结合了在不同抽象层次上对相关分布进行建模的专家，以提高区分性任务的整体预测性能。每个联合学习的理论动机和算法。我们将新的模型应用到数据流领域，致力于终身学习。所提出的架构表现出改善的性能相比，伪标记，辍学整流器网络。
2016-01-18 cs.LG
A Deep Hybrid Model for Recommendation Systems
Istanbul Technical University（伊斯坦布尔理工大学）
从电子商务到社交网站，推荐一直是一个长期存在的问题。目前的研究大多集中在传统的推荐方法上，如基于内容的推荐或协同过滤，而对混合推荐系统的研究相对较少。由于深度学习在包括计算机视觉和自然语言处理在内的不同领域取得的最新进展，深度学习在推荐系统中也受到了广泛关注。有几项研究利用用户和项目的ID嵌入来实现深度神经网络的协同过滤。然而，这样的研究并没有利用输入的其他分类或连续特征。在本文中，我们提出了一种新的深度神经网络架构，它不仅包括ID嵌入，而且还包括辅助信息，如职位发布和职位推荐系统的候选人的功能，这是一个互惠推荐系统。在一个工作站点数据集上的实验结果表明，该方法比利用ID嵌入的深度学习模型提高了推荐结果。
2020-09-21 cs.AI cs.LG stat.ML
Deep Multi-Agent Reinforcement Learning with Discrete-Continuous Hybrid Action Spaces
Tianjin University（天津大学）；Fuxi AI Lab in Netease（网易伏羲人工智能实验室）
深度强化学习（Deep Reinforcement Learning，DRL）已被应用于解决具有离散动作空间或连续动作空间的各种协作多智能体问题。然而，据我们所知，没有以前的工作已经成功地应用DRL多智能体问题的离散连续混合（或参数化）的行动空间，这是非常常见的实践。我们的工作填补了这一空白，提出了两个新的算法：深度多智能体参数化Q网络（深度MAPQN）和深度多智能体层次混合Q网络（深度MAHHQN）。我们遵循集中式训练但分散式执行的范式：不同代理之间的不同级别的通信用于促进训练过程，而每个代理在执行过程中根据本地观察独立执行其策略。我们对几个具有挑战性的任务（模拟RoboCup足球和游戏Ghost Story）的实证结果表明，Deep MAPQN和Deep MAHHQN都是有效的，并且显著优于现有的独立深度参数化Q学习方法。
2019-03-12 cs.AI cs.LG cs.MA
Hybrid Embedded Deep Stacked Sparse Autoencoder with w_LPPD SVM Ensemble
School of Microelectornics and Communication Engineering, Chongqing University（重庆大学微电子与通信工程学院）
深度学习是一种具有很强的非线性特征变换能力的特征学习方法，在人工智能的许多领域中发挥着越来越重要的作用。深度自动编码是深度学习方法中的一种代表性方法，能够有效地提取和抽象数据集的信息。但是，它没有考虑在深特征转换过程中的深特征和原始特征之间的互补性。此外，它还存在小样本问题。为了解决这些问题，本文提出了一种新的深度自编码器-混合特征嵌入堆叠稀疏自编码器（HESSAE）。HFESAE能够在训练期间嵌入原始特征以过滤弱隐藏层输出的帮助下学习判别式深度特征。针对小样本问题限制了抽象信息的类表示能力的问题，设计了一种特征融合策略，旨在将HFESAE学习到的抽象信息与原始特征相结合，获得混合特征进行特征约简。该策略是一种基于L1正则化的混合特征选择策略，然后采用一种支持向量机（SVM）集成模型，在每个基分类器上设计并使用加权局部判别保持投影（w_LPPD）。最后，通过几个具有代表性的公共数据集验证了算法的有效性。实验结果表明，与现有的特征学习算法（包括一些有代表性的深度自动编码方法）相比，该方法具有更好的性能。
2020-02-17 cs.LG
A hybrid parametric-deep learning approach for sound event localization and detection
这项工作描述并讨论了提交给DCASE 2019挑战赛的声音事件定位和检测任务的算法。所提出的方法依赖于用于源定位和检测的参数空间音频分析，结合基于深度学习的单声道事件分类器。所提出的算法的评估产生的总体结果相比，基线系统。主要亮点是与基线性能相比，评估数据集上的定位误差减少了2.6倍。
2019-08-27 cs.LG cs.SD eess.AS
Hybrid-DNNs: Hybrid Deep Neural Networks for Mixed Inputs
China University of Petroleum-Beijing（中国石油大学（北京））；PST Service Corporation（PST服务公司）；Beijing Power Concord Technology Co. Ltd.（北京康达电力科技有限公司）
大数据和高性能计算的快速发展促进了地球科学领域深度学习的爆炸性研究。然而，大多数研究只采用单一类型的数据作为输入，浪费了宝贵的多尺度，多尺度的信息。我们开发了一种混合深度神经网络（HDNN）的通用架构，以支持混合输入。作为特征学习和目标学习的结合，新提出的网络在高层特征提取和深度数据采掘方面提供了强大的能力。此外，混合架构是多个网络的聚合，显示出良好的灵活性和广泛的适用性。多个网络的配置取决于应用任务，并随输入和目标而变化。以油藏产量预测为中心，构造了具体的HDNN模型，并将其应用于某油田开发区块。考虑到它们对油气生产的贡献，岩心照片、测井图像和曲线、地质和工程参数都可以作为输入。预处理后，混合输入准备作为常规采样的结构和数值数据。对于特征学习，卷积神经网络（CNN）和多层感知器（MLP）网络被配置为分别处理结构和数值输入。然后将学习到的特征连接起来，并馈送到后续的网络进行目标学习。通过与典型的MLP模型和CNN模型的比较，验证了HDNN模型具有精度高、泛化能力强等优点。
2020-05-18 cs.LG eess.IV physics.geo-ph
Deep Multi-Agent Reinforcement Learning with Hybrid Action Spaces based on Maximum Entropy
Chongqing University（重庆大学）
多智能体深度强化学习已被应用于解决各种具有离散或连续动作空间的复杂问题，并取得了巨大的成功。然而，大多数现实世界的环境不能被描述为只有离散的动作空间或只有连续的动作空间。而将深度强化学习（drl）应用于混合行动空间的多智能体问题的研究还很少。因此，我们提出了一种新的算法：深度多智能体混合软Actor-Critic（MAHSAC）来填补这一空白。该算法遵循集中式训练分散式执行（CTDE）的思想，扩展了软Actor-Critic算法（SAC），使之能够处理多Agent环境中基于最大熵的混合动作空间问题。我们的经验是在一个简单的多智能体粒子世界上运行的，它具有连续的观察和离散的动作空间，以及一些基本的模拟物理。实验结果表明，MAHSAC在训练速度、稳定性、抗干扰能力等方面都有较好的表现。同时，它在合作场景和竞争场景中的表现优于现有的独立深度混合学习方法。
2022-06-10 cs.AI cs.LG
Hybrid Physics and Deep Learning Model for Interpretable Vehicle State Prediction
University of Stuttgart（斯图加特大学）；University of Koblenz（科布伦茨大学）；University of Southampton（南安普顿大学）
针对物理参数测量昂贵与神经网络难解释的问题，提出融合物理运动模型和深度学习的两阶段混合训练方法，在船舶与四旋翼飞行器预测中保持精度并提升可解释性。
2022-06-08 cs.LG
A further exploration of deep Multi-Agent Reinforcement Learning with Hybrid Action Space
Chongqing University（重庆大学）
将深度强化学习（drl）扩展到多智能体领域的研究，解决了许多复杂问题，取得了巨大的成就。然而，这些研究几乎都只关注离散或连续的动作空间，很少有将多智能体深度强化学习应用于混合动作空间的现实环境问题。因此，在本文中，我们提出了两个算法：深度多代理混合软演员-评论家（MAHSAC）和多代理混合深度确定性策略梯度（MAHDDPG），以填补这一空白。这两种算法遵循集中训练和分散执行（CTDE）范式，可以处理混合动作空间问题。我们的经验是在多智能体粒子环境中运行的，这是一个简单的多智能体粒子世界，以及一些基本的模拟物理。实验结果表明，这些算法具有良好的性能。
2022-08-30 cs.AI cs.LG cs.MA
SeER: An Explainable Deep Learning MIDI-based Hybrid Song Recommender System
University of Louisville（路易斯维尔大学）
现有的音乐推荐系统主要依赖于基于矩阵分解的协同过滤方法或深度学习架构。深度学习模型通常使用元数据进行基于内容的过滤，或者通过从用户动作的时间序列中学习来预测下一次用户交互。尽管用于歌曲推荐的深度学习取得了进展，但没有人通过学习基于内容的序列模型来利用歌曲的序列性质。除了预测精度的重要性，其他重要方面也很重要，例如可解释性和解决冷启动问题。在这项工作中，我们提出了一个混合深度学习模型，称为“SeER”，使用协同过滤（CF）和深度学习序列模型的歌曲推荐，以提供更准确的个性化推荐，解决项目冷启动问题，并生成一个相关的歌曲推荐的解释。我们的评估实验显示，有前途的结果相比，最先进的基线和混合歌曲推荐系统的排名评价。此外，基于建议的离线验证测试，我们表明，我们的个性化的解释捕获的属性，是根据用户的喜好。
2019-12-19 cs.IR cs.LG cs.SD
Evaluating the Efficacy of Hybrid Deep Learning Models in Distinguishing AI-Generated Text
University of Oxford（牛津大学）
本文研究利用混合深度学习模型区分AI生成文本与人类写作，通过精选多源数据集和自然语言处理技术构建定制模型，有效检测二者细微差异。
2024-01-13 cs.AI cs.CL cs.LG
Efficient large-scale image retrieval with deep feature orthogonality and Hybrid-Swin-Transformers
NVIDIA（英伟达）
我们提出了一个有效的端到端的管道大规模的地标识别和检索。我们展示了如何结合和增强图像检索的最新研究的概念，并介绍了两种架构，特别适合于大规模的地标识别。讨论了使用EfficientNet骨干以及新型Hybrid-Swin-Transformer的局部和全局特征的深度正交融合（DOLG）模型，并详细说明了如何使用逐步方法和具有动态裕度的子中心弧面损失有效地训练这两种架构。此外，我们阐述了一种新的歧视性的重新排序方法的图像检索。我们的方法的优越性通过赢得2021年Google Landmark竞赛的识别和检索赛道而得到证明。
2021-10-27 cs.CV cs.LG
Unsupervised Deep Learning for Massive MIMO Hybrid Beamforming
École Polytechnique de Montréal（蒙特利尔工程学院）
混合波束形成技术是一种很有前途的技术，可以降低大规模多输入多输出（MIMO）系统的复杂度和成本，同时提供高数据速率。然而，混合预编码器设计是一项具有挑战性的任务，需要信道状态信息（CSI）反馈并解决复杂的优化问题。提出了一种基于RSSI的无监督深度学习方法来设计大规模多输入多输出系统中的混合波束形成。此外，我们提出了i）一种方法来设计的同步信号（SS）在初始接入（IA）和ii）的方法来设计的模拟预编码器的码本。我们还通过各种场景下的真实渠道模型来评估系统性能。我们表明，该方法不仅大大提高了频谱效率，特别是在频分双工（FDD）通信，通过使用部分CSI反馈，但也有接近最佳的和速率，优于其他国家的最先进的全CSI解决方案。
2020-07-02 cs.LG eess.SP
Exploring a Hybrid Deep Learning Approach for Anomaly Detection in Mental Healthcare Provider Billing: Addressing Label Scarcity through Semi-Supervised Anomaly Detection
Informatics Institute, University of Amsterdam（阿姆斯特丹大学信息学院）；Department of Computer Science and Technology, SUNY Empire State University（SUNY埃默里州立大学计算机科学与技术系）
本文针对心理健康医疗账单异常检测中标签稀缺和类别不平衡问题，提出结合LSTM与Transformer的混合深度学习方法，并利用孤立森林和自编码器生成伪标签，在真实账单数据集上验证了该方法在召回率方面的有效性。
2025-07-02 cs.AI cs.LG
Hybrid Beamforming for mmWave MU-MISO Systems Exploiting Multi-agent Deep Reinforcement Learning
Southeast University（东南大学）；ZTE Corporation（中兴通讯股份有限公司）
在这封信中，我们研究了基于深度强化学习（DRL）的混合波束形成用于毫米波（mmWave）多用户（MU）多输入单输出（MISO）系统。提出了一种多智能体DRL方法来解决DRL中的探索效率问题。在所提出的方法中，优先重放缓冲区和更多的信息奖励，以加速收敛。仿真结果表明，与基准算法相比，该算法具有更高的频谱效率和更少的时间消耗，更适合于实际应用。
2021-02-01 cs.AI cs.LG eess.SP
Multi-Modal Hybrid Deep Neural Network for Speech Enhancement
Institute of High Performance Computing（高性能计算研究所）；Institute for Infocomm Research（资讯通信研究院）
深度神经网络（DNN）已经成功地增强了噪声语音信号。通过学习从受损语音信号的特征到参考干净语音信号的特征的非线性映射函数来实现增强。预测特征的质量可以通过提供对噪声鲁棒的附加侧信道信息（诸如视觉提示）来提高。在本文中，我们提出了一种新的深度学习模型的灵感来自人类的视听感知的见解。在所提出的统一混合架构中，来自处理视觉线索的卷积神经网络（CNN）的特征和来自处理音频信号的完全连接的DNN的特征使用双向长短期记忆（BiLSTM）网络来集成。使用反向传播联合学习混合模型的参数。我们比较了混合模型与传统DNN和BiLSTM模型的增强语音质量。
2016-06-15 cs.LG cs.NE cs.SD
HyDI: A hybrid Deep Learning-Inductive Logic Programming ensemble for multi-label classification
University of Osnabrück（奥斯纳布吕克大学）
HyDI提出一种结合深度学习与归纳逻辑编程的混合集成架构，用于层次化多标签分类，在ChEBI本体上为314个类别生成规则，提供透明且可解释的分类结果。
2026-09-30 cs.LG cs.LO
PrecoderNet: Hybrid Beamforming for Millimeter Wave Systems with Deep Reinforcement Learning
Southeast University（东南大学）
本文研究了基于深度强化学习（Deep Reinforcement Learning，DRL）的毫米波大规模多输入多输出（Multiple-Input Multiple-Output，MIMO）系统的混合波束形成。假设不完美的信道状态信息（CSI）在基站（BS）处可用。为了在低时间消耗的情况下实现高频谱效率，我们提出了一种新的基于DRL的方法称为PrecoderNet来设计数字预编码器和模拟组合器。DRL代理将前一次学习迭代的数字波束形成器和模拟组合器作为状态，并将当前学习迭代的这些矩阵作为动作。仿真结果表明，该预编码器网络在频谱效率、误比特率（BER）和时间消耗等方面都有较好的性能，并且对信道状态信息的不完善具有较好的鲁棒性。
2020-06-19 cs.LG eess.SP
HDF: Hybrid Deep Features for Scene Image Representation
Deakin University（迪肯大学）；Ambition College（雄心学院）
目前，普遍采用从预训练的深度学习模型中提取的特征作为图像表示，这些特征已经取得了很好的分类性能。现有的方法通常只考虑基于对象的特征或基于场景的特征。然而，这两种类型的特征对于场景图像等复杂图像都很重要，因为它们可以相互补充。在本文中，我们提出了一种新的类型的功能-混合深度功能，场景图像。具体来说，我们在两个级别上利用基于对象和基于场景的特征：部分图像级别（即，图像的部分）和整个图像级（即，整个图像），其产生总共四种类型的深度特征。关于部分图像级别，我们还提出了两个新的切片技术来提取部分为基础的功能。最后，我们通过级联运算符聚合这四种类型的深度特征。在场景图像分类任务方面，我们在三个常用的场景数据集（MIT-67，Scene-15和Event-8）上展示了我们的混合深度特征的有效性。广泛的比较表明，我们引入的功能可以产生最先进的分类精度，比所有数据集的现有功能的结果更一致和稳定。
2020-03-22 cs.CV cs.LG
A Hybrid Deep Learning Framework for Stock Price Prediction Considering the Investor Sentiment of Online Forum Enhanced by Popularity
Central South University（中南大学）
本文提出一种结合在线论坛投资者情绪与流行度因素的混合深度学习框架，用于提升股票价格预测的准确性。
2024-05-17 cs.CL cs.LG q-fin.ST
Deep hybrid model with satellite imagery: how to combine demand modeling and computer vision for behavior analysis?
Massachusetts Institute of Technology（麻省理工学院）；University of California at Berkeley（加州大学伯克利分校）；The University of Hong Kong（香港大学）；University of Florida（佛罗里达大学）
本文提出一种结合数值数据与卫星影像的深度混合模型框架，通过混合算子与行为预测器将两类数据整合到潜在空间，在芝加哥出行方式选择分析中超越传统需求模型和深度学习，并兼具经济可解释性。
2024-02-22 cs.CV cs.LG econ.GN
A Hybrid Deep Learning Architecture for Leukemic B-lymphoblast Classification
University of Saskatchewan（萨斯喀彻温大学）；University of Tulane（杜兰大学）
由于组织病理学结构的复杂性，在显微图像中自动检测白血病B淋巴母细胞癌是非常具有挑战性的。为了解决这个问题，需要一个自动和强大的诊断系统来早期检测和治疗。本文提出了一种基于自动深度学习的方法来区分未成熟白血病原始细胞和正常细胞。所提出的基于深度学习的混合方法通过不同的数据增强技术来丰富，能够从输入图像中提取高级特征。结果表明，所提出的模型产生更好的预测比单个模型的白血病B淋巴细胞分类与96.17%的总体准确性，95.17%的灵敏度和98.58%的特异性。融合从中间层提取的特征，我们的方法有可能提高整体分类性能。
2019-09-26 cs.CV cs.LG eess.IV
SplitBrain: Hybrid Data and Model Parallel Deep Learning
NEC Laboratories America, Inc.（NEC美国实验室公司）
最近深度学习应用的成功与那些广泛可用的强大计算资源相吻合，这些计算资源用于训练具有巨大数据集的复杂机器学习模型。尽管如此，使用模型并行（与数据并行相反）训练诸如卷积神经网络之类的大型模型是具有挑战性的，因为模型碎片之间的通信的复杂性质使得难以以可接受的折衷在多个机器上有效地划分计算。本文介绍了SplitBrain，一个支持混合数据和模型并行的高性能分布式深度学习框架。具体来说，SplitBrain提供了特定于层的分区，可以将计算密集型卷积层放在一起，同时对内存需求层进行分片。提出了一种新的可扩展组通信，以进一步提高训练吞吐量，减少通信开销。实验结果表明，SplitBrain在实现数据和模型并行VGG时，与CIFAR-10相比，可以实现接近线性的加速比，同时节省高达67%的内存消耗。
2021-12-31 cs.CV cs.DC cs.LG
RSSI-Based Hybrid Beamforming Design with Deep Learning
École Polytechnique de Montréal（蒙特利尔综合理工学院）
混合波束成形是5G毫米波通信的一种很有前途的技术。然而，它的实现在实际的多输入多输出（MIMO）系统中是具有挑战性的，因为非凸优化问题必须解决，引入额外的延迟和能量消耗。另外，信道状态信息（CSI）必须从导频信号估计或者通过专用信道反馈，从而引入大的信令开销。在本文中，混合预编码器设计的基础上，只有从每个用户的接收信号强度指示符（RSSI）的反馈。提出了一种深度学习方法来执行具有合理复杂度的相关优化。结果表明，所得到的和率是非常接近的全CSI最优，但复杂的解决方案。最后，与现有技术相比，所提出的解决方案允许大大增加系统的频谱效率，因为需要最小的CSI反馈。
2020-03-12 cs.IT cs.LG eess.SP
