Mutual Information Regularized Offline Reinforcement Learning
Sea AI Lab
本文提出 MISA 框架,通过状态与动作的互信息下界约束离线 RL 的策略改进方向,并统一 CQL 与 TD3+BC,在 D4RL 上显著优于基线。
2024-02-28 cs.AI cs.LG
On the Maximum Mutual Information Capacity of Neural Architectures
我们推导出封闭形式的表达式的最大互信息-最大值的$I(X;Z)$可通过训练-一个广泛的家庭的神经网络架构。这个量对于机器学习理论和实践的几个分支都是必不可少的。定量地,我们表明,这些家庭的最大互信息都源于一个单一的通用公式。定性,我们表明,最大的互信息的架构是最强烈的影响的最小层的网络的宽度-“信息瓶颈”在不同意义上的短语,并通过任何统计不变性捕获的架构。
2020-06-10 cs.LG stat.ML
Testing Hypotheses by Regularized Maximum Mean Discrepancy
IDSIA/SUPSI;Università della Svizzera Italiana(瑞士意大利语区大学);Vita-Salute San Raffaele University(圣拉斐尔生命健康大学);Ruhr-Universität Bochum(波鸿鲁尔大学);Université de Sherbrooke(舍布鲁克大学)
两个数据样本是否来自不同的分布?最近对这个基本问题的研究集中在将概率分布嵌入到足够丰富的特征再生核希尔伯特空间(RKHS)中,以通过嵌入之间的距离来比较分布。我们发现,正则化最大均值离散度(RMMD),我们的新措施,基于内核的假设检验,即使样本量很小,也会产生实质性的改善,并擅长于假设检验,涉及多重比较与功率控制。我们推导出零假设和备择假设下的渐近分布,并评估功率控制。在以下方面获得了出色的结果:具有挑战性的EEG数据,MNIST,Berkley Covertype和Flare-Solar数据集。
2013-05-02 cs.AI cs.LG stat.ML
Sobolev Regularized MMD Gradient Flow
Tsinghua University(清华大学);Pennsylvania State University(宾夕法尼亚州立大学);University College London(伦敦大学学院);Google Deepmind(谷歌DeepMind)
本文提出Sobolev正则化最大均值差异(SrMMD)梯度流,通过梯度惩罚改善MMD目标的非凸性,提供连续和离散时间下的全局收敛性保证,且无需依赖等周假设。该方法适用于生成建模和采样任务。
2026-11-09 cs.LG
Regularized Maximum Likelihood Estimation and Feature Selection in Mixtures-of-Experts Models
Normandie Univ(诺曼底大学);UNICAEN(卡昂大学);UMR CNRS LMNO(法国国家科学研究中心LMNO联合研究单位)
混合专家模型(Mixture of Experts,MoE)是在回归、聚类和分类等统计学习问题中为异构数据建模的成功模型。通常通过期望最大化算法用极大似然估计拟合,因此它们在高维问题中的应用仍然具有挑战性。我们考虑在MoE模型的拟合和特征选择的问题,并提出了一个正则化的极大似然估计的方法,鼓励稀疏解决方案的异质回归数据模型与潜在的高维预测。与最先进的正则化MLE MoE,所提出的建模不需要近似的惩罚函数。本文提出了两种混合期望最大化算法:期望-优化-最大化(EM/MM)算法和带有坐标上升算法的期望最大化算法。所提出的算法允许自动获得稀疏的解决方案,而无需阈值,并避免矩阵求逆,允许单变量参数更新。实验研究表明,该算法在恢复实际稀疏解、参数估计和异质回归数据聚类等方面具有良好的性能。
2018-10-29 cs.LG stat.CO stat.ME
(De)-regularized Maximum Mean Discrepancy Gradient Flow
University College London(伦敦大学学院);Pennsylvania State University(宾夕法尼亚州立大学);Institut Polytechnique de Paris(巴黎理工学院)
DrMMD流通过去正则化方法实现了最大均值差的梯度流,能够在连续和离散时间下保证近全局收敛,并以闭式形式仅使用样本进行实现。
2025-11-24 cs.LG stat.ML
FLAC: Maximum Entropy RL via Kinetic Energy Regularized Bridge Matching
Shanghai Research Institute for Intelligent Autonomous Systems(上海智能自主系统研究院);Tsinghua University(清华大学)
FLAC通过动能正则化桥匹配实现最大熵强化学习,无需显式密度估计,提升高维任务性能。
2026-02-13 cs.AI cs.LG
A Regularized Opponent Model with Maximum Entropy Objective
University College London(伦敦大学学院);University of Alberta(阿尔伯塔大学)
在单智能体环境中,强化学习(RL)任务可以通过引入代表“最优性”的二进制随机变量o来转换为推理问题。在本文中,我们重新定义了二进制随机变量o的多智能体设置和形式化的多智能体强化学习(MARL)的概率推理。我们推导出一个变分下界的可能性达到最优,并将其命名为正则化的对手模型与最大熵目标(ROMMEO)。从ROMMEO,我们提出了一个新的角度对对手建模,并显示它如何可以提高性能的训练代理的理论和经验合作游戏。为了优化ROMMEO,我们首先介绍了一个表格Q迭代方法ROMMEO-Q的收敛性证明。我们提出了一个近似的版本,ROMMEO-AC的精确算法扩展到复杂的环境。我们分别在具有挑战性的迭代矩阵博弈和微分博弈上对这两种算法进行了评估,并表明它们的性能优于强MARL基线。
2019-08-19 cs.AI cs.LG cs.MA
Variational Pseudolikelihood for Regularized Ising Inference
Boston University(波士顿大学)
本文提出了一种变分方法来求解伊辛模型的最大伪随机推论。变分算法计算效率更高,并且比$L_2$正则化的最大伪像推理以及具有伪计数正则化的平均场和孤立自旋对近似更好地预测样本外相关性。该方法的关键是变分能量,它通过将耦合缩小到零来规范推理问题,同时仍然允许一些大的耦合来解释强相关性。通过训练伊辛模型来表示字母A-J,使用来自不同计算机字体的字母样本来说明变分伪像方法的效用。
2014-09-24 cond-mat.stat-mech cs.LG stat.ML
Maximum Entropy-Regularized Multi-Goal Reinforcement Learning
Ludwig Maximilian University of Munich(慕尼黑大学);Siemens AG(西门子股份公司)
在多目标强化学习中,智能体通过目标条件策略学习实现多个目标。在学习过程中,智能体首先将轨迹收集到重放缓冲区中,然后随机选择这些轨迹进行重放。然而,在重放缓冲区中实现的目标往往偏向于行为策略。从贝叶斯的角度来看,当没有关于目标分布的先验知识时,智能体应该从不同的已实现目标中均匀地学习。因此,我们首先提出了一种新的多目标强化学习目标的加权熵的基础上。这一目标鼓励代理人最大化预期回报,以及实现更多样化的目标。其次,我们开发了一个基于最大熵的优先级框架,以优化提出的目标。为了评估这个框架,我们将其与深度确定性策略梯度相结合,无论是否有后见之明经验重放。在OpenAI Gym的一组多目标机器人任务上,我们将我们的方法与其他基线进行了比较,并在性能和样本效率方面都显示出了有希望的改进。
2020-05-24 cs.LG stat.ML
Analysis of overfitting in the regularized Cox model
Institute for Mathematical and Molecular Biomedicine, King’s College London(伦敦国王学院数学与分子生物医学研究所);King’s College London(伦敦国王学院);Saddle Point Science Ltd(鞍点科学有限公司)
考克斯比例风险模型在至事件发生时间数据的分析中普遍存在。然而,当数据维度p与样本量$N$相当时,已知其回归参数的最大似然估计会因过拟合而出现偏倚或完全崩溃。这促使了所谓的正则化Cox模型的引入。本文利用统计物理学中的副本方法,研究了在p和N都很大但p/N ~ O(1)的情况下,正则化多元Cox回归中L2正则化的真实回归参数与推断回归参数之间的关系。因此,我们将最近的研究从极大似然推广到最大后验推理。我们还建立了最佳正则化参数和p/N之间的关系,允许在时间-事件分析中进行简单的过拟合校正。
2019-07-25 cond-mat.dis-nn cs.LG math.ST
Study of Enhanced MISC-Based Sparse Arrays with High uDOFs and Low Mutual Coupling
Harbin Engineering University(哈尔滨工程大学);Anhui University(安徽大学);Pontifical Catholic University of Rio de Janeiro(里约热内卢天主教大学);University of York(约克大学)
本文提出一种增强型MISC稀疏阵列,通过由最大阵元间距和阵元数确定的IES集合构造七个均匀线性子阵列,在均匀自由度和互耦性能上优于IMISC及其他现有稀疏阵列。
2023-09-16 cs.LG
The CM Algorithm for the Maximum Mutual Information Classifications of Unseen Instances
最大互信息(MMI)准则不同于最小出错率(LER)准则。可以减少小概率事件漏报。本文介绍了通道匹配(CM)算法的MMI分类看不见的实例。介绍了CM算法的语义信息提取方法。在CM算法中,标签学习是让语义通道匹配香农通道(匹配I),而分类是让香农通道匹配语义通道(匹配II)。我们可以通过重复匹配I和II来实现MMI分类。对于低维特征空间,我们只使用参数为n个不同的类构造n个似然函数(而不是将划分边界构造为梯度下降),并通过数值表示边界。CM算法不需要在参数空间中搜索,在低维特征空间的计算非常简单和快速。通过一个二维的例子,我们测试了不同初始划分的CM算法的速度和可靠性。对于大多数初始划分,两次迭代可以使互信息超过收敛MMI的99%。分析表明,对于高维特征空间,我们可以将CM算法与神经网络相结合,以提高MMI分类器的收敛速度和可靠性。
2019-01-28 cs.LG stat.ML
Study of Novel Sparse Array Design Based on the Maximum Inter-Element Spacing Criterion
Harbin Engineering University(哈尔滨工程大学);Anhui University(安徽大学);Pontifical Catholic University of Rio de Janeiro(里约热内卢天主教大学);University of York(约克大学)
提出了一种基于最大阵元间距约束准则的稀疏阵结构。与传统的MISC阵列相比,改进的MISC(improved MISC)阵列具有更高的均匀自由度(uDOF)和更低的互耦。特别地,IMISC阵列由六个均匀线性阵列(ULA)组成,其可以由IES集合确定。IES集受两个参数约束,即最大IES和传感器数量。推导了IMISC阵列的uDOF,分析了IMISC阵列的权函数。所提出的IMISC阵列在uDOF方面对现有SA具有很大的优势,而它们的互耦合保持在低水平。仿真结果证明了IMISC阵列的优势。
2022-08-20 cs.LG
MIND: Maximum Mutual Information Based Neural Decoder
Universität Klagenfurt(克拉根福大学)
我们正在协助在数字通信系统的应用程序的学习架构的发展日益增长的兴趣。在这里,我们考虑检测/解码问题。我们的目标是为这样的任务开发一个最佳的神经架构。最优准则的确定是最基本的一步。我们建议使用的互信息(MI)的信道输入输出信号对,这产生的最小化的后验信息的传输码字给定的通信信道输出观察。后验信息的计算是一项艰巨的任务,并且对于大多数信道,它是未知的。因此,它必须被学习。对于这样一个目标,我们提出了一种新的神经估计的基础上的歧视制定。这导致推导出的互信息神经解码器(MIND)。所开发的神经结构不仅能够解决未知信道中的解码问题,而且还能够返回编码方案实现的平均MI的估计,以及解码错误概率。几个数值结果的报告,并与最大后验概率和最大似然解码策略。
2022-09-01 cs.IT cs.LG math.IT
Regularized Proportional Fairness Mechanism for Resource Allocation Without Money
JPMorgan AI Research(摩根大通人工智能研究院)
针对无货币资源分配中比例公平机制可利用性过高的问题,本文提出正则化比例公平网络RPF-Net,通过学习最可利用分配来正则化PF输出,在保持社会福利的同时降低虚报激励,并给出泛化保证与实验验证。
2025-01-02 cs.GT cs.LG
Adversary-Free Counterfactual Prediction via Information-Regularized Representations
CAIR-CAS(中国科学院自动化研究所);CityUHK(香港城市大学);HKUST(香港理工大学)
本文提出一种基于信息正则化表示的无对抗因果预测方法,通过减少处理-协变量依赖性来提升预测性能,适用于动态场景并优于现有平衡、重加权和对抗方法。
2026-04-27 cs.LG stat.ML
MINERVA: Mutual Information Neural Estimation for Supervised Feature Selection
Queen Mary University of London(伦敦女王学院);Wise Payments Ltd;Memorial University of Newfoundland(新不伦瑞克纪念大学)
针对现有特征过滤方法无法捕捉高阶特征交互的问题,提出基于神经互信息估计的两阶段监督特征选择算法MINERVA,实验验证其能有效捕获复杂依赖关系且性能优异。
2025-10-06 cs.AI cs.LG
Information Theoretic Lower Bounds for Information Theoretic Upper Bounds
Tel Aviv University(特拉维夫大学)
本文研究随机凸优化中互信息与泛化性的关系,证明真实风险最小化需要依赖维度的互信息,从而揭示现有信息论泛化界无法解释 SGD 和正则化 ERM 的维度无关样本复杂度。
2024-01-14 cs.LG stat.ML
Domain-Robust Visual Imitation Learning with Mutual Information Constraints
Centre for Robotics Research(机器人研究中心);Department of Engineering, King’s College London(伦敦国王学院工程系)
人类能够通过简单地观察他人执行任务来理解目标和学习。模仿学习方法的目的是复制这样的能力,然而,它们通常依赖于访问代理的执行器和从代理的角度采取的一整套最佳状态和动作。在本文中,我们介绍了一种新的算法-称为解开生成对抗模仿学习(DisentanGAIL)-目的是绕过这些限制。我们的算法使自主智能体直接从执行任务的专家的高维观察中学习,通过利用对抗学习与潜在的代表性内的神经网络。通过互信息约束来正则化这种潜在表示,以激励仅学习对关于所演示的任务的完成水平的信息进行编码的特征。这允许获得一个共享的特征空间,以成功地执行模仿,同时忽略专家和代理的域之间的差异。从经验上讲,我们的算法是能够有效地模仿各种控制问题,包括平衡,操纵和机车任务,同时是强大的各种领域的差异,在环境外观和代理的实施例。
2021-03-08 cs.AI cs.LG
Mutual Information Optimal Density Control of Linear Systems and Generalized Schrödinger Bridges with Reference Refinement
Graduate School of Informatics, Kyoto University, Kyoto, Japan(京都大学信息科学研究生院)
本文提出互信息正则化的线性系统最优密度控制方法,通过引入高斯密度约束控制状态不确定性,结合交替优化算法解决安全关键场景下的控制问题,与广义施罗德inger桥问题等价。
2026-10-06 cs.LG cs.SY eess.SY
Combating the Instability of Mutual Information-based Losses via Regularization
Sogang University(西江大学);NAVER LABS(NAVER实验室)
基于神经网络驱动的互信息(MI)界的机器学习的许多领域已经取得了显著的进展。然而,利用传统的基于MI的损耗通常是具有挑战性的,因为它们的实际和数学限制。在这项工作中,我们首先确定其不稳定性背后的症状:(1)即使在损失似乎收敛之后,神经网络也不收敛,以及(2)饱和的神经网络输出导致损失发散。我们通过在现有损失中添加一个新的正则化项来缓解这两个问题。我们从理论上和实验上证明了增加正则化可以稳定训练。最后,我们提出了一个新的基准,评估MI的损失的MI估计能力和它的能力,下游任务,密切关注预先存在的监督和对比学习设置。我们评估了六种不同的基于MI的损失及其在多个基准上的正则化对应物,以表明我们的方法简单而有效。
2022-06-18 cs.IT cs.LG math.IT
Genetic InfoMax: Exploring Mutual Information Maximization in High-Dimensional Imaging Genetics Studies
Texas A&M University(德克萨斯农工大学);University of Texas Health Science Center(德克萨斯大学健康科学中心)
本文提出跨模态框架 Genetic InfoMax,通过正则化互信息估计器和遗传学信息 transformer 学习影像遗传性状表示,并在人脑三维 MRI 的 GWAS 评估中显著优于现有方法。
2023-09-26 cs.LG q-bio.QM
Information Potential Auto-Encoders
Tohoku University(东北大学)
在本文中,我们提出了一个框架,利用互信息作为正则化标准训练自动编码器(AE)。在建议的框架中,AE正则化的输入和AE的编码变量之间的互信息在训练阶段的最小化。为了估计编码变量的熵和互信息,我们提出了一种非参数的方法。我们还给出了变分AE(VAE)的信息论观点,这表明VAE可以被认为是估计熵的参数方法。实验结果表明,所提出的非参数模型有更多的自由度方面的表示学习的复杂分布,如混合高斯的特征,相比,估计熵使用参数的方法,如变分AE。
2017-08-06 cs.IT cs.LG math.IT
MIND: Inductive Mutual Information Estimation, A Convex Maximum-Entropy Copula Approach
KXY Technologies, Inc.(KXY科技公司)
我们提出了一种新的估计两个有序向量$x$和$y$之间的互信息。我们的方法是归纳的(而不是演绎的),因为它依赖于数据生成分布,仅通过一些非参数属性揭示数据中的关联,并且不需要有足够的数据来充分表征真正的联合分布$P_{x, y}$。具体来说,我们的方法包括(i)注意到$I\left(y; x\right) = I\left(u_y; u_x\right)$,其中$u_y$和$u_x$是$y$和$x$的copula一致对偶表示(即它们在概率积分变换下的图像),以及(ii)通过在$α_m = E\left[ϕ_m(u_y, u_x)\right]$类型的约束下求解copula密度空间上的最大熵问题来估计copula熵$h\left(u_y\right)$,$h\left(u_x\right)$和$h\left(u_y, u_x\right)$。我们证明了,只要约束是可行的,这个问题承认一个唯一的解决方案,它是在指数族,它可以通过解决凸优化问题学习。由此产生的估计,我们表示为MIND,是边缘不变的,总是非负的,无界的任何样本大小$n$,一致的,有MSE率$O(1/n)$,是更有效的数据比竞争的方法。除了互信息估计之外,我们还说明了我们的方法可以通过最大化假样本的Copula的熵来减轻GANs中的模式崩溃,我们将这种模型称为Copula熵正则化GAN(CER-GAN)。
2022-04-09 cs.IT cs.LG math.IT
Sequential Maximum Margin Classifiers for Partially Labeled Data
University of Michigan(密歇根大学)
在许多现实世界的应用中,数据不是作为一个批次,但随着时间的推移,它往往是不可能的或可取的,直到数据被完全收集之前分析it.Thus,我们提出了一个框架,利用最大熵歧视原则顺序更新的最大间距分类器。我们的最大间隔分类器允许内核表示来表示大量的特征,并且还可以相对于平滑的子流形进行正则化,从而允许它包含未标记的观测。我们比较了我们的分类器的性能,其非连续的等价物在模拟和真实的数据集。
2018-03-07 cs.LG stat.ML
Maximum Entropy Weighted Independent Set Pooling for Graph Neural Networks
Amirkabir University of Technology(阿米尔卡比尔理工大学)
在本文中,我们提出了一种新的池层图神经网络的基础上最大化之间的互信息池图和输入图。由于最大互信息是很难计算的,我们采用的香农容量的一个图作为归纳偏见,我们的池化方法。更确切地说,我们表明,池化层的输入图可以被视为一个嘈杂的通信信道的表示。对于这样的信道,发送属于图的独立集的符号产生可靠且无差错的信息传输。我们表明,达到最大的互信息是相当于找到一个最大的重量独立集的图的权重传达熵内容。通过这种通信理论的观点,我们提供了一个独特的角度来提出的问题,图池作为最大限度地提高信息传输速率在一个嘈杂的通信信道,实现了一个图神经网络。我们评估我们的方法,称为最大熵加权独立集池(MEWISPool),对图分类任务和最大独立集的组合优化问题。实验结果表明,我们的方法取得了国家的最先进的和竞争力的结果图分类任务和最大独立集问题在几个基准数据集。
2021-07-03 cs.AI cs.IT cs.LG
Mutual-Information Regularization in Markov Decision Processes and Actor-Critic Learning
累积熵正则化为强化学习(RL)问题引入了一个监管信号,鼓励具有高熵行为的策略,这相当于强制执行与统一参考边际策略的小偏差。这已被证明可以提高探索性和鲁棒性,并解决了价值高估问题。它还导致表格和高维设置中的性能显着提高,如通过软Q学习(SQL)和软演员评论家(SAC)等算法所证明的那样。累积熵正则化已经被扩展到优化参考边际策略,而不是保持它固定,产生一个正则化,最大限度地减少状态和动作之间的互信息。虽然这最初是针对表格设置中的马尔可夫决策过程(MDP)提出的,但最近表明,对于具有离散动作和函数逼近器的高维域,类似的原理导致RL中的vanilla SQL的显着改进。在这里,我们遵循互信息正则化的动机从推理的角度和理论分析相应的贝尔曼算子。受此Bellman算子的启发,我们设计了一种新的互信息正则化行动者-评论家学习(MIRACLE)算法的连续动作空间,优化了参考边际政策。我们在Mujoco机器人模拟器中实证验证了MIRACLE,在那里我们证明了它可以与当代RL方法竞争。最值得注意的是,它可以改善无模型的最先进的SAC算法,其中隐含地假设一个固定的参考策略。
2019-09-11 cs.AI cs.LG stat.ML
The Minimum Information Principle for Discriminative Learning
分布的指数模型在机器学习中被广泛用于分类和建模。众所周知,它们可以被解释为经验期望约束下的最大熵模型。在这项工作中,我们认为,分类任务,互信息是一个更合适的信息理论措施进行优化。我们展示了最小互信息原理如何推广最大熵原理,并为建立判别分类器提供了一个全面的框架。然后给出了我们的方法的博弈论解释,并提供了几个推广的界限。我们提出了解决最小信息问题及其凸对偶的迭代算法,并证明了它们在各种分类任务上的性能。结果表明,最小信息分类器优于相应的最大熵模型。
2012-07-11 cs.LG stat.ML
High Mutual Information in Representation Learning with Symmetric Variational Inference
University of Toronto(多伦多大学);Vector Institute(向量研究所);Google Research(谷歌研究院)
我们介绍了互信息机(MIM),一种新的表示学习的制定,使用联合分布的意见和潜在的状态在编码器/解码器框架。我们的关键原则是对称性和互信息,其中对称性鼓励编码器和解码器学习相同底层分布的不同因子分解,互信息鼓励学习下游任务的有用表示。我们的出发点是编码和解码联合分布之间的对称Jensen-Shannon散度,加上一个相互信息鼓励正则化。我们表明,这可以是有界的一个听话的交叉熵损失函数之间的真实模型和参数化的近似,并与此相关的极大似然框架。我们还将MIM与变分自编码器(VAE)联系起来,并证明MIM能够学习对称因子分解,具有高互信息,避免了后验崩溃。
2019-10-04 cs.IT cs.LG math.IT
Mutual Information Learned Regressor: an Information-theoretic Viewpoint of Training Regression Systems
University of Iowa(爱荷华大学);National University of Singapore(新加坡国立大学);University of California at Irvine(加州大学欧文分校);Stanford University(斯坦福大学);University of Florida(佛罗里达大学);Grinnell College(格林内尔学院)
回归作为机器学习的核心任务之一,在不同的领域有着广泛的应用。解决回归问题的一个现有的常见做法是均方误差(MSE)最小化方法或其正则化变体,需要有关模型的先验知识。最近,Yi等人,提出了一个基于互信息的监督学习框架,其中他们引入了不需要任何先验知识的标签熵正则化。当应用于分类任务并通过随机梯度下降(SGD)优化算法求解时,他们的方法比常用的交叉熵损失及其变体取得了显着改进。然而,他们没有提供SGD算法的理论收敛性分析。此外,由于标签的潜在无限支持集,将框架应用于回归任务是不平凡的。本文研究了基于互信息的监督学习框架下的回归问题。我们首先认为,MSE最小化方法是等价的条件熵学习问题,然后提出了一个互信息学习公式解决回归问题,通过使用重新参数化技术。对于所提出的公式,我们给出了收敛性分析的SGD算法在实践中解决它。最后,我们考虑了一个多输出回归数据模型,在该模型中,我们推导出与底层数据分布相关的互信息的泛化性能下限。结果表明,高维度可以是一种祝福而不是诅咒,这是由一个阈值控制的。我们希望我们的工作将作为一个良好的起点,进一步研究基于互信息的回归。
2022-11-23 cs.IT cs.LG math.IT
Learning Adversarially Robust Representations via Worst-Case Mutual Information Maximization
University of Virginia(弗吉尼亚大学)
训练对对抗性输入具有鲁棒性的机器学习模型带来了看似不可逾越的挑战。为了更好地理解对抗鲁棒性,我们考虑学习鲁棒表示的基本问题。我们开发了一个概念的表示脆弱性,捕获的最大变化的互信息之间的输入和输出分布,在最坏的情况下输入扰动。然后,我们证明了一个定理,该定理建立了一个最小对抗风险的下限,该下限可以根据其表示漏洞为任何下游分类器实现。我们提出了一种无监督学习方法,通过最大化输入和输出分布之间的最坏情况下的互信息来获得本质上鲁棒的表示。对下游分类任务的实验支持使用无监督学习和我们的训练原则发现的表示的鲁棒性。
2020-07-05 cs.CR cs.IT cs.LG