Benefiting Deep Latent Variable Models via Learning the Prior and Removing Latent Regularization
National Chiao Tung University（台湾交通大学）
存在许多形式的深层潜变量模型，例如变分自编码器和对抗自编码器。无论模型的具体类别如何，都存在一个隐含的共识，即潜在分布应该朝着先验进行正则化，即使在先验分布被学习的情况下也是如此。在研究潜在正则化对图像生成的影响时，我们的结果表明，在学习了充分表达的先验知识的情况下，潜在正则化是不必要的，并且实际上可能对图像质量有害。我们还研究了在计算机视觉中两个常见问题上学习先验知识的好处：潜变量解纠缠和图像到图像翻译的多样性。
2020-07-16 cs.LG stat.ML
Diversity-Promoting Bayesian Learning of Latent Variable Models
Carnegie Mellon University（卡内基梅隆大学）；Tsinghua University（清华大学）；Petuum Inc.（Petuum 公司）
为了解决隐变量模型（LVMs）中涉及的三个重要问题，包括捕获不频繁模式、实现小规模但具有表达力的模型和减轻过拟合，一些研究致力于“多样化”LVMs，旨在鼓励LVMs中的组件多样化。大多数现有的研究都属于频率主义风格的正则化框架，其中组件是通过点估计来学习的。在本文中，我们研究了如何在贝叶斯学习的范式中“多样化”LVMs。我们提出了两种具有互补优势的方法。一种是定义一个多样性促进的相互角先验，它将较大的密度分配给具有较大相互角的分量，并使用此先验通过贝叶斯规则影响后验。我们开发了两个有效的近似后验推理算法的基础上变分推理和MCMC抽样。另一种方法是直接在组件的后数据分布上施加多样性促进正则化。我们还扩展了我们的方法，“多样化”贝叶斯非参数模型的组件的数量是无限的。提出了一种基于切片采样和哈密顿蒙特卡罗的采样算法。我们将这些方法应用于“多样化”贝叶斯混合专家模型模型和无限潜在特征模型。在不同数据集上的实验证明了该方法的有效性和效率。
2017-11-23 cs.LG stat.ML
Sentence Ordering and Coherence Modeling using Recurrent Neural Networks
University of Michigan（密歇根大学）；Yale University（耶鲁大学）
连贯文本的结构建模是自然语言处理的一个关键问题。连贯地组织一组给定句子的任务通常用于构建和评估理解这种结构的模型。我们提出了一种基于集合序列框架的端到端无监督深度学习方法来解决这个问题。我们的模型在顺序判别任务和排序科学文章摘要的新任务中的性能明显优于先前的方法。此外，我们的工作表明，有用的文本表示可以通过学习排序句子。可视化学习的句子表示表明，该模型捕捉段落中的高级逻辑结构。我们的表示在句子相似性和释义检测任务上执行最先进的预训练方法。
2017-12-22 cs.AI cs.CL cs.LG
Metric-DST: Mitigating Selection Bias Through Diversity-Guided Semi-Supervised Metric Learning
Delft University of Technology（代尔夫特理工大学）
针对选择偏差损害机器学习公平性的问题，提出Metric-DST多样性引导自训练策略，结合度量学习与隐式嵌入空间纳入多样本，在多类带偏差数据集上训练出更稳健模型，为缓解选择偏差、提升模型公平性提供灵活通用方案。
2024-11-28 cs.AI cs.LG
Unity by Diversity: Improved Representation Learning in Multimodal VAEs
ETH Zurich（苏黎世联邦理工学院）；UC Irvine（加州大学欧文分校）
本文针对多模态 VAE 中硬共享约束限制表示质量的问题，提出混合专家先验以软对齐各模态潜在表示与共享聚合后验，从而提升表示学习和缺失模态插补性能。
2025-01-07 cs.AI cs.LG
Adaptive, Personalized Diversity for Visual Discovery
Amazon（亚马逊）；UC Santa Cruz（加州大学圣克鲁兹分校）
当用户有明确的意图时，搜索查询是合适的，但当意图难以表达或用户只是想得到启发时，搜索查询的性能就很差。视觉浏览系统允许电子商务平台解决这些场景，同时为用户提供引人入胜的购物体验。在这里，我们将探索Stream中自适应个性化和项目多样化的扩展，这是亚马逊的一种新的视觉浏览和发现形式。我们的系统向用户提供了一组有趣的项目，同时适应用户交互。我们的解决方案由三个部分组成：（1）贝叶斯回归模型，用于在利用不确定性的同时对项目的相关性进行评分;（2）子模块多样化框架，用于根据类别对得分最高的项目进行重新排名;以及（3）从用户行为中学习的个性化类别偏好。当对实时流量进行测试时，我们的算法显示出点击率和会话持续时间的强劲提升。
2018-10-02 cs.IR cs.LG stat.ML
Do Language Models Have Beliefs? Methods for Detecting, Updating, and Visualizing Model Beliefs
Meta AI；UNC Chapel Hill（北卡罗来纳大学教堂山分校）
语言模型有关于世界的信念吗？丹尼特（Dennett，1995）提出了一个著名的观点，即即使是恒温器也有信念，信念只是一种与任何动机状态脱钩的信息状态。在本文中，我们讨论了检测模型何时具有关于世界的信念的方法，并改进了更新模型信念以使其更真实的方法，重点是基于学习优化器或超网络的方法。我们的主要贡献包括：（1）用于评估信念更新方法的新度量，其关注信念的逻辑一致性，（2）用于改进学习优化器的性能的顺序、局部和泛化模型更新（SLAG）的训练目标，以及（3）信念图的引入，这是与语言模型的接口的新形式，其显示模型信念之间的相互依赖性。我们的实验表明，模型只在有限的程度上具有类似信念的品质，但更新方法可以修复不正确的模型信念，并大大提高其一致性。虽然现成的优化器是令人惊讶的强大的信念更新基线，我们学习的优化器可以在更困难的设置比在过去的工作中被认为是优于他们。代码可在https://github.com/peterbhase/SLAG-Belief-Updating上获得
2021-11-26 cs.AI cs.CL cs.LG
G-NeuroDAVIS: A Neural Network model for generalized embedding, data visualization and sample generation
Indian Statistical Institute（印度统计研究所）
本文提出生成模型 G-NeuroDAVIS，通过广义嵌入实现高维数据可视化与样本生成，在嵌入质量、分类性能和样本生成上显著优于 VAE。
2024-10-18 cs.LG
Visualizing MuZero Models
Leiden Institute of Advanced Computer Science（莱顿高级计算机科学研究所）
MuZero是一种基于基于模型的强化学习算法，它使用了价值等价动力学模型，在国际象棋、将棋和围棋比赛中取得了最先进的性能。与预测完整下一状态的标准前向动态模型相比，值等效模型被训练以预测未来值，从而强调表示中的值相关信息。虽然价值等价模型在实证上取得了很大的成功，但还没有研究可视化和调查这些模型实际上学习了什么类型的表示。因此，在本文中，我们可视化MuZero代理的潜在表示。我们发现，观察嵌入和内部状态转换动态之间的动作轨迹可能会出现分歧，这可能会导致规划过程中的不稳定。基于这一认识，我们提出了两种正则化技术来稳定MuZero的性能。此外，我们还提供了MuZero的开源实现以及学习表示的交互式可视化工具，这可能有助于进一步研究价值等价算法。
2021-03-03 cs.AI cs.LG stat.ML
Visualizing Convolutional Neural Networks to Improve Decision Support for Skin Lesion Classification
Ghent University（根特大学）；imec（比利时微电子研究中心）
由于其在计算机视觉中的最先进性能，CNN在包括医学在内的各个领域越来越受欢迎。然而，由于神经网络是黑箱函数逼近器，因此医学专家很难（如果不是不可能）推理它们的输出。这可能会导致专家在不同意其输出时不信任网络。在这种情况下，解释CNN为什么做出某个决定就成为有价值的信息。在本文中，我们试图通过检查和可视化学习的特征图，在皮肤病学领域打开CNN的黑盒子。我们表明，在某种程度上，CNN关注的特征与皮肤科医生用于诊断的特征相似。然而，需要更多的研究来充分解释其产出。
2018-09-11 cs.CV cs.LG
Summit: Scaling Deep Learning Interpretability by Visualizing Activation and Attribution Summarizations
Georgia Tech（佐治亚理工学院）
深度学习越来越多地用于决策任务。然而，理解神经网络如何产生最终预测仍然是一个根本性的挑战。解释图像的神经网络预测的现有工作通常集中在解释单个图像或神经元的预测。由于预测通常是根据数百万个权重计算的，这些权重是在数百万张图像上优化的，因此这种解释很容易错过更大的画面。我们介绍了Summit，这是一个交互式系统，可扩展和系统地总结和可视化深度学习模型已经学习的功能以及这些功能如何相互作用以进行预测。Summit引入了两种新的可扩展摘要技术：（1）激活聚合发现重要的神经元，（2）神经元影响聚合识别这些神经元之间的关系。Summit将这些技术结合起来，创建了新颖的归因图，揭示和总结了有助于模型结果的关键神经元关联和子结构。Summit可扩展到大数据，例如包含120万张图像的ImageNet数据集，并利用神经网络特征可视化和数据集示例，帮助用户将大型复杂的神经网络模型提取为紧凑的交互式可视化。我们提出了神经网络探索方案，其中Summit帮助我们发现了对流行的大规模图像分类器的学习表示的多个令人惊讶的见解，并为未来的神经网络架构设计提供了信息。Summit可视化在现代Web浏览器中运行，并且是开源的。
2019-09-02 cs.CV cs.HC cs.LG
Improving Diversity with Adversarially Learned Transformations for Domain Generalization
Arizona State University（亚利桑那州立大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
为了在单源领域泛化中取得成功，最大化合成领域的多样性已成为最有效的策略之一。最近的许多成功都来自于预先指定模型在训练过程中所暴露的多样性类型的方法，以便它最终可以很好地推广到新的领域。然而，朴素的基于多样性的增强不能有效地用于领域泛化，因为它们不能对大的领域移位建模，或者因为预先指定的变换的跨度不覆盖在领域泛化中通常发生的移位类型。为了解决这个问题，我们提出了一个新的框架，使用逆向学习变换（ALT），使用神经网络来模拟似是而非，但硬图像变换，欺骗分类器。该网络对每个批次随机初始化，并训练固定数量的步骤以最大化分类误差。此外，我们在分类器对干净图像和变换图像的预测之间强制执行一致性。通过大量的实证分析，我们发现这种新形式的对抗性变换同时实现了多样性和硬度的目标，在单源领域泛化的竞争基准上优于所有现有技术。我们还表明，ALT可以自然地与现有的多样性模块，以产生高度不同的，和大的变换的源域导致国家的最先进的性能。
2022-12-12 cs.CV cs.LG
Visualizing Deep Neural Networks with Topographic Activation Maps
Otto-von-Guericke-University Magdeburg（马格德堡奥托·冯·格里克大学）；MOTOR Ai GmbH（MOTOR Ai有限公司）
本研究借鉴神经科学的地形图思路，提出并比较多种DNN层神经元地形布局方法，生成地形激活图以识别错误、偏差及可视化训练过程，提升DNN决策系统的可解释性与透明度。
2023-06-14 cs.CV cs.HC cs.LG
A Learned Representation For Artistic Style
Google Brain（谷歌大脑）
绘画风格的多样性为图像的构建提供了丰富的视觉语汇。一个人学习和吝啬地捕捉这种视觉词汇的程度衡量了我们对绘画更高层次特征的理解，如果不是一般的图像。在这项工作中，我们研究了一个单一的，可扩展的深度网络，可以简约地捕捉绘画的多样性的艺术风格的建设。我们证明，这样的网络概括了艺术风格的多样性，通过减少一幅画的嵌入空间中的一个点。重要的是，该模型允许用户通过任意组合从单个绘画中学习的风格来探索新的绘画风格。我们希望这项工作为建立丰富的绘画模型提供了有用的一步，并为了解艺术风格的学术表现结构提供了一扇窗户。
2017-02-09 cs.CV cs.LG
Visualizing and Understanding Curriculum Learning for Long Short-Term Memory Networks
Carnegie Mellon University（卡内基梅隆大学）
课程学习强调计算学习设置中训练实例的顺序。核心假设是，应该尽早学习简单的实例，作为学习更复杂实例的构建块。尽管它很有用，但课程学习究竟如何影响模型的内部表征仍然是未知的。在本文中，我们研究了课程学习对长短期记忆（LSTM）网络的影响，LSTM网络在许多自然语言处理（NLP）问题中表现出很强的能力。我们在情感分析任务和类似于NLP中序列预测任务的合成任务上的实验表明，课程学习通过将模型偏向于构建建设性表示（即，将先前时间步的内部表示用作最终预测的构建块），对LSTM的内部状态产生了积极影响。我们还发现，当使用课程学习进行训练时，较小的模型会显着提高。最后，我们表明，当训练数据的量是有限的，课程学习帮助更多。
2016-11-18 cs.CL cs.LG cs.NE
TabKD: Tabular Knowledge Distillation through Interaction Diversity of Learned Feature Bins
Department of Computer Science and Engineering, The University of Texas at Arlington（计算机科学与工程系，德克萨斯理工大学阿灵顿分校）
提出TabKD方法，通过学习与教师决策边界对齐的自适应特征箱，生成最大化成对交互覆盖的合成查询，在表格数据知识蒸馏中显著提升学生-教师一致性。
2026-09-30 cs.AI cs.LG
Expressivity of Parameterized and Data-driven Representations in Quality Diversity Search
Leiden Institute of Advanced Computer Science（莱顿高级计算机科学研究所）；Bonn-Rhein-Sieg University of Applied Sciences（波恩-莱茵-锡格应用科学大学）；Queen Mary University of London（伦敦玛丽女王大学）；SensiLab, Monash University（莫纳什大学SensiLab）
我们认为多解决方案的优化和生成模型的生成不同的文物和发现新的解决方案。在域的变化因素未知或太复杂而无法手动编码的情况下，生成模型可以提供学习的潜在空间来近似这些因素。然而，当用作搜索空间时，可能输出的范围和多样性受限于学习模型的表达能力和生成能力。我们比较了在两个不同的搜索空间中进行的质量多样性进化搜索的输出多样性：1）预定义的参数化空间和2）变分自编码器模型的潜在空间。我们发现，搜索一个明确的参数编码创建更多样化的工件集比搜索潜在的空间。一个学习过的模型更擅长在已知数据点之间进行插值，而不是外推或扩展到看不见的例子。我们建议使用生成模型的潜在空间主要用于度量工件之间的相似性，而不是用于搜索和生成。只要可以获得参数编码，它就应该优于学习的表示，因为它产生更高多样性的解决方案。
2021-05-10 cs.LG cs.NE
The Effect of Diversity in Meta-Learning
Google Research（谷歌研究院）；Mila, Québec Artificial Intelligence Institute（Mila——魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；CIFAR（加拿大高等研究院）；IVADO（IVADO数据价值研究所）
近年来的研究表明，任务分配对元学习者的学习成绩起着至关重要的作用。传统观点认为，任务多样性应该提高元学习的性能。在这项工作中，我们发现了相反的证据;（i）我们的实验对我们学习模型的有效性提出了质疑：可以用数据的子集（较低的任务多样性）学习类似的流形。这一发现的问题的优势，提供更多的数据模型，和（ii）增加多样性的任务分布（更高的任务多样性）有时会阻碍模型，并不会导致性能的显着改善，因为以前认为。为了加强我们的研究结果，我们提供了经验和理论证据。
2022-11-24 cs.LG
RainbowPrompt: Diversity-Enhanced Prompt-Evolving for Continual Learning
Department of AI（人工智能系）；School of CSE（计算机科学与工程学院）
针对现有基于提示的持续学习方法表示多样性不足的问题，提出RainbowPrompt提示演化机制，通过变换对齐基础提示、引入可学习概率门控实现知识持续演化，在图像分类和视频动作识别任务上取得显著性能提升。
2025-07-30 cs.AI cs.CV cs.LG
Visualizing Topological Importance: A Class-Driven Approach
Tulane University（杜兰大学）；Montana State University（蒙大拿州立大学）
本文首次提出一种类驱动方法，通过可解释深度学习学习持久图点密度的权重，从而可视化对分类重要的拓扑特征，并在图、三维形状和医学图像数据上验证其有效性。
2023-09-22 cs.LG
When More Data Hurts: Optimizing Data Coverage While Mitigating Diversity Induced Underfitting in an Ultra-Fast Machine-Learned Potential
University of Florida（佛罗里达大学）；Quantum Theory Project（量子理论项目）；Sandia National Laboratories（桑迪亚国家实验室）
本研究针对机器学习原子间势训练数据多样性的平衡问题，以UF³建模非晶氮化硅，发现移除富氮结构的子集训练的模型精度更优，强调了应用专属训练数据的重要性。
2024-09-11 cond-mat.mtrl-sci cs.LG physics.comp-ph
Geodesics of learned representations
Howard Hughes Medical Institute（霍华德·休斯医学研究所）；Center for Neural Science（神经科学中心）；Courant Institute of Mathematical Sciences（库朗数学科学研究所）；New York University（纽约大学）
我们开发了一种新的方法来可视化和精炼学习表征的不变性。具体来说，我们测试的一般形式的不变性，线性化，其中的行动的变换被限制在一个低维子空间。给定两个参考图像（通常，通过一些变换而不同），我们合成一个图像序列，该图像序列位于它们之间的路径上，该路径在表示空间中具有最小长度（“表示测地线”）。如果通过表示将与两个参考图像相关的变换线性化，则该序列应当遵循该变换的逐渐演变。我们使用这种方法来评估一个国家的最先进的图像分类网络的不变性，并发现生成的图像对不同的平移，旋转和膨胀的测地线不演变根据其相关的变换。我们的方法还建议这些故障的补救措施，并按照此处方，我们表明，修改后的表示是能够线性化的各种几何图像变换。
2016-02-22 cs.CV cs.LG
Preventing Value Function Collapse in Ensemble {Q}-Learning by Maximizing Representation Diversity
Intel Labs（英特尔实验室）；University of Central Florida（中佛罗里达大学）
经典的DQN算法受到学习Q函数的高估偏差的限制。随后的算法提出了技术，以减少这个问题，而不是完全消除它。最近，最大最小和EnergyQ-学习算法使用不同的估计提供的学习者的合奏，以减少高估偏差。不幸的是，这些学习器可以收敛到参数或表示空间中的同一点，回到经典的单神经网络DQN。在本文中，我们描述了一种正则化技术，以最大限度地提高这些算法的集成多样性。我们提出并比较了五个正则化函数的灵感来自经济学理论和共识优化。我们表明，正则化的方法显着优于Maxmin和Enclusive Q-学习算法以及非集成基线。
2022-01-21 cs.AI cs.LG stat.ML
Empirical Evidences for the Effects of Feature Diversity in Open Set Recognition and Continual Learning
TU Berlin（柏林技术大学）
本文通过实验证明增强特征多样性既能提升开放集样本识别能力，又能促进持续学习中旧知识保留与新数据整合，为相关方法设计提供依据。
2025-08-18 cs.CV cs.LG
Deep Neural Network Ensembles against Deception: Ensemble Diversity, Accuracy and Robustness
Georgia Institute of Technology（佐治亚理工学院）
包围学习是一种集成多个DNN学习器以提高单个学习器的预测性能的方法。当集合预测的误差更均匀地分布时，多样性更大。更大的多样性与集合精度的增加高度相关。多样性优化集成学习的另一个有吸引力的特性是它对欺骗的鲁棒性：对抗性扰动攻击可以误导一个DNN模型进行错误分类，但可能无法始终如一地欺骗其他集成DNN成员。在本文中，我们首先概述了集成多样性的概念，并在DNN分类器的背景下研究了三种类型的集成多样性。然后，我们描述了一组集成多样性措施，一套算法，用于创建多样性集成和执行集成共识（投票或学习），通过战略性地结合各个成员的输出生成高精度集成输出。本文最后讨论了一组公开的问题，在量化集成多样性的鲁棒深度学习。
2019-08-29 cs.LG stat.ML
Multi-Objective Quality-Diversity in Unstructured and Unbounded Spaces
Imperial College London（帝国理工学院）
本文提出MOUR-QD算法，解决MOQD在非结构化和无界特征空间中的应用限制，在机器人任务中表现优异，超越网格方法并开辟了无监督领域应用新机遇。
2025-03-28 cs.AI cs.LG cs.NE
Exploring Data Augmentations on Self-/Semi-/Fully- Supervised Pre-trained Models
Carnegie Mellon University（卡内基梅隆大学）；Tohoku University（东北大学）；Center for Advanced Intelligence Project (AIP), RIKEN（理化学研究所先进智能项目中心（AIP））
本文实证研究 Random Erasing、CutOut、CutMix 和 MixUp 四种数据增强对自监督/半监督/全监督预训练模型的影响，揭示遮盖区域降低不变性但提升多样性，而 MixUp 在几乎不损失不变性的情况下显著增强多样性。
2023-10-28 cs.AI cs.CV cs.LG
PathBench: A Benchmarking Platform for Classical and Learned Path Planning Algorithms
Imperial College London（伦敦帝国理工学院）；Ryerson University（瑞尔森大学）
路径规划是移动机器人技术中的一个重要组成部分。存在各种各样的路径规划算法，但很少有人尝试对算法进行整体基准测试或统一它们的接口。此外，随着深度神经网络的最新进展，迫切需要促进这种基于学习的规划算法的开发和基准测试。本文介绍了PathBench，一个平台，用于开发，可视化，培训，测试和基准测试现有和未来的，经典的和学习的2D和3D路径规划算法，同时提供支持机器人操作系统（ROS）。支持许多现有的路径规划算法;例如A*，波前，快速探索随机树，值迭代网络，门控路径规划网络;并且集成新算法很容易并且明确指定。我们通过比较实现的经典和学习算法的指标，如路径长度，成功率，计算时间和路径偏差的基准测试能力的PathBench。这些评估是在内置的PathBench地图和来自视频游戏和现实世界数据库的外部路径规划环境中完成的。PathBench是开源的。
2021-05-04 cs.LG cs.RO
Policy Manifold Search: Exploring the Manifold Hypothesis for Diversity-based Neuroevolution
Imperial College London（伦敦帝国理工学院）
神经进化是基于梯度的优化的替代方案，它有可能避免局部最小值并允许并行化。主要的限制因素是，它通常不能很好地与参数空间维度进行缩放。受最近研究神经网络内在维度和损失景观的工作的启发，我们假设存在一个低维流形，嵌入在策略网络参数空间中，围绕该流形分布着高密度的多样化和有用的策略。本文提出了一种新的方法，基于多样性的政策搜索通过神经进化，利用学习表示的政策网络参数，通过执行政策搜索在这个学习的表示空间。我们的方法依赖于质量多样性（QD）框架，它提供了一个原则性的方法来搜索策略，并保持了一个集合的不同的政策，作为一个数据集学习的政策表示。此外，我们使用逆映射函数的雅可比矩阵来指导在表示空间中的搜索。这确保了生成的样本在映射回原始空间后仍保留在高密度区域中。最后，我们评估了我们的贡献，在模拟环境中的四个连续控制任务，并比较基于多样性的基线。
2021-04-27 cs.LG cs.NE
Dynamic Filter Networks
KU Leuven（鲁汶大学）；iMinds（iMinds研究院）；ETH Zurich（苏黎世联邦理工学院）
在传统的卷积层中，学习的滤波器在训练后保持固定。相比之下，我们引入了一个新的框架，动态过滤器网络，其中过滤器是动态生成的输入条件。我们表明，这种架构是一种强大的架构，由于其自适应性而具有更大的灵活性，但不会过度增加模型参数的数量。可以通过这种方式学习各种各样的滤波操作，包括局部空间变换，但也包括其他操作，如选择性（去）模糊或自适应特征提取。此外，多个这样的层可以被组合，例如在递归架构中。我们证明了动态滤波器网络在视频和立体声预测任务上的有效性，并在移动MNIST数据集上以更小的模型达到最先进的性能。通过可视化学习的过滤器，我们说明了网络只通过查看未标记的训练数据来获取流量信息。这表明该网络可以用于以无监督的方式预训练各种监督任务的网络，如光流和深度估计。
2016-06-06 cs.CV cs.LG
Enhancing Time Series Classification with Diversity-Driven Neural Network Ensembles
Université de Haute Alsace（阿尔萨斯大学）；IRIMAS；Monash University（墨尔本大学）；DSAI（数据科学与人工智能学院）
本文提出了一种多样性驱动的神经网络集成框架，通过特征正交损失促进特征多样性，从而在时间序列分类中实现更高效和可扩展的集成学习。
2026-02-07 cs.LG
Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness
University of Science and Technology of China（中国科学技术大学）；Baidu Talent Intelligence Center（百度人才智库中心）；Rutgers, The State University of New Jersey（罗格斯大学新泽西州立大学）
变分自编码器（VAE）是最流行的生成模型之一，它基于摊销变分推理来逼近隐变量的后验。然而，当解码器网络具有足够的表达能力时，VAE可能会导致后验崩溃;也就是说，可能会学习到无信息的潜在表示。为此，在本文中，我们提出了一种替代模型，DU-VAE，用于学习更多样化和更少不确定性的潜在空间，从而可以以有意义和紧凑的方式学习表示。具体来说，我们首先从理论上证明，它会导致更好的潜在空间，高多样性和低不确定性的意识，通过相应地控制整个数据的后验参数的分布。然后，在不引入新的损失项或修改训练策略的情况下，我们建议同时利用方差上的Dropout和均值上的Batch-Normalization来隐式地正则化它们的分布。此外，为了评估推广效果，我们还利用DU-VAE的逆自回归流为基础的VAE（VAE-IAF）经验。最后，在三个基准数据集上进行的大量实验清楚地表明，我们的方法在可能性估计和底层分类任务上的表现都优于最先进的基线。
2021-10-24 cs.LG
Encouraging Intra-Class Diversity Through a Reverse Contrastive Loss for Better Single-Source Domain Generalization
LIRIS（里昂图像与信息系统实验室）；École Centrale de Lyon（里昂中央理工学院）；Thales LAS France（法国泰雷兹激光系统公司）
传统的深度学习算法在训练数据的域之外进行测试时通常无法推广。这个问题可以通过在训练时使用来自目标域的未标记数据来缓解，但是由于一旦部署了学习模型，数据分布就会在现实应用中动态变化，因此创建对未知和不可预见的域变化具有鲁棒性的网络至关重要。在本文中，我们将重点讨论神经网络无法做到这一点的原因之一：深度网络只关注最明显的、可能是虚假的线索来进行预测，而对有用但效率略低或更复杂的模式视而不见。这种行为已经被发现，有几种方法部分解决了这个问题。为了研究它们的有效性和局限性，我们首先设计了一个公开的基于MNIST的基准测试，以精确地测量算法找到“隐藏”模式的能力。然后，我们通过我们的基准测试评估最先进的算法，并表明这个问题在很大程度上是未解决的。最后，我们提出了一个部分反向的对比损失，以鼓励类内的多样性，并找到不太强的相关模式，其效率是由我们的实验证明。
2023-02-02 cs.AI cs.CV cs.LG
Discovering Representations for Black-box Optimization
Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Université de Lorraine（洛林大学）；Bonn-Rhein-Sieg University of Applied Sciences（波恩莱茵锡格应用技术大学）
在黑盒优化中，解决方案的编码是表达能力和领域知识之间的微妙的、手工制作的平衡--在探索各种各样的解决方案和确保这些解决方案有用之间。我们的主要观点是，这个过程可以通过使用质量多样性算法（这里是MAP-Elites）生成高性能解决方案的数据集来自动化，然后使用生成模型（这里是变分自编码器）从该数据集学习表示。我们的第二个见解是，这种表示可以用于将质量多样性优化扩展到更高的维度-但只有当我们仔细混合使用学习表示生成的解决方案和使用传统变异算子生成的解决方案时。我们证明了这些能力，通过学习一个低维编码的逆运动学的千关节平面arm. Results结果表明，学习表示可以解决高维问题的数量级少的评价比标准的MAP精英，而且，一旦解决，产生的编码可用于快速优化的新的，但类似的任务。所提出的技术不仅将质量多样性算法扩展到高维，而且表明黑盒优化编码可以自动学习，而不是手动设计。
2020-07-05 cs.LG cs.NE
Neuronal diversity can improve machine learning for physics and beyond
North Carolina State University（北卡罗来纳州立大学）；The Jackson Laboratory for Genomic Medicine（杰克逊基因组医学实验室）；The College of Wooster（伍斯特学院）；Indian Institute of Science Education and Research Mohali（印度科学教育与研究学院莫哈利分校）
本研究提出由学习自身激活函数并快速多样化的神经元构建神经网络，在图像分类和非线性回归上超越同质网络，并通过多个物理示例展示学习到的多样性的优势。
2023-08-31 cs.LG cs.NE
Learning distinct features helps, provably
Tampere University（坦佩雷大学）；University of Jyväskylä（于韦斯屈莱大学）；Finnish Environment Institute（芬兰环境研究所）；Aarhus University（奥胡斯大学）
该研究针对两层神经网络的特征多样性问题，以隐藏层特征的平均$L_2$距离衡量多样性，基于Rademacher复杂度推导出依赖特征多样性的泛化界，证明隐藏层特征越多样泛化越好，并给出向深层网络与不同损失的扩展方法。
2023-06-13 cs.CV cs.LG
On the Generalization Error Bounds of Neural Networks under Diversity-Inducing Mutual Angular Regularization
Carnegie Mellon University（卡内基梅隆大学）
近年来，潜变量模型（LVMs）的多样性诱导正则化方法（Diversity-inducing regularization methods）被广泛研究，旨在解决潜变量建模中的几个问题：（1）如何捕获数据背后的长尾模式;（2）如何在不牺牲表达性的前提下降低模型复杂度;（3）如何提高学习模式的可解释性。虽然多样性诱导正则化，如相互角正则化的有效性已被证明经验，他们仍然缺乏严格的理论分析。在本文中，我们的目标是弥合这一差距，并分析相互角度正则化（MAR）如何影响监督LVMs的泛化性能。以神经网络（NN）为例进行了研究，分析表明，增加NN中隐层单元的多样性会减小估计误差，增加逼近误差。除了理论分析外，我们还进行了实证研究，结果表明，MAR可以大大提高神经网络的性能，实证观察与理论分析是一致的。
2015-11-23 cs.LG
The Principle of Diversity: Training Stronger Vision Transformers Calls for Reducing All Levels of Redundancy
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Microsoft Research（微软研究院）
视觉Transformer（ViTs）越来越受欢迎，因为它们通常被认为具有比传统卷积网络更高的建模能力和表示灵活性。然而，这种潜力是否在实践中得到了充分释放是值得怀疑的，因为学习的ViTs经常受到过度平滑的影响，产生可能冗余的模型。最近的工作做了初步的尝试，以确定和减轻这种冗余，例如，通过正则化嵌入相似性或重新注入卷积类结构。然而，在这一领域，还没有关于虚拟技术冗余程度的“从头到脚的评估”，以及通过彻底减轻这种冗余，我们可以获得多少好处。本文首次系统地研究了冗余在补丁嵌入、注意力图和权重空间三个层次上的普遍存在性。有鉴于此，我们主张训练ViTs的多样性原则，通过提出相应的正则化器，鼓励在每个级别上的表示多样性和覆盖率，从而能够捕获更多的歧视性信息。在ImageNet上进行的大量实验验证了我们的建议的有效性，在很大程度上消除了观察到的ViT冗余，并显着提高了模型的泛化能力。例如，我们多样化的DeiT在ImageNet上获得了0.70%~1.76%的准确率，并且高度降低了相似性。我们的代码可在https://github.com/VITA-Group/Diverse-ViT上完整获取。
2022-03-12 cs.CV cs.LG
Quality-Diversity Actor-Critic: Learning High-Performing and Diverse Behaviors via Value and Successor Features Critics
Imperial College London（帝国理工学院）；Iconic AI
提出QDAC算法，通过价值函数与后继特征评论家学习高性能且多样化的行为，在连续控制任务中显著提升性能与多样性，并增强对扰动环境的适应能力。
2024-06-03 cs.AI cs.LG
Active Learning Strategies for Efficient Machine-Learned Interatomic Potentials Across Diverse Material Systems
Department of Computer Science and Engineering, NIT Warangal, India（计算机科学与工程系，瓦朗加尔国家理工学院）；Department of Electronics and Communication Engineering, NIT Warangal, India（电子与通信工程系，瓦朗加尔国家理工学院）；Department of Mechanical Engineering, NIT Warangal, India（机械工程系，瓦朗加尔国家理工学院）
本文提出了一种跨多样化材料系统的主动学习策略，通过多样性采样在TiO2上实现10.9%的性能提升，以更少的标记样本达到等同准确性，推动资源有限研究人员的MLIP开发。
2026-01-21 cs.LG
PTP: Parallelized Tracking and Prediction with Graph Neural Networks and Diversity Sampling
Carnegie Mellon University（卡内基梅隆大学）
多目标跟踪（MOT）和轨迹预测是现代3D感知系统中的两个关键组成部分，需要对多智能体交互进行精确建模。我们假设，这是有益的，统一在一个框架下的任务，以学习代理交互的共享功能表示。此外，我们提出了一个并行化的框架来缓解这个问题，而不是顺序地执行跟踪和预测，这可能会将错误从跟踪传播到预测。此外，我们的并行跟踪预测框架采用了两个额外的新的计算单元。首先，我们通过引入图神经网络（GNNs）来使用特征交互技术来捕获代理相互交互的方式。GNN能够改进用于MOT关联的区分性特征学习，并为轨迹预测提供社会感知上下文。其次，我们使用多样性采样函数来提高预测轨迹的质量和多样性。学习的采样函数经过训练，可以有效地从生成轨迹分布中提取各种结果，并有助于避免生成重复轨迹样本的问题。我们在KITTI和nuScenes数据集上进行了评估，结果表明，我们的具有社会感知特征学习和多样性采样的方法在3D MOT和轨迹预测方面实现了新的最先进性能。项目网址：https://www.xinshuoweng.com/projects/PTP
2021-04-03 cs.CV cs.LG cs.RO
DeepPD: Joint Phase and Object Estimation from Phase Diversity with Neural Calibration of a Deformable Mirror
HHMI Janelia Research Campus（HHMI贾能ia研究园区）；University of Chicago（芝加哥大学）
DeepPD提出一种深度学习框架，结合神经表示与可变形镜学习模型，仅用五张图像联合估计相位和物体，提升荧光显微镜重建质量与鲁棒性。
2025-04-19 cs.LG physics.optics
adSformers: Personalization from Short-Term Sequences and Diversity of Representations in Etsy Ads
Etsy（Etsy公司）
本研究提出包含三部分的ADPM模块，通过编码用户短期行为序列与多样化表征实现广告个性化，在CTR和PCCVR模型上离线ROC-AUC显著优于生产基线，并已全量部署到Etsy广告流量中。
2023-06-09 cs.LG
FAID Diversity via Neural Networks
The University of Arizona（亚利桑那大学）；University of California, Davis（加利福尼亚大学戴维斯分校）
解码器分集是一种强大的纠错框架，其中解码器的集合协作地纠正一组错误模式，否则任何单个解码器都无法纠正。本文提出了一种新的设计低密度奇偶检验（LDPC）码有限字母迭代译码器（FAID）在二进制对称信道（BSC）中的译码器分集的方法，目的是在保证瀑布性能的同时降低错误平层。建议的解码器多样性是通过训练一个循环量化神经网络（RQNN）来学习/设计FAID。我们第一次证明了机器学习的解码器可以在性能上超过相同复杂度的人造解码器。由于RQNN可以对广泛的FAID进行建模，因此它们能够学习任意的FAID。为了向RQNN提供错误平层的足够知识，通过从最有问题的错误模式的集合（捕获集合）中采样来构造训练集合。在现有的方法中，使用交叉熵函数作为损失函数，我们引入了一个帧错误率（FER）为基础的损失函数训练的RQNN纠正特定的错误模式，而不是减少比特出错率（BER）的目标。实例和仿真结果表明，RQNN辅助的译码器分集提高了LDPC码的纠错能力，降低了错误平层。
2021-05-10 cs.IT cs.LG math.IT
