Deep Weight Factorization: Sparse Learning Through the Lens of Artificial Symmetries
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文提出深度权重分解方法，将权重分解为多个因子并施加可微L2正则化，理论上等价于非凸稀疏正则化，并通过定制初始化和学习率策略在多种架构与数据集上优于浅层分解和剪枝方法。
2025-02-07 cs.LG stat.ML
DL-DDA -- Deep Learning based Dynamic Difficulty Adjustment with UX and Gameplay constraints
Playtika Research（Playtika研究院）
动态难度调整（$DDA$）是为了优化用户体验而自动改变游戏难度的过程。这是几乎所有现代游戏的重要组成部分。大多数现有的DDA方法集中在一个玩家的经验，而不看其他玩家。我们提出了一种方法，自动优化用户体验，同时考虑到其他玩家和宏观约束的游戏。该方法基于深度神经网络架构，该架构涉及在其大部分支持中具有零梯度的计数损失约束。我们提出了一种优化该损失函数的方法，并对其性能进行了理论分析。最后，我们提供了一个内部实验的实证结果，该实验是在$200,000$玩家身上进行的，并发现其表现优于游戏设计专家制作的相应的手动算法。
2021-06-06 cs.HC cs.LG
The loss surface of deep linear networks viewed through the algebraic geometry lens
United Technologies Research Center（联合技术研究中心）；Auburn University at Montgomery（奥本大学蒙哥马利分校）；University of Notre Dame（圣母大学）
利用现代计算代数几何的观点，研究了深度线性神经网络模型的优化景观的性质。在澄清了“平坦”极小值的各种定义之后，我们证明了几何平坦极小值，这仅仅是深度线性网络的残留连续对称性的伪影，可以通过广义$L_2$正则化直接去除。然后，我们建立了上界的帮助下，这些网络的孤立稳定点的数量的代数几何。使用这些上界，并利用数值代数几何方法，我们找到所有的平稳点适度的深度和矩阵的大小。我们证明了在非零正则化的情况下，深度线性网络确实具有局部极小值，而不是全局极小值。我们的计算结果澄清了深度线性网络损失面的某些方面，并提供了新的见解。
2018-10-17 cs.LG math.AG stat.ML
A Modular Deep Learning Pipeline for Galaxy-Scale Strong Gravitational Lens Detection and Modeling
Argonne National Laboratory（阿贡国家实验室）；National Astronomical Observatories of China（中国科学院国家天文台）；University of California, Berkeley（加州大学伯克利分校）
即将进行的大型天文观测预计将捕捉到数量空前的强引力透镜系统。深度学习正在成为一种有前途的实用工具，用于检测和量化这些星系级图像失真。缺乏大量的代表性数据，从目前的天文调查激励发展一个强大的前向建模方法，使用合成透镜图像。使用在最先进的河外目录上创建的强透镜的模拟样本，我们训练模块化深度学习管道，用于不确定性量化检测和建模，中间图像处理组件用于对透镜系统进行去噪和去混合。我们展示了高度的可解释性和控制系统，由于特定领域的任务模块训练与不同阶段的合成图像生成。对于镜头检测和建模，我们获得语义上有意义的潜在空间，分离类强镜头图像，并产生不确定性估计，解释错误分类的图像的起源，并提供概率预测的镜头参数。使用斯巴鲁望远镜的Hyper Suprime-Cam相机和LSST DESC模拟DC 2巡天星表的图像进行了推理流程的验证。
2022-10-21 astro-ph.CO astro-ph.IM cs.LG
A Peek Into the Hidden Layers of a Convolutional Neural Network Through a Factorization Lens
University of California Riverside（加州大学河滨分校）
尽管深度神经网络在各种监督学习问题中越来越受欢迎并取得了成功，但它们非常难以解释和调试：给定并已经训练好的深度神经网络，以及一组测试输入，我们如何才能深入了解这些输入如何与神经网络的不同层交互？此外，我们是否可以根据不同输入下观察到的行为来表征给定的深度神经网络？在本文中，我们提出了一种新的基于因子分解的方法来理解不同的深度神经网络如何运行。在我们的初步结果中，我们发现了一些有趣的模式，这些模式将因子分解排名（通常用作无监督数据分析中的兴趣度量）与深度网络的训练效果联系起来。最后，我们提出的方法可以帮助提供关于如何高水平的视觉见解。网络输入的可解释模式在深层网络的隐藏层内表现。
2018-06-06 cs.CV cs.LG stat.ML
Not All Pixels Are Equal: Difficulty-aware Semantic Segmentation via Deep Layer Cascade
The Chinese University of Hong Kong（香港中文大学）；Shenzhen Institutes of Advanced Technology, CAS（中国科学院深圳先进技术研究院）
为了提高语义分割的准确性和速度，提出了一种新的深层级联（LC）方法。与由多个独立模型组成的传统模型级联（MC）不同，LC将单个深度模型视为多个子模型的级联。较早的子模型经过训练以处理简单和自信的区域，并且它们逐渐将较难的区域前馈到下一个子模型进行处理。卷积仅在这些区域上计算以减少计算。所提出的方法具有几个优点。首先，LC在浅层阶段将大部分容易区域分类，并使深层阶段专注于少数困难区域。这种自适应和“困难意识”学习提高了分割性能。其次，由于在浅层阶段的早期决策，LC加速了深层网络的训练和测试。第三，与MC相比，LC是一个端到端的可训练框架，允许所有子模型的联合学习。我们在PASCAL VOC和Cityscapes数据集上评估了我们的方法，实现了最先进的性能和快速的速度。
2017-04-05 cs.CV cs.LG
Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond
University of Cambridge（剑桥大学）
本研究提出由一阶近似序列构成的简单神经网络分析模型，通过三个案例揭示其在双下降、grokking等现象中的实证洞见，还能分离训练组件、分析设计选择影响并发现神经网络学习与梯度提升的相似性。
2024-10-31 cs.AI cs.LG stat.ML
Deep Generative Models through the Lens of the Manifold Hypothesis: A Survey and New Connections
Layer 6 AI
本文首次从流形假设视角综述深度生成模型，证明高维似然数值不稳定性不可避免，并揭示基于自编码器表示的DGMs近似最小化Wasserstein距离，解释了潜在扩散模型的优越性。
2024-09-25 cs.AI cs.LG stat.ML
Deep Learning for Optical Misalignment Diagnostics in Multi-Lens Imaging Systems
School of Computer Science and AI, Faculty of Exact Sciences, Tel Aviv University（计算机科学与人工智能学院，精确科学学院，特拉维夫大学）；School of Physics and Astronomy, Faculty of Exact Sciences, Tel Aviv University（物理与天文学学院，精确科学学院，特拉维夫大学）
提出两种基于深度学习的逆向设计方法，利用光学测量诊断多透镜系统的失调误差，实验证明其在横向平移和倾斜预测上精度高，有望重塑精密成像制造与质量控制。
2025-06-29 cs.AI cs.LG physics.optics
Till the Layers Collapse: Compressing a Deep Neural Network through the Lenses of Batch Normalization Layers
ENSAE（法国国家统计与经济管理学院）
本文提出TLC方法，通过批归一化层视角减小网络深度来压缩深度神经网络，降低计算需求与延迟，并在Swin-T等模型及图像和NLP任务上得到验证。
2024-12-19 cs.CL cs.CV cs.LG
Deep Graph Mapper: Seeing Graphs through the Neural Lens
University of Cambridge（剑桥大学）
图表示学习的最新进展已经导致了捕获图的主要属性的压缩编码的出现。然而，尽管这些抽象表示对于下游任务来说是强大的，但它们并不同样适用于可视化目的。在这项工作中，我们合并映射器，拓扑数据分析（TDA）领域的算法，与图神经网络（GNNs）的表达能力，以产生分层的，拓扑接地的图形可视化。这些可视化不仅有助于识别复杂图形的结构，而且还提供了一种理解应用于它们的模型以解决各种任务的方法。我们进一步证明了映射器作为一个拓扑框架图池的适用性，通过数学证明了与最小割和差池的等价性。在此框架的基础上，我们引入了一种新的池化算法的PageRank，获得竞争力的结果与国家的最先进的方法对图分类基准。
2020-02-20 cs.LG cs.SI stat.ML
The Difficulty of Passive Learning in Deep Reinforcement Learning
DeepMind；Google Research, Brain Team（谷歌研究院大脑团队）
在没有主动环境交互的情况下，从观测数据中学习行动是强化学习（RL）中的一个众所周知的挑战。最近的方法涉及对学习策略或保守更新的约束，防止数据集的状态-动作分布的强烈偏离。虽然这些方法使用非线性函数近似进行评估，理论上的理由大多限于表格或线性的情况下。鉴于深度强化学习令人印象深刻的结果，我们认为需要更清楚地了解这种情况下的挑战。在Held & Hein 1963年的经典实验中，我们提出了“串联学习”的实验范式，这有助于我们对离线强化学习中的困难进行实证分析。我们将函数逼近与固定数据分布结合起来确定为最强的因素，从而扩展但也挑战了过去工作中提出的假设。我们的研究结果为离线深度强化学习提供了相关见解，同时也为在线学习控制案例中观察到的现象提供了新的见解。
2021-10-26 cs.AI cs.LG
Zero-Incentive Dynamics: a look at reward sparsity through the lens of unrewarded subgoals
本文提出零激励动力学概念，揭示关键子目标无直接奖励时现有深度子目标算法失效，且性能对子目标完成与最终奖励的时间邻近性高度敏感，指出需发展不依赖即时激励的潜在任务结构推断机制。
2025-07-02 cs.AI cs.LG
Interpretable Artificial Intelligence through the Lens of Feature Interaction
University of Southern California（南加利福尼亚大学）
深度学习模型的解释是一个非常具有挑战性的问题，因为它们有大量的参数，节点之间的复杂连接以及难以理解的特征表示。尽管如此，许多人认为可解释性是可信度、公平性和安全性的关键解决方案，特别是当深度学习被应用于更关键的决策任务时，如信贷审批、工作筛选和累犯预测。有大量优秀的研究为深度学习模型提供了可解释性;然而，许多常用的方法没有考虑一种称为“特征交互”的现象。“这项工作首先解释了特征交互的历史和现代重要性，然后调查了明确考虑特征交互的现代可解释性方法。本调查旨在揭示特征交互在机器学习可解释性的更大背景下的重要性，特别是在深度学习模型严重依赖特征交互的现代背景下。
2021-03-01 cs.LG
Rethinking Deep Alignment Through The Lens Of Incomplete Learning
针对大型语言模型安全对齐后仍易受对抗攻击的问题，本文通过机制分析发现自回归训练的梯度弱化导致不完全安全学习，提出基础偏好token指标及针对性补全方法，大幅提升对抗鲁棒性且保留通用能力。
2025-11-15 cs.LG
Hypernym Bias: Unraveling Deep Classifier Training Dynamics through the Lens of Class Hierarchy
Saint-Petersburg State University of Aerospace Instrumentation（圣彼得堡航空航天仪器制造大学）；Pavlov Institute of Physiology, RAS（俄罗斯科学院巴甫洛夫生理学研究所）
该研究通过类别层次结构视角探究深度分类器训练动态，发现网络先学习上位词类别后学习下位词类别，提出追踪特征流形演变的框架，揭示神经坍缩特性在上位词空间更早出现，为分层学习机制提供新见解。
2025-02-17 cs.AI cs.LG
Understanding Oversquashing in GNNs through the Lens of Effective Resistance
Oregon State University（俄勒冈州立大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）
本文以节点间有效电阻刻画 GNN 的过度挤压，提出用总有效电阻界定挤压程度，并设计边添加算法最小化该指标，从而通过图重连提升 GNN 性能。
2023-06-06 cs.LG
fakeWeather: Adversarial Attacks for Deep Neural Networks Emulating Weather Conditions on the Camera Lens of Autonomous Systems
Technische Universität Wien（维也纳工业大学）；Politecnico di Torino（都灵理工大学）；New York University（纽约大学）
近年来，深度神经网络（DNN）在许多应用中取得了令人瞩目的性能，同时也有一些研究增强了其对恶意攻击的脆弱性。在本文中，我们模拟自然天气条件的影响，引入误导DNN的合理扰动。通过观察这种大气扰动对相机镜头的影响，我们对这些模式进行建模，以创建不同的遮罩，来模拟雨、雪和冰雹的影响。尽管我们的攻击带来的干扰是可见的，但由于它们与自然事件的关联，它们的存在仍然没有被注意到，这对于全自动和无人驾驶车辆来说可能是灾难性的。我们在多个卷积神经网络和胶囊网络模型上测试了我们提出的fakeWeather攻击，并报告了在存在这种对抗性扰动的情况下明显的准确性下降。我们的工作为DNN引入了一种新的安全威胁，这对于安全关键型应用和自治系统尤其严重。
2022-05-27 cs.CR cs.LG
Data Curation Through the Lens of Spectral Dynamics: Static Limits, Dynamic Acceleration, and Practical Oracles
本文通过频谱动态视角提出数据整理方法，揭示静态修剪的局限性及动态加速的潜力，强调理想预言机对学习加速的理论贡献。
2025-12-02 cs.AI cs.LG
Universal Adversarial Perturbations Through the Lens of Deep Steganography: Towards A Fourier Perspective
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
人们对对抗攻击的兴趣日益高涨，这源于人类视觉与深度神经网络（DNN）之间的不一致，即人类难以察觉的扰动欺骗了DNN。此外，可以生成通常称为通用对抗扰动（UAP）的单个扰动来欺骗大多数图像的DNN。最近在深度隐写任务中也观察到了类似的错位现象，其中解码器网络可以从稍微扰动的封面图像中检索出秘密图像。我们试图从傅立叶的角度来解释两者的成功。我们进行了特定于任务的联合分析，并揭示了（a）频率是影响其性能的关键因素，基于所提出的用于量化频率分布的熵度量;（b）他们的成功可以归因于DNN对高频内容高度敏感。我们还执行特征层分析，以深入了解模型的泛化和鲁棒性。此外，我们还提出了两种新的通用扰动变体：（1）通用秘密对抗扰动（USAP），同时实现攻击和隐藏;（2）高通UAP（HP-UAP），人眼不太可见。
2021-02-12 cs.CV cs.LG
Cognitive Episodes in LLM Reasoning Traces Enable Interpretable Human Item Difficulty Prediction
Virginia Tech（弗吉尼亚理工大学）；University of Maryland（马里兰大学）；MBZUAI（穆桑大学人工智能研究所）；University of Pittsburgh（匹兹堡大学）
提出Epi2Diff框架，将大型推理模型的推理轨迹映射为认知片段序列，通过推理规模、努力分配和状态转换建模项目难度，在真实数据集上优于基线方法。
2026-08-11 cs.AI cs.CL cs.CY
Joint Deep Reinforcement Learning and Unfolding: Beam Selection and Precoding for mmWave Multiuser MIMO with Lens Arrays
Zhejiang University（浙江大学）；University of California, Davis（加州大学戴维斯分校）
基于离散透镜阵列（DLA）的毫米波（mmWave）多用户多输入多输出（MU-MIMO）系统由于其简单的硬件实现和优异的性能而受到广泛关注。在这项工作中，我们研究了波束选择和数字预编码矩阵的毫米波MU-MIMO系统与DLA的联合设计，以最大限度地提高和速率的发射功率约束和选择矩阵结构的约束。针对离散变量和耦合约束的非凸问题，提出了一种有效的联合神经网络设计框架，该框架由基于深度强化学习（DRL）的神经网络和基于深度展开的神经网络组成，分别用于优化波束选择和数字预编码矩阵.对于基于DRL的神经网络，我们将波束选择问题描述为一个马尔可夫决策过程，并提出了一种双深度Q网络算法来解决这个问题，基站被认为是一个代理，其中的状态，动作和奖励函数被仔细设计。在数字预编码矩阵的设计方面，本文提出了一种基于深度展开神经网络的加权最小均方误差迭代算法，该算法通过引入可训练参数将算法展开为一种分层结构。仿真结果表明，这种联合训练的神经网络明显优于现有的迭代算法，具有较低的复杂度和较强的鲁棒性。
2021-01-05 cs.IT cs.LG eess.SP
