End-To-End Semi-supervised Learning for Differentiable Particle Filters
University of Surrey（萨里大学）
将神经网络结合到粒子滤波器中的最新进展提供了在大规模现实世界应用中应用粒子滤波器所需的灵活性。在这个框架中的动态和测量模型是通过粒子滤波器的微分实现学习。过去在优化这种模型方面的努力通常需要了解真实状态，这可能是昂贵的，甚至在实践中无法获得。在本文中，为了减少对注释数据的需求，我们提出了一个端到端的学习目标的基础上最大化的伪似然函数，可以提高估计的状态时，大部分的真实状态是未知的。我们评估所提出的方法在机器人状态估计任务与模拟和真实世界的数据集的性能。
2021-03-28 cs.LG stat.ML
Weakly Supervised Object Detection in Chest X-Rays with Differentiable ROI Proposal Networks and Soft ROI Pooling
针对胸部X射线疾病定位，提出带ROI注意力模块的弱监督ROI提议网络WSRPN，仅用图像标签实现端到端边界框提议与分类，性能优于现有方法。
2024-02-19 cs.CV cs.LG
Fair Differentiable Neural Network Architecture Search for Long-Tailed Data with Self-Supervised Learning
School of Computer Science；Technology University of Science
本文探索改善NAS在长尾数据集上的搜索与训练性能，详细介绍了整合自监督学习与公平可微NAS的SSF-NAS方法，并在CIFAR10-LT数据集上验证了其有效性。
2024-06-19 cs.LG
Self-Training with Differentiable Teacher
Georgia Institute of Technology（佐治亚理工学院）；Amazon（亚马逊）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
自我训练在各种半监督和弱监督学习任务中取得了巨大的成功。该方法可以被解释为教师-学生框架，其中教师生成伪标签，学生进行预测。两个模型交替更新。然而，这种简单的交替更新规则会导致训练不稳定。这是因为老师的一个小变化可能会导致学生的重大变化。为了解决这个问题，我们提出了DRIFT，可区分的自我训练的缩写，将师生视为Stackelberg游戏。在这个博弈中，领导者总是比追随者处于更有利的地位。在自我训练中，学生对预测性能做出贡献，教师通过生成伪标签来控制训练过程。因此，我们把学生当作领导者，把老师当作追随者。领导者通过承认追随者的策略来获得优势，其中涉及可微伪标签和可微样本权重。因此，领导者和追随者的互动可以有效地捕捉通过Stackelberg梯度，通过区分追随者的策略。半监督和弱监督分类以及命名实体识别任务的实验结果表明，我们的模型大大优于现有的方法。
2022-05-03 cs.CL cs.LG
Differentiable Clustering with Perturbed Spanning Forests
ENS & INRIA（巴黎高等师范学校与法国国家信息与自动化研究所）；Google DeepMind（谷歌DeepMind）
本研究提出一种基于最小权生成森林随机扰动的可微聚类方法，可高效计算梯度并接入端到端训练，还设计了适配部分聚类数据的损失函数，在多数据集的监督与半监督任务中表现良好。
2023-11-06 cs.AI cs.LG stat.ML
Unsupervised Learning of Graph Hierarchical Abstractions with Differentiable Coarsening and Optimal Transport
MIT-IBM Watson AI Lab, IBM Research（IBM研究院MIT-IBM沃森人工智能实验室）
分层抽象是一种解决各种学科中大规模图问题的方法。粗化就是这样一种方法：它生成一个金字塔图，其中下一级的图是上一级图的结构摘要。随着科学计算的发展，许多粗化策略都是基于数学驱动的几何学。最近，在深度学习中存在重新兴起的兴趣，以设计可通过可微参数化学习的分层方法。这些方法与监督学习的下游任务配对。然而，在实践中，监督信号（例如，标签）是稀缺的，并且通常很难获得。在这项工作中，我们提出了一种无监督的方法，创造OTCoarsening，使用最佳的运输。粗化矩阵和传输成本矩阵都是参数化的，因此可以针对给定的一组图学习和定制最佳粗化策略。我们表明，所提出的方法产生有意义的粗图，并产生有竞争力的性能相比，监督方法的图分类和回归。
2020-12-06 cs.LG stat.ML
Learning Differentiable Particle Filter on the Fly
University of Surrey（萨里大学）
针对可微粒子滤波器现有离线监督训练存在部署延迟、易受分布偏移影响的问题，提出基于无监督损失的在线学习框架，在无真实状态的在线场景下通过滤波操作实现最大似然参数更新，仿真实验验证了其有效性。
2023-12-16 cs.LG
Learning to Identify Physical Parameters from Video Using Differentiable Physics
University of Siegen（锡根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
视频表示学习由于其在活动和场景预测或基于视觉的规划和控制中的应用，最近在计算机视觉中引起了关注。视频预测模型通常学习从输入帧编码并解码回图像的视频的潜在表示。即使以动作为条件，纯粹基于深度学习的架构通常也缺乏物理上可解释的潜在空间。在这项研究中，我们使用一个可微的物理引擎内的动作条件视频表示网络学习物理潜在的表示。我们提出了监督和自监督学习方法来训练我们的网络和识别物理特性。后者使用空间Transformers将物理状态解码回图像。在我们的实验中的模拟场景包括推动，滑动和碰撞的物体，我们还分析了物理属性的可观测性。在实验中，我们证明了我们的网络可以学习编码图像，并识别模拟场景中视频和动作序列的质量和摩擦等物理属性。我们评估我们的监督和自我监督的方法的准确性，并将其与直接从状态轨迹学习的系统辨识基线进行比较。我们还展示了我们的方法从输入图像和动作预测未来视频帧的能力。
2020-09-17 cs.CV cs.LG cs.RO
DDCL: Deep Dual Competitive Learning: A Differentiable End-to-End Framework for Unsupervised Prototype-Based Representation Learning
Lab.\ LTI, Universit\' e de Picardie Jules Verne, Amiens, France
本文提出DDCL，一种可微端到端框架，通过内部双竞争层生成原型，避免了传统聚类方法中特征学习与聚类分配的脱节问题，实现了无监督原型表示学习的端到端训练。
2026-04-02 cs.LG cs.NE
Automatically Differentiable Nonlinear Tensor Networks (ADNTNs) for Exponential Parameter Compression of Deep Neural Networks
Institute of Computing Intelligence, Polish Academy of Sciences（波兰科学院计算智能研究所）
提出自动可微非线性张量网络（ADNTNs）作为结构化权重生成器，通过反向模式自动微分端到端训练紧凑核心张量，实现深度神经网络的高效压缩，在AlexNet和VGG-16上达到每层2000倍至77000倍压缩比，且精度与密集基线相当或更优。
2026-07-07 cs.AI cs.LG
MoSAR: Monocular Semi-Supervised Model for Avatar Reconstruction using Differentiable Shading
Ubisoft LaForge（育碧拉福格）；York University（约克大学）；Ecole de Technologie Supérieure（高等技术学院）
MoSAR提出半监督训练与可微着色，从单目图像重建可重照明的3D化身，并发布首个大规模内在面部属性数据集FFHQ-UV-Intrinsics。
2023-12-22 cs.CV cs.GR cs.LG
Optimizing transformations for contrastive learning in a differentiable framework
LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院 LTCI）；Incepto Medical（Incepto医疗公司）；Sorbonne Université, CNRS, LIP6（索邦大学法国国家科学研究中心LIP6实验室）
提出基于可微变换网络的对比学习变换优化框架，无需生成模型即可保留分类相关信息，仅用10%标注数据便在脑部MRI和胸部X光任务上超过100%标签的全监督模型。
2022-07-27 cs.CV cs.LG
Algorithmic Probability-guided Supervised Machine Learning on Non-differentiable Spaces
Facultad de Ciencias, Universidad Nacional Autónoma de México（墨西哥国立自治大学理学院）；Oxford Immune Algorithmics（牛津免疫算法公司）；Karolinska Institutet（卡罗林斯卡学院）；Algorithmic Nature Group, LABORES（算法自然小组，LABORES）
我们展示了如何将复杂性理论引入机器学习，以帮助将当前研究中明显不同的领域结合在一起。我们表明，这种新的方法需要更少的训练数据，更具有普遍性，因为它表现出更大的弹性随机攻击。我们研究了当使用由算法复杂性参数化的损失函数执行回归或分类时离散算法空间的形状，证明了微分的性质对于实现与使用可微分编程方法（例如深度学习）获得的结果类似的结果是不必要的。在这样做时，我们使用的例子，使这两种方法进行比较（小，给定的算法复杂性估计所需的计算能力）。我们发现并报告，（i）机器学习可以成功地在一个非光滑表面上使用算法的复杂性;（ii）参数的解决方案，可以找到使用算法概率分类器，建立一个桥梁之间的基本离散理论的可计算性和基本连续的数学理论的优化方法;（iii）可以定义和进行非光滑流形中的算法导向搜索技术的公式化;（iv）可以执行用于算法搜索以导航这些离散不可微空间的开发技术和数值方法;在（a）从数据观察识别生成规则的应用中;（b）与神经网络相比，对像素攻击更有弹性的图像分类问题的解决方案;（c）在连续ODE系统问题中存在噪声的情况下从小数据集中识别方程参数，（d）通过（1）网络拓扑，（2）底层布尔函数，以及（3）引入边的数目。
2019-10-08 cs.AI cs.LG stat.ML
Analyzing Differentiable Fuzzy Logic Operators
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Civic AI Lab, Amsterdam（阿姆斯特丹公民人工智能实验室）
人工智能社区越来越多地将注意力放在结合符号和神经方法上，因为人们经常认为这些方法的优点和缺点是互补的。文献中的一个最近的趋势是采用来自模糊逻辑的算子的弱监督学习技术。特别地，这些使用在这样的逻辑中描述的先验背景知识来帮助从未标记和噪声数据训练神经网络。通过使用神经网络解释逻辑符号，可以将这种背景知识添加到常规损失函数中，从而使推理成为学习的一部分。我们研究，正式和经验，如何从模糊逻辑文学的逻辑运算符的大集合表现在可微学习设置。我们发现，许多这些运营商，包括一些最知名的，是非常不适合在这种情况下。进一步的发现涉及这些模糊逻辑中蕴涵的处理，并且显示出由蕴涵的前件和后件驱动的梯度之间的强烈不平衡。此外，我们引入了一个新的家庭的模糊影响（称为sigmoidal影响），以解决这一现象。最后，我们经验表明，它是可能的，使用可微模糊逻辑的半监督学习，并比较不同的运营商在实践中的行为。我们发现，为了在监督基线上实现最大的性能改进，我们必须求助于在学习中表现良好的逻辑运算符的非标准组合，但不再满足通常的逻辑定律。
2021-08-24 cs.AI cs.LG cs.LO
NeuMiss networks: differentiable programming for supervised learning with missing values
Université Paris-Saclay（巴黎-萨克雷大学）；CNRS/IN2P3（法国国家科学研究中心/国家核物理与粒子物理研究所）；IJCLab（伊雷娜·约里奥-居里实验室）；Ecole Polytechnique（巴黎综合理工学院）；IP Paris（巴黎理工学院）；Mila（米拉）；McGill University（麦吉尔大学）；Inria（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）
缺失值的存在使得监督学习更具挑战性。事实上，以前的工作已经表明，即使响应是完整数据的线性函数，最佳预测器也是观察到的条目和缺失指标的复函数。因此，一致性方法的计算或样本复杂性取决于缺失模式的数量，其在维度数量上可以是指数级的。在这项工作中，我们推导出线性假设和各种缺失数据机制，包括随机缺失（MAR）和自屏蔽（Missing Not At Random）下的最佳预测的分析形式。基于Neumann级数近似的最优预测，我们提出了一个新的原则架构，命名为NeuMiss网络。它们的独创性和力量来自于使用一种新型的非线性：乘以缺失指标。我们提供了一个上限NeuMiss网络的贝叶斯风险，并表明他们有良好的预测精度与一些参数和独立的缺失数据模式的数量的计算复杂性。因此，它们可以很好地扩展到具有许多特征的问题，并且对于中等大小的样本仍然具有统计效率。此外，我们表明，相反的程序使用EM或插补，他们是强大的缺失数据机制，包括困难的MNAR设置，如自屏蔽。
2020-11-04 cs.AI cs.LG stat.ML
A Novel Differentiable Loss Function for Unsupervised Graph Neural Networks in Graph Partitioning
针对无监督图神经网络求解图划分这一NP-hard问题时缺乏可微损失函数的痛点，提出新型可微损失函数及对应求解流水线，在割边与平衡指标上达到当前先进水平。
2023-12-11 cs.LG
Learning Differentiable Surrogate Losses for Structured Prediction
Télécom Paris（巴黎电信学院）；IP Paris（巴黎理工学院）
本文提出一种通过对比学习直接从输出数据中学习由神经网络参数化的结构化损失函数的新框架，该可微损失支持代理回归训练和基于梯度下降的解码预测，在图预测任务上达到或超越预定义核方法。
2024-11-18 cs.LG stat.ML
Towards High Fidelity Monocular Face Reconstruction with Rich Reflectance using Self-supervised Learning and Ray Tracing
InterDigital R&I（InterDigital研究与创研中心）；Max-Planck-Institute for Informatics（马克斯·普朗克信息学研究所）
在一般光照条件下，从单目图像中进行鲁棒的人脸重建是一个挑战。将深度神经网络编码器与可微分渲染相结合的方法为几何、照明和反射率的非常快速的单目重建开辟了道路。它们也可以以自我监督的方式进行训练，以提高鲁棒性和更好的泛化能力。然而，他们的可微光栅化的图像形成模型，以及底层场景参数化，限制了他们的朗伯面反射率和穷人的形状细节。最近，光线追踪被引入用于在经典的基于优化的框架内进行单眼面部重建，并且能够实现最先进的结果。然而，基于优化的方法本质上是缓慢的，缺乏鲁棒性。在本文中，我们建立在上述方法的工作，并提出了一种新的方法，大大提高了重建质量和鲁棒性，在一般场景。我们通过将CNN编码器与可微光线跟踪器相结合来实现这一点，这使我们能够基于更先进的个性化漫射和镜面反射，更复杂的照明模型和自阴影的合理表示来重建。这使得即使在照明困难的场景中，也可以在形状，外观和照明的重建质量方面取得巨大进步。一致的人脸属性重建，我们的方法导致实际应用，如重光照和自我阴影去除。与现有的方法相比，我们的结果表明该方法具有更高的准确性和有效性。
2021-11-22 cs.CV cs.LG
An Invitation to Deep Reinforcement Learning
University of Tübingen, Tübingen AI Center（图宾根大学，图宾根人工智能中心）
本文以监督学习为基础，通过将强化学习视为其泛化形式，面向具备基础知识的读者系统介绍深度强化学习，使其能够理解PPO等前沿算法。
2025-05-09 cs.AI cs.LG
Topological Feasibility Guarantees for Differentiable Predictive Control
Chalmers University of Technology（查尔姆斯理工大学）；Nanyang Technological University（南洋理工大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文针对可微预测控制（DPC）缺乏严格可行性保证的问题，通过拓扑分析建立其确定性可行性保证，提出结合控制障碍函数（CBFs）的自监督离线策略学习策略，仿真验证其约束违反量随样本规模增大趋近于零，为学习型控制的可行性保证提供新视角。
2026-08-12 cs.LG cs.SY eess.SY
Silhouette Loss: Differentiable Global Structure Learning for Deep Representations
本文提出Soft Silhouette Loss，通过全局结构学习提升深度表示的判别性，结合交叉熵和对比学习，实验证明其在多个数据集上有效提升性能且计算开销低。
2026-03-27 cs.AI cs.CV cs.LG
LACTOSE: Linear Array of Conditions, TOpologies with Separated Error-backpropagation -- The Differentiable "IF" Conditional for Differentiable Digital Signal Processing
The University of Electro-Communications（电气通信大学）
本文提出LACTOSE算法，通过分离误差反向传播实现神经网络中的条件语句，并应用于DDSP，为每个数值范围存储参数并在预测时动态加载。
2025-02-20 cs.LG cs.NE cs.SD
Unsupervised Music Source Separation Using Differentiable Parametric Source Models
Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院）；Sonos Inc.（搜诺思公司）
欠定音频声源分离的监督深度学习方法实现了最先进的性能，但需要混合物的数据集以及它们相应的隔离源信号。这样的数据集对于音乐混合物的获得可能是极其昂贵的。这就需要无监督的方法。我们提出了一种新的基于无监督模型的深度学习方法来进行音乐声源分离。每个源被建模与可微参数源滤波器模型。训练神经网络以通过在给定源模型的基频的情况下估计源模型的参数来将所观察到的混合重构为源的和。在测试时，从合成的源信号中获得软掩模。对声乐合奏分离任务的实验评估表明，该方法优于基于非负矩阵分解和监督深度学习基线的无学习方法。将领域知识以源模型的形式集成到数据驱动的方法中，可以提高数据效率：即使在不到三分钟的音频上训练，所提出的方法也可以实现良好的分离质量。这项工作使得强大的基于深度学习的分离可用于具有地面实况的训练数据昂贵或不存在的场景。
2023-01-31 cs.AI cs.LG cs.SD
Semi-Supervised Translation with MMD Networks
Yale University（耶鲁大学）
本文通过引入一种混合监督和无监督代价函数来改进神经网络结构中的半监督学习。无监督组件使用网络输出和目标数据集之间的最大平均离散（MMD）距离的可微估计器进行训练。我们介绍了一个$n$通道网络的概念和几种方法来提高这些网络的性能的基础上监督预初始化，多尺度内核。这项工作调查的有效性，这些方法对语言翻译的质量很少是已知的\textit{a priori}。我们还提出了一个彻底的调查超参数空间的这种方法的合成数据。
2018-10-28 cs.CL cs.LG stat.ML
Learning Interpretable Differentiable Logic Networks for Tabular Regression
Princeton University（普林斯顿大学）
本文将可微逻辑网络（DLNs）扩展至监督表格回归任务，通过重新设计输出层支持连续目标并统一训练阶段，在15个基准上实现了与基线相当或更优的精度，同时保持可解释性与快速推理。
2026-10-06 cs.LG
HyperTransformer: Model Generation for Supervised and Semi-Supervised Few-Shot Learning
Google Research（谷歌研究院）
在这项工作中，我们提出了一个HyperTransformer，一个基于Transformer的监督和半监督少样本学习，直接从支持样本中生成卷积神经网络（CNN）的权重。由于小生成的CNN模型对特定任务的依赖性是由高容量的Transformer模型编码的，因此我们有效地将大任务空间的复杂性与单个任务的复杂性解耦。我们的方法对于小目标CNN架构特别有效，其中学习固定的通用任务无关嵌入不是最佳的，并且当有关任务的信息可以调制所有模型参数时，可以获得更好的性能。对于更大的模型，我们发现单独生成最后一层可以让我们产生比最先进的方法更有竞争力或更好的结果，同时是端到端可微的。
2022-07-14 cs.CV cs.LG
Differentiable Attenuation Filters for Feedback Delay Networks
本文提出了一种基于反馈延迟网络的可微衰减滤波器设计方法，通过参数均衡器实现对频率依赖回声衰减的精细控制，提升了回声系统的性能并降低了计算成本。
2025-11-25 cs.LG cs.SD
GLL: A Differentiable Graph Learning Layer for Neural Networks
Department of Mathematics University of California, Los Angeles（数学系，加州大学洛杉矶分校）；Computing + Mathematical Sciences (CMS) Department California Institute of Technology（计算与数学科学系（CMS），加州理工学院）；School of Mathematics University of Minnesota（数学系，明尼苏达大学）
本文提出GLL，一种可微图学习层，用于神经网络中，通过整合相似性图构建和图拉普拉斯标签传播，提升分类任务的泛化能力和鲁棒性。
2026-10-15 cs.LG stat.ML
Differentiable SLAM Helps Deep Learning-based LiDAR Perception Tasks
IIT Delhi（印度理工学院德里分校）；McGill University（麦吉尔大学）；MILA（米拉研究所）；BITS Pilani（皮拉尼 Birla 理工学院）；Université Laval（拉瓦尔大学）
本文提出以可微SLAM架构作为自监督训练信号来训练基于LiDAR的深度学习模型，并在分类、回归及SLAM任务中验证了其提升性能的有效性。
2023-09-17 cs.CV cs.LG cs.RO
Supercm: Revisiting Clustering for Semi-Supervised Learning
Department of Physics and Technology（物理与技术系）；UiT The Arctic University of Norway（北极大学）
提出Supercm方法，通过扩展可微聚类模块显式引入聚类假设，利用标注数据引导聚类中心，构建了端到端的深度半监督学习框架，有效提升基线性能并可与现有方法结合。
2025-06-30 cs.CV cs.LG
Meta-learning One-class Classifiers with Eigenvalue Solvers for Supervised Anomaly Detection
NTT Communication Science Laboratories（NTT通信科学研究所）；NTT Software Innovation Center（NTT软件创新中心）
基于神经网络的异常检测方法已经显示出实现高性能。然而，它们需要为每个任务提供大量的训练数据。我们提出了一种基于神经网络的元学习方法的监督异常检测。该方法通过对不同数据集进行元训练，提高了对包含少量标记正常和异常实例的不可见任务的异常检测性能。对于元学习框架，快速适应每个任务及其有效的反向传播非常重要，因为模型是通过每个时期的适应来训练的。我们的模型使他们通过制定适应作为一个广义特征值问题，一类分类，其全局最优解，求解器是可微的。我们的实验证明，该方法在各种数据集上比现有的异常检测和少镜头学习方法（Few-Shot learning）获得了更好的性能。
2021-03-01 cs.LG stat.ML
Multi-view Graph Convolutional Networks with Differentiable Node Selection
Fuzhou University（福州大学）；Sun Yat-sen University（中山大学）；University of Vienna（维也纳大学）
本文提出MGCN-DNS框架，通过自适应图融合、图学习模块和可微节点选择解决多视图异构图卷积中排序不可微与图嵌入不灵活的问题，并在多视图半监督分类任务中验证其有效性。
2023-08-13 cs.LG
Mixed-Integer Nonlinear Differentiable Predictive Control for Underground Pumped Hydro Energy Storage Systems
Johns Hopkins University（约翰斯·霍普金斯大学）；Slovak University of Technology in Bratislava（布拉迪斯拉发斯洛伐克理工大学）
本文提出混合整数非线性可微预测控制，用于地下抽水蓄能系统日前调度，通过Gumbel-Softmax和Transformer实现高效求解，仅1.6%次优性且加速五个数量级。
2026-09-17 cs.LG cs.SY eess.SY
A Differentiable 3D Scene Graph Metric via Contextual Hellinger Triplet Geometry
Sookmyung Women’s University（淑明女子大学）
该研究针对三维场景图预测的图级监督缺失问题，提出Contextual Hellinger Triplet Geometry方法，构建可微度量目标，在3DSSG数据集上验证其可提升场景生成质量并增强图的相关特性。
2026-10-14 cs.CV cs.LG
PRISM: Prioritized Channel Importance with Semi-supervised Domain Adaptation for Cross-Subject EEG Emotion Recognition
School of Computing, T. J Watson College of Engineering and Applied Science, Binghamton University - State University of New York（计算学院、T.J Watson工程与应用科学学院、宾夕法尼亚州立大学宾夕法尼亚州立大学）
提出PRISM框架，通过可微分通道加权和置信度过滤伪标签的半监督域适应，解决脑电情绪识别中的通道冗余和跨被试差异问题，在三个数据集上超越现有方法。
2026-07-02 cs.LG
SATNet: Bridging deep learning and logical reasoning using a differentiable satisfiability solver
Carnegie Mellon University（卡内基梅隆大学）；University of Southern California（南加州大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
在深度学习架构中集成逻辑推理一直是现代AI系统的主要目标。在本文中，我们通过引入可微分（平滑）最大可满足性（MAXSAT）求解器来实现这一目标，该求解器可以集成到更大的深度学习系统的循环中。我们的（近似）求解器是基于一个快速的坐标下降的方法来解决半定规划（SDP）与MAXSAT问题。我们展示了如何通过这个SDP的解决方案来解析区分，并有效地解决相关的向后传递。我们证明，通过将此求解器集成到端到端学习系统中，我们可以以最小监督的方式学习具有挑战性的问题的逻辑结构。特别是，我们证明了我们可以使用单比特监督来学习奇偶校验函数（传统上对深度网络来说是一项艰巨的任务），并仅从示例中学习如何玩9x9数独。我们还解决了一个“视觉数独”的问题，映射图像的数独谜题，以其相关的逻辑解决方案相结合，我们的MAXSAT求解器与传统的卷积架构。因此，我们的方法在深度学习中集成逻辑结构方面表现出了希望。
2019-05-29 cs.AI cs.LG stat.ML
Differentiable High-Order Markov Models for Spectrum Prediction
Mitsubishi Electric R&D Centre Europe（三菱电机欧洲研发中心）；Mitsubishi Electric Corporation（三菱电机公司）
本文重新研究高阶 Markov 频谱预测，提出缓解阶数与感知长度不匹配及状态空间复杂性的框架，并通过梯度监督学习微调转移矩阵，在受限含异常值的真实 Wi-Fi 数据上媲美深度学习。
2024-11-30 cs.LG eess.SP
Search-Guided, Lightly-supervised Training of Structured Prediction Energy Networks
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
在结构化输出预测任务中，标记地面实况训练输出通常是昂贵的。然而，对于许多任务，即使真正的输出是未知的，我们也可以使用标量奖励函数来评估预测，这可以很容易地从人类知识或不可微管道中组装出来。但是，搜索整个输出空间以找到关于该奖励函数的最佳输出通常是棘手的。在本文中，我们在这个奖励函数中使用有效的截断随机搜索来训练结构化预测能量网络（SPEN），它使用基于梯度的搜索在平滑的，学习的分数景观表示上提供有效的测试时推理，并且以前已经在结构化预测中产生了最先进的结果。特别是，这种截断随机搜索的奖励函数产生以前未知的局部改进，提供有效的监督SPEN，避免了他们的传统需要标记的训练数据。
2019-11-11 cs.LG stat.ML
Self-Supervised Combinatorial Optimization with Constraints via Frank-Wolfe
NYU（纽约大学）；MIT（麻省理工学院）
提出一种基于Frank-Wolfe的通用框架，允许神经网络预测可行域外的连续向量，通过几何分解近似为可行解的稀疏凸组合，实现自监督训练和自动舍入，在多个组合优化问题上表现优异。
2026-09-23 cs.AI cs.LG
Semi-supervised Sequence-to-sequence ASR using Unpaired Speech and Text
Brno University of Technology（布尔诺理工大学）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Johns Hopkins University（约翰斯·霍普金斯大学）；MERL（三菱电机研究实验室）
序列到序列的自动语音识别（ASR）模型需要大量的数据来获得高性能。出于这个原因，最近对此类模型中的无监督和半监督训练的兴趣激增。这项工作建立在最近的结果显示显着改善半监督训练使用周期一致性和相关技术。这样的技术通过将ASR与文本到语音（TTS）模型组合来导出能够利用未配对的语音和/或文本数据的训练过程和损失。特别是，这项工作提出了一种新的半监督损失结合端到端可区分ASR $\rightarrow$ TTS损失与TTS $\rightarrow$ ASR损失。该方法能够充分利用未配对的语音和文本数据，在WER方面优于最近提出的相关技术。我们提供了大量的结果分析数据量和语音和文本模态的影响，并显示在华尔街日报和Librispeech语料库的一致收益。我们的代码在ESPnet中提供，以重现实验。
2019-08-20 cs.CL cs.IR cs.LG
Stochastic Block-ADMM for Training Deep Networks
Oregon State University（俄勒冈州立大学）；Applied Research Center, PCG, Tencent（腾讯PCG应用研究中心）
在本文中，我们提出了随机块ADMM作为训练深度神经网络的方法，在批量和在线设置。我们的方法通过将神经网络分成任意数量的块，并利用辅助变量连接这些块，同时使用随机梯度下降进行优化。这允许在传统的反向传播不适用的情况下训练具有不可微约束的深度网络。这一点的一个应用是监督特征分解，我们提出的DeepFacto将非负矩阵分解（NMF）层插入网络。由于反向传播只需要在每个块内执行，我们的方法消除了消失的梯度，并提供了并行化的潜力。我们证明了我们提出的方法的收敛性，并通过监督和弱监督设置中的实验证明了其能力。
2021-05-01 cs.AI cs.DC cs.LG
Graph Matching Relaxations and Amortization for Supervised Graph Prediction
Institut Polytechnique de Paris（巴黎理工学院）；École Polytechnique（巴黎综合理工学院）；Télécom Paris（巴黎电信学院）
针对监督图预测中的置换不变损失，研究最优传输松弛并证明GW最优，提出用可微Sinkhorn匹配器摊销图匹配，联合学习预测与匹配，在含新任务的多个问题上验证效率。
2026-09-28 cs.LG stat.ML
