Decentralized Deep Learning using Momentum-Accelerated Consensus
Iowa State University（爱荷华州立大学）；Johnson Controls（江森自控）；New York University（纽约大学）
我们考虑分散式深度学习的问题，其中多个代理协作从分布式数据集学习。虽然存在几种分散的深度学习方法，但大多数都考虑使用中央参数服务器拓扑来聚合来自代理的模型参数。然而，这样的拓扑可能不适用于联网系统，诸如ad-hoc移动网络、现场机器人和电力网络系统，其中与中央参数服务器的直接通信可能是低效的。在这种情况下，我们提出并分析了一种新的分散式深度学习算法，其中代理通过固定的通信拓扑（没有中央服务器）进行交互。我们的算法是基于重球加速方法中使用的基于梯度的优化。我们提出了一种新的共识协议，每个代理共享其邻居的模型参数，以及在优化过程中的梯度动量值。我们考虑了强凸和非凸目标函数，并从理论上分析了我们的算法的性能。我们提出了几个实证比较与竞争的分散式学习方法，以证明我们的方法在不同的通信拓扑结构的有效性。
2020-11-28 cs.DC cs.LG stat.ML
Robust Training with Ensemble Consensus
Korea Advanced Institute of Science and Technology（韩国高等科学技术院）
由于深度神经网络是过度参数化的，它们可以记住有噪声的例子。我们解决这样的记忆问题的标签噪声的存在。从深度神经网络不能推广到记忆特征的邻域这一事实出发，我们假设在一定的扰动下，噪声样本并不总是会在网络上产生小的损失。在此基础上，我们提出了一种新的训练方法，称为学习与干扰共识（LEC），防止过度拟合噪声的例子，通过消除他们的基础上的共识的合奏扰动网络。作为所提出的LEC之一，LTEC以有效的方式在有噪声的MNIST、CIFAR-10和CIFAR-100上优于当前最先进的方法。
2020-11-11 cs.CV cs.LG stat.ML
Consensus Control for Decentralized Deep Learning
EPFL（洛桑联邦理工学院）
深度学习模型的分散式训练支持通过网络进行设备上的学习，以及有效扩展到大型计算集群。早期工作中的实验表明，即使在数据中心设置中，分散式训练也经常受到模型质量下降的影响：以分散式方式训练的模型的训练和测试性能通常比以集中式方式训练的模型差，并且这种性能下降受到网络大小，通信拓扑和数据分区等参数的影响。我们将设备之间不断变化的共识距离确定为解释集中式和分散式培训之间差距的关键参数。我们在理论上证明，当训练共识距离低于临界量时，分散式训练与集中式训练一样快收敛。我们的经验验证，泛化性能和共识距离之间的关系是一致的，这一理论观察。我们的经验见解允许更好的分散式训练方案的原则性设计，以减轻性能下降。为此，我们提供实用的培训指南，并将其有效性作为重要的第一步。
2021-06-18 cs.LG
Ensemble Consensus-based Representation Deep Reinforcement Learning for Hybrid FSO/RF Communication Systems
Atlantic Technological University（大西洋理工大学）；Al Yamamah University（亚马玛大学）；Lahore Leads University（拉合尔利兹大学）；National University of Technology（国立理工大学）
FSO/RF混合系统需要一种有效的FSO和RF链路切换机制，以实现两者的优势互补，从而提高系统容量。网络条件的动态变化，如雾、灰尘和沙尘暴，使链路切换问题和控制复杂性变得更加复杂。为了解决这个问题，我们开始研究深度强化学习（DRL）的混合FSO/RF系统的链路切换。具体来说，在这项工作中，我们专注于演员/评论称为演员/评论FSO/RF和深度Q网络（DQN）称为DQN-FSO/RF的FSO/RF链路切换下的大气干扰。要制定的问题，我们定义的状态，行动，和奖励功能的混合FSO/RF系统。DQN-FSO/RF频繁更新与混合FSO/RF系统中的环境交互的部署策略，导致高切换成本。为了克服这个问题，我们将这个问题提升到基于集成共识的表示学习来进行深度强化，称为DQNEnsemble-FSO/RF。所提出的新颖的DQNEnsemble-FSO/RF DRL方法使用基于异步线程集合的共识学习特征表示来更新部署的策略。实验结果证实，建议的DQNEnsemble-FSO/RF的共识学习功能切换实现更好的性能比演员/关键FSO/RF，DQN-FSO/RF，和MyOpic FSO/RF链路切换，同时保持切换成本显着较低。
2022-11-07 cs.LG
Consensus-based Interpretable Deep Neural Networks with Application to Mortality Prediction
Florida State University（佛罗里达州立大学）；Tallahassee Memorial Hospital（塔拉哈西纪念医院）
深度神经网络在各种具有挑战性的任务中取得了显著的成功。然而，这种网络的黑盒性质对于关键应用（例如医疗保健）是不可接受的。特别是，对抗性例子的存在及其对不相关的、高置信度的分布外输入的过度泛化使得很难（如果不是不可能的话）解释这种网络的决策。在本文中，我们分析了深度神经网络泛化的底层机制，并提出了一种（$n$，$k$）共识算法，该算法对对抗性样本不敏感，可以可靠地拒绝分布外的样本。此外，共识算法能够通过使用多个训练的深度神经网络来提高分类准确性。为了处理深度神经网络的复杂性，我们对单个模型的线性近似进行聚类，并识别不同模型之间高度相关的聚类，以鲁棒地捕获特征重要性，从而提高可解释性。出于建立准确和可解释的医疗保健预测模型的重要性，我们在ICU数据集上的实验结果表明，我们的算法在提高深度神经网络模型对一年患者死亡率预测的预测准确性和可解释性方面是有效的。特别是，虽然所提出的方法保持了与传统的浅层模型（如逻辑回归）相似的可解释性，但它显着提高了预测精度。
2019-09-11 cs.AI cs.CV cs.LG
Deep Consensus Learning
NC State University（北卡罗来纳州立大学）
生成学习和判别学习最近都使用深度神经网络（DNN）取得了显着进展。对于结构化输入合成和结构化输出预测问题（例如，布局到图像合成和图像语义分割），但是它们通常被分开研究。本文提出了深度一致性学习（DCL）用于联合布局到图像合成和弱监督图像语义分割。前者通过最近提出的LostGAN方法实现，后者通过引入推理网络作为加入LostGAN的两人游戏的第三个玩家来实现。利用两个深度共识映射来促进端到端训练三个网络：给定输入布局（对象边界框列表），生成器生成一个掩码（标签映射），然后使用它来帮助合成图像。推理网络推断合成图像的掩模。然后，测量由生成器生成的掩码与由推理网络推断的掩码之间的潜在共识。对于与输入布局对应的真实图像，其掩模也由推理网络计算，然后由生成器用于重建真实图像。然后，测量真实图像和其重建图像之间的数据一致性。通过计算真实图像、其重建图像和合成图像的真实度分数，该算法仍然扮演对手的角色。在实验中，我们的DCL在COCO-Stuff数据集上进行了测试。它获得了令人信服的布局到图像的合成结果和弱监督的图像语义分割结果。
2021-03-15 cs.CV cs.LG
Interpretable Deep Learning for Stock Returns: A Consensus-Bottleneck Asset Pricing Model
Department of Industrial and Management Engineering, POSTECH（POSTECH工业与管理工程系）；Graduate School of Artificial Intelligence, POSTECH（POSTECH人工智能研究生院）；Korea University Business School（韩国大学商学院）
本文提出共识-瓶颈资产定价模型，通过将分析师共识作为结构性瓶颈，提升模型预测准确性并锚定经济可解释驱动因素，发现基于该模型的组合具有稳健的收益梯度。
2026-04-24 cs.AI cs.LG q-fin.PR
Human Pose Estimation using Deep Consensus Voting
Weizmann Institute of Science（魏茨曼科学研究所）
在本文中，我们考虑的问题，人体姿态估计从一个单一的静止图像。我们提出了一种新的方法，其中图像中的每个位置使用卷积神经网络为每个关键点的位置投票。投票方案允许我们利用来自整个图像的信息，而不是依赖于稀疏的关键点位置集。使用密集的多目标投票，不仅可以产生良好的关键点预测，还可以通过查看共识投票来计算图像相关的联合关键点概率。这与大多数以前的方法不同，其中联合概率是从相对关键点位置学习的，并且与图像无关。最后，我们结合关键点投票和联合概率，以确定最佳的姿势配置。我们在MPII人体姿势和利兹运动姿势数据集上展示了我们的竞争性能。
2016-03-27 cs.CV cs.LG
AdaGossip: Adaptive Consensus Step-size for Decentralized Deep Learning with Communication Compression
Purdue University（普渡大学）
本文提出AdaGossip方法，通过根据相邻智能体间压缩模型差异自适应调整共识步长，在多个视觉数据集和网络拓扑上相比现有最优方法实现0-2%的测试准确率提升。
2024-04-09 cs.LG
Deep Graph Matching via Blackbox Differentiation of Combinatorial Solvers
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Università degli Studi di Firenze（佛罗伦萨大学）
该研究提出一种嵌入未修改组合求解器的端到端可训练深度图匹配架构，结合优化求解器与架构改进刷新了关键点对应基准的SOTA，还指出了该架构的多项优势并提出两种新的实验设置。
2020-08-05 cs.LG stat.ML
Generalizing Differentially Private Decentralized Deep Learning with Multi-Agent Consensus
Princeton University（普林斯顿大学）
针对去中心化协作学习中的参数泄露问题，提出嵌入差分隐私的多智能体共识深度学习框架，证明收敛性并在次梯度与 ADMM 方法上实现接近中心化基线的准确率。
2024-10-24 cs.AI cs.LG
On Linear Convergence of PI Consensus Algorithm under the Restricted Secant Inequality
Tata Consultancy Services Research（塔塔咨询服务研究中心）；Indian Institute of Technology, Bombay（印度理工学院孟买分校）
针对固定步长 PI 一致性算法缺乏非凸情形收敛保证的问题，本文基于 Lyapunov 理论证明其在受限割线不等式和速率匹配离散化下指数收敛，并提出同时作用于梯度与一致性项的局部正定预处理以加速收敛。
2024-10-28 cs.LG cs.SY eess.SY
Integrating Data and Image Domain Deep Learning for Limited Angle Tomography using Consensus Equilibrium
Boston University（波士顿大学）
计算机断层扫描（CT）是一种非侵入性成像模式，应用范围从医疗保健到安全。它使用在不同角度收集的投影数据的集合来重建对象的横截面图像。常规方法（诸如FBP）要求在整个角度范围上均匀地采集投影数据。在某些应用中，不可能获得这样的数据。安全性就是这样一个领域，其中正在开发违反完整数据假设的非旋转扫描配置。常规方法从填充有伪影的这种数据产生图像。最近深度学习（DL）方法的成功激发了研究人员使用深度神经网络（DNN）对这些充满伪影的图像进行后处理。这种方法在实际的CT问题上取得了有限的成功。另一种方法是使用DNN对不完整的数据进行预处理，旨在避免完全创建工件。由于学习过程中的缺陷，这种方法仍然可以留下可感知的残留伪影。在这项工作中，我们的目标是通过基于共识均衡（CE）框架的两步过程，在数据和图像领域结合深度学习的力量。具体来说，我们在数据和图像域中使用条件生成对抗网络（cGAN）来增强性能和有效计算，并通过共识过程将它们结合起来。我们证明了我们的方法在一个真正的安全CT数据集上的有效性，一个具有挑战性的90度有限角度的问题。同样的框架可以应用于其他有限的数据问题中出现的应用，如电子显微镜，非破坏性评估，和医学成像。
2019-08-31 cs.CV cs.LG eess.IV
Peer-to-Peer Learning + Consensus with Non-IID Data
Carnegie Mellon University（卡内基梅隆大学）
针对对等深度学习在非IID数据下因共识与训练交错导致的模型漂移和性能振荡问题，提出带亲和性的P2PL方法，在不增加通信成本下有效抑制振荡。
2023-12-21 cs.DC cs.LG
A Collaboration Strategy in the Mining Pool for Proof-of-Neural-Architecture Consensus
University of Notre Dame（圣母大学）；George Mason University（乔治梅森大学）
在大多数流行的公共可访问的加密货币系统中，矿池扮演着关键角色，因为使用矿池开采加密货币会将无利可图的情况转变为对个人矿工有利的情况。在最近许多新的区块链共识中，深度学习训练过程成为矿工证明其工作量的任务，因此矿工的计算能力不会纯粹花费在哈希难题上。通过这种方式，硬件和能源将同时支持区块链服务和深度学习训练。虽然矿工的动机是赚取代币，但个人矿工有动机加入矿池以提高竞争力。在本文中，我们首次展示了基于深度学习的新型共识挖掘池解决方案。矿池管理器将整个搜索空间划分为子空间，所有矿工都计划在分配的子空间中协作执行神经架构搜索（NAS）任务。实验表明，这种类型的矿池的性能比单个矿工更具竞争力。由于矿工行为的不确定性，矿池管理者会检查高奖励矿工表现的标准差，并准备备用矿工，以确保高奖励矿工任务的完成。
2022-05-05 cs.DC cs.LG
When Does Consensus Beat Voting? A Critical Analysis of Statistical Label Fusion in Medical Image Segmentation
研究医学图像分割中一致性分割，通过推导数学基础并实验验证，发现常见条件下STAPLE存在问题，多数投票是强基线，深度一致性模型结合图像标签可处理问题，共形预测能保证不确定性，为评估方法提供基础。
2026-07-23 cs.CV cs.LG physics.med-ph
The Dynamic of Consensus in Deep Networks and the Identification of Noisy Labels
Hebrew University of Jerusalem（耶路撒冷希伯来大学）
深度神经网络具有令人难以置信的容量和可表达性，并且似乎可以记住任何训练集。这在存在噪声标签的情况下进行训练时引入了一个问题，因为在训练结束时，噪声示例无法与干净示例区分开。最近的研究利用了这样一个事实来应对这一挑战，即深度网络似乎比嘈杂的例子更早地记住干净的例子。在这里，我们报告了一个新的经验结果：对于每个例子，当观察网络集合中每个模型记忆的时间时，在噪声例子中看到的多样性远远大于干净的例子。我们利用这一观察结果，开发了一种新的方法，噪声标签过滤。该方法是基于数据的统计，它捕捉干净和嘈杂的数据之间的集成学习动态的差异。我们在三个任务上测试我们的方法：（i）噪声量估计;（ii）噪声过滤;（iii）监督分类。我们表明，我们的方法使用各种数据集，噪声模型和噪声水平在所有三个任务中都优于现有基线。除了提高性能外，我们的方法还有另外两个优点。(i)简单性，这意味着没有引入额外的超参数。(ii)我们的方法是模块化的：它不以端到端的方式工作，因此可以用于清理数据集以备将来使用。
2022-10-02 cs.AI cs.LG
Local Consensus Enhanced Siamese Network with Reciprocal Loss for Two-view Correspondence Learning
Anhui University（安徽大学）；Fudan University（复旦大学）；Zhejiang Normal University（浙江师范大学）
本文提出局部特征一致性模块和互逆损失，将双视图对应学习扩展为孪生网络，在不增加参数的情况下提升内点分类与匹配性能，并在基准数据集上达到最先进水平。
2023-08-06 cs.CV cs.LG
Exchangeable deep neural networks for set-to-set matching and learning
ZOZO Research（ZOZO研究院）；The Graduate University for Advanced Studies, SOKENDAI（综合研究大学院大学）；Wakayama University（和歌山大学）；The Institute of Statistical Mathematics（统计数学研究所）
匹配两个不同的项目集，称为异构集到集匹配问题，最近受到关注的一个很有前途的问题。困难在于提取特征以匹配正确的一对不同的集合，并且还保留集合到集合匹配所需的两种类型的交换：集合对以及每个集合中的项目应该是可交换的。在这项研究中，我们提出了一种新的深度学习架构来解决上述困难，也是一个有效的集到集匹配的训练框架。我们评估的方法，通过实验的基础上两个工业应用：时尚集推荐和组重新识别。在这些实验中，我们表明，所提出的方法提供了显着的改进和结果相比，国家的最先进的方法，从而验证了我们的架构的异构集匹配问题。
2021-01-28 cs.CV cs.LG stat.ML
Deep Learning for Causal Inference
Stanford University Graduate School of Business（斯坦福大学商学院）
在本文中，我们提出了用于计量经济学的深度学习技术，特别是用于因果推断和估计个体以及平均处理效应。本文的贡献是双重的：1。对于广义近邻匹配估计个人和平均处理效应，我们分析了使用自动编码器进行降维，同时保持嵌入空间中数据点之间的局部邻域结构。这种基于深度学习的技术在估计处理效应方面表现优于简单的k近邻匹配，特别是当数据点具有多个特征/协变量但位于高维空间中的低维流形时。我们还观察到更好的性能比流形学习方法的邻居匹配。2.倾向分数匹配是一种执行匹配以估计平均和个体处理效应的特定且流行的方式。我们建议使用深度神经网络（DNN）进行倾向分数匹配，并为此提出了一个名为PropensityNet的网络。这是传统上用于估计倾向分数的逻辑回归技术的概括，我们根据经验表明，DNN在倾向分数匹配方面的表现优于逻辑回归。这两种方法的代码将很快在Github上提供：https://github.com/vikas84bf
2018-03-01 cs.LG econ.EM stat.ML
DADAM: A Consensus-based Distributed Adaptive Gradient Method for Online Optimization
Amirkabir University of Technology（阿米尔卡比尔理工大学）；University of Florida（佛罗里达大学）
诸如\textsc{Adagrad}、\textsc{Rmsprop}和\textsc{Adam}的基于自适应梯度的优化方法被广泛用于解决包括深度学习的大规模机器学习问题。在文献中已经提出了许多方案，旨在并行化它们，基于外围节点与中心节点的通信，但产生高的通信成本。为了解决这个问题，我们开发了一种新的共识为基础的分布式自适应矩估计方法（\textsc{Dadam}）在线优化的分散网络，使数据并行化，以及分散计算。该方法特别有用，因为它可以适应允许访问本地数据的设置。此外，在这项工作中建立的理论，它可以优于集中式自适应算法，为某些类别的损失函数中使用的应用程序。我们分析了所提出的算法的收敛特性，并提供了一个动态的遗憾界的收敛速度的自适应矩估计方法在随机和确定性设置。实验结果表明，\textsc{Dadam}工程也很好地在实践中，并媲美竞争在线优化方法。
2019-05-28 cs.LG math.OC stat.ML
Consensus Multi-Agent Reinforcement Learning for Volt-VAR Control in Power Distribution Networks
电压无功控制（VVC）是有源配电网络管理系统中降低网损、改善电压分布的关键技术。为了消除对不准确和不完整网络模型的依赖，并增强对通信或控制器故障的弹性，我们提出了共识多智能体深度强化学习算法来解决VVC问题。将VVC问题描述为一个网络化的多智能体马尔可夫决策过程，采用最大熵强化学习框架和一种新的通信高效共识策略来解决。所提出的算法允许个体代理学习使用本地奖励的组控制策略。IEEE分布测试馈线的数值研究表明，我们提出的算法匹配的单智能体强化学习基准的性能。此外，该算法被证明是通信效率和弹性。
2020-07-06 cs.LG cs.SY eess.SY
Semi-supervised classification by reaching consensus among modalities
Winterlight Labs（温特莱特实验室）；University of Toronto（多伦多大学）；Li Ka Shing Knowledge Institute（李嘉诚知识研究所）；St Michael’s Hospital（圣迈克尔医院）；Vector Institute for Artificial Intelligence（矢量人工智能研究所）；Surgical Safety Technologies（手术安全技术公司）
深度学习已经证明了学习复杂结构的能力，但它们可能受到可用数据的限制。最近，共识网络（CN）被提出来通过利用来自多个模态的特征来减轻数据稀疏性，但是它们也受到标记数据的大小的限制。在本文中，我们将CN扩展到适用于半监督学习的转导共识网络（TCN）。在TCN中，不同的输入模式被压缩成潜在的表示，我们鼓励在迭代对抗训练中变得不可区分。为了了解TCN的两种机制，一致性和分类，我们提出了三种变体，在消融研究这些机制。为了进一步研究TCN模型，我们将潜在表示视为概率分布，并将它们的相似性作为负的相对Jensen-Shannon分歧来度量。我们发现，一个共识状态有利于分类的愿望是一个稳定的，但不完美的相似性之间的表示。总的来说，TCN的表现优于或与最佳基准算法保持一致，因为在Bank Marketing和DementiaBank数据集上有20到200个标记样本。
2018-11-19 cs.LG cs.MM cs.SD
Proof of Learning (PoLe): Empowering Machine Learning with Consensus Building on Blockchains
Northeastern University, China（中国东北大学）；Alibaba-NTU Singapore Joint Research Institute（阿里巴巴-南洋理工大学新加坡联合研究院）
深度学习（DL）的进步，特别是最近网络自动设计的发展，以沉重的计算成本带来了前所未有的性能提升。另一方面，区块链系统通常会执行大量的计算，而这些计算并不能实现实际目的，以便从分散的参与者中建立工作量证明（PoW）共识。在本文中，我们提出了一个新的共识机制，学习证明（PoLe），它指导的计算花费的共识对神经网络（NN）的优化。在我们的机制中，训练/测试数据被发布到整个区块链网络（BCN），共识节点在数据上训练NN模型，作为学习的证据。当BCN上的共识认为NN模型有效时，一个新的区块被附加到区块链上。我们实验比较PoLe协议与工作量证明（PoW），并表明PoLe可以实现更稳定的块生成率，从而导致更有效的事务处理。我们还介绍了一种新的防作弊机制，安全映射层（SML），它可以直接实现为线性NN层。实验结果表明，SML算法能够以较小的代价检测出欺骗节点。
2020-07-29 cs.CR cs.LG
Sherlock: A Deep Learning Approach to Semantic Data Type Detection
MIT Media Lab（麻省理工学院媒体实验室）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Megagon Labs（Megagon实验室）
正确检测数据列的语义类型对于自动数据清理、模式匹配和数据发现等数据科学任务至关重要。现有的数据准备和分析系统依赖于字典查找和正则表达式匹配来检测语义类型。然而，这些基于匹配的方法通常对脏数据不健壮，并且仅检测有限数量的类型。我们介绍Sherlock，一个用于检测语义类型的多输入深度神经网络。我们通过将DBpedia中的$78$语义类型与列标题进行匹配，在从VizNet语料库检索的$686,765$数据列上对Sherlock进行训练。我们用描述列值的统计特性、字符分布、词嵌入和段落向量的$1,588$特征来表征每个匹配列。Sherlock的支持加权F $_1$得分为$0.89$，超过了机器学习基线、字典和正则表达式基准以及众包注释的一致性。
2019-05-25 cs.DB cs.IR cs.LG
Uncertainty-aware Efficient Subgraph Isomorphism using Graph Topology
University of Michigan Transportation Research Institute（密歇根大学交通研究所）
提出一种基于图拓扑的两步子图同构方法，通过提取最小唯一拓扑子集和共识算法实现不精确匹配，具有亚线性效率和噪声鲁棒性。
2025-06-23 cs.AI cs.CV cs.LG
Learning to Distributedly Estimate under Partially Known Dynamics: A Covariance-Agnostic Neural Kalman Consensus Filter
Department of Informatics and Telecommunications, National and Kapodistrian University of Athens（信息与电信学院，国家与卡波迪斯蒂亚大学）
提出一种结合部分领域知识与深度神经网络的在线分布式状态估计框架CA-NKCF，无需噪声统计信息，在多种环境下优于传统滤波器和纯模型无关网络。
2026-06-26 cs.AI cs.LG cs.MA
DeepEnroll: Patient-Trial Matching with Deep Embedding and Entailment Prediction
Tsinghua University（清华大学）；IQVIA；Temple University（天普大学）；Georgia Institute of Technology（佐治亚理工学院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
临床试验对药物开发至关重要，但往往存在昂贵、不准确和患者招募不足的问题。患者-试验匹配的核心问题是为试验找到合格的患者，其中患者信息存储在电子健康记录（EHR）中，而试验合格性标准（EC）在网络上可用的文本文档中描述。如何表示纵向患者EHR？如何从电子商务中提取复杂的逻辑规则？现有的大多数作品依赖于手动基于规则的提取，这是耗时和不灵活的复杂推理。为了解决这些挑战，我们提出了DeepEnroll，这是一种跨模态推理学习模型，将登记标准（文本）和患者记录（表格数据）联合编码到一个共享的潜在空间中进行匹配推理。DeepEnroll应用预训练的双向编码器表示Transformers（BERT）模型将临床试验信息编码到句子嵌入中。并使用层次嵌入模型来表示患者纵向EHR。此外，DeepEnroll还增加了一个数字信息嵌入和蕴涵模块，可以对EC和EHR中的数字信息进行推理。这些编码器被联合训练以优化患者试验匹配分数。我们评估了DeepEnroll的试验患者匹配任务，并在真实世界的数据集上进行了演示。DeepEnroll在平均F1中超过最佳基线高达12.4%。
2020-01-23 cs.AI cs.LG
Syntax-based Deep Matching of Short Texts
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Noah’s Ark Lab, Huawei Technologies（华为技术有限公司诺亚方舟实验室）；Centre for Next Generation Localisation, Dublin City University（都柏林城市大学下一代本地化中心）
自然语言处理中的许多任务，从机器翻译到问答，可以简化为匹配两个句子或更一般地匹配两个短文本的问题。我们提出了一种新的方法来解决这个问题，称为深度匹配树（DeepMatch $_{tree}$），在一般的设置。该方法由两个部分组成，1）挖掘算法，用于发现在依赖树的乘积空间中定义的用于匹配两个短文本的模式，以及2）深度神经网络，用于使用挖掘的模式来匹配短文本，以及学习算法，用于构建具有稀疏结构的网络。我们在社交媒体中匹配推文和响应的问题上测试我们的算法，这是在[Wang et al.，2013]，并表明DeepMatch $_{tree}$可以优于许多竞争对手的模型，包括一个不使用依赖树的模型和一个基于词嵌入的模型，所有这些模型都具有很大的利润率
2015-06-12 cs.CL cs.LG cs.NE
Deep graph matching meets mixed-integer linear programming: Relax at your own risk ?
Guilin University of Electronic Technology（桂林电子科技大学）；Université de Tours（图尔大学）；Laboratoire d’Informatique Fondamentale et Appliquée de Tours (LIFAT - EA 6300)（图尔基础与应用计算机实验室（LIFAT - EA 6300））
本文通过将图匹配问题形式化为混合整数线性规划并引入质量水平控制求解精度，系统评估了不同松弛策略对深度图匹配模型的影响，为深度图匹配方法设计提供了理论指导。
2022-04-28 cs.CV cs.LG math.OC
Deep Policies for Online Bipartite Matching: A Reinforcement Learning Approach
University of Toronto（多伦多大学）
在广泛应用的在线匹配问题的挑战在于，使不可撤销的分配，而未来的输入是不确定的。大多数基于理论的政策本质上都是短视或贪婪的。在匹配过程定期重复的实际应用程序中，可以利用底层数据分布来更好地做出决策。我们提出了一个端到端的强化学习框架，用于基于历史数据的试错来获得更好的匹配策略。我们设计了一组神经网络架构，设计功能表示，并经验评估他们在两个在线匹配问题：边加权在线二分匹配和在线子模块二分匹配。我们表明，大多数学习方法在四个合成和真实世界的数据集上的表现始终优于经典的基线算法。平均而言，我们提出的模型在各种合成和真实世界的数据集上将匹配质量提高了3- 10\ %。我们的代码可在https://github.com/lyeskhalil/CORL上公开获取。
2022-10-31 cs.AI cs.LG
Transcriptomics-based matching of drugs to diseases with deep learning
Healx（Healx公司）
在这项工作中，我们提出了一种深度学习方法来进行无假设的，基于转录组学的疾病药物匹配。我们提出的神经网络架构在批准的药物-疾病适应症上进行训练，将相关疾病和药物差异基因表达谱作为输入，并学习识别新的适应症。我们收集了一个跨越68种疾病的疾病-药物适应症的评估数据集，并对最广泛使用的基于转录组学的匹配基线、CMap和特征方向进行了计算机模拟评估。我们的结果显示，在标准检索指标方面，两个基线的改进超过200%。我们进一步展示了我们的模型的能力，以捕捉不同的基因的表达药物和疾病之间的相互作用。我们在https://github.com/healx/dgem-nn-public上提供我们的训练模型、数据和代码来进行预测。
2023-03-21 cs.LG q-bio.GN
Revocable Deep Reinforcement Learning with Affinity Regularization for Outlier-Robust Graph Matching
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）；Nanjing University（南京大学）；Shanghai University of Finance and Economics（上海财经大学）；Huawei（华为技术有限公司）
图匹配（GM）已经成为包括计算机视觉和模式识别在内的各种领域中的构建块。尽管最近取得了令人印象深刻的进展，但现有的深度GM方法在处理异常值方面往往存在明显的困难，这些异常值在实践中无处不在。我们提出了一种基于深度强化学习的方法RGM，其顺序节点匹配方案自然适合选择性内点匹配离群点的策略。设计了一个可扩展的行动框架，以提高智能体对复杂约束GM的灵活性。此外，我们提出了一个二次近似技术来正则化的亲和力得分，在离群值的存在。因此，当亲和度分数停止增长时，代理可以及时完成内点匹配，否则需要额外的参数，即内点的数量，以避免匹配离群点。在本文中，我们专注于学习最一般形式的GM下的后端求解器：Lawler的QAP，其输入是亲和矩阵。特别是，我们的方法也可以提高现有的GM方法，使用这样的输入。在多个真实世界数据集上的实验证明了其在准确性和鲁棒性方面的性能。
2023-03-01 cs.CV cs.LG
Finite-Time Consensus Learning for Decentralized Optimization with Nonlinear Gossiping
Duke University（杜克大学）；KAUST（阿卜杜拉国王科技大学）
分布式学习已经成为扩展机器学习和满足日益增长的数据隐私需求的不可或缺的工具。虽然分散式学习方案对网络拓扑结构更鲁棒，但由于其竞争力较低，因此没有像集中式学习方案那样受到欢迎。在这项工作中，我们将这个问题归因于分散学习工作者之间缺乏同步，从经验和理论上都表明收敛速度与工作者之间的同步水平有关。基于这种动机，我们提出了一种新的分散式学习框架，该框架基于非线性闲聊（NGO），具有吸引人的有限时间共识属性，以实现更好的同步。我们仔细分析了它的收敛性，并讨论了它在现代分布式优化应用中的优点，如深度神经网络。我们对通信延迟和随机聊天如何影响学习的分析进一步使我们能够推导出适应异步和随机通信的实用变体。为了验证我们的建议的有效性，我们通过一系列广泛的测试，将NGO与竞争解决方案进行了比较，并报告了令人鼓舞的结果。
2021-11-13 cs.DC cs.LG
Towards Interpretable Deep Metric Learning with Structural Matching
Tsinghua University（清华大学）
神经网络如何区分两幅图像？理解深度模型的匹配机制对于开发可靠的智能系统以应用于诸如监控和访问控制等具有风险的视觉应用是至关重要的。然而，大多数现有的深度度量学习方法通过比较特征向量来匹配图像，这忽略了图像的空间结构，因此缺乏可解释性。在本文中，我们提出了一种深度可解释度量学习（DIML）方法，用于更透明的嵌入学习。与传统的基于特征向量比较的度量学习方法不同，我们提出了一种结构匹配策略，该策略通过计算两幅图像的特征图之间的最佳匹配流来显式地对齐空间嵌入。我们的方法使深度模型能够以更人性化的方式学习度量，其中两个图像的相似性可以分解为几个部分相似性及其对整体相似性的贡献。我们的方法是模型不可知的，这可以应用到现成的骨干网络和度量学习方法。我们在深度度量学习的三个主要基准上评估了我们的方法，包括CUB 200 -2011，Cars 196和斯坦福在线产品，并在流行的度量学习方法上实现了实质性的改进，具有更好的可解释性。代码可在https://github.com/wl-zhao/DIML上获得
2021-08-12 cs.AI cs.CV cs.LG
Weakly Supervised Deep Functional Map for Shape Matching
LIX, École Polytechnique（巴黎综合理工学院LIX实验室（LIX, École Polytechnique））
最近已经提出了各种各样的深度功能映射，从完全监督到完全无监督，具有一系列损失函数以及不同的正则化项。然而，目前还不清楚什么是深度功能图管道的最低成分，以及这些成分是否统一或概括了所有最近在深度功能图上的工作。我们显示经验最小的组件，以获得不同的损失函数，监督以及无监督的最先进的结果。此外，我们提出了一种新的框架，设计用于全到全以及部分到全形状匹配，在几个基准数据集上实现了最先进的结果，甚至比完全监督的方法有很大的优势。我们的代码可在https://github.com/Not-IITian/Weakly-supervised-Functional-map上公开获取
2020-09-28 cs.CV cs.GR cs.LG
