Metric learning by Similarity Network for Deep Semi-Supervised Learning
Shanghai University of Finance and Economics（上海财经大学）
随着深度学习的快速发展，深度半监督学习在现实世界中得到了广泛的应用。最近，人们的注意力已经转移到诸如Mean-Teacher之类的方法来惩罚两个扰动输入集之间的不一致性。虽然这些方法可能会获得积极的结果，但它们忽略了数据实例之间的关系信息。为了解决这个问题，我们提出了一种新的方法命名为度量学习相似性网络（MLSN），其目的是学习一个距离度量自适应不同的领域。通过与分类网络的共同训练，相似性网络可以学习更多关于成对关系的信息，并且在一些经验任务上比最先进的方法表现得更好。
2020-04-29 cs.LG stat.ML
On the Relationship between Online Gaussian Process Regression and Kernel Least Mean Squares Algorithms
University of Cantabria（坎塔布里亚大学）；CIBER-BBN（西班牙生物医学、生物工程和纳米医学研究中心联盟）；University of Zaragoza（萨拉戈萨大学）；Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
研究了在线高斯过程（GP）回归与核最小均方（KLMS）算法之间的关系。虽然后者在在线学习过程中没有存储整个后验分布的能力，但我们发现它们的操作对应于遵循简单参数模型的固定后验协方差的假设。有趣的是，几个著名的KLMS算法对应于该模型的特定情况。概率的观点使我们能够理解他们中的每一个人如何处理不确定性，这可以解释他们的一些表现差异。
2016-09-11 cs.IT cs.LG math.IT
Catastrophic Forgetting in Continual Reinforcement Learning
UCL（伦敦大学学院）
本研究探究持续强化学习中任务相似性与灾难性遗忘的关系，采用Q-learning在图任务上实验，发现二者存在复杂动态关系，未证实任务相似性独立影响遗忘，需进一步研究。
2026-08-11 cs.LG
Enhancing Model Fairness and Accuracy with Similarity Networks: A Methodological Approach
本文提出一种基于相似性网络的方法，通过调整相似性分辨率探索数据集偏差特征，以提升模型公平性与准确性，并在分类、插补和增强任务中验证其有效性。
2024-11-08 cs.LG
Discovery of Disease Relationships via Transcriptomic Signature Analysis Powered by Agentic AI
School of Information Sciences, University of Illinois Urbana-Champaign, Urbana, IL, USA（信息科学学院，伊利诺伊大学厄巴纳-香槟分校）
本研究利用智能体AI系统GenoMAS分析1300多个疾病-条件对的转录组数据，开发基于通路的相似性框架，发现已知共病和跨类别关联，并揭示潜在分子机制及治疗再利用机会。
2025-08-06 cs.LG q-bio.GN
Interpretable, similarity-driven multi-view embeddings from high-dimensional biomedical data
University of Virginia（弗吉尼亚大学）
相似性驱动的多视图线性重建（SiMLR）是一种利用模态间关系将大型科学数据集转换为更小，更强大和可解释的低维空间的算法。SiMLR贡献了一种新的目标函数，用于识别联合信号，基于稀疏矩阵表示先前的模态内关系的正则化，以及允许应用于大数据矩阵的联合减少的实现，每个矩阵可能具有数百万个条目。我们证明了SiMLR在模拟数据，多组学癌症生存预测数据集和多模态神经成像数据集的监督学习问题上优于密切相关的方法。总之，该结果集合表明，SiMLR可以与默认参数一起应用于来自不同模态的联合信号估值，并且可以在各种应用领域中产生实际有用的结果。
2021-01-21 cs.LG stat.ML
Improving Context-Aware Semantic Relationships in Sparse Mobile Datasets
Stanford University（斯坦福大学）
传统的语义相似度模型往往无法封装文本所处的外部语境。然而，在移动平台上生成的文本数据集可以通过引入多模态数据来帮助我们构建更真实的语义相似性表示。这在稀疏数据集中尤其重要，这使得仅文本驱动的上下文解释变得更加困难。在本文中，我们开发了新的算法，用于构建外部特征到句子嵌入和语义相似性得分。然后，我们在Twitter数据上嵌入空间进行测试，使用每条推文的时间和地理位置来更好地理解其上下文。最终，我们证明了将具有八个分量的PCA应用于嵌入空间并附加多模态特征会产生最佳结果。这产生了相当大的改进，基于纯文本的方法来发现类似的推文。我们的研究结果表明，我们的新算法可以帮助提高在各种设置的语义理解。
2018-12-23 cs.CL cs.LG stat.ML
Graph Multi-Similarity Learning for Molecular Property Prediction
Brandeis University（布兰迪斯大学）
针对现有分子表示学习对多相似性探索不足、需指定正负样本对易引入偏差的问题，提出无需定义正负对的GraphMSL框架，通过多模态多相似性度量提升分子性质预测性能，在药物发现中有效。
2024-02-02 cs.CE cs.LG
SAFE: Similarity-Aware Multi-Modal Fake News Detection
Syracuse University（雪城大学）
有效检测假新闻最近引起了极大的关注。目前的研究在预测假新闻方面做出了重大贡献，但较少关注利用新闻文章中文本和视觉信息之间的关系（相似性）。重视这种相似性有助于识别假新闻故事，例如，试图使用不相关的图像来吸引读者的注意力。在这项工作中，我们提出了一个$\mathsf{S}$ imilarity- $\mathsf{A}$ ware $\mathsf{F}$ ak $\mathsf{E}$新闻检测方法（$\mathsf{SAFE}$），调查多模态（文本和视觉）信息的新闻文章。首先，采用神经网络分别提取新闻文本和视觉特征。我们进一步研究跨模态提取的特征之间的关系。新闻文本和视觉信息的这种表示及其关系被联合学习并用于预测假新闻。提出的方法有助于识别虚假的新闻文章的基础上，他们的文字，图像，或他们的“不匹配”。“我们对大规模的真实数据进行了广泛的实验，证明了所提出的方法的有效性。
2020-02-19 cs.CL cs.CV cs.LG
A Symmetry-Aware Exploration of Bayesian Neural Network Posteriors
SATIE（SATIE实验室）；Université Paris-Saclay（巴黎萨克雷大学）；U2IS（U2IS实验室）；ENSTA Paris（巴黎高等先进技术学院）；Institut Polytechnique de Paris（巴黎理工学院）
本文首次大规模探索深度贝叶斯神经网络后验，研究近似方法、不确定性量化、模式影响及可视化，揭示权重空间对称性（排列与缩放）的关键作用，并计划发布大规模检查点数据集。
2023-10-12 cs.LG stat.ML
Pairwise Supervision Can Provably Elicit a Decision Boundary
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所先进智能项目中心）；UCL（伦敦大学学院）；Preferred Networks, Inc.（Preferred Networks公司）
相似性学习是通过预测一对模式之间的关系来获得有用表征的一般性问题。这个问题涉及到各种重要的预处理任务，如度量学习，核学习和对比学习。建立在表示的分类器，预计在下游分类表现良好，然而，很少有理论已经在文献中给出了到目前为止，从而相似性和分类之间的关系仍然难以捉摸。因此，我们解决了一个基本的问题：相似性信息可以证明导致模型在下游分类中表现良好吗？在本文中，我们揭示了产品型配方的相似性学习是密切相关的二进制分类的目标。我们进一步表明，这两个不同的问题是明确连接的超额风险约束。因此，我们的研究结果阐明，相似性学习是能够解决二进制分类直接引出一个决策边界。
2022-03-01 cs.LG stat.ML
Multi-Class Classification from Noisy-Similarity-Labeled Data
University of Sydney（悉尼大学）；Xidian University（西安电子科技大学）；RIKEN（理化学研究所）；Hong Kong Baptist University（香港浸会大学）；The University of Melbourne（墨尔本大学）；Brain-Inspired Technology Co., Ltd.（脑启发科技有限公司）
相似性标签指示两个实例是否属于同一个类，而类标签显示实例的类。在没有类标签的情况下，可以通过Meta分类学习从相似性标记的成对数据中学习多类分类器。然而，由于相似性标签比类别标签信息量少，因此它更有可能是嘈杂的。深度神经网络可以很容易地记住有噪声的数据，从而导致分类中的过拟合。在本文中，我们提出了一种方法来学习只有噪声相似性标记的数据。具体来说，为了对噪声进行建模，我们采用噪声转移矩阵来桥接干净数据和噪声数据之间的类后验概率。我们进一步估计的转移矩阵，从只有噪声的数据，并建立一个新的学习系统来学习分类器，可以分配无噪声的类标签的实例。此外，我们从理论上证明了我们提出的方法如何推广学习分类器。实验结果表明，该方法优于国家的最先进的方法对基准模拟和现实世界的噪声标签数据集。
2020-02-16 cs.LG stat.ML
Local Regularization of Noisy Point Clouds: Improved Global Geometric Estimates and Data Analysis
一些数据分析技术采用数据点之间的相似性关系来揭示底层数据生成机制的内在维度和几何结构。在本文中，我们工作的模型假设下，数据是由随机扰动的特征向量躺在一个低维流形。我们研究两个问题：如何定义噪声数据点上的相似性关系，以及在从底层流形提取全局几何信息时相似性的选择所产生的影响。我们提供了具体的数学证据，使用本地正则化的噪声数据来定义的相似性，提高了近似的隐藏的欧氏距离之间的未扰动点。此外，基于图的对象构造的局部正则化的相似性函数满足更好的误差界在其恢复的全球几何。我们的理论得到了数值实验的支持，这些实验表明，局部正则化促进的几何理解的增益转化为模拟和真实数据中分类精度的增益。
2019-04-06 cs.LG stat.ML
Spatio-Temporal Similarity Measure based Multi-Task Learning for Predicting Alzheimer's Disease Progression using MRI Data
University of Sheffield（谢菲尔德大学）
针对传统AD进展预测模型忽略脑区时间关联的问题，提出基于时空相似性度量的多任务学习方法，可更有效预测疾病进展并识别关键生物标志物关联。
2023-11-06 cs.CV cs.LG eess.IV
SimCalib: Graph Neural Network Calibration based on Similarity between Nodes
Tsinghua University（清华大学）；The Chinese University of Hong Kong（香港中文大学）
本研究揭示GNN校准与节点相似性的理论关联，提出兼顾全局与局部节点相似性的SimCalib校准框架，在16个基准中的14个上实现SOTA性能，还探讨了过平滑与校准的潜在关系。
2023-12-19 cs.LG cs.SI
Seeing stars: Exploiting class relationships for sentiment categorization with respect to rating scales
我们解决评级推理问题，其中不是简单地决定评论是"竖起大拇指"还是"竖起大拇指"，如在先前的情感分析工作中，而是必须确定作者关于多点尺度的评价（例如，一至五颗“星”）。这个任务代表了标准多类文本分类的一个有趣的转折，因为类标签之间有几个不同程度的相似性;例如，“三颗星”直观上更接近“四颗星”而不是“一颗星”。我们首先评估人类在任务中的表现。然后，我们应用一种基于问题的度量标签公式的元算法，该算法改变给定n元分类器的输出，以明确尝试确保相似的项获得相似的标签。我们表明，元算法可以提供显着的改进，多类和回归版本的支持向量机时，我们采用了一种新的相似性度量适当的问题。
2005-06-17 cs.CL cs.LG
Unified Knowledge Distillation Framework: Fine-Grained Alignment and Geometric Relationship Preservation for Deep Face Recognition
Indian Institute of Science Education and Research（印度科学教育与研究学院）
提出统一知识蒸馏框架，通过实例级嵌入蒸馏和关系成对相似性蒸馏，实现细粒度对齐与几何关系保持，在多基准上超越现有方法，学生模型甚至超越教师。
2025-08-15 cs.CV cs.LG
Convex Point Estimation using Undirected Bayesian Transfer Hierarchies
Stanford University（斯坦福大学）
当相关的学习任务被自然地安排在一个层次结构中时，一个有吸引力的处理实例稀缺的方法是使用层次贝叶斯框架的迁移学习。由于完全贝叶斯计算可能是困难的，并且计算要求很高，因此通常希望使用有助于（相对）有效预测的后验点估计。然而，分层贝叶斯框架并不总是自然地适用于这一最大后验目标。在这项工作中，我们提出了一个无向重构的分层贝叶斯依赖于先验的形式相似性措施。我们引入的概念，这些相似性措施的组件上的“转移度”的权重，并展示了它们如何可以自动学习的联合概率框架内。重要的是，我们的重新制定的结果在许多学习问题的凸目标，从而促进最佳后验点估计使用标准的优化技术。此外，我们不再需要适当的先验知识，允许灵活和直接的规范的联合分布在传输层次。我们表明，我们的框架是有效的学习模型的一部分，传输层次结构的两个现实生活中的任务：对象形状建模使用高斯密度估计和文档分类。
2012-06-13 cs.LG stat.ML
Analogical-based Bayesian Optimization
Centre for Pattern Recognition and Data Analytics（模式识别与数据分析中心）
一些现实世界的问题旋转以解决优化问题\max_{x\in\mathcal{X}} f \left（x \right），其中f \left（. \right）是黑盒函数，并且X可以是非向量对象的集合（例如，分布），我们只能在其上定义对称和非负的相似性得分。这种设置需要对贝叶斯优化的标准框架进行新颖的视图，以概括该框架的核心洞察力精神。基于这种精神，本文提出了一种基于类比的贝叶斯优化算法，它可以在一个只能定义相似度的域上最大化黑盒函数。我们的路径如下：我们首先基于高斯过程（GP）的几何视图来定义影响水平的概念，该影响水平允许我们分析地表示GP后验的预测均值和方差，并且基于该视图来使得能够用更遗传的相似性得分来替换核相似性。此外，我们还提出了两种策略来找到一批查询点，可以有效地处理高维数据。
2017-09-19 cs.LG stat.ML
A similarity-based Bayesian mixture-of-experts model
KTH Royal Institute of Technology（瑞典皇家理工学院）；RaySearch Laboratories（瑞镭实验室）；Silo AI（Silo AI（西洛人工智能公司））
我们提出了一个新的非参数混合专家模型的多元回归问题，启发的概率k-近邻算法。使用条件指定的模型，对样本外输入的预测基于与每个观察到的数据点的相似性，产生由高斯混合表示的预测分布。后验推理的混合物成分的参数，以及使用平均场变分贝叶斯算法伴随着随机梯度为基础的优化过程的距离度量。所提出的方法是特别有利的设置，其中输入是相对较高的维度相比，数据的大小，其中输入-输出关系是复杂的，并且其中预测分布可能是偏斜的或多模态的。对五个数据集的计算研究，其中两个是综合生成的，说明了我们的混合专家方法对高维输入的明显优势，在验证指标和目视检查方面都优于竞争对手的模型。
2022-08-03 cs.LG stat.ME stat.ML
Predictive Data Calibration for Linear Correlation Significance Testing
Forschungszentrum Jülich（于利希研究中心）；Heinrich Heine University（海因里希·海涅大学）
推断线性关系是许多实证研究的核心。线性相关性的度量应该正确地评估关系的强度，并限定它是否对总体有意义。Pearson相关系数（PCC），二元关系的\textit{de-facto}测量，在这两个方面都缺乏。由于样本量有限和数据的非正态性，估计的强度$r$可能错误。在统计显著性检验的背景下，将$p$值错误解释为后验概率会导致第一类错误--这是延伸到PCC的显著性检验的一个普遍问题。当同时测试多个假设时，这种错误会加剧。为了解决这些问题，我们提出了一种基于机器学习的预测数据校准方法，该方法本质上是将数据样本置于预期的线性关系上。使用校准的数据计算PCC产生校准的$p$值，其可以与校准的$r$估计一起被解释为后验概率，这是其他方法无法提供的期望结果。此外，随后对每个测试的独立解释可能消除对多重检验校正的需要。我们提供的经验证据有利于所提出的方法，使用几个模拟和应用到现实世界的数据。
2022-08-15 cs.LG stat.ME stat.ML
A Scalable Test Problem Generator for Sequential Transfer Optimization
City University of Hong Kong（香港城市大学）；City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）；Northeastern University（东北大学）；Chongqing University（重庆大学）；Qingdao University of Technology（青岛理工大学）；Hong Kong Polytechnic University（香港理工大学）
本文提出了一种可扩展的序列迁移优化测试问题生成器，通过引入相似性分布特征定量描述任务间最优解关系，并构建了包含12个STO问题的基准套件，解决了现有测试问题可扩展性差且难以建模真实世界相似性关系的问题。
2023-10-19 cs.AI cs.LG cs.NE
Similarity of Neural Network Representations Revisited
Google Brain（谷歌大脑）
最近的工作试图通过比较层之间和不同训练模型之间的表示来理解神经网络的行为。我们研究的方法比较神经网络表示典型相关分析（CCA）的基础上。我们发现，CCA属于一个家庭的统计测量多元相似性，但无论是CCA或任何其他统计是不变的可逆线性变换可以测量有意义的相似性表示更高的维度比数据点的数量。我们引入了一个相似性指数，衡量代表性的相似性矩阵之间的关系，并没有受到这种限制。该相似性指数与中心核比对（CKA）等价，也与CCA密切相关。与CCA不同，CKA可以可靠地识别从不同初始化训练的网络中的表示之间的对应关系。
2019-07-19 cs.LG q-bio.NC stat.ML
The relationship between Biological and Artificial Intelligence
illumr Ltd.（illumr有限公司）
智能可以被定义为人类完成计算机和动物通常难以完成的任务的能力。人工智能[AI]是一个试图用计算机完成这些任务的领域。人工智能正变得越来越普遍，就像它与生物智能的关系一样。通常，这些说法意味着给定技术成功的机会更高，假设模仿生物智能机制的人工智能系统应该更成功。在这篇文章中，我将讨论人工智能与我们对生物智能机制的了解程度之间的相似性和差异，特别是在人类中。我还将探讨人工智能系统中的仿生学有助于其发展这一假设的有效性，我将论证人工神经网络[ANN]处理任务的方式与生物系统的现有相似性是由于设计决策，而不是潜在机制的固有相似性。本文针对的是那些了解人工智能（尤其是人工神经网络）基础知识的人，他们希望能够更好地评估关于仿生学在人工智能中的价值的通常疯狂的说法。
2019-05-01 cs.AI cs.LG cs.NE
Representation Similarity Analysis for Efficient Task taxonomy & Transfer Learning
Singapore University of Technology and Design（新加坡科技设计大学）
迁移学习广泛应用于深度神经网络模型中，当可用的标记示例很少时。常见的方法是在类似的任务中使用预先训练好的网络，并微调模型参数。这通常是在没有从一组预先训练的模型中进行预先选择的情况下盲目完成的，或者通过微调一组在不同任务上训练的模型，并通过交叉验证选择表现最好的模型。我们解决这个问题，提出了一种方法来评估视觉任务和他们的任务特定模型之间的关系。我们的方法使用表示相似性分析（RSA），它通常用于从大脑数据和模型中找到神经元反应之间的相关性。使用RSA，我们通过计算在不同任务上训练的模型之间的相关性来获得任务之间的相似性得分。我们的方法是有效的，因为它只需要预先训练的模型，和一些图像，没有进一步的训练。我们证明了我们的方法的有效性和效率生成任务分类的Taskonomy数据集。接下来，我们评估RSA与Taskonomy任务和新任务的迁移学习性能之间的关系：Pascal VOC语义分割。我们的研究结果表明，在具有较高相似性得分的任务上训练的模型显示出更高的迁移学习性能。令人惊讶的是，Pascal VOC语义分割的最佳迁移学习结果不是从语义分割的预训练模型中获得的，这可能是由于域差异，并且我们的方法成功地选择了高性能模型。
2019-04-26 cs.AI cs.CV cs.LG
