Real-World Anomaly Detection by using Digital Twin Systems and Weakly-Supervised Learning
Honda Research Institute Europe GmbH（本田欧洲研究院）；Università Politecnica delle Marche（马尔凯理工大学）
工业4.0背景下不断增长的监控数据量需要强大可靠的异常检测技术。数字孪生技术的进步允许对复杂机械进行逼真的模拟，因此，与实际测量数据相比，它非常适合生成用于异常检测方法的合成数据集。在本文中，我们提出了新的弱监督的方法来异常检测工业环境。该方法利用数字孪生来生成模拟机器正常操作的训练数据集，以及来自真实机器的一小组标记的异常测量。特别是，我们引入了一种基于聚类的方法，称为聚类中心（CC），以及一种基于Siamese Autoencoders（SAE）的神经架构，该架构专为具有很少标记数据样本的弱监督设置而量身定制。所提出的方法的性能进行比较，对各种国家的最先进的异常检测算法的应用程序，从一个设施监控系统的真实世界的数据集，通过使用大量的性能指标。此外，超参数相关的特征提取和网络结构的影响进行了研究。我们发现，所提出的SAE为基础的解决方案优于国家的最先进的异常检测方法非常强大的许多不同的超参数设置的所有性能指标。
2020-11-12 cs.LG
Audio Barlow Twins: Self-Supervised Audio Representation Learning
Imperial College London（伦敦帝国理工学院）；University of Augsburg（奥格斯堡大学）
Barlow Twins自监督学习目标既不需要负样本也不需要非对称学习更新，其结果与计算机视觉的当前最先进水平相当。因此，我们提出了音频巴洛双胞胎，一种新的自我监督的音频表示学习方法，适应巴洛双胞胎的音频域。我们在大规模音频数据集AudioSet上进行了预训练，并评估了HEAR 2021挑战赛中18个任务的学习表示的质量，取得了优于或与当前最先进的音频表示自监督学习方法相媲美的结果。代码请访问https://github.com/jonahanton/SSL_audio。
2022-09-28 cs.LG cs.SD eess.AS
Twin Neural Network Regression
Perimeter Institute for Theoretical Physics（圆周理论物理研究所）；University of Ottawa（渥太华大学）；Vector Institute for Artificial Intelligence（向量人工智能研究所）；University of Waterloo（滑铁卢大学）；National Research Council of Canada（加拿大国家研究委员会）
介绍了孪生神经网络（TNN）回归方法。该方法预测两个不同数据点的目标值之间的差异，而不是目标本身。然后，通过在未看见的数据点的目标和所有训练数据点的目标之间的所有预测差异的集合上求平均来获得传统回归问题的解。尽管集合的产生通常是昂贵的，但TNN回归本质上创建了两倍于训练集大小的预测集合，同时只训练单个神经网络。由于集成已被证明是更准确的比单一的模型，这个属性自然转移到TNN回归。我们表明，与其他最先进的方法相比，TNN能够竞争或产生更准确的预测不同的数据集。此外，TNN回归受到自洽条件的约束。我们发现，违反这些条件提供了一个估计的预测不确定性。
2020-12-29 cs.LG stat.ML
TRKM: Twin Restricted Kernel Machines for Classification and Regression
Department of Mathematics, Indian Institute of Technology Indore（印度理工学院印度尔分校数学系）
TRKM通过引入共轭特征对偶性提升分类与回归性能，有效应对复杂数据挑战。
2025-12-12 cs.LG
Inverting Non-Injective Functions with Twin Neural Network Regression
本文提出了一种确定性框架，通过双神经网络回归解决非单射函数的多值反向映射问题，适用于数学方程和数据定义的问题。
2026-02-18 cs.LG cs.RO
BarlowRL: Barlow Twins for Data-Efficient Reinforcement Learning
Koc University（科奇大学）
本文提出BarlowRL，结合Barlow Twins自监督学习与DER算法，在Atari 100k基准上超越DER和CURL，通过避免维度坍缩提升数据效率与强化学习性能。
2023-10-12 cs.LG
Twin support vector quantile regression
Zhejiang University of Technology（浙江工业大学）；Hainan University（海南大学）
提出孪生支持向量分位数回归（TSVQR），通过两个较小二次规划生成非平行平面捕捉数据异质性与非对称性，实验表明其优于以往方法。
2023-05-06 cs.LG stat.ML
TwinPurify: Purifying gene expression data to reveal tumor-intrinsic transcriptional programs via self-supervised learning
School of Computing Science（计算科学学院）；University of Glasgow（格拉斯哥大学）
TwinPurify通过自监督学习净化基因表达数据，揭示肿瘤内在转录程序，提升分子分类和生存模型一致性。
2026-01-27 cs.LG q-bio.MN
Med-Real2Sim: Non-Invasive Medical Digital Twins using Physics-Informed Self-Supervised Learning
UC Berkeley（加州大学伯克利分校）；UCSF（加州大学旧金山分校）；University of Barcelona（巴塞罗那大学）；Cedars Sinai（西达赛奈医疗中心）；Google Ventures（谷歌风投）；MIT（麻省理工学院）
该研究提出Med-Real2Sim方法，将物理信息自监督学习用于无创医疗数字孪生构建，通过预训练生理可微模拟器再约束微调，实现了基于超声心动图的心脏血流动力学数字孪生识别，可用于无监督疾病检测和在硅临床试验。
2024-10-31 cs.LG q-bio.QM
Crystal Twins: Self-supervised Learning for Crystalline Material Property Prediction
Carnegie Mellon University（卡内基梅隆大学）
机器学习（ML）模型在预测材料性能方面已经取得了广泛的成功。然而，训练准确的ML模型所需的大型标记数据集是难以捉摸的，并且生成计算成本很高。能够在未标记数据上训练ML模型的自监督学习（SSL）框架的最新进展缓解了这个问题，并在计算机视觉和自然语言处理任务中表现出卓越的性能。从SSL的发展中得到启发，我们介绍了双晶（CT）：一种用于晶体材料性质预测的SSL方法。使用一个大型的未标记的数据集，我们预训练图神经网络（GNN）的冗余减少原则，从相同的晶体系统获得的增强实例的图形潜在嵌入。通过在微调GNN用于回归任务时共享预训练的权重，我们显着提高了7个具有挑战性的材料属性预测基准的性能
2022-05-04 cond-mat.mtrl-sci cs.LG
Robust Training of Federated Models with Extremely Label Deficiency
Hong Kong Baptist University（香港浸会大学）；University of Science and Technology of China（中国科学技术大学）；Xidian University（西安电子科技大学）；The University of Sydney（悉尼大学）
针对联邦半监督学习中单模型训练导致的梯度冲突问题，本文提出双模型范式Twin-sight，通过同时训练有监督和无监督模型并引入邻域保持约束，在四个基准数据集上显著超越现有方法。
2024-02-22 cs.LG
A Fuzzy-set-based Joint Distribution Adaptation Method for Regression and its Application to Online Damage Quantification for Structural Digital Twin
Politecnico di Milano（米兰理工大学）；Beihang University（北京航空航天大学）
在线损害量化遭受不充分的标记数据，削弱了其准确性。在这种情况下，采用对来自类似结构/损伤的历史标记数据或模拟数字孪生数据的领域自适应来辅助当前诊断任务将是有益的。然而，大多数领域自适应方法是为分类而设计的，并且不能有效地解决损伤量化，这是一个具有连续实值标签的回归问题。本研究首先提出一种新的领域自适应方法--基于在线模糊集的回归联合分布自适应方法。通过模糊集将连续实值标签转换为模糊类别标签，同时度量边缘和条件分布差异，实现损伤量化任务的领域自适应。基于该方法的优越性，提出了一种基于领域自适应的在线损伤量化框架。最后，以某型直升机为例，进行了不同损伤位置、不同损伤类型和从仿真到试验的3种损伤领域自适应，验证了该方法在真实环境下能够显著提高损伤量化的准确性。预计该方法将应用于考虑个体差异的船队级数字孪生。
2023-02-07 cs.CE cs.LG
Infinite Width Limits of Self Supervised Neural Networks
Technical University of Munich（慕尼黑技术大学）；IIT Madras（马德拉斯理工学院）
本文首次从理论上证明，在Barlow Twins自监督损失下训练的两层宽神经网络的NTK会随宽度趋于无穷而变为常数，从而为用经典核理论分析自监督宽网络提供依据，并进一步推导出泛化误差界。
2025-05-03 cs.LG
Barlow Twins: Self-Supervised Learning via Redundancy Reduction
Facebook AI Research（脸书人工智能研究院）；New York University（纽约大学）
在大型计算机视觉基准测试中，自监督学习（SSL）正在迅速缩小与监督方法的差距。SSL的一个成功方法是学习对输入样本的失真不变性的嵌入。然而，这种方法经常出现的问题是平凡常数解的存在性。大多数当前的方法通过仔细的实现细节来避免这样的解决方案。我们提出了一个目标函数，通过测量两个相同网络的输出之间的互相关矩阵，并使其尽可能接近单位矩阵，从而自然避免崩溃。这使得样本的失真版本的嵌入向量相似，同时最小化这些向量的分量之间的冗余。这种方法被称为巴洛双胞胎，是由神经科学家H。巴洛的冗余减少原理应用于一对相同的网络。Barlow Twins不需要大批量，也不需要网络孪生之间的不对称性，例如预测网络，梯度停止或权重更新的移动平均值。有趣的是，它受益于非常高维的输出向量。Barlow Twins在低数据状态下的半监督分类方面优于ImageNet上以前的方法，并且与使用线性分类器头的ImageNet分类以及分类和目标检测的传输任务的最新技术水平相当。
2021-06-14 cs.AI cs.CV cs.LG
Semi-supervised Variational Autoencoder for Regression: Application on Soft Sensors
Imperial College London（帝国理工学院）；Bogazici University（海峡大学）
我们提出了一个半监督回归方法，使用变分自编码器（VAE），这是定制的软测量应用中使用的发展。我们鼓励使用半监督学习，考虑到过程质量变量的收集频率与其他过程变量不同，导致操作数据集中有许多未标记的记录。这些未标记的记录不可能用于基于监督学习方法的训练质量变量预测。VAE用于无监督学习是公认的，最近它们被用于基于变分推理程序的回归应用。我们扩展了这种监督VAE回归（SVAER）的方法，使其从未标记的数据中学习，从而产生半监督VAE回归（SSVAER），然后我们使用额外的正则化组件对其架构进行进一步修改，使SSVAER非常适合从标记和未标记的过程数据中学习。变分方法产生的概率回归量使得可以同时估计预测的方差，这提供了与生成的预测一起的不确定性量化。我们提供了一个广泛的比较研究SSVAER与其他公开可用的半监督和监督学习方法在两个基准问题使用固定大小的数据集，在那里我们不同的百分比标记的数据可用于训练。在这些实验中，SSVAER在20个研究案例中的11个案例中实现了最低的测试误差，而其他方法在20个案例中获得了4个最低的测试误差。
2022-12-09 cs.LG
Self-Supervised Learning by Estimating Twin Class Distributions
Tsinghua University（清华大学）；ByteDance AI Lab（字节跳动人工智能实验室）；Tongji University（同济大学）
我们提出了TWIST，一个简单的和理论上可解释的自监督表示学习方法，通过分类大规模的未标记的数据集在一个端到端的方式。我们采用一个siamese网络终止的softmax操作产生两个增强图像的孪生类分布。在没有监督的情况下，我们强制不同增广的类分布保持一致。然而，简单地最小化增广之间的分歧将导致崩溃的解决方案，即，输出所有图像的相同类别概率分布。在这种情况下，没有留下关于输入图像的信息。为了解决这个问题，我们建议最大化输入和类预测之间的互信息。具体来说，我们最小化每个样本的分布熵，以使每个样本的类预测具有断言性，并最大化平均分布的熵，以使不同样本的预测多样化。通过这种方式，TWIST可以自然地避免崩溃的解决方案，而无需特定的设计，如非对称网络，停止梯度操作或动量编码器。因此，TWIST在广泛的任务上优于最先进的方法。特别是，TWIST在半监督学习上的表现令人惊讶，使用ResNet-50作为主干，在1% ImageNet标签的情况下实现了61.2%的top-1准确率，超过了之前6.2%的绝对改进。代码和预训练模型在https://github.com/bytedance/TWIST上给出
2021-12-06 cs.CV cs.LG
Digital Twin Supervised Reinforcement Learning Framework for Autonomous Underwater Navigation
DGA Techniques Navales - Direction Générale de l’Armement（法国国防总局海军技术部）；LIS, CNRS, Aix-Marseille University（里尔研究所、国家科学研究中心、阿维尼昂-马赛大学）
本文提出基于PPO算法的数字孪生监督强化学习框架，用于提升水下自主导航的鲁棒性和适应性。
2025-12-11 cs.LG cs.RO
On the Stepwise Nature of Self-Supervised Learning
UC Berkeley（加州大学伯克利分校）；Generally Intelligent；University of Tokyo（东京大学）
本文通过分析Barlow Twins的线性化模型，揭示联合嵌入自监督学习以逐步方式逐维学习高维嵌入，并在深度ResNet上验证该现象，提出核PCA可作为自监督学习的有效模型。
2023-05-30 cs.LG
Predictive Digital Twins for Thermal Management Using Machine Learning and Reduced-Order Models
HELLA India Automotive Pvt. Ltd.（HELLA印度汽车有限公司）；HELLA GmbH & Co. KGaA（HELLA公司）
针对汽车前照灯散热器热管理，本文融合CFD降阶模型与监督学习构建预测性数字孪生，由神经网络预测最优ROM配置，MAE为54.240且精度最佳。
2025-05-11 cs.LG
Weakly Supervised Regression with Interval Targets
Chongqing University（重庆大学）；Nanyang Technological University（南洋理工大学）；Jilin University（吉林大学）
本文研究区间目标回归（RIT）这一弱监督回归问题，提出统计一致的限制预测方法并推导误差界，实验验证其有效性。
2023-06-18 cs.LG
TwinTURBO: Semi-Supervised Fine-Tuning of Foundation Models via Mutual Information Decompositions for Downstream Task and Latent Spaces
Dept. of Computer Science University of Geneva（计算机科学系日内瓦大学）；NVIDIA
该研究提出名为TwinTURBO的基础模型半监督微调框架，通过互信息分解分别优化下游任务空间与潜在空间，仅修改小型投影器模块，在少标记数据的分类任务上实现了显著性能提升。
2025-05-16 cs.CV cs.IT cs.LG
Enhancing User Sequence Modeling through Barlow Twins-based Self-Supervised Learning
Cornell University（康奈尔大学）；Google Research（谷歌研究）；Google（谷歌）；Google DeepMind（谷歌DeepMind）
提出将Barlow Twins自监督学习方法适配于用户序列建模，通过结合数据增强减少对负采样的依赖，在有限标签数据下实现有效表示学习，并在三个数据集上准确率提升8%-20%。
2025-05-02 cs.IR cs.LG
Physics-informed self-supervised learning for predictive modeling of coronary artery digital twins
Chair of Mathematical Data Science, EPFL, Lausanne, Switzerland（数学数据科学教授职位，苏黎世联邦理工学院，拉沃斯，瑞士）；LTS4 laboratory, EPFL, Lausanne, Switzerland（LTS4实验室，苏黎世联邦理工学院，拉沃斯，瑞士）；School of AI and Advanced Computing, Xi’an Jiaotong-Liverpool University, China（人工智能与高级计算学院，西安交通大学利物浦大学，中国）；Cardiology Department, Lausanne University Center Hospital, Lausanne, Switzerland（心血管科，拉沃斯大学中心医院，拉沃斯，瑞士）；OLV Hospital, Aalst, Belgium（OLV医院，阿尔斯特，比利时）；AI Center, EPFL, Lausanne, Switzerland（人工智能中心，苏黎世联邦理工学院，拉沃斯，瑞士）
PINS-CAD通过基于物理的自监督学习框架，利用合成数据预训练图神经网络，提升样本效率并生成具有生理意义的预测模型，用于冠状动脉疾病的预测和预防。
2025-11-25 cs.AI cs.LG
Modular Foundation Models for Time-Series Perception in Digital Twins
Hydro-Québec（魁北克水电公司）
针对数字孪生和PHM系统中时间序列感知挑战，提出基于预训练表示编码器集合的模块化基础模型，利用自监督学习，引入选通机制，支持多下游任务，消融研究验证各部分作用，实验有竞争力。
2026-07-07 cs.LG
Semi-Supervised Graph Imbalanced Regression
University of Notre Dame（圣母大学）；Snap Inc.（Snap公司）
针对图回归任务中稀有标签样本缺乏导致的数据不平衡问题，提出一种半监督框架，通过回归置信度伪标注和潜在空间标签锚定 mixup 数据增强逐步平衡训练数据，显著降低了图属性预测误差。
2023-05-20 cs.LG
Contrastive Learning for Semi-Supervised Deep Regression with Generalized Ordinal Rankings from Spectral Seriation
Department of Electronic and Computer Engineering, The Hong Kong University of Science and Technology（香港科学与技术大学电子与计算机工程系）；School of Science, Sun Yat-sen University（中山大学科学学院）；Institute of Science and Technology for Brain-Inspired Intelligence, Fudan University（复旦大学脑启发式智能科学与技术研究院）
本文提出一种基于谱序列化通用序排名的半监督深度回归对比学习方法，通过引入标记样本和未标记样本构建特征相似性矩阵，提升模型鲁棒性。
2025-12-10 cs.LG
Semi-supervised structured output prediction by local linear regression and sub-gradient descent
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Vanderbilt University（范德堡大学）；Suning Commerce R&D Center USA, Inc（苏宁美国研发中心）；Beijing Jiaotong University（北京交通大学）；New York University Abu Dhabi（纽约大学阿布扎比分校）；National Time Service Center, Chinese Academy of Sciences（中国科学院国家授时中心）；Graduate University of Chinese Academy of Sciences（中国科学院研究生院）
提出了一种基于局部线性回归的半监督结构化输出预测方法。现有的半监督结构化输出预测方法针对数据集中的所有数据点学习一个全局预测器，忽略了数据集局部分布的差异及其对结构化输出预测的影响。为了解决这个问题，我们提出了共同学习缺失的结构化输出和不同数据点邻域的局部预测。使用局部线性回归策略，在每个数据点的邻域中，我们建议通过最小化预测器的复杂性和结构化预测损失的上界来学习局部线性预测器。最小化问题是解决子梯度下降算法。我们在两个基准数据集上进行了实验，结果表明了所提出的方法的优点。
2016-08-16 cs.LG
Machine learning based digital twin for stochastic nonlinear multi-degree of freedom dynamical system
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）；Indian Institute of Technology Delhi（印度理工学院德里分校）
数字孪生技术的潜力是巨大的，特别是在基础设施、航空航天和汽车领域。然而，该技术的实际实施并没有达到预期的速度，特别是因为缺乏特定于应用的细节。针对随机非线性多自由度动力系统，提出了一种新的数字孪生框架。本文提出的方法战略性地将问题分解为两个时间尺度--（a）控制系统动态的快速时间尺度和（b）控制系统退化的慢速时间尺度。拟议的数字孪生模型有四个组成部分-（a）基于物理的名义模型（低保真），（b）贝叶斯过滤算法，（c）监督机器学习算法，（d）预测未来反应的高保真模型。采用基于物理的标称模型结合贝叶斯滤波的方法进行参数状态估计，并采用有监督的机器学习算法学习参数的时间演化。虽然所提出的框架可以与贝叶斯滤波和机器学习算法的任何选择一起使用，但我们建议使用无迹卡尔曼滤波器和高斯过程。所提出的方法的性能说明使用两个例子。结果表明，所提出的数字孪生框架的适用性和优异的性能。
2021-03-29 cs.LG stat.ML
Semi-Supervised Regression with Heteroscedastic Pseudo-Labels
Xi’an Jiaotong University（西安交通大学）；City University of Hong Kong（香港城市大学）；Harvard University（哈佛大学）；Xidian University（西安电子科技大学）；Pazhou Laboratory (Huangpu)（黄埔实验室）
针对半监督回归中伪标签不可靠的问题，提出不确定性感知的伪标签框架，通过双层优化动态调整伪标签影响，在基准数据集上验证了鲁棒性和性能优势。
2025-10-17 cs.LG
TANDEM: Bi-Level Data Mixture Optimization with Twin Networks
JD.com（京东公司）；University of Oxford（牛津大学）；Renmin University of China（中国人民大学）；University of Chinese Academy of Sciences（中国科学院大学）
提出TANDEM方法，通过孪生网络（代理模型和参考模型）的差异衡量数据效用，优化领域混合比例，在数据受限和监督微调等场景中显著提升大语言模型性能。
2026-06-03 cs.LG
Autoencoding Slow Representations for Semi-supervised Data Efficient Regression
Aalto University（阿尔托大学）；University of Oulu（奥卢大学）
慢原则是一个受大脑视觉皮层启发的概念。它假定快速变化的感觉信号的潜在生成因素在较慢的时间尺度上变化。利用丰富的未标记传感数据的中间表示的无监督学习可以被利用来执行数据高效的监督下游回归。在本文中，我们提出了一个一般的公式慢无监督的表示学习添加一个慢正则化项的估计下界的β-VAE，以鼓励时间相似性的观察和潜在的空间。在这个框架内，我们比较了现有的慢度正则化项，如现有端到端方法中使用的L1和L2损失，SlowVAE，并提出了一个基于布朗运动的新项。我们凭经验评估这些慢正则化条款的下游任务的性能和数据效率。我们发现，慢表示导致相同或更好的下游任务的性能和数据效率在不同的实验域相比，没有慢正则化的表示。最后，我们讨论了传统上用于确定GANs生成能力的Frechet Inception Distance（FID）如何作为一种度量来预测预训练的Autoencoder模型在监督下游任务中的性能并加速超参数搜索。
2021-07-04 cs.LG
When a CBR in Hand is Better than Twins in the Bush
Mälardalen University（梅拉达伦大学）；Drexel University（德雷塞尔大学）
本文在航班延误预测中，通过构建XGB-CBR双胞胎模型，证明了CBR模型在准确性和可解释性上均优于XGBoost，并作为基准评估SHAP和LIME方法。
2023-05-09 cs.AI cs.LG
Process parameter optimization of Friction Stir Welding on 6061AA using Supervised Machine Learning Regression-based Algorithms
Bahir Dar Institute of Technology（巴赫达尔理工学院）；Stir Research Technologies（Stir研究技术公司）
最高强度重量比的标准吸引了好奇心越来越多的几乎所有领域的重量减少是必不可少的。轻质材料及其连接工艺也是制造业最近的研究需求点。搅拌摩擦焊（FSW）是近年来在不添加任何第三种材料（填充棒）的情况下连接材料并在低于母材熔点的温度下连接的最新进展之一。该工艺广泛用于连接相似和不同的金属，特别是轻质有色金属材料，如铝，铜和镁合金。本文提出了获得提高焊接接头的机械性能的最佳工艺参数的裁决。实验在5 mm的6061铝合金板上进行。工艺参数;工具材料、旋转速度、横向速度和轴向力被利用。采用拉伸试验对焊接接头的力学性能进行了测试，接头强度效率最高可达94.2%。使用基于监督机器学习的回归算法，例如决策树、随机森林和梯度提升算法。结果表明，随机森林算法产生最高的决定系数值为0.926，这意味着它提供了一个最好的拟合相比，其他算法。
2021-08-12 cs.LG
Semi-supervised Deep Kernel Learning: Regression with Unlabeled Data by Minimizing Predictive Variance
Stanford University（斯坦福大学）
训练深度学习模型通常需要大量标记数据。然而，对于许多现实问题，获取额外的数据可能是昂贵的，甚至是不可能的。我们提出了半监督深度核学习（SSDKL），这是一种基于后验正则化框架中最小化预测方差的半监督回归模型。SSDKL将神经网络的分层表示学习与高斯过程的概率建模能力相结合。通过利用未标记的数据，我们展示了对各种现实回归任务的改进，这些任务优于有监督的深度内核学习和半监督方法，如适用于回归的VAT和平均教师。
2019-03-04 cs.AI cs.LG stat.ML
Semi-supervised Active Regression
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of California, Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）；Rutgers University（罗格斯大学）
标记数据通常需要很高的成本，因为它可能需要招募人类标记人员或进行昂贵的实验。与此同时，在许多实际场景中，人们已经可以访问部分标记的、可能有偏见的数据集，这些数据集可以帮助完成手头的学习任务。基于这样的背景，我们通过线性回归的框架正式启动了对$semi-supervised$ $active$ $learning$的研究。在这种设置中，学习者可以访问数据集$X \in \mathbb{R}^{(n_1+n_2) \times d}$，该数据集由算法可以主动查询的$n_1$未标记示例和标记为先验的$n_2$示例组成。具体地，通过$Y \in \mathbb{R}^{n_1 + n_2}$表示真实标签，学习者的目标是找到$\widehatβ \in \mathbb{R}^d$，使得\begin{equation} \| X \widehatβ - Y \|_2^2 \le (1 + ε) \min_{β\in \mathbb{R}^d} \| X β- Y \|_2^2 \end{equation}同时尽可能少地进行附加标签查询。为了约束标签查询，我们引入了一个依赖于实例的参数称为减少的秩，表示为$R_X$，并提出了一个有效的算法与查询复杂度$O(R_X/ε)$。这个结果直接意味着两个重要的特殊情况下的改进的上界：（i）主动岭回归，和（ii）主动核岭回归，其中降秩分别等于问题的统计维数$…
2021-06-12 cs.LG
Mixture Experts with Test-Time Self-Supervised Aggregation for Tabular Imbalanced Regression
National Yang Ming Chiao Tung University（国立阳明交通大学）
针对表格回归中连续标签边界不清及测试分布未知不平衡的问题，提出 MATI，通过区域感知高斯混合专家与测试时自监督聚合动态适配分布，在三类测试设置下平均将 MAE 改善 7.1%。
2025-06-08 cs.LG
Analysis of Network Lasso for Semi-Supervised Regression
Aalto University（阿尔托大学）
我们将网络Lasso应用于涉及网络结构化数据的半监督回归问题。这种方法非常自然地适用于高度可扩展的学习算法，其形式是通过代表数据网络结构的经验图传递消息。通过使用一个简单的非参数回归模型，这是由聚类假设的动机，我们提供了一个网络Lasso的估计误差的分析。该分析揭示了保证网络Lasso准确的网络结构和可用训练数据的条件。值得注意的是，网络Lasso的准确性与经验图上存在足够大的网络流有关。因此，我们的分析揭示了网络Lasso和最大流问题之间的联系。
2018-12-27 cs.LG stat.ML
Semi-supervised Fréchet Regression
School of Statistics, East China Normal University（华东师范大学统计学院）；National University of Singapore（新加坡国立大学）
针对非欧标签获取成本高的问题，本文提出两种基于图距离的半监督Fréchet回归方法，推导了其收敛速率，实验证明性能优于监督式方法，填补了相关研究空白。
2024-04-16 cs.LG math.ST stat.ML
Data-driven Discovery of Digital Twins in Biomedical Research
Inserm U1331, Institut Curie Saint-Cloud, France（法国国家医学研究院U1331，圣克鲁医院）；Aalto University Espoo, Finland（芬兰艾尔托大学）
该研究综述了从生物时间序列自动推断数字孪生的两类主流方法，按八项挑战评估发现稀疏回归（尤其贝叶斯框架下）优于符号回归，指出深度学习与大语言模型的潜力，提出结合机制基础、贝叶斯量化与深度学习的混合框架方向及配套基准测试框架。
2025-09-01 cs.LG q-bio.QM stat.ML
Using Unsupervised and Supervised Learning and Digital Twin for Deep Convective Ice Storm Classification
Jet Propulsion Laboratory, California Institute of Technology（加州理工学院喷气推进实验室）；Northrop Grumman（诺斯罗普·格鲁曼公司）
研究提出基于机器学习与大气数字孪生WRF的多步分类方法，利用K-means聚类生成标签并训练RDF、SVM、ANN、CNN等模型，从辐射计八波段数据识别冰暴云类型，在热带和非热带数据集均取得较高准确率且抗噪性强。
2023-09-12 cs.CV cs.LG
Correlated random features for fast semi-supervised learning
ETH Zürich（苏黎世联邦理工学院）
本文提出了相关Nystrom视图（XNV），一个快速的半监督算法的回归和分类。该算法借鉴了两个主要思想。首先，它生成两个视图组成的计算成本低廉的随机功能。其次，XNV应用多视图回归，使用典型相关分析（CCA）对未标记的数据进行回归，使回归偏向有用的特征。已经表明，如果视图包含准确的估计量，CCA回归可以在偏差增加最小的情况下大大减少方差。最近的理论和实证工作表明，随机功能的回归非常接近核回归，这意味着随机视图可以预期包含准确的估计，随机视图是合理的。我们表明，XNV始终优于最先进的半监督学习算法：大大提高了预测性能，降低了各种真实世界数据集上的性能变化，同时还减少了运行时间的数量级。
2013-11-05 cs.LG stat.ML
Generalizing semi-supervised generative adversarial networks to regression using feature contrasting
The City College, The City University of New York（纽约城市大学城市学院）；The Graduate Center, The City University of New York（纽约城市大学研究生中心）；Borough of Manhattan Community College, The City University of New York（纽约城市大学曼哈顿社区学院）
在这项工作中，我们将半监督生成对抗网络（GANs）从分类问题推广到回归问题。在过去的几年中，使用半监督训练来改进神经网络的训练的重要性已经被证明用于分类问题。我们提出了一种新的损失函数，称为特征对比，从而在一个机器人，它可以区分假的和真实的数据特征统计的基础上。这种方法避免了替代方法的潜在偏差和局限性。将半监督GANs推广到回归问题的机制，使其可以用于无数应用，并为更深入地了解GANs的功能提供了一条途径。我们首先在一个玩具数据集上展示了半监督回归GANs的功能，这使得我们可以详细了解它们在各种情况下的操作方式。该玩具数据集为半监督回归GAN提供了理论基础。然后，我们将半监督回归GANs应用于许多现实世界的计算机视觉应用：年龄估计，驾驶转向角预测和来自单个图像的人群计数。我们对大幅减少注释数据可以达到的准确性进行了广泛的测试。通过理论示例和现实场景的结合，我们展示了半监督GANs如何推广到回归问题。
2019-09-03 cs.CV cs.LG stat.ML
Reduced order modeling for flow and transport problems with Barlow Twins self-supervised learning
Sandia National Laboratories（桑迪亚国家实验室）；Cornell University（康奈尔大学）；Catholic University of the Sacred Heart（圣心天主教大学）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
本文提出结合自编码器与Barlow Twins自监督学习的统一降阶模型BT-AE，在保持线性子空间与非线性流形问题性能的同时支持非结构化网格，弥合了线性与非线性降阶方法之间的差距。
2022-03-22 cs.CE cs.LG math-ph
Supervised Discrete Hashing with Relaxation
Institute of Intelligent Machines, Chinese Academy of Sciences（中国科学院合肥智能机械研究所）；University of Technology Sydney（悉尼科技大学）；University of Sydney（悉尼大学）
数据相关哈希最近引起了人们的关注，因为它能够支持高效检索和存储文档、图像和视频等高维数据。在本文中，我们提出了一种新的基于学习的散列方法称为“监督离散散列松弛”（SDHR）的基础上“监督离散散列”（SDH）。SDH采用普通最小二乘回归和传统的类标号信息的0 - 1矩阵编码作为回归目标（码字），从而固定了回归目标。在SDHR中，回归目标被优化。优化后的回归目标矩阵满足每个样本正确分类的大裕度约束。与使用传统的0 - 1矩阵的SDH相比，SDHR利用学习的回归目标矩阵，因此更准确地测量回归模型的分类误差，并且更灵活。正如预期的那样，SDHR通常优于SDH。在两个大规模图像数据集（CIFAR-10和MNIST）和一个大规模人脸数据集（FRGC）上的实验结果证明了SDHR的有效性和效率。
2019-04-07 cs.LG stat.ML
Learning Paradigms and Modelling Methodologies for Digital Twins in Process Industry
Software Competence Center Hagenberg（哈根堡软件能力中心）；Johannes Kepler University（约翰内斯开普勒大学）
本文系统综述流程工业数字孪生创建中的建模方法、学习范式、学习策略与任务类型，并识别研究挑战、空白及潜在解决方案。
2024-07-02 cs.AI cs.LG
Semi-Supervised Ordinal Regression Based on Empirical Risk Minimization
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所先进智能项目中心）；Kyoto University（京都大学）
有序回归的目的是预测有序类标签。在本文中，我们考虑它的半监督制定，其中我们有未标记的数据以及有序标记的数据训练有序回归。有几个度量来评估有序回归的性能，例如平均绝对误差，平均零一误差和均方误差。然而，现有的研究没有考虑评价指标，对模型的选择有限制，没有理论保证。为了克服这些问题，我们提出了一种新的通用框架，半监督有序回归的基础上的经验风险最小化原则，适用于优化上述所有指标。此外，我们的框架具有灵活的模型，代理损失和优化算法的选择，而无需对未标记数据进行常见的几何假设，如聚类假设或流形假设。我们进一步提供了一个估计误差界，以表明我们的风险估计是一致的。最后，我们进行实验，以显示我们的框架的实用性。
2021-06-10 cs.LG stat.ML
Encoder-Decoder Networks for Self-Supervised Pretraining and Downstream Signal Bandwidth Regression on Digital Antenna Arrays
DeepSig, Inc.（DeepSig公司）
本文首次将自监督学习用于数字天线阵列数据，通过通道修复任务预训练编码器-解码器网络，再迁移到少量标注数据上训练带宽回归任务，证明预训练能显著提升下游回归性能。
2023-07-06 cs.LG eess.SP
Model Interpretation: A Unified Derivative-based Framework for Nonparametric Regression and Supervised Machine Learning
Wells Fargo（富国银行）
解释具有许多预测因子的非参数回归模型是一个具有挑战性的问题。由于机器学习算法的广泛使用以及理解和解释其输入-输出关系的困难，人们对这个主题重新产生了兴趣。本文使用基于导数的方法，在文献中现有的工具，包括部分依赖图，边际图和累积效应图开发了一个统一的框架。它提出了一种新的解释技术，称为累积总导数效应图，并演示了如何使用其组件来开发具有相关预测因子的复杂回归模型的广泛见解。通过仿真结果说明了该技术。
2018-09-08 cs.LG stat.ML
Supervised feature selection with orthogonal regression and feature weighting
有效的特征可以提高模型的性能，从而帮助我们理解复杂数据的特征和底层结构。以往的特征选择方法通常不能保留更多的局部结构信息。为了解决上述缺陷，我们提出了一种新的监督正交最小二乘回归模型与特征加权特征选择。目标函数的优化问题可以通过广义幂迭代（GPI）和增广拉格朗日乘子（ALM）方法求解。实验结果表明，与传统的特征选择方法相比，该方法能更有效地降低特征维数，获得更好的分类结果。证明了该迭代法的收敛性。理论和实验验证了该方法的有效性和优越性。
2019-10-09 cs.LG stat.ML
Minimax-optimal semi-supervised regression on unknown manifolds
Weizmann Institute of Science（魏茨曼科学研究所）
我们考虑半监督回归时，预测变量是从一个未知的流形。解决这个问题的一个简单的两步方法是：（i）使用标记和未标记的实例来估计任何一对点之间的流形测地线距离;以及（ii）基于这些距离估计应用k最近邻回归量。我们证明了足够多的未标记的点，这种简单的方法测地线kNN回归达到最佳的有限样本极大极小界的均方误差，如果已知的流形。此外，我们展示了如何可以有效地实现这种方法，只需要O（k N log N）的操作来估计所有N个标记和未标记点的回归函数。我们在两个具有流形结构的数据集上说明了这种方法：使用WiFi指纹的室内定位和面部姿态估计。在这两种情况下，测地线kNN比流行的拉普拉斯特征向量回归更准确，更快。
2017-03-06 cs.LG stat.ML
Semi-Supervised Regression using Cluster Ensemble and Low-Rank Co-Association Matrix Decomposition under Uncertainties
Sobolev Institute of mathematics（索博列夫数学研究所）；Novosibirsk State University（新西伯利亚国立大学）；RWTH Aachen（亚琛工业大学）
在本文中，我们解决了一个半监督回归问题。由于缺乏有关数据结构的知识和随机噪声的存在，所考虑的数据模型是不确定的。我们提出了一种方法，结合图拉普拉斯正则化和聚类集成方法。在标记和未标记数据上计算集成的协关联矩阵;该矩阵用作正则化框架中的相似性矩阵以导出预测输出。我们使用低秩分解的协关联矩阵显着加快计算和减少内存。使用蒙特卡罗方法的数值实验表明，所提出的方法的鲁棒性，效率和可扩展性。
2020-11-30 cs.LG stat.ML
RankUp: Boosting Semi-Supervised Regression with an Auxiliary Ranking Classifier
Academia Sinica（中央研究院）；NVIDIA（英伟达公司）
针对现有半监督分类技术无法直接用于回归任务的问题，提出RankUp方法将回归转排序任务结合分类技术，辅以RDA优化伪标签，在多领域回归基准上取得SOTA性能并开源代码。
2024-10-29 cs.CL cs.CV cs.LG
PROMPT: Parallel Iterative Algorithm for $\ell_{p}$ norm linear regression via Majorization Minimization with an application to semi-supervised graph learning
在本文中，我们考虑的问题，$\ell_{p}$范数线性回归，它有几个应用，如稀疏恢复，数据聚类，和半监督学习。这个问题，即使凸，不享有一个封闭的形式的解决方案。现有技术的算法是迭代的，但存在收敛问题，即，它们或者在p>3时发散，或者收敛到最优解对算法的初始化敏感。而且，这些算法不能推广到$p$的每个可能值。本文基于优化最小化原理，提出了一种求解$\ell_{P}$范数回归问题的迭代算法：并行迭代AlgOrithM（PROMPT），并证明了该算法是单调的，且对$p$的任意值都收敛于问题的最优解.该算法还可以快速更新回归变量的每个元素，这有助于有效地处理大规模数据，这是数据爆炸时代的常见情况。随后，我们表明，该算法也可以应用于基于图的半监督学习问题。我们通过数值模拟表明，该算法收敛到最优解的任何随机初始化，也比最先进的算法在收敛速度方面表现得更好。我们还评估了所提出的算法的性能，使用模拟和真实数据的基于图的半监督学习问题。
2021-10-23 cs.LG eess.SP
Supervised Learning with Similarity Functions
Indian Institute of Technology（印度理工学院）；Microsoft Research Lab（微软研究院）
我们解决了一般的监督学习的问题时，数据只能通过一个（不确定的）数据点之间的相似性函数。现有的工作学习不确定的内核只集中在二进制/多类分类问题。我们提出了一个模型，是通用的，足以处理任何监督学习任务，也包括以前提出的分类模型。我们给出了相似性函数的一个“优度”准则。给定的监督学习任务，然后采用公知的标记技术，以使用“好的”相似性函数为监督学习提供有效的算法。我们证明了我们的模型在三个重要的监督学习问题上的有效性：a）实值回归，b）有序回归和c）排名，我们表明我们的方法保证有界泛化误差。此外，对于实值回归的情况下，我们给出了一个自然善良的定义，当与最近的结果在稀疏向量恢复结合使用时，保证稀疏预测有界泛化误差。最后，我们报告的结果，我们的学习算法回归和有序回归任务，使用非PSD相似性函数，并证明我们的算法的有效性，特别是稀疏地标选择算法，实现显着更高的精度比基线方法，同时提供降低计算成本。
2012-10-22 cs.LG stat.ML
