EchoAlign: Bridging Generative and Discriminative Learning under Noisy Labels
School of Software, Shandong University, Jinan 250100, China(山东大学软件学院,济南250100,中国);Sydney AI Centre, The University of Sydney, Sydney, NSW 2050, Australia(悉尼大学悉尼人工智能中心,悉尼,新南威尔士州2050,澳大利亚)
EchoAlign通过将噪声标签作为监督目标,调整实例特征以实现对齐,提升在高噪声环境下的鲁棒学习能力,实验显示其在多个数据集上表现优于现有方法。
2026-05-11 cs.LG
Catastrophic overfitting can be induced with discriminative non-robust features
Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);University of Oxford(牛津大学);Naver Labs Europe(Naver欧洲实验室);ETH Zürich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems, Tuebingen(图宾根马克斯·普朗克智能系统研究所);Five AI Ltd.(Five AI有限公司)
本文通过向自然图像数据集注入判别性非鲁棒特征,证明单步对抗训练可在更小ε下诱发灾难性过拟合,并揭示其学习捷径机制。
2023-08-15 cs.AI cs.CV cs.LG
Generative Robust Classification
University of Virginia(弗吉尼亚大学)
训练对抗性强的判别(即,softmax)分类器已经成为鲁棒分类的主要方法。基于最近在基于对抗训练(AT)的生成模型方面的工作,我们研究了使用AT来学习非规范化的类条件密度模型,然后执行生成鲁棒分类。结果表明,在模型容量相近的情况下,当测试数据干净或测试扰动大小有限时,生成式鲁棒分类器的性能与基线softmax鲁棒分类器相当,而当测试扰动大小超过训练扰动大小时,生成式鲁棒分类器的性能要优于基线softmax鲁棒分类器.生成分类器还能够生成更接近于训练数据的样本或反事实,这表明生成分类器可以更好地捕获类条件分布。与标准的判别对抗训练相比,高级数据增强技术只有在与权重平均相结合时才有效,我们发现应用高级数据增强来实现更好的鲁棒性是很简单的。我们的研究结果表明,生成分类器是一个有竞争力的替代强大的分类,特别是对有限数量的类的问题。
2022-12-14 cs.CV cs.LG
Learning Lipschitz Feedback Policies from Expert Demonstrations: Closed-Loop Guarantees, Generalization and Robustness
University of California, Riverside(加州大学河滨分校)
在这项工作中,我们提出了一个框架来学习反馈控制政策,保证闭环泛化和对抗鲁棒性。这些策略是直接从专家演示中学习的,包含在状态控制输入对的数据集中,而不需要任务和系统模型的任何先验知识。我们使用Lipschitz约束的损失最小化方案来学习具有认证的闭环鲁棒性的反馈策略,其中Lipschitz约束作为一种机制来调整泛化性能和对对抗性干扰的鲁棒性。我们的分析利用Lipschitz属性获得闭环保证的泛化和鲁棒性的学习政策。特别是,我们推导出一个有限的样本界的策略学习错误和建立鲁棒闭环稳定下学习的控制策略。我们还得到了关于专家政策和有界(对抗性)的状态测量干扰下的闭环性能恶化的闭环遗憾的界限。数值结果验证了我们的分析,并证明了我们的鲁棒反馈策略学习框架的有效性。最后,我们的研究结果表明,标称闭环性能和对抗性鲁棒性之间存在潜在的权衡,并且标称闭环性能的改善只能以牺牲对抗性扰动的鲁棒性为代价。
2022-01-20 cs.LG cs.SY eess.SY
Discriminative Feature Feedback with General Teacher Classes
Ben-Gurion University of the Negev(内盖夫本-古里安大学);Vector Institute for Artificial Intelligence(向量人工智能研究所);McMaster University(麦克马斯特大学)
本文研究了判别特征反馈(DFF)的理论性质,分析了其在可实现和不可实现设置中的错误界限,并揭示了DFF与在线学习之间的差异。
2026-02-06 cs.LG
Diffusion-TTA: Test-time Adaptation of Discriminative Models via Generative Feedback
Carnegie Mellon University(卡内基梅隆大学)
本文提出 Diffusion-TTA,利用扩散模型的生成反馈在测试时自适应判别模型,通过最大化图像似然反向传播梯度,显著提升分类、分割和深度预测等任务的准确率,优于 TTT-MAE 和 TENT 等现有方法。
2023-11-29 cs.AI cs.CV cs.LG
Discriminative Clustering for Robust Unsupervised Domain Adaptation
Duke University(杜克大学)
无监督的领域自适应试图通过利用标记源数据集的信息来学习未标记目标域的不变和判别表示。我们建议通过同时学习紧密聚类的目标表示来提高目标域表示的区分能力,同时鼓励每个聚类被分配到一个独特的和不同的类。这种策略将负迁移的影响与源和目标表征之间的对抗性域匹配相结合。我们的方法是强大的源和目标标签分布的差异,因此适用于平衡和不平衡的领域自适应任务,并与一个简单的扩展,它也可以用于部分领域自适应。在多个领域自适应基准数据集上的实验表明,该方法在平衡、不平衡和部分领域自适应三种情况下均能获得最佳性能.
2019-05-30 cs.LG stat.ML
Robustness Quantification for Discriminative Models: a New Robustness Metric and its Application to Dynamic Classifier Selection
Foundations Lab for imprecise probabilities (FLip)(不精确概率基础实验室);Ghent University(根特大学);Statistics Dept.(统计系);Federal University of São Carlos(萨尔瓦多·克鲁斯联邦大学);Institute of Mathematic and Computer Sciences(数学与计算机科学学院);University of São Paulo(圣保罗大学)
本文提出了一种适用于任何概率判别分类器和任何特征类型的新型鲁棒性度量,用于区分可靠与不可靠的预测,并应用于动态分类器选择。
2026-07-10 cs.LG stat.ML
Training More Robust Classification Model via Discriminative Loss and Gaussian Noise Injection
Ampere Software Technology(Ampere软件技术公司);Institut de mathématiques de Toulouse(图卢兹数学研究所);Institut de Recherche en Informatique de Toulouse(图卢兹计算机研究所);Laboratoire Jean Alexandre Dieudonné, Université Côte d’Azur(坎特伯雷大学Dieudonné实验室)
本文提出通过判别损失和高斯噪声注入提升模型鲁棒性,增强特征判别性和类别分离性,同时减少损失曲率以提升鲁棒性。
2026-01-05 cs.LG stat.ML
Robust Discriminative Clustering with Sparse Regularizers
INRIA - Sierra Project-team(INRIA - Sierra 项目组);Département d’Informatique de l’Ecole Normale Supérieure (CNRS - ENS - INRIA)(巴黎高等师范学院计算机科学系(CNRS - ENS - INRIA))
对高维数据进行聚类通常需要某种形式的降维,其中聚类变量与“噪声外观”变量分离。我们把这个问题转化为找到一个低维投影的数据,这是良好的聚类。在最简单的情况下,这会产生一个一维投影,两个集群,并自然扩展到多标签的情况下,两个以上的集群。在本文中,(a)我们首先表明,这种联合聚类和降维公式是等价于以前提出的判别聚类框架,从而导致凸松弛的问题,(b)我们提出了一种新的稀疏扩展,这仍然是一个凸松弛,并允许在更高的维度估计,(c)我们提出了一个自然的扩展多标签的情况下,(d)我们用简单的概率模型对这些公式的性能进行了新的理论分析,导致仿射不变情况下的$d=O(\sqrt{n})$形式和稀疏情况下的$d=O(n)$形式的缩放,其中$n$是示例的数量,$d$是环境维度,最后,(e)我们提出了一个运行时间复杂度与$O(nd^2)$成正比的有效迭代算法,改进了以前的算法,其在例子数上具有二次复杂度。
2016-08-29 cs.LG stat.ML
Discriminatively-Tuned Generative Classifiers for Robust Natural Language Inference
University of Chicago(芝加哥大学);Toyota Technological Institute at Chicago(芝加哥丰田理工学院);Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室)
虽然判别式神经网络分类器通常是优选的,但是最近的工作已经显示出生成式分类器在数据效率和鲁棒性方面的优势。在本文中,我们专注于自然语言推理(NLI)。我们提出了GenNLI,一个用于NLI任务的生成分类器,并通过将其与五个基线进行比较来实证表征其性能,包括判别模型和大规模预训练语言表示模型,如BERT。我们探索了我们的生成分类器的区分微调的训练目标,显示了对先前工作的日志损失微调的改进。特别是,我们发现一个简单的无界修改日志损失,我们称之为“infinilog损失”强有力的结果。我们的实验表明,GenNLI在几个具有挑战性的NLI实验设置中,包括小训练集,不平衡的标签分布和标签噪声,都优于判别和预训练基线。
2020-10-08 cs.CL cs.LG
Joint Subspace Recovery and Enhanced Locality Driven Robust Flexible Discriminative Dictionary Learning
Hefei University of Technology(合肥工业大学);Soochow University(苏州大学);Harbin Institute of Technology(哈尔滨工业大学);University of Queensland(昆士兰大学)
我们提出了一种基于子空间恢复和增强局部性的鲁棒柔性标签一致性字典学习方法,称为鲁棒柔性判别字典学习(RFOLD)。该算法主要通过增强对稀疏错误的鲁棒性,对局部性、重构错误和标签一致性进行更精确的编码,来提高数据的表示和分类能力。首先,为了对数据和原子中的噪声和稀疏错误具有鲁棒性,RFRST旨在联合恢复底层的干净数据和干净原子子空间,然后在恢复的子空间中执行DL并编码局部性。其次,为了使从非线性流形采样的数据能够潜在地处理,并通过避免过拟合来获得准确的重建,RFFLOW以灵活的方式最小化重建误差。第三,为了对标签一致性进行准确编码,RFRST涉及有区别的灵活稀疏码错误以鼓励系数变软。第四,为了更好地编码局部性,RFFNN定义了恢复原子上的拉普拉斯矩阵,包括原子在类内紧凑性和类间分离方面的标签信息,并与组稀疏码和分类器相关联,以获得准确的区分性局部约束系数和分类器。在公共数据库上的大量结果表明了我们的RFESTs的有效性。
2019-06-11 cs.CV cs.LG
Discriminative Deep Dyna-Q: Robust Planning for Dialogue Policy Learning
Microsoft Research(微软研究院);National Taiwan University(台湾大学)
本文提出了一种判别式Deep Dyna-Q(D3 Q)方法,以提高Deep Dyna-Q(DDQ)的有效性和鲁棒性,DDQ是最近提出的一种框架,扩展了Dyna-Q算法,以集成任务完成对话策略学习的规划。为了克服DDQ对模拟体验质量的高度依赖性,我们在D3 Q中引入了一个基于RNN的训练器,以区分模拟体验和真实用户体验,从而控制训练数据的质量。实验表明,D3 Q通过控制用于规划的模拟经验的质量,显著优于DDQ。D3 Q的有效性和鲁棒性进一步证明了在域扩展设置,其中代理的能力,以适应不断变化的环境进行了测试。
2018-09-06 cs.AI cs.CL cs.LG
Discriminative Robust Deep Dictionary Learning for Hyperspectral Image Classification
Indraprastha Institute of Information Technology, Delhi(因德拉普拉斯信息技术学院(德里))
这项工作提出了一个新的深度学习框架,特别适合高光谱图像分类。我们以一种健壮的方式学习多级字典。最后一层是判别式的,它学习线性分类器。训练过程是渐进式的,每次只学习一级字典,而系数用于训练下一级。最后一级的系数用于分类。鲁棒性通过最小化绝对偏差而不是更流行的欧几里德范数来实现。内置的鲁棒性有助于对抗高光谱图像中存在的混合噪声(高斯和稀疏)。结果表明,我们提出的技术优于所有其他深度学习方法深度信念网络(DBN),堆叠自动编码器(SAE)和卷积神经网络(CNN)。在基准高光谱成像数据集上进行了实验。
2019-12-11 cs.CV cs.LG eess.IV
Collaborative representation-based robust face recognition by discriminative low-rank representation
Jiangnan University(江南大学)
我们考虑的鲁棒人脸识别的问题,其中的训练和测试样本可能会损坏,因为伪装和遮挡。传统的子空间学习方法和最近提出的基于稀疏表示的分类(SRC)的性能可能会下降时,损坏的训练样本提供。另外,由于稀疏性约束,基于稀疏性的方法是耗时的。为了在一定程度上缓解上述问题,在本文中,我们提出了一个歧视性的低秩表示方法的协作表示为基础(DLRR-CR)的鲁棒人脸识别。DLRR-CR不仅获得了一个干净的字典,它进一步迫使不同类的子字典是尽可能独立的,通过引入一个结构不相干正则化项。同时,可以学习一个低秩投影矩阵,以消除测试样本中可能的腐败。在我们提出的方法,具有封闭形式的解决方案,利用基于协作表示的分类(CRC)方法。在公开人脸数据库上的实验结果验证了该方法的有效性和鲁棒性。
2019-12-17 cs.CV cs.LG
Contrastive Mutual Information Learning: Toward Robust Representations without Positive-Pair Augmentations
NVIDIA
提出对比互信息机(cMIM),通过对比目标扩展MIM,无需正样本增强且对批量大小不敏感,并引入信息性嵌入提升判别性能,在视觉和分子基准上优于MIM和InfoNCE。
2025-09-25 cs.LG stat.ML
Learning Robust Representation for Clustering through Locality Preserving Variational Discriminative Network
Center for Data Science, Peking University(北京大学数据科学中心);MOE Key Laboratory of Computational Linguistic, School of EECS, Peking University(北京大学信息科学技术学院计算语言学教育部重点实验室);Mizuho Securities Co.,Ltd(瑞穗证券株式会社)
聚类是无监督学习的基本问题之一。最近的基于深度学习的方法专注于学习面向聚类的表示。在这些方法中,变分深度嵌入通过在潜在空间之前指定高斯混合,在各种聚类任务中取得了巨大的成功。然而,VaDE存在两个问题:1)它对输入噪声很脆弱; 2)它忽略了相邻数据点之间的局部信息。在本文中,我们提出了一个联合学习框架,改进了VaDE与鲁棒的嵌入式和局部结构约束,这都有助于提高我们的模型的鲁棒性。在各种视觉和文本数据集上的实验结果表明,我们的方法在所有指标上都优于最先进的基线模型。进一步的详细分析表明,我们提出的模型是非常强大的对抗性输入,这是一个理想的属性,为实际应用。
2021-03-11 cs.LG
Robust and Discriminative Labeling for Multi-label Active Learning Based on Maximum Correntropy Criterion
Wuhan University(武汉大学);University of Sydney(悉尼大学)
多标签学习在许多现实世界的应用中引起了极大的兴趣。由oracle为一个实例分配多个标签是一项代价很高的任务。同时,如果不诊断有区别的标签,也很难建立一个好的模型。我们能否降低标签成本并提高同时训练多标签学习的良好模型的能力?主动学习通过查询最有价值的样本来解决训练样本较少的问题,从而以较小的代价获得更好的性能。在多标签主动学习中,人们研究了用较少的训练样本查询相关标签,或者在不诊断判别信息的情况下查询所有标签。它们都不能有效地处理测量不确定度的离群值标签。最大相关熵准则(MCC)为许多机器学习和数据采掘算法中的离群点提供了鲁棒性分析,本文将不确定性和代表性融合在一起,推导出基于MCC的鲁棒多标记主动学习算法,并提出了一种高效的交替优化方法来求解该算法。我们的方法可以消除不具有区分性的离群值标签对测量不确定度的影响。为了进一步提高信息度量的能力,我们将不确定性和代表性与未知数据的预测标签相融合。它不仅可以增强不确定性,而且可以提高多标签数据的标签信息的相似性度量。在基准多标签数据集上的实验表明,该方法的性能优于现有的方法。
2019-04-14 cs.CV cs.LG
Max-Margin based Discriminative Feature Learning
IBM Research-China(IBM中国研究院);Stanford University(斯坦福大学);Nanjing University of Information Science and Technology(南京信息工程大学)
在本文中,我们提出了一种新的基于最大间隔的鉴别特征学习方法。具体来说,我们的目标是学习一个低维的特征表示,以最大限度地提高数据的全局边缘,并使来自同一类的样本尽可能接近。为了提高算法对噪声的鲁棒性,引入$l_{2,1}$范数约束,使变换矩阵具有群稀疏性。此外,对于多类分类任务,我们还打算学习和利用多类任务之间的相关关系,以帮助学习区分性特征。实验结果表明,该方法对相关国家的最先进的方法的权力。
2017-04-03 cs.LG
Exploring the Connection between Robust and Generative Models
Sapienza, University of Rome(罗马第一大学)
本文揭示对抗训练分类器内部隐含 EBM 生成结构,并据此解释、检测无目标对抗样本,提出能量接近真实数据的 High-Energy PGD 攻击。
2023-06-05 cs.CR cs.CV cs.LG
Discriminative Autoencoder for Feature Extraction: Application to Character Recognition
Indraprastha Institute of Information Technology(因德拉普拉斯信息技术学院)
传统上,自动编码器是无监督的表示学习工具。在这项工作中,我们提出了一种新的判别式自动编码器。监督判别学习的使用确保了学习的表示对于图像数据集中通常遇到的变化是鲁棒的。以基本的判别式自编码器为单元,建立了一个堆栈结构,旨在从训练数据中提取相关的表示。我们的特征提取算法的效率,即使是简单的分类方案,如KNN(K-最近邻),确保了高的分类精度。我们通过在字符/图像识别的标准数据集上进行实验,并随后与现有的监督式深度架构(如类稀疏堆叠自动编码器和判别式深度信念网络)进行比较,证明了我们的模型在表示学习方面的优越性。
2019-12-11 cs.CV cs.LG
Metric Learning Driven Multi-Task Structured Output Optimization for Robust Keypoint Tracking
Zhejiang University(浙江大学)
作为计算机视觉和图形学中的一个重要且具有挑战性的问题,基于关键点的目标跟踪通常在时空统计学习框架中进行表述。然而,大多数现有的关键点跟踪器不能有效地建模和平衡以下三个方面的同时的方式:跨帧的时间模型的一致性,帧内的空间模型的一致性,和歧视性的功能建设。为了解决这个问题,我们提出了一个强大的关键点跟踪器基于时空多任务结构化输出优化驱动的判别度量学习。因此,时间模型一致性的特点是多任务结构化的关键点模型学习在几个相邻的帧,而空间模型的一致性是通过解决基于几何验证的结构化学习问题。通过度量学习实现区分性特征构造,以确保类内紧致性和类间可分性。最后,上述三个模块同时优化的联合学习计划。实验结果证明了我们的跟踪器的有效性。
2014-12-04 cs.CV cs.LG
DEIR: Efficient and Robust Exploration through Discriminative-Model-Based Episodic Intrinsic Rewards
The University of Tokyo(东京大学);Google Research(谷歌研究院)
提出DEIR方法,通过条件互信息推导内在奖励并利用判别式前向模型实现,准确评估智能体探索行为,在MiniGrid和ProcGen上展现出更优的学习速度、泛化能力和适用性。
2023-05-18 cs.AI cs.IT cs.LG
Do Input Gradients Highlight Discriminative Features?
Microsoft Research India(微软印度研究院);Google Research India(谷歌印度研究院)
事后基于梯度的可解释性方法[Simonyan等人,2013年,Smilkov等人,2017]提供模型预测的特定实例解释通常基于假设(A):输入梯度的大小-相对于输入的logits梯度-嘈杂地突出了区分性任务相关特征。在这项工作中,我们使用三管齐下的方法来测试假设(A)的有效性。首先,我们开发了一个评估框架,DiffROAR,在四个图像分类基准上测试假设(A)。我们的结果表明,(i)标准模型的输入梯度(即,在原始数据上训练的)可能严重违反(A),而(ii)逆向鲁棒模型的输入梯度满足(A)。其次,我们介绍了BlockMNIST,一个基于MNIST的半真实数据集,通过设计编码的先验知识的判别功能。我们对BlockMNIST的分析利用这些信息来验证和表征标准模型和鲁棒模型的输入梯度属性之间的差异。最后,我们从理论上证明了我们的实证研究结果适用于简化版本的BlockMNIST数据集。具体来说,我们证明了在这个数据集上训练的标准一个隐藏层MLP的输入梯度不会突出特定于实例的信号坐标,因此严重违反了假设(A)。我们的发现激发了以可证伪的方式形式化和测试可解释性中常见假设的需求[Leavitt和Morcos,2020]。我们认为,DiffROAR评估框架和基于BlockMNIST的数据集可以作为健全性检查,以审计特定于实例的可解释性方法;代码和数据可在https://github.com/hars…
2021-10-26 cs.AI cs.CV cs.LG
Discriminative classification with generative features: bridging Naive Bayes and logistic regression
Brigham Young University(杨百翰大学);University of California, Santa Barbara(加州大学圣芭芭拉分校)
Smart Bayes通过整合生成特征与判别模型,提升分类性能,优于朴素贝叶斯和逻辑回归。
2025-11-30 cs.AI cs.LG stat.CO
Robust Screening of COVID-19 from Chest X-ray via Discriminative Cost-Sensitive Learning
Shandong University of Traditional Chinese Medicine(山东中医药大学);Qingdao Academy of Chinese Medical Sciences(青岛中医科学院);Shandong University(山东大学);Shandong Normal University(山东师范大学);Affiliated Hospital of Shandong University of Traditional Chinese Medicine(山东中医药大学附属医院)
本文解决了基于胸部X射线的2019冠状病毒病(COVID-19)自动筛查的新问题,这是快速阻止大流行的迫切需求。然而,从胸部X光片中稳健而准确地筛查COVID-19仍然是全球公认的挑战,因为存在两个瓶颈:1)COVID-19的成像特征与胸部X光片上的其他肺炎有一些相似之处,以及2)COVID-19的误诊率非常高,误诊成本昂贵。虽然一些开创性的工作取得了很大进展,但他们低估了这两个关键瓶颈。在本文中,我们报告了我们的解决方案,区分成本敏感学习(DCSL),如果临床需要从胸部X光片中辅助筛查COVID-19,这应该是一个选择。DCSL结合了细粒度分类和成本敏感学习的优点。首先,DCSL开发了一种学习深度判别表示的条件中心丢失。其次,DCSL建立了分数级别的成本敏感学习,可以自适应地扩大将COVID-19样本错误分类到其他类别的成本。DCSL非常灵活,可以应用于任何深度神经网络。我们收集了一个大规模的多类数据集,包括2,239例胸部X光检查样本:239例确诊的COVID-19病例,1,000例确诊的细菌或病毒性肺炎病例,以及1,000例健康人。大量的实验表明,我们的算法显着优于国家的最先进的算法。它实现了97.01%的准确性,97%的精密度,97.09%的灵敏度,和96.98%的F1评分。这些结果使我们的算法成为快速大规模筛查COVID-19的有效工具。
2020-05-21 cs.CV cs.LG eess.IV
Maximum Entropy Linear Manifold for Learning Discriminative Low-dimensional Representation
Jagiellonian University(雅盖隆大学);Google(谷歌)
表示学习是现代机器学习中的一个非常热门的话题,这主要归功于深度学习方法的巨大成功。特别是区分类的低维表示不仅可以增强分类过程,而且可以使其更快,而与高维嵌入相反,可以有效地用于基于视觉的探索性数据分析。在本文中,我们提出了最大熵线性流形(MELM),多维推广的多阈值熵线性分类器模型,它能够找到一个低维的线性数据投影最大化的歧视性投影类。因此,我们得到了一个线性嵌入,可用于分类,类意识降维和数据可视化。MELM提供了高度区分的数据的2D投影,其可以用作用于构建鲁棒分类器的方法。我们提供了经验评估以及我们的目标函数,如我们的规模和仿射变换不变性,连接与PCA和预期的平衡精度误差的边界的一些有趣的理论性质。
2015-04-10 cs.LG
Learning discriminative features in sequence training without requiring framewise labelled data
Tencent(腾讯)
在这项工作中,我们试图回答两个问题:深入学习的功能与区分能力的好处ASR系统的鲁棒性声学变化?如何在不需要逐帧标记序列训练数据的情况下学习它们?由于现有的方法通常需要知道标签在输入序列中出现的位置,因此到目前为止,它们仅限于许多现实世界的序列学习任务。我们提出了一种新的方法,它同时在一个单一的网络架构内的序列判别训练和特征判别学习建模,使它可以学习判别序列训练,从而避免了需要预先分割的训练数据的深度特征。我们在实际工业ASR任务中的实验表明,在不需要任何特定微调或额外复杂性的情况下,我们提出的模型在所有测试条件下都始终优于最先进的模型,并显着降低了字出错率(WER),特别是在不可见噪声条件下的最高改进,分别为12.94%,8.66%和5.80%,这表明我们提出的模型可以更好地推广到声学可变性。
2019-05-16 cs.LG cs.SD eess.AS
Robust Data-Driven Output Feedback Control via Bootstrapped Multiplicative Noise
The University of Texas at Dallas(德克萨斯大学达拉斯分校);The Australian National University(澳大利亚国立大学)
我们提出了一个强大的数据驱动的输出反馈控制算法,显式地将固有的有限样本模型估计不确定性的控制设计。该算法有三个组成部分:(1)一个子空间识别标称模型估计;(2)一个自举响应方法,量化的非渐近方差的标称模型估计;和(3)一个非传统的鲁棒控制设计方法,包括耦合的最佳动态输出反馈滤波器和控制器与乘性噪声。所提出的方法的一个主要优点是,系统辨识和鲁棒控制设计过程都使用随机不确定性表示,使实际固有的统计估计不确定性直接对准的不确定性的鲁棒控制器正在设计。此外,控制设计方法容纳了一个高度结构化的不确定性表示,可以捕捉不确定性形状比现有的方法更有效。我们通过数值实验表明,所提出的鲁棒数据驱动的输出反馈控制器可以显着优于确定性等效控制器的样本复杂性和稳定性鲁棒性的各种措施。
2022-05-10 cs.LG cs.SY eess.SY
Pose Invariant Person Re-Identification using Robust Pose-transformation GAN
人物重新识别(re-ID)的目的是在给定感兴趣人物的单个实例的情况下,从图像库中检索人物的图像。尽管取得了一些进展,但由于人类的姿势变化很大,因此学习用于鲁棒人员重新识别的区分性身份敏感和视点不变特征是一个主要挑战。本文提出了一种re-ID流水线,利用生成对抗网络的图像生成能力,结合姿态聚类和特征融合来实现姿态不变特征学习。目标是在不同的视角和大的姿势变化下对给定的人进行建模,并从所有外观中提取最具鉴别力的特征。姿态变换GAN(pt-GAN)模块被训练以生成处于任何给定姿态的人的图像。为了识别最重要的姿态进行区分性特征提取,提出了一个姿态聚类模块。给定的人的实例以不同的姿势建模,这些特征通过特征融合网络有效地组合在一起。最后的re-ID模型由这3个子块组成,体现了姿态依赖的人re-ID。此外,该模型是鲁棒的遮挡,缩放,旋转和照明,提供了一个框架的视点不变特征学习。该方法在4个基准数据集上的性能优于最先进的基于GAN的模型。它也超过了最先进的模型,报告更高的re-ID准确性方面的改善超过基线。
2021-06-01 cs.AI cs.CV cs.LG
Robust Learning for Smoothed Online Convex Optimization with Feedback Delay
University of California Riverside(加州大学河滨分校);California Institute of Technology(加州理工学院)
本文针对带多步切换成本和反馈延迟的平滑在线凸优化问题,提出鲁棒性约束学习算法RCL,通过约束投影融合不可信机器学习预测与可信专家算法,首次实现可证明鲁棒性保证并提升平均性能。
2023-10-31 cs.DS cs.LG math.OC
DRF Codes: Deep SNR-Robust Feedback Codes
Imperial College London(帝国理工学院);University of Surrey(萨里大学);Huawei Technologies Sweden(华为技术瑞典公司)
提出了一种新的基于深度神经网络(DNN)的输出反馈衰落信道纠错码,称为深度SNR鲁棒反馈(DRF)码。在编码器处,奇偶校验符号由长短期记忆(LSTM)网络基于消息以及由发射机以噪声方式观察到的过去前向信道输出来生成。解码器使用双向LSTM架构以及信噪比(SNR)感知注意力NN来解码消息。所提出的代码克服了先前提出的基于DNN的代码在具有被动输出反馈的信道上的两个主要缺点:(i)解码器处的SNR感知注意力机制使得能够在宽范围的SNR值上可靠地应用相同的训练NN;(ii)使用批量大小调度的课程训练来加速和稳定训练,同时提高所得代码的SNR鲁棒性。我们发现,DRF码显着优于国家的最先进的SNR鲁棒性和出错率在加性高斯白噪声(AWGN)信道反馈。在接收器处具有完美相位补偿的衰落信道中,DRF码学习有效地利用瞬时衰落幅度的知识(其通过反馈可用于编码器)来减少与解码器处的信道估计相关联的开销和复杂度。最后,我们证明了DRF码在反馈组播信道中的有效性,其中线性反馈码是严格次优的。
2021-12-22 cs.IT cs.LG eess.SP