Attribute-Guided Adversarial Training for Robustness to Natural Perturbations
LLNL(劳伦斯利弗莫尔国家实验室)
虽然鲁棒深度学习中的现有工作集中在基于小像素级范数的扰动上,但这可能无法解释在几个现实世界设置中遇到的扰动。在许多这样的情况下,尽管可能无法获得测试数据,但可以知道关于扰动类型的广泛规范(例如未知的旋转度)。我们考虑一个设置,其中鲁棒性是预期在一个看不见的测试域,不是独立同分布。但是偏离了训练域。虽然这种偏离可能并不确切,但其广泛的特征是先验的,在属性方面。我们提出了一种对抗性训练方法,该方法学习生成新样本,以便最大限度地暴露分类器的属性空间,而无需访问测试域的数据。我们的对抗性训练解决了一个最小-最大优化问题,内部最大化生成对抗性扰动,外部最小化通过优化内部最大化生成的对抗性扰动的损失来寻找模型参数。我们证明了我们的方法对三种自然发生的扰动的适用性--与对象相关的位移、几何变换和常见的图像损坏。我们的方法使深度神经网络能够抵御各种自然发生的扰动。我们通过展示使用我们在MNIST,CIFAR-10和CLEVR数据集的新变体上进行对抗训练的深度神经网络的鲁棒性增益来证明所提出的方法的有用性。
2021-04-08 cs.CV cs.LG
Taipan: A Query-free Transfer-based Multiple Sensitive Attribute Inference Attack Solely from Auxiliary Graphs
University of Pittsburgh(匹兹堡大学)
Taipan是一种无需查询的基于转移的多敏感属性推断攻击框架,通过分析公开发布的图数据实现隐私泄露。
2026-10-01 cs.CR cs.LG
Robust Training Using Natural Transformation
CSIRO(澳大利亚联邦科学与工业研究组织);National University of Singapore(新加坡国立大学)
之前用于深度学习模型的鲁棒性方法,例如通过数据转换或对抗训练的数据增强技术,无法捕获保留输入语义的真实世界变化,例如照明条件的变化。为了弥补这一差距,我们提出了NaTra,一个对抗性的训练方案,旨在提高图像分类算法的鲁棒性。我们的目标是独立于类识别的输入图像的属性,并操纵这些属性来模仿输入的真实世界自然变换(NaTra),然后将其用于增强图像分类器的训练数据集。具体来说,我们应用\textit{Batch Inverse Encoding and Shifting}来映射一批给定的图像到相应的训练有素的生成模型的解开的潜在代码。\textit{Latent Codes Expansion}用于通过合并扩展特征图来提高图像重建质量。\textit{Unsupervised Attribute Directing and Manipulation}能够识别对应于特定属性变化的潜在方向,然后产生对这些属性的可解释操作,从而生成对输入数据的自然变换。我们证明了我们的方案的有效性,利用来自训练有素的GANs的解开的潜在表示来模仿与真实世界的自然变化(如照明条件或发型)相似的图像变换,并训练模型对这些自然变换保持不变。大量的实验表明,我们的方法提高了分类模型的泛化能力,并增加了对各种真实世界失真的鲁棒性
2021-05-10 cs.CV cs.LG
Chasing Fairness Under Distribution Shift: A Model Weight Perturbation Approach
Texas A&M University(德克萨斯农工大学);Rice University(莱斯大学);Samsung Electronics America(三星电子美国公司)
针对分布偏移下机器学习公平性下降的问题,通过理论分析分布偏移与模型权重扰动的联系,提出鲁棒公平性正则化(RFR)方法,在权重扰动最坏情况下优化模型,实验证明其在公平性与准确性权衡上优于基线方法。
2023-10-21 cs.CY cs.LG
Graphs Generalization under Distribution Shifts
Tianjin University(天津大学);Baylor University(贝勒大学)
针对图结构数据分布偏移同时发生在节点属性和拓扑上的挑战,提出GLIDER框架,通过建模潜在变化多样化跨域变体并在表示空间最小化差异,有效提升了节点级OOD泛化性能。
2024-03-25 cs.AI cs.LG
Measuring Robustness to Natural Distribution Shifts in Image Classification
UC Berkeley(加州大学伯克利分校);CMU(卡内基梅隆大学);Google Brain(谷歌大脑)
我们研究了当前ImageNet模型对数据集自然变化引起的分布偏移的鲁棒性。大多数关于鲁棒性的研究集中在合成图像扰动(噪声,模拟天气伪影,对抗性示例等),这使得关于合成分布偏移的鲁棒性如何与真实数据中出现的分布偏移相关成为可能。通过对213种不同测试条件下的204个ImageNet模型进行评估,我们发现从当前合成到自然分布偏移的鲁棒性通常很少或根本没有转移。此外,大多数当前技术对我们的测试平台中的自然分布偏移不提供鲁棒性。主要的例外是在更大和更多样化的数据集上进行训练,这在很多情况下都提高了鲁棒性,但仍然远远没有缩小性能差距。我们的研究结果表明,分布偏移产生的实际数据是目前一个开放的研究问题。我们在https://modestyachts.github.io/imagenet-testbed/上提供我们的测试平台和数据作为未来工作的资源。
2020-09-14 cs.CV cs.LG stat.ML
GSCLIP : A Framework for Explaining Distribution Shifts in Natural Language
Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学);Chan Zuckerberg Biohub(陈·扎克伯格生物中心)
帮助最终用户理解抽象的分布偏移可以极大地促进AI部署。受此启发,我们提出了一个新的任务,数据集解释。给定两个图像数据集,数据集解释的目的是用自然语言自动指出它们的灰度级分布偏移。当前用于监测分布偏移的技术提供的信息不足以理解以提高数据质量为目标的数据集。因此,我们引入了GSCLIP,一个无需训练的框架来解决数据集解释任务。在GSCLIP中,我们提出选择器作为第一个定量评估方法,以确定适合总结数据集变化的解释。此外,我们利用这个选择器来证明基于语言模型生成的生成器的优越性。通过对自然数据漂移的系统评价,验证了GSCLIP是一个混合生成器组和高效选择器的组合系统,它不仅易于使用,而且在大规模数据解释中具有强大的功能。
2022-06-30 cs.CL cs.CV cs.LG
Algorithmic Fairness Generalization under Covariate and Dependence Shifts Simultaneously
Baylor University(贝勒大学);The University of Texas at Dallas(德克萨斯大学达拉斯分校);University of Arkansas(阿肯色大学);University of Florida(佛罗里达大学)
针对跨域场景下协变量与依赖两类分布偏移共存时公平分类器泛化难的问题,提出基于底层变换模型扩充合成域、学习公平不变分类器的方法,在四个基准数据集上性能超越现有最优水平。
2024-05-21 cs.AI cs.CY cs.LG
Seasoning Model Soups for Robustness to Adversarial and Natural Distribution Shifts
University of Tübingen(图宾根大学);DeepMind(深度思维)
对抗性训练被广泛用于使分类器对特定威胁或对手鲁棒,例如给定$p$范数的$\ell_p$范数有界扰动。然而,用于训练对多种威胁鲁棒的分类器的现有方法需要在训练期间了解所有攻击,并且仍然容易受到看不见的分布偏移的影响。在这项工作中,我们描述了如何获得对抗鲁棒的模型汤(即,参数的线性组合),其平滑地权衡对不同$\ell_p$范数有界对手的鲁棒性。我们证明,这种汤允许我们控制鲁棒性的类型和水平,并且可以实现对所有威胁的鲁棒性,而无需对所有威胁进行联合训练。在某些情况下,所得到的模型汤对于给定的$\ell_p$ -范数攻击者比专门针对相同攻击者的组成模型更鲁棒。最后,我们表明,对抗性强的模型汤可以是一个可行的工具,以适应分布偏移从几个例子。
2023-02-20 cs.CV cs.LG
The Effect of Natural Distribution Shift on Question Answering Models
UC Berkeley(加州大学伯克利分校)
我们建立了四个新的测试集斯坦福问答数据集(SQuAD)和评估问答系统的能力,以推广到新的数据。我们的第一个测试集来自原始维基百科域,并测量现有系统过拟合原始测试集的程度。尽管几年来大量的测试集重复使用,我们没有发现自适应过拟合的证据。剩下的三个测试集是从《纽约时报》的文章、Reddit的帖子和亚马逊的产品评论中构建的,并测量了对自然分布偏移的鲁棒性。在广泛的模型中,我们观察到平均性能分别下降3.8,14.0和17.4 F1点。相比之下,强大的人类基线匹配或超过SQuAD模型在原始域上的性能,并且在新域中几乎没有下降。总之,我们的研究结果证实了令人惊讶的弹性的坚持方法,并强调需要走向评估指标,将鲁棒性自然分布偏移。
2020-04-29 cs.CL cs.LG stat.ML
Benchmarking Low-Shot Robustness to Natural Distribution Shifts
Georgia Institute of Technology(佐治亚理工学院)
本文首次系统评测低样本场景下模型对自然分布偏移的鲁棒性,发现不存在普遍更鲁棒的单一模型,且现有干预方法在部分数据集上失效,呼吁社区重视该实际问题。
2023-09-23 cs.AI cs.CV cs.LG
Fair Classification under Covariate Shift and Missing Protected Attribute -- an Investigation using Related Features
本研究使用一种简单的方法研究了协变量偏移和缺失保护属性下的公平分类问题,该方法基于使用重要性权重来处理协变量偏移,并使用Related Features arXiv:2104.14537来处理缺失保护属性。
2022-04-17 cs.CY cs.LG
CLIFT: Analysing Natural Distribution Shift on Question Answering Models in Clinical Domain
Saama AI Research(萨马人工智能研究院)
本文提出临床领域问答任务的新测试平台CLIFT,包含7.5k样本,评估发现深度学习模型在新测试集上因分布偏移性能下降,强调需提升模型鲁棒性并采用相应评估指标。
2023-10-19 cs.AI cs.CL cs.CY
Matcha: Mitigating Graph Structure Shifts with Test-Time Adaptation
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对图神经网络(GNNs)在图结构偏移下的脆弱性,提出Matcha框架,通过调整GNN的top-聚合参数并引入预测感知聚类损失,适配结构偏移并与现有TTA算法集成,提升结构与属性偏移组合场景下的鲁棒性。
2025-02-12 cs.LG
Prediction Accuracy & Reliability: Classification and Object Localization under Distribution Shift
Continental AG(大陆集团);Technische Universität Berlin(柏林工业大学)
研究自然分布偏移对CNN感知性能的影响,构建新数据集评估分类与定位任务,并基准测试Ensembles和MC-Dropout等不确定性量化方法,发现ConvNeXt-Tiny更鲁棒且MC-Dropout层选择依赖偏移类型与任务。
2024-09-05 cs.AI cs.CV cs.LG
The Illusion of Intervention: Your LLM-Simulated Experiment is an Observational Study
Google DeepMind(谷歌DeepMind);Carnegie Mellon University(卡内基梅隆大学)
本文探讨了大型语言模型在模拟人类行为中的潜在作用,指出在LLM模拟的合成用户中进行干预可能引起潜在用户属性的意外变化,从而导致用户漂移,影响效果估计。本文提出了使用负对照结果来检测分布变化的方法,并通过调整角色描述以减少偏倚来缓解漂移问题。
2026-05-20 cs.CL cs.LG stat.ME
Shift-Invariant Attribute Scoring for Kolmogorov-Arnold Networks via Shapley Value
提出ShapKAN框架,利用Shapley值归因实现平移不变的节点重要性评估,有效压缩KAN网络并保持其可解释性优势。
2026-06-15 cs.AI cs.LG
Breaking Correlation Shift via Conditional Invariant Regularizer
University of Chinese Academy of Sciences(中国科学院大学);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
近年来,对具有相关位移的分布外(OOD)数据的推广引起了广泛的关注。相关性偏移是由与类标签相关的虚假属性引起的,因为它们之间的相关性在训练和测试数据中可能会有所不同。对于这样的问题,我们表明,给定的类标签,有条件地独立于虚假属性的模型是OOD推广。在此基础上,提出了一种控制OOD泛化误差的度量条件伪变差(CSV)来度量这种条件独立性。为了提高OOD的泛化能力,我们使用建议的CSV规范了训练过程。在温和的假设下,我们的训练目标可以被公式化为一个非凸-凹极小-极大问题。提出了一个具有可证明收敛速度的算法来求解该问题。大量的实验结果验证了我们的算法在提高OOD推广的有效性。
2023-02-24 cs.LG
On the Benefits of Attribute-Driven Graph Domain Adaptation
Western University(西安大略大学);Michigan State University(密歇根州立大学);Vector Institute(向量研究所);University of Electronic Science and Technology of China(电子科技大学)
本文通过理论和实验证明节点属性偏移在图域自适应中比结构偏移更关键,并提出跨通道模块融合对齐源图与目标图的属性与结构视图,提升跨网络学习性能。
2025-02-24 cs.AI cs.LG
Assessing Sample Quality in Conditional Generation under Compositional Shift
Institute of Science and Technology Austria (ISTA)(奥地利科学技术学院);Pyramidal Inc(Pyramidal公司);Achira Inc(Achira公司)
针对条件生成在组合偏移下的评估难题,提出一种基于训练分布的后验信任分数,结合全局真实性和属性忠实度,实现样本过滤、排序和弃权,提升生成质量。
2026-06-09 cs.LG
SemDiff: Generating Natural Unrestricted Adversarial Examples via Semantic Attributes Optimization in Diffusion Models
Southern University of Science and Technology(南方科技大学);The Hong Kong Polytechnic University(香港理工大学)
针对现有扩散模型生成无限制对抗样本(UAEs)缺乏自然性和不可感知性的问题,提出SemDiff方法,通过探索扩散模型语义潜在空间并优化多属性,在确保攻击成功率的同时提升UAEs的自然性与不可感知性,实验验证其性能优于现有方法且能规避多种防御。
2025-04-16 cs.CV cs.LG
Bias Analysis in Unconditional Image Generative Models
Mila(米拉)
该研究针对无条件图像生成模型的偏差产生机制不明确的问题,定义了属性偏差并通过实验发现属性偏移幅度小且对评估用的属性分类器敏感,指出需改进标注实践、审视评估框架并考虑属性的社会复杂性。
2025-06-10 cs.CV cs.LG
Compositional World Knowledge leads to High Utility Synthetic data
Michigan State University(密歇根州立大学)
针对组合偏移下机器学习系统鲁棒性差的问题,提出CoInD方法通过最小化Fisher散度强制条件独立性生成忠实合成数据,在CelebA组合偏移任务上取得最优最差组准确率。
2025-06-16 cs.LG
Addressing target shift in zero-shot learning using grouped adversarial learning
IBM Research(IBM研究院);IIT Kharagpur(印度理工学院克勒格布尔分校)
零样本学习(Zero-shot learning,缩写为ZRL)算法通常通过利用属性相关性来工作,以便能够在看不见的类中进行预测。然而,在大多数实际设置中,这些相关性在测试时并不保持完整,并且这些相关性的结果变化导致对零样本学习性能的不利影响。在本文中,我们提出了一个新的范式,用于CNOL:(i)利用看不见的类的类属性映射来估计目标分布的变化(目标转移),以及(ii)提出了一种称为分组对抗学习(gAL)的新技术来减少这种转移的负面影响。我们的方法是广泛适用于几个现有的CNOL算法,包括那些隐式属性预测。我们将所提出的技术($g$ AL)应用于三种流行的ARML算法:ALE,SJE和DEVISE,并在4种流行的ARML数据集:AwA 2,aPY,CUB和SUN上显示性能改进。我们在SUN和aPY数据集上获得了SOTA结果,并在AwA 2上获得了可比的结果。
2020-06-16 cs.CV cs.LG stat.ML
HMVI: Unifying Heterogeneous Attributes with Natural Neighbors for Missing Value Inference
School of Computer Science and Technology(计算机科学与技术学院);Guangdong University of Technology(广东工业大学)
HMVI通过统一框架建模异构特征依赖,利用完整和不完整实例实现更准确的缺失值推断,提升下游机器学习任务性能。
2026-01-08 cs.AI cs.LG
PCFG-based Natural Language Interface Improves Generalization for Controlled Text Generation
Johns Hopkins University(约翰斯·霍普金斯大学);MIT(麻省理工学院);University of Washington(华盛顿大学)
现有的工作控制文本生成(CTG)假设一个控制接口的分类属性。在这项工作中,我们提出了一个自然语言(NL)的接口,我们工艺PCFG嵌入控制属性到自然语言命令,并提出了现有的CTG模型,以命令作为输入的变体。在我们的实验中,我们设计了定制的设置来测试模型的泛化能力。我们发现我们的基于PCFG的命令生成方法是有效的处理看不见的命令相比,固定设置的模板,我们提出的NL模型可以有效地推广到看不见的属性,NL接口启用的新功能,以及看不见的属性组合。有趣的是,我们发现,简单的条件生成方法,增强了我们提出的NL接口,是一个强大的基线,在这些具有挑战性的设置。
2022-10-14 cs.CL cs.LG
Normative Alignment of Recommender Systems via Internal Label Shift
Technical University of Denmark(技术大学);University of California San Diego(加州大学圣地亚哥分校);Inria, Université Côte d'Azur(Inria与普罗旺斯大学);Copenhagen Business School(哥本哈根商学院);ZOZO Research(ZOZO研究);Pioneer Centre for Artificial Intelligence(先锋人工智能中心)
研究如何使推荐系统输出与目标分布对齐,提出NAILS方法,通过修改用户条件项目分布,在保留原偏好且无需重训模型的情况下,将问题转化为层次分类框架内的标签转移,实现与全局规范目标对齐,且对用户参与度影响小。
2026-07-14 cs.IR cs.LG
Disentanglement and Generalization Under Correlation Shifts
University of Tübingen(图宾根大学);University of Toronto(多伦多大学);Vector Institute(向量研究所)
变异因素之间的相关性在真实世界的数据中很普遍。利用这种相关性可以提高对噪声数据的预测性能;然而,通常相关性不是鲁棒的(例如,它们可能在域、数据集或应用程序之间改变),并且当相关性改变时,利用它们的模型不会泛化。解纠缠方法旨在学习在潜在子空间中捕获不同变化因素的表示。一种常见的方法涉及最小化潜在子空间之间的互信息,使得每个潜在子空间编码单个底层属性。但是,当属性相关时,这会失败。我们解决这个问题,通过强制执行的子空间之间的独立性的条件下,可用的属性,这使我们能够删除的依赖关系,而不是由于存在于训练数据的相关性结构。我们通过对抗的方法来实现这一点,以最小化子空间之间的条件互信息(CMI)相对于分类变量。我们首先从理论上表明,CMI最小化是一个很好的目标强大的解纠缠线性问题。然后,我们将我们的方法应用于基于MNIST和CelebA的真实世界数据集,并表明它产生的模型在相关性偏移下是解纠缠和鲁棒的,包括在弱监督设置中。
2022-12-23 cs.CV cs.LG stat.ML
Causal Effect Regularization: Automated Detection and Removal of Spurious Attributes
Microsoft Research(微软研究院)
针对未知虚假属性导致分类器依赖伪相关的问题,提出通过估计属性对标签的因果效应自动识别虚假属性并加以正则化,在多类数据集上降低$Δ$Prob且保持准确率,并证明效应排序正确即可保证选择。
2023-12-08 cs.LG
Conditioned Natural Language Generation using only Unconditioned Language Model: An Exploration
MIT(麻省理工学院)
基于转换器的语言模型已经被证明对于自然语言生成(NLG)非常强大。然而,以某些用户输入(如主题或属性)为条件的文本生成是不平凡的。过去的方法依赖于修改原始的LM架构,重新训练的LM语料库与属性标签,或单独训练的“指导模型”,以指导文本生成解码。我们认为,上述方法是不必要的,和原来的无条件LM是足够的条件NLG。我们通过自动化和人工评估的样本的流畅性和多样性来评估我们的方法。
2020-11-14 cs.CL cs.LG
Changepoint Detection in Highly-Attributed Dynamic Graphs
Mila - Quebéc AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);University of Waterloo(滑铁卢大学)
针对高维节点属性加剧动态网络异常检测难度的问题,提出利用GNN估计网络快照模块度以检测变点的方法,经仿真和#Iran Twitter真实网络验证有效。
2024-07-09 cs.LG cs.SI
Evaluating Test-Time Adaptation For Facial Expression Recognition Under Natural Cross-Dataset Distribution Shifts
Department of Electrical and Computer Engineering(电气与计算机工程系)
本文评估了测试时适应方法在自然跨数据集分布偏移下的面部表情识别性能,通过实验证明不同方法在不同偏移场景下的有效性,结果显示TTA可提升性能达11.34%。
2026-03-20 cs.CV cs.LG eess.IV
Deep Mean-Shift Priors for Image Restoration
University of Bern(伯尔尼大学);University of Maryland, College Park(马里兰大学学院市分校)
在本文中,我们引入了一个自然图像前,直接代表了高斯平滑版本的自然图像分布。我们包括我们的前在制定图像复原作为贝叶斯估计,也使我们能够解决噪声盲图像复原的问题。我们表明,我们的先验梯度对应于自然图像分布上的均值漂移向量。此外,我们使用去噪自动编码器学习均值漂移向量场,并将其用于梯度下降方法以执行贝叶斯风险最小化。我们展示了竞争力的结果,噪声盲去模糊,超分辨率和去马赛克。
2017-10-04 cs.CV cs.LG
Black Sheep in the Herd: Playing with Spuriously Correlated Attributes for Vision-Language Recognition
Australian National University(澳大利亚国立大学);GE Research(GE研究中心)
针对视觉语言模型因过度依赖虚假相关属性导致泛化差的问题,提出虚假属性探测方法过滤问题属性、虚假属性屏蔽即插即用模块减轻属性影响,在多数据集多任务上提升分布偏移准确率且不损下游性能,刷新基准。
2025-02-19 cs.LG eess.IV
Augmenting Holistic Review in University Admission using Natural Language Processing for Essays and Recommendation Letters
Cornell University(康奈尔大学)
本研究评估了在大学录取预测中排除受保护属性对模型性能和多样性的影响,发现引入基于TF-IDF和LDA的文本信息仅能部分恢复性能,无法完全弥补受保护属性缺失带来的损失。
2023-06-30 cs.AI cs.CL cs.LG
Action Classification via Concepts and Attributes
York University(约克大学);Weizmann Institute of Science(魏茨曼科学研究所)
自然图像中的类倾向于遵循长尾分布。当稀有类的训练样本不足时,这是有问题的。这种效果在复合类中得到强调,涉及到几个概念的结合,例如出现在动作识别数据集中的概念。在本文中,我们建议解决这个问题,学习如何利用常见的视觉概念,这是现成的。我们检测图像中突出概念的存在,并使用它们来推断目标标签,而不是直接使用视觉特征,结合视觉和自然语言处理的工具。我们验证了我们的方法在最近推出的CNOO数据集达到31.54\%的mAP和斯坦福大学40行动数据集,其中所提出的方法优于直接视觉特征获得的,获得准确率83.12\%。此外,该方法为每个类别提供了一个语义上有意义的关键字和相关图像区域的列表,将其与其组成概念相关联。
2018-03-07 cs.CV cs.LG
Not Eliminate but Aggregate: Post-Hoc Control over Mixture-of-Experts to Address Shortcut Shifts in Natural Language Understanding
CyberAgent;Keio University(庆应义塾大学)
针对自然语言理解模型因依赖捷径而在分布偏移下预测出错的问题,提出通过事后控制悲观聚合混合专家预测的方法,显著增强了模型对捷径分布偏移的鲁棒性并具有实际优势。
2024-11-18 cs.CL cs.LG
Evaluating Robustness to Dataset Shift via Parametric Robustness Sets
University of Copenhagen(哥本哈根大学);MIT(麻省理工学院)
我们给出了一种方法,用于主动识别小的,合理的分布变化,导致模型性能的巨大差异。这些变化是通过观测变量的因果机制中的参数变化来定义的,其中对参数的约束产生了一个合理分布的“鲁棒性集”和相应的最坏情况下的损失。虽然可以通过重新加权技术(例如重要性采样)来估计单个参数偏移下的损失,但所产生的最坏情况优化问题是非凸的,并且估计可能遭受大的方差。然而,对于小的移位,我们可以构造移位下损失的局部二阶近似,并将寻找最坏情况移位的问题转换为特定的非凸二次优化问题,对此可以使用有效的算法。我们证明了这种二阶近似可以直接估计的条件指数族模型的移位,我们绑定的近似误差。我们将我们的方法应用于计算机视觉任务(从图像中分类性别),揭示了对非因果属性变化的敏感性。
2023-01-15 cs.LG stat.ML
Deep Extrapolation for Attribute-Enhanced Generation
Salesforce Research(Salesforce研究院);NTU(南洋理工大学)
样本生成中的属性外推对于在训练分布之外操作的深度神经网络是具有挑战性的。我们制定了一个新的任务外推序列生成,专注于自然语言和蛋白质,并提出GENhance,生成框架,通过学习的潜在空间,增强属性。通过对电影评论和计算蛋白质稳定性数据集的训练,GENhance可以生成强阳性的文本评论和高度稳定的蛋白质序列,而不会在训练过程中暴露于类似的数据。我们发布了我们的基准任务和模型,以促进生物学和化学中生成建模外推和数据驱动设计的研究。
2021-10-25 cs.CL cs.LG q-bio.QM
Structural Re-weighting Improves Graph Domain Adaptation
Georgia Institute of Technology(佐治亚理工学院);Purdue University(普渡大学);Fermi National Accelerator Laboratory(费米国家加速器实验室);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对图域适应中现有表示对齐方法难以处理条件结构偏移的问题,提出结构重加权方法 StruRW,并在合成图、四个基准及高能物理任务上验证其提升。
2023-06-05 cs.AI cs.LG cs.SI
Towards Abstract Relational Learning in Human Robot Interaction
Sapienza University of Rome(罗马第一大学(萨皮恩扎大学))
人类对环境中的实体有着丰富的表征。实体由其属性描述,共享属性的实体通常在语义上相关。例如,如果两本书的“title”属性的值都是“自然语言处理“,那么我们可以预期它们的”topic“属性也是相等的,即“NLP”。人类倾向于概括这样的观察,并推断出任何实体的“主题”属性是“NLP”的充分条件。如果机器人需要与人类成功交互,它们需要以类似的方式表示实体,属性和概括。这最终导致一个语境化的认知主体能够适应其理解,其中语境为正确的理解提供了充分的条件。在这项工作中,我们解决的问题,如何获得这些表示通过人机交互。我们整合视觉感知和自然语言输入,以增量方式构建世界的语义模型,然后使用归纳推理来推断捕捉通用语义关系的逻辑规则,在此模型中为真。这些关系可用于丰富人机交互,用推断的事实填充知识库,或消除机器人的感官输入中的不确定性。
2020-11-20 cs.AI cs.CL cs.LG