Multi-Aspect Controllable Text Generation with Disentangled Counterfactual Augmentation
Nanjing University(南京大学);National Institute of Healthcare Data Science, Nanjing University(南京大学国家医疗数据科学研究院)
针对多方面可控文本生成中因属性相关性不平衡导致的刻板印象问题,提出MAGIC方法,通过解耦反事实增强缓解训练阶段的不平衡并在推理阶段强化属性相关性,在多种场景下优于基线。
2024-05-30 cs.AI cs.CL
CoATA: Effective Co-Augmentation of Topology and Attribute for Graph Neural Networks
College of Computer and Information Science, Southwest University(计算机与信息科学学院,西南大学)
针对图神经网络中现实图数据的噪声与不完整问题,提出双通道框架CoATA,通过传播结构信号去噪属性、投影构建二部图细化结构,并利用对比学习实现拓扑与属性的协同增强,在七个基准数据集上优于十一种基线方法。
2025-06-27 cs.AI cs.LG
Dual Feature Augmentation Network for Generalized Zero-shot Learning
针对广义零样本学习中属性特征纠缠及同类属性多样性问题,本文提出DFAN,通过视觉与语义双特征增强及双预测器协调局部和全局信息,在三个基准上显著优于现有方法。
2023-09-25 cs.AI cs.CV
Grad-Align+: Empowering Gradual Network Alignment Using Attribute Augmentation
Yonsei University(延世大学);Posts and Telecommunications Institute of Technology(邮电技术学院);The University of New South Wales Australia(澳大利亚新南威尔士大学)
网络对齐(NA)是发现不同网络之间的节点对应关系的任务。尽管NA方法在无数场景中取得了显著的成功,但它们令人满意的性能并非没有先前的锚链路信息和/或节点属性,这些锚链路信息和/或节点属性可能并不总是可用的。在本文中,我们提出了梯度对齐+,一种新的NA方法,使用节点属性增强,是非常强大的情况下,这样的额外信息。Grad-Align+是建立在一种最新的NA方法基础上的,即所谓的Grad-Align,该方法逐渐只发现部分节点对,直到找到所有节点对。具体来说,Grad-Align+由以下关键组件组成:1)基于节点的中心性度量扩充节点属性,2)计算从输入所述增强节点属性的图神经网络中提取的嵌入相似度矩阵,以及3)通过计算跨网络节点之间关于对齐的跨网络邻居对的相似性来逐渐发现节点对。实验结果表明,梯度对齐+表现出(a)优于基准NA方法,(b)我们的理论研究结果的实证验证,(c)我们的属性增强模块的有效性。
2022-08-24 cs.AI cs.LG cs.NE
HiTeC: Hierarchical Contrastive Learning on Text-Attributed Hypergraph with Semantic-Aware Augmentation
The University of New South Wales(新南威尔士大学);University of Wollongong(沃拉彭大学)
提出HiTeC框架,通过两阶段层次对比学习,结合结构感知文本编码预训练和语义感知增强,解决文本属性超图中文本与拓扑关联不足、随机增强噪声及长程依赖捕获问题。
2026-05-25 cs.AI cs.LG
NAR-Former: Neural Architecture Representation Learning towards Holistic Attributes Prediction
Xidian University(西安电子科技大学);Intellifusion(云天励飞);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
随着深度学习模型在实际应用中的广泛和深入采用,越来越需要对神经网络本身的表示进行建模和学习。这些模型可用于估计不同神经网络架构的属性,例如准确性和延迟,而无需运行实际的训练或推理任务。在本文中,我们提出了一个神经架构表示模型,可用于整体估计这些属性。具体来说,我们首先提出了一个简单而有效的标记器编码的操作和神经网络的拓扑信息到一个单一的序列。然后,我们设计了一个多级融合Transformer,从转换后的序列中构建一个紧凑的矢量表示。为了提高模型训练的效率,本文进一步提出了一种信息流一致性增强策略,并相应设计了一种架构一致性损失策略,与以往的随机增强策略相比,该策略以较少的增强样本带来了更多的好处。在NAS-Bench-101、NAS-Bench-201、DARTS搜索空间和NNLQP上的实验结果表明,该框架可以用于预测细胞结构和整个深度神经网络的延迟和精度属性,并取得了良好的性能。代码可在https://github.com/yuny220/NAR-Former上获得。
2023-03-23 cs.AI cs.CV
Exploiting Text Semantics for Few and Zero Shot Node Classification on Text-attributed Graph
School of Computer Science, Wuhan University(武汉大学计算机学院);OceanBase;School of Computing, Macquarie University(麦考瑞大学计算机学院)
针对文本属性图少样本与零样本节点分类,提出 TSA 框架,通过正语义匹配和负语义对比引入文本语义监督,在 5 个数据集上稳定超过 13 个基线。
2025-05-13 cs.AI cs.CL
Attribute-based Explanations of Non-Linear Embeddings of High-Dimensional Data
TU Kaiserslautern(凯泽斯劳滕工业大学)
高维数据的嵌入被广泛用于探索数据、验证分析结果和交流信息。他们的解释,特别是关于输入属性,往往是困难的。对于像PCA这样的线性项目,轴仍然可以被有意义地注释。对于非线性投影,这不再是可能的,并且需要替代策略,例如基于属性的颜色编码。在本文中,我们回顾现有的增强技术,并讨论其局限性。我们提出了非线性嵌入测量仪(NoLiES),它结合了一种新的增强策略,投影数据(范围集)与互动分析,在一个小的倍数设置。Rangesets使用基于集合的可视化方法来处理分箱属性值,使用户能够快速观察结构并检测离群值。我们详细介绍了代数拓扑和范围集之间的联系,并展示了NoLiES在案例研究中的实用性,这些案例研究具有各种挑战(复杂的属性值分布,许多属性,许多数据点)和现实世界的应用程序,以了解热力学中矩阵完成的潜在特征。
2021-07-28 cs.AI cs.LG
BiaSwap: Removing dataset bias with bias-tailored swapping augmentation
KAIST(韩国科学技术院)
深度神经网络通常基于数据集固有的虚假相关性做出决策,无法在无偏数据分布中进行泛化。尽管以前的方法预先定义了数据集偏差的类型,以防止网络学习它,但在真实数据集中识别偏差类型通常是禁止的。本文提出了一种新的偏置量身定制的基于增强的方法,BiaSwap,学习去偏置表示,而不需要监督的偏见类型。假设偏置对应于易于学习的属性,我们根据偏置分类器可以利用它们作为捷径的程度对训练图像进行排序,并以无监督的方式将它们分为偏置引导样本和偏置相反样本。之后,我们将图像翻译模型的风格转换模块与这种有偏分类器的类激活图相结合,这使得能够主要传输分类器学习的偏置属性。因此,在给定一对偏置引导和偏置相反的情况下,BiaSwap生成包含来自偏置相反图像的偏置属性的偏置交换图像,同时保留偏置引导图像中的偏置无关属性。鉴于这种增强图像,BiaSwap证明了在合成和真实世界数据集上对现有基线进行去偏置的优越性。即使没有对偏差进行仔细的监督,BiaSwap在无偏样本和偏差引导样本上都取得了显着的性能,这意味着模型的泛化能力得到了提高。
2021-08-23 cs.AI cs.CV
Empirical Evaluation of Data Augmentations for Biobehavioral Time Series Data with Deep Learning
Rice University(莱斯大学)
最近,深度学习在许多任务上都表现得非常出色。然而,深度模型的优越性能在很大程度上依赖于大量训练数据的可用性,这限制了深度模型对各种临床和情感计算任务的广泛适应,因为标记数据通常非常有限。数据增强(DA)作为一种提高数据变异性从而训练具有更好泛化能力的深度模型的有效技术,是生物行为时间序列数据深度学习模型成功的关键步骤。然而,对于生物行为时间序列数据,各种DA对于具有不同任务和深度模型的不同数据集的有效性尚未得到充分研究。在本文中,我们首先系统地回顾了八个基本的DA方法的生物行为时间序列数据,并评估了七个数据集上的效果有三个骨干。接下来,我们探索适应更新的DA技术(即,自动增强、随机增强)到生物行为时间序列数据。最后,我们试图回答为什么DA是有效的(或不)的问题,首先总结两个期望的属性增强(挑战性和忠实),然后利用两个指标来定量测量相应的属性,这可以指导我们在寻找更有效的DA生物行为时间序列数据设计更具挑战性,但仍然忠实的转换。我们的代码和结果可以在Link上找到。
2022-10-13 cs.AI cs.LG
Prediction of ICD Codes with Clinical BERT Embeddings and Text Augmentation with Label Balancing using MIMIC-III
University of California, Berkeley(加州大学伯克利分校)
本文使用MIMIC-III数据集实现了ICD代码预测任务的最新结果。这是通过使用临床BERT(Alsentzer等人,2019年)。嵌入和文本增强以及标签平衡,以提高ICD章节和ICD疾病代码的F1评分。我们将改进的性能主要归因于使用新颖的文本增强来在训练过程中打乱句子的顺序。与Top-32 ICD代码预测(Keyang Xu,et.(见上文)在F1得分为0.76的情况下,我们实现了0.75的最终F1得分,但是在总共前50个ICD代码上。
2020-08-24 cs.AI cs.CL
Affinity Clustering Framework for Data Debiasing Using Pairwise Distribution Discrepancy
Research Institute CODE, Bundeswehr University Munich(慕尼黑联邦国防军大学CODE研究所)
本文提出 MASC 亲和聚类数据增强框架,通过数据集间分布差异构建相似矩阵并谱聚类,引入相似情境真实数据平衡非二元受保护属性分布,实现可比现有方法的有效去偏。
2023-06-02 cs.AI cs.LG stat.ML
TransZero++: Cross Attribute-Guided Transformer for Zero-Shot Learning
Huazhong University of Science and Technology(华中科技大学);Nanjing University of Science and Technology(南京理工大学);Fudan University(复旦大学);Institute of North Electronic Equipment(北方电子设备研究所);Peng Cheng Laboratory(鹏城实验室);Sea AI Lab(Sea人工智能实验室);Terminus Group(特斯联集团)
零样本学习(Zero-shot learning,简称ZRL)通过将语义知识从可见的类转移到不可见的类来解决新的类识别问题。现有的基于注意力的模型仅使用单向注意力来学习单个图像中的劣区域特征,这忽略了视觉特征的可转移性和区分性属性定位。在本文中,我们提出了一个跨属性引导的Transformer网络,称为transZero++,细化视觉特征,并学习准确的属性定位语义增强的视觉嵌入表示在CNOL。TransZero++由属性$\rightarrow$可视Transformer子网(AVT)和属性$\rightarrow$可视Transformer子网(VAT)组成。具体而言,AVT首先采用特征增强编码器来缓解跨数据集问题,并通过减少区域特征之间纠缠的相对几何关系来提高视觉特征的可传递性。然后,一个属性$\rightarrow$视觉解码器被用来本地化的图像区域最相关的每个属性在一个给定的图像基于属性的视觉特征表示。类似地,VAT使用相似特征增强编码器来细化视觉特征,其进一步应用于视觉$\rightarrow$属性解码器中以学习基于视觉的属性特征。通过进一步引入语义协作损失,这两个属性引导的Transformers通过语义协作学习来相互学习语义增强的视觉嵌入。大量的实验表明,TransZero++在三个具有挑战性的BTL基准测试中取得了最新的结果。代码可在以下网址获得:\url{https…
2022-12-13 cs.AI cs.CV
DIAGen: Semantically Diverse Image Augmentation with Generative Models for Few-Shot Learning
Department of Computer Science, Technical University of Darmstadt(计算机科学系,达姆施塔特技术大学);Hessian Center for AI (hessian.AI)(黑森人工智能中心)
DIAGen在DA-Fusion基础上,通过高斯噪声扰动嵌入和文本引导生成,结合加权机制,增强少样本学习的语义多样性并提升分类性能。
2025-05-25 cs.AI cs.CV
Self-Supervised Disentanglement by Leveraging Structure in Data Augmentations
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Edinburgh(爱丁堡大学);Meta AI;University of Cambridge(剑桥大学)
针对自监督学习中丢弃风格特征导致下游任务性能下降的问题,提出通过多个风格嵌入空间解缠而非丢弃风格特征,并证明其可辨识性,在合成和真实数据上验证了有效性。
2024-08-20 cs.AI cs.CV cs.LG
Effective Data Augmentation With Diffusion Models
Carnegie Mellon University(卡内基梅隆大学);MPG Ranch(MPG牧场);University Of Chicago(芝加哥大学);Laboratory Schools(实验室学校)
针对传统数据增强语义多样性不足的问题,提出利用预训练文本到图像扩散模型进行图像编辑的增强方法,仅需少量标注即可泛化新概念,在少样本分类和杂草识别任务中提升了准确率。
2025-06-10 cs.AI cs.CV
Data Augmentation for Abstractive Query-Focused Multi-Document Summarization
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Microsoft Research(微软研究院)
由于缺乏足够的大规模高质量训练数据集,以查询为中心的多文档摘要(QMDS)的研究进展受到限制。我们提出了两个QMDS训练数据集,我们使用两种数据增强方法构建:(1)传输常用的单文档CNN/Daily Mail摘要数据集以创建QMDSCNN数据集,以及(2)挖掘搜索查询日志以创建QMDSIR数据集。这两个数据集具有互补的特性,即,QMDSCNN有真实的摘要,但查询是模拟的,而QMDSIR有真实的查询,但模拟摘要。为了涵盖这些真实的摘要和查询方面,我们在组合数据集上构建了抽象的端到端神经网络模型,这些模型在DUC数据集上产生了新的最先进的传输结果。我们还引入了新的分层编码器,使查询与多个文档的编码更有效。实证结果表明,我们的数据增强和编码方法优于自动度量的基线模型,以及沿多个属性的人类评估。
2021-03-02 cs.AI cs.CL
Fairness for Text Classification Tasks with Identity Information Data Augmentation Methods
LinkedIn Corporation(领英公司)
反事实公平方法解决了这样一个问题:如果文本实例中引用的敏感身份属性不同,预测会如何变化?这些方法完全基于为给定的训练集和测试集实例生成反事实。反事实实例通常通过替换敏感的身份术语来准备,即,用属于同一敏感类别的其它身份项来替换该实例中存在的身份项。因此,这些方法的有效性在很大程度上取决于身份对的质量和全面性。在本文中,我们提供了一个两步数据增强过程,其中(1)前一阶段包括一个新的方法,准备一个全面的身份对列表与词嵌入,和(2)后者包括利用准备身份对列表,以提高训练实例,通过应用三个简单的操作(即身份对替换,身份项盲,身份对交换)。我们的经验表明,两阶段的增强过程导致不同的身份对和增强的训练集,与两个著名的文本分类任务的改进的基于反事实标记的公平性度量得分。
2022-02-04 cs.AI cs.CL
AmGCL: Feature Imputation of Attribute Missing Graph via Self-supervised Contrastive Learning
Qifu Technology, Inc.(奇富科技有限公司)
提出AmGCL框架,利用Dirichlet能量最小化特征预编码和自监督图增强对比学习,解决属性缺失图的特征插补与节点分类问题,并在多个数据集上超越现有方法。
2023-05-05 cs.AI cs.LG
Cross-Modal Attribute Insertions for Assessing the Robustness of Vision-and-Language Learning
Georgia Institute of Technology(佐治亚理工学院)
提出跨模态属性插入扰动策略,将图像视觉属性注入文本,导致SOTA模型在检索和蕴含任务上性能显著下降,并验证了增强质量。代码已开源。
2023-06-19 cs.AI cs.CL cs.CV
Compositional Attribute Imbalance in Vision Datasets
Xidian University(西安电子科技大学);Centre for AI Foundamentals, University of Manchester(人工智能基础研究中心,曼彻斯特大学);Renmin University of China(中国人民大学);Tsinghua University(清华大学)
本研究针对视觉数据集中的组合属性不平衡问题,定义两级属性并构建基于CLIP的属性自动评估框架,提出结合属性稀有度采样与数据增强的方法,有效缓解不平衡并提升模型鲁棒性与公平性,为长尾图像分类提供可扩展方案。
2025-06-17 cs.AI cs.CV
Target-Aware Generative Augmentations for Single-Shot Adaptation
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);Arizona State University(亚利桑那州立大学)
本文提出了一种名为 SiSTA 的新方法,通过使用单样本目标微调源域生成模型并采用新颖采样策略整理合成数据,有效解决了单样本适应中的大分布偏移问题,显著提升了泛化能力。
2023-05-22 cs.AI cs.CV
Learning Better with Less: Effective Augmentation for Sample-Efficient Visual Reinforcement Learning
The University of Sydney(悉尼大学);JD Explore Academy(京东探索研究院);Tsinghua University(清华大学)
本文研究视觉强化学习中数据增强有效性的关键属性,提出 Rand PR 单一增强操作与 CycAug 多类型融合方案,在 DeepMind Control 和 CARLA 上取得领先的样本效率。
2023-10-27 cs.AI cs.CV cs.LG
Pix2Pix-Hybrid: Structure-Guided Conditional Synthesis of Hajj Crowd Images with Multi-Channel Conditioning and Weak Attribute Supervision
King Abdulaziz University(阿卜杜勒阿齐兹国王大学);Jouf University(焦夫大学)
提出Pix2Pix-Hybrid条件GAN,通过多通道结构线索和上下文属性条件合成朝觐人群图像,用于数据增强,在减少人工标注的同时提升合成质量,并验证了合成数据对人群计数模型的改进效果。
2026-06-15 cs.AI cs.CV
EPIC: Graph Augmentation with Edit Path Interpolation via Learnable Cost
Graduate School of Artificial Intelligence, POSTECH, South Korea(人工智能研究生院,POSTECH,韩国);Department of Computer Science & Engineering, POSTECH, South Korea(计算机科学与工程系,POSTECH,韩国)
本文提出 EPIC 方法,利用可学习代价的图编辑路径插值生成增强图数据,以提升图分类模型的泛化能力,并在多个基准数据集上取得优于现有增强技术的效果。
2025-06-04 cs.AI cs.LG
Data-Driven Analysis of Intersectional Bias in Image Classification: A Framework with Bias-Weighted Augmentation
Independent Researcher(独立研究者)
提出IFEF框架识别图像分类中的交叉偏见,并通过依据子群体分布调整增强强度的BWA方法,在Open Images V7上显著提升弱势交叉组合准确率并降低公平性差异。
2025-10-17 cs.AI cs.CV cs.LG
D3A-TS: Denoising-Driven Data Augmentation in Time Series
Datrik Ingellicence, S.A.(Datrik智能有限公司);Seville University(塞维利亚大学)
本文提出D3A-TS,利用扩散概率模型和元属性条件生成合成时间序列,用于分类与回归增强,并在六个跨领域数据集及消融实验中验证其有效性。
2023-12-09 cs.AI cs.LG
Isotonic Data Augmentation for Knowledge Distillation
Shanghai University of Finance and Economics(上海财经大学)
知识蒸馏使用教师模型预测的真实硬标签和软标签作为监督。直觉上,我们希望软标签和硬标签与w.r.t.一致。概率的顺序。然而,我们发现在增强样本中硬标签和软标签之间存在严重的顺序违反。例如,对于增强样本$x=0.7*panda+0.3*cat$,我们期望有意义的软标签的顺序为$P_\text{soft}(panda|x)>P_\text{soft}(cat|x)>P_\text{soft}(other|x)$。但真正的软标签通常违反顺序,例如$P_\text{soft}(tiger|x)>P_\text{soft}(panda|x)>P_\text{soft}(cat|x)$。我们将此归因于教师的泛化能力不令人满意,这导致了增强样本的预测误差。从经验上看,我们发现违规行为是常见的,损害了知识转移。本文在知识蒸馏的数据增广中引入序限制,称之为保序数据增强(IDA)。我们使用保序回归(IR)-一个经典的技术,从统计-消除秩序的侵犯。我们表明,IDA可以建模为一个树结构的IR问题。因此,我们适应经典的IRT-BIN算法的最优解与$O(c \log c)$的时间复杂度,其中$c$是标签的数量。为了进一步降低时间复杂度,我们还提出了一个GPU友好的近似线性时间复杂度。我们已经验证了不同的数据集和数据增强技术,我们提出的IDA算法有效地提高了知识蒸馏的准确性,通过消除秩违规。
2021-07-06 cs.AI cs.LG
Attributes Shape the Embedding Space of Face Recognition Models
Department of Mathematical Sciences, Politecnico di Torino, Turin, Italy(波兰理工学院数学科学系);Department of Computer Science, University of Pisa, Pisa, Italy(比萨大学计算机科学系);CENTAI Institute, Turin, Italy(CENTAI研究院)
本文提出一种几何方法和受物理启发的对齐度量,用于描述人脸识别模型嵌入空间中由可解释人脸与图像属性引起的多尺度几何结构及模型对这些属性的依赖或不变性,揭示了模型的优缺点并提升可解释性。
2025-07-15 cs.AI cs.CV
Transferable Adversarial Face Attack with Text Controlled Attribute
Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Laboratory(鹏城实验室);Pazhou Laboratory (Huangpu)(琶洲实验室(黄埔))
本文提出文本控制属性攻击方法TCA$^2$,利用自然语言引导、类别级softmax向量及数据与模型增强策略,结合StyleGAN生成高迁移性的逼真对抗冒充人脸,并在多个数据集和商用系统上验证了有效性。
2025-02-02 cs.AI cs.CV
Context-Aware Counterfactual Data Augmentation for Gender Bias Mitigation in Language Models
本文提出Context-CDA方法,通过增强上下文和过滤低质量反事实,有效缓解语言模型中的性别偏见,同时保持语言建模能力。
2026-02-10 cs.AI cs.CL
HyperGCL: Multi-Modal Graph Contrastive Learning via Learnable Hypergraph Views
Northeastern University(东北大学);University of Connecticut(康涅狄格大学);Georgia State University(佐治亚州立大学)
本文提出HyperGCL,一种基于超图视角的多模态图对比学习框架,通过可学习自适应拓扑增强构建三种超图视图,并利用网络感知对比损失定义正负样本,在节点分类任务上达到最先进性能。
2025-02-26 cs.AI cs.LG
TransZero: Attribute-guided Transformer for Zero-Shot Learning
Huazhong University of Science and Technology(华中科技大学);Alibaba Group(阿里巴巴集团);Mohamed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学);University of Chinese Academy of Sciences(中国科学院大学)
零样本学习(Zero-shot learning,ZRL)的目标是通过将语义知识从可见类转移到不可见类来识别新类。语义知识是从不同类别之间共享的属性描述中学习的,这些属性描述充当用于局部化表示有区别的区域特征的对象属性的强先验,从而实现显著的视觉-语义交互。虽然一些基于注意力的模型已经尝试在单个图像中学习这样的区域特征,但是视觉特征的可转移性和区分性属性定位通常被忽略。在本文中,我们提出了一个属性引导的Transformer网络,称为transZero,细化视觉特征和学习属性定位的歧视性视觉嵌入表示在CNOL。具体而言,TransZero采用特征增强编码器来减轻ImageNet和BML基准之间的跨数据集偏差,并通过减少区域特征之间纠缠的相对几何关系来提高视觉特征的可转移性。为了学习局部增强的视觉特征,TransZero采用视觉语义解码器,在语义属性信息的指导下,对给定图像中与每个属性最相关的图像区域进行局部化。然后,局部增强的视觉特征和语义向量进行有效的视觉语义嵌入网络中的视觉语义交互。大量的实验表明,TransZero在三个测试基准上达到了最新的技术水平。代码可在以下网址获得:\url{https://github.com/shiming-chen/TransZero}。
2021-12-03 cs.AI cs.CV
NaNa and MiGu: Semantic Data Augmentation Techniques to Enhance Protein Classification in Graph Neural Networks
National Tsing Hua University(国立清华大学);IBM Research(IBM研究院);The Chinese University of Hong Kong(香港中文大学)
针对现有方法在蛋白质分类中忽略动态构象和侧链特征的问题,提出NaNa和MiGu语义数据增强方法及共嵌入残差学习框架,融合主链化学与侧链生物物理信息,显著提升GIN在EC和Fold数据集上的分类性能。
2024-03-26 cs.AI cs.LG q-bio.QM
Heterogeneous Face Recognition via Face Synthesis with Identity-Attribute Disentanglement
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
异构人脸识别(HFR)旨在跨不同域(例如,可见的近红外图像),其已广泛应用于认证和取证场景。然而,HFR是一个具有挑战性的问题,因为大的跨域差异,有限的异构数据对,和大的变化的面部属性。为了解决这些问题,我们从异构数据增强的角度提出了一种新的HFR方法,命名为人脸合成与身份属性解纠缠(FSIAD)。首先,身份-属性解纠缠(IAD)将人脸图像分解为身份相关和身份无关两种表示(称为属性),降低身份和属性之间的相关性。其次,我们设计了一个人脸合成模块(FSM)来生成大量的图像与随机组合的解开身份和属性,以丰富合成图像的属性多样性。利用原始图像和合成图像对HFR网络进行训练,以应对挑战,提高HFR的性能。在五个HFR数据库上的实验验证了FSIAD比以前的HFR方法具有更好的性能。特别地,FSIAD在LAMP-HQ(迄今为止最大的HFR数据库)上的VR@FAR=0.01%方面比现有技术水平提高了4.8%。
2022-06-10 cs.AI cs.CV
Person Re-Identification System at Semantic Level based on Pedestrian Attributes Ontology
VNUHCM-University of Science(越南胡志明市国家大学科技大学)
本文提出统一行人重识别系统,结合行人属性本体、局部多任务DCNN和不平衡数据求解器,利用属性语义预过滤候选并解决数据不平衡,在Market1501上取得更高性能。
2025-06-04 cs.AI cs.CV
Enhancing Multimodal Entity Linking with Jaccard Distance-based Conditional Contrastive Learning and Contextual Visual Augmentation
Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学);VinAI Research(VinAI研究院)
本文针对多模态实体链接中负样本选择不当的问题,提出 JD-CCL 方法利用元信息选取相似属性负样本以增强鲁棒性,并引入 CVaCPT 方法结合多视角合成图像与上下文文本增强视觉表示,在基准数据集上验证了有效性。
2025-01-24 cs.AI cs.CV
Neural Photometry-guided Visual Attribute Transfer
SEDDI(SEDDI 公司);Universidad Carlos III de Madrid(马德里卡洛斯三世大学);Universidad Rey Juan Carlos(胡安·卡洛斯国王大学)
我们提出了一种基于深度学习的方法,用于将空间变化的视觉材料属性(例如纹理图或图像样式化)传播到相同或相似材料的更大样本。对于训练,我们利用在多种照明下拍摄的材料图像和专用的数据增强策略,使传输对新的照明条件和仿射变形具有鲁棒性。我们的模型依赖于一个有监督的图像到图像的翻译框架,是不可知的转移域,我们展示了一个语义分割,正常的地图,和风格化。在图像类比方法之后,该方法仅要求训练数据包含与输入引导相同的视觉结构。我们的方法以交互速率工作,使其适合材料编辑应用程序。我们在一个受控的设置中彻底评估我们的学习方法,提供量化的绩效指标。最后,我们证明了在单一材料上训练模型足以推广到相同类型的材料,而不需要大量的数据集。
2021-12-05 cs.AI cs.CV cs.GR
PressureTransferNet: Human Attribute Guided Dynamic Ground Pressure Profile Transfer using 3D simulated Pressure Maps
DFKI(德国人工智能研究中心);RPTU Kaiserslautern(凯泽斯劳滕莱茵兰-普法尔茨工业大学)
提出PressureTransferNet,一种编码器-解码器模型,通过输入源压力图和目标人体属性向量生成特定于身体的动态地面压力分布,在真实数据集上验证了其在数据增强和异常检测等HAR应用中的有效性。
2023-08-01 cs.AI cs.CV cs.GR