Addressing modern and practical challenges in machine learning: A survey of online federated and transfer learning
University of Essex(埃塞克斯大学)
在线联邦学习(OFL)和在线迁移学习(OTL)是克服现代机器学习挑战(如数据孤岛、流数据和数据安全)的两种协作范例。这项调查探讨了OFL和OTL的主要演变路线,以加强对在线联邦和迁移学习的理解。此外,在这项工作中,流行的数据集和在线联邦和迁移学习的前沿应用程序的实际方面突出。此外,这项调查提供了对未来潜在研究领域的深入了解,旨在为开发在线联合和迁移学习框架的专业人员提供资源。
2022-02-07 cs.LG
Visual Interest Prediction with Attentive Multi-Task Transfer Learning
SUTD(新加坡科技设计大学);Indian Institute of Technology Patna(印度理工学院巴特那分校)
视觉兴趣和情感预测是计算机视觉领域中一个非常有趣的研究领域。本文提出了一种基于迁移学习和注意力机制的神经网络模型来预测数码照片中的视觉兴趣和情感维度。学习的多维影响是通过一个多任务的学习框架。通过各种实验,我们证明了所提出的方法的有效性。在基准数据集上对我们的模型进行的评估表明,与当前最先进的系统相比,我们的模型有很大的改进。
2020-05-27 cs.CV cs.LG eess.IV
Visualizing Transferred Knowledge: An Interpretive Model of Unsupervised Domain Adaptation
Brandeis University(布兰迪斯大学);Tulane University(杜兰大学)
许多研究致力于无监督领域自适应(DA)问题,将从标记的源域学到的知识转移到未标记的目标域。近年来,各种DA方法在预测能力方面取得了显着的成果,这意味着上述知识转移的有效性。然而,最先进的方法很少深入探讨转移机制,使这些知识的真正本质模糊不清。认识到它的重要性,在适应过程中,我们提出了一个解释模型的无监督领域自适应,作为第一次尝试,以直观地揭开神秘的知识转移。适应现有的概念原型从视觉图像判读DA任务,我们的模型同样提取共享信息的域不变的表示为原型向量。此外,我们扩展了目前的原型方法与我们的新的预测校准和知识保真度保存模块,面向学习的原型,以实际转移的知识。通过可视化这些原型,我们的方法不仅为基础模型的预测提供了直观的解释,而且还通过在源域和目标域中匹配具有相同语义的图像块来揭示知识的传递。全面的实验和深入的探索表明,我们的方法在理解转移机制及其在下游任务,包括模型诊断的潜力的有效性。
2023-03-04 cs.CV cs.LG
A Survey on Transfer Learning in Natural Language Processing
King Fahd University of Petroleum and Minerals(法赫德国王石油与矿物大学)
深度学习模型通常需要大量的数据。然而,这些大型数据集并不总是可以实现的。这在许多具有挑战性的NLP任务中很常见。例如,考虑神经机器翻译,其中管理如此大的数据集可能不可能,特别是对于低资源语言。深度学习模型的另一个限制是对巨大计算资源的需求。这些障碍促使研究人员质疑使用大型训练模型进行知识转移的可能性。随着许多大型模型的出现,对迁移学习的需求正在增加。在这篇综述中,我们介绍了自然语言处理领域最近的迁移学习进展。我们还提供了一个分类不同的迁移学习方法从文献。
2020-05-31 cs.CL cs.LG stat.ML
Understanding Knowledge Transferability for Transfer Learning: A Survey
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Shenzhen Institute of Advanced Technology Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
本文综述了迁移学习中知识可迁移性度量指标,提出统一分类体系,分析其在不同学习范式下的适用性,并展望可信迁移学习的未来研究方向。
2025-07-03 cs.AI cs.LG
Federated and Transfer Learning: A Survey on Adversaries and Defense Mechanisms
University of Windsor(温莎大学)
联邦学习的出现促进了机器学习模型之间的大规模数据交换,同时保持了隐私。尽管它的历史很短,但联邦学习正在迅速发展,使其更广泛地使用。该领域最重要的进步之一是将迁移学习纳入联邦学习,这克服了主要联邦学习的基本限制,特别是在安全性方面。本章从安全的角度对联邦学习和迁移学习的交叉点进行了全面的调查。本研究的主要目标是发现可能损害使用联邦和迁移学习的系统的隐私和性能的潜在漏洞和防御机制。
2022-07-05 cs.AI cs.CR cs.CV
A Comprehensive Survey on Transfer Learning
University of Chinese Academy of Sciences(中国科学院大学);Baidu Inc.(百度公司);Rutgers, the State University of New Jersey(罗格斯新泽西州立大学)
迁移学习旨在通过迁移不同但相关的源域中的知识来提高目标学习者在目标域中的表现。通过这种方式,可以减少构建目标学习器对大量目标领域数据的依赖。迁移学习由于其广泛的应用前景,已成为机器学习中一个热门和有前途的研究领域。虽然已经有一些关于迁移学习的有价值和令人印象深刻的调查,但这些调查以相对孤立的方式介绍方法,缺乏迁移学习的最新进展。由于迁移学习领域的迅速扩大,全面回顾相关研究既有必要,也具有挑战性。本研究试图对现有的迁移学习研究进行梳理和整合,并对迁移学习的机制和策略进行全面的总结和阐释,以帮助读者更好地了解当前的研究现状和研究思路。与以往的调查不同,本文从数据和模型的角度,对四十多种有代表性的迁移学习方法,特别是同质性迁移学习方法进行了综述。并简要介绍了迁移学习的应用。为了展示不同的迁移学习模型的性能,使用了二十多个具有代表性的迁移学习模型进行实验。模型在三个不同的数据集上执行,即,亚马逊评论,路透社-21578和Office-31。实验结果表明,在实际应用中,针对不同的应用选择合适的迁移学习模型是非常重要的。
2020-06-23 cs.LG stat.ML
A Survey on Deep Industrial Transfer Learning in Fault Prognostics
University of Stuttgart(斯图加特大学)
由于其概率性质,故障诊断是利用大数据进行深度学习的用例的一个很好的例子。然而,这种数据集的低可用性与将复杂的学习算法拟合、参数化和评估到工业应用中典型的异质和动态设置的高工作量相结合,常常阻止这种方法的实际应用。可以使用迁移学习或持续学习方法来实现对新的或动态变化的故障诊断场景的自动适应。在本文中,这种方法进行了第一次调查,旨在建立在这一领域的未来研究的最佳实践。结果表明,该领域缺乏共同的基准来有力地比较结果和促进科学进步。因此,也对这些出版物中使用的数据集进行了调查,以确定这些基准情景的合适候选者。
2023-01-04 cs.AI cs.LG
Which Model to Transfer? A Survey on Transferability Estimation
School of Computer Science and Technology, Anhui University(安徽大学计算机科学与技术学院);Institute of Information Engineering, CAS(中国科学院信息工程研究所);University of Chinese Academy of Sciences(中国科学院大学);School of Artificial Intelligence, Anhui University(安徽大学人工智能学院);CRIPAC & MAIS, Institute of Automation, Chinese Academy of Sciences (CAS)(中国科学院自动化研究所模式识别国家重点实验室与多模态人工智能系统实验室)
本文首次系统综述了模型迁移性估计方法,将其分为无源和依赖源两类并建立分类体系,同时指出挑战与未来方向,为高效选择合适预训练模型提供指导。
2024-02-23 cs.CV cs.LG
Visual Analogies between Atari Games for Studying Transfer Learning in RL
Tel-Aviv University(特拉维夫大学);Facebook AI Research(Facebook人工智能研究院)
在这项工作中,我们提出了以下问题:视觉类比,在无监督的方式学习,可以被用来在游戏对之间转移知识,甚至玩一个游戏使用一个代理训练另一个游戏?我们试图通过在一对游戏(源游戏和目标游戏)之间创建视觉类比来回答这个研究问题。例如,给定目标游戏中的视频帧,我们将其映射到源游戏中的类似状态,然后尝试使用为源游戏学习的训练策略进行游戏。我们展示了令人信服的视觉映射之间的四对游戏(八个映射),这是用来评估三个迁移学习方法。
2018-07-29 cs.LG stat.ML
Transferability in Deep Learning: A Survey
Tsinghua University(清华大学)
深度学习算法的成功通常取决于大规模数据,而人类似乎具有内在的知识转移能力,通过在遇到和解决未知任务时识别和应用先前学习经验中的相关知识。这种获取和重用知识的能力被称为深度学习中的可转移性。它已经形成了使深度学习像人类学习一样具有数据效率的长期追求,并且一直在激励更强大的深度学习算法的富有成效的设计。我们提出这项调查,以连接深度学习中不同的孤立领域与它们与可移植性的关系,并提供一个统一和完整的视图来调查整个深度学习生命周期的可移植性。该调查详细阐述了基本目标和挑战,以及核心原则和方法,涵盖了深度架构,预培训,任务适应和领域自适应的最新基石。这突出了关于学习可转移知识的适当目标以及使知识适应新的任务和领域、避免灾难性遗忘和负转移的问题。最后,我们实现了一个基准测试和一个开源库,使深度学习方法在可移植性方面得到公平的评估。
2022-01-15 cs.LG
A Survey on Negative Transfer
Huazhong University of Science and Technology(华中科技大学);Chongqing University(重庆大学)
迁移学习(TL)利用来自一个或多个源域的数据或知识来促进目标域中的学习。当目标域只有很少或没有标记数据时,由于注释费用,隐私问题等,它特别有用。不幸的是,TL的有效性并不总是得到保证。负迁移(NT),即,利用源域数据/知识不期望地降低目标域中的学习性能,已经是TL中长期存在的并且具有挑战性的问题。在文献中已经提出了各种方法来处理它。但是,不存在一个系统的调查,制定NT,导致NT的因素,并减轻NT的算法。本文填补了这一空白,首先介绍了NT的定义及其影响因素,然后回顾了约50个代表性的方法来克服NT,根据四个类别:安全传输,域相似性估计,远程传输,NT缓解。NT在相关领域,例如,多任务学习、终身学习和对抗攻击也被讨论。
2021-08-09 cs.CV cs.LG stat.ML
A Survey on Deep Transfer Learning
Tsinghua University(清华大学)
深度学习作为一种新的分类平台,近年来受到越来越多研究者的关注,并已成功应用于许多领域。在生物信息学和机器人技术等领域,由于数据采集和注释的昂贵费用,构建大规模的具有良好注释的数据集非常困难,限制了其发展。迁移学习放宽了训练数据必须是独立同分布(i.i.d.)的假设。这就促使我们采用迁移学习来解决训练数据不足的问题。本文综述了利用深度神经网络进行迁移学习的研究现状及其应用。本文首先对深度迁移学习进行了定义,并根据深度迁移学习的技术特点对近年来的研究成果进行了分类和综述。
2018-08-06 cs.LG stat.ML
A Visual Analytics Framework for Explaining and Diagnosing Transfer Learning Processes
Arizona State University(亚利桑那州立大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Samsung Research America(三星美国研究院)
许多统计学习模型假设训练数据和未来未标记数据来自相同的分布。然而,这种假设在现实世界的场景中很难实现,并且在重用来自类似应用程序域的现有标签时会产生障碍。迁移学习旨在通过对领域之间的关系建模来放松这一假设,并且通常应用于深度学习应用中,以减少对标记数据和训练时间的需求。尽管最近在使用可视化分析工具探索深度学习模型方面取得了进展,但很少有工作探索解释和诊断深度学习模型之间的知识转移过程。在本文中,我们提出了一个可视化分析框架,用于在训练深度神经网络时对迁移学习过程进行多层次探索。我们的框架建立了一个多方面的设计,以解释在训练深度神经网络时,如何将从现有模型中学习到的知识转移到新的学习任务中。在全面的需求和任务分析的基础上,我们采用了描述性的可视化,从统计,实例,功能和模型结构级别的性能指标和详细的检查模型的行为。我们展示了我们的框架,通过两个案例研究图像分类通过微调AlexNets来说明分析师可以如何利用我们的框架。
2020-09-15 cs.AI cs.HC cs.LG
A Survey on Self-supervised Pre-training for Sequential Transfer Learning in Neural Networks
University of California, San Diego(加利福尼亚大学圣迭戈分校)
深度神经网络通常在监督学习框架下进行训练,其中模型使用标记数据学习单个任务。从业者可以利用未标记或相关数据来提高模型性能,而不是仅仅依赖于标记数据,这些数据通常更容易访问和无处不在。用于迁移学习的自监督预训练正在成为一种越来越流行的技术,用于使用未标记数据来改善最先进的结果。它首先在大量未标记的数据上预训练模型,然后使模型适应感兴趣的目标任务。在这篇综述中,我们调查自监督学习方法及其应用程序中的顺序迁移学习框架。我们概述了自监督学习和迁移学习的分类,并强调了一些在不同领域设计预训练任务的突出方法。最后,我们讨论了最近的趋势,并建议未来的调查领域。
2020-07-01 cs.LG stat.ML
Trustworthy Transfer Learning: A Survey
Michigan State University(密歇根州立大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文从知识迁移性和可信性视角综述可信迁移学习,涵盖问题定义、理论分析等多方面,总结IID与非IID假设下的迁移性理论算法,探讨可信性影响并指出开放问题与未来方向。
2025-11-12 cs.LG
A Survey of Explainable AI in Deep Visual Modeling: Methods and Metrics
The University of Western Australia(西澳大利亚大学)
深度视觉模型在高风险领域有着广泛的应用。因此,它们的黑盒性质目前吸引了研究界的极大兴趣。我们提出了可解释人工智能的第一个调查,重点是解释深度视觉模型的方法和指标。覆盖沿着国家的最先进的里程碑式的贡献,我们不仅提供了现有技术的分类组织,而且还挖掘了一系列的评估指标,并整理它们作为模型解释的不同属性的措施。随着对当前趋势的深入讨论,我们还讨论了这一研究方向的挑战和未来的途径。
2023-01-31 cs.AI cs.CV cs.LG
Survey of Visual Question Answering: Datasets and Techniques
Indian Institute of Technology Delhi(德里印度理工学院)
视觉问答是结合自然语言处理和计算机视觉技术的一个新的、令人兴奋的问题。我们提出了一个调查的各种数据集和模型,已用于解决这一任务。调查的第一部分详细介绍了VQA的各种数据集,并将它们与一些常见因素进行比较。本调查的第二部分详细介绍了VQA的不同方法,分为四种类型:非深度学习模型,无注意力的深度学习模型,有注意力的深度学习模型,以及不适合前三种模型的其他模型。最后,我们比较了这些方法的性能,并为未来的工作提供了一些方向。
2017-05-11 cs.AI cs.CL cs.CV
A Survey on Patients Privacy Protection with Stganography and Visual Encryption
在这项调查中,隐写术和视觉加密方法的三十个模型进行了讨论,以提供患者的隐私保护。
2022-01-23 cs.CV cs.MM
GAN Computers Generate Arts? A Survey on Visual Arts, Music, and Literary Text Generation using Generative Adversarial Network
American University of Sharjah(沙迦美国大学)
“艺术是谎言,它使我们能够认识真理。- 巴勃罗·毕加索几个世纪以来,人类一直致力于创造艺术来表达他们的想象力。技术的进步,特别是深度学习,引起了许多研究人员的注意,他们试图研究计算机和算法是否可以产生艺术。使用生成对抗网络(GANs),实现了合成逼真的人脸和从图像自动创建字幕等应用。本调查全面介绍了最近使用GANs生成视觉艺术,音乐和文学文本的作品。各种GAN架构的性能比较和描述。最后,强调了使用GANs生成艺术的一些关键挑战,并对未来的工作提出了建议。
2021-08-14 cs.AI cs.CL cs.CV
CtrlFormer: Learning Transferable State Representation for Visual Control via Transformer
the University of Hong Kong(香港大学);Tsinghua University(清华大学)
Transformer在学习视觉和语言表达方面取得了巨大的成功,这在各种下游任务中是普遍的。在视觉控制中,学习能够在不同控制任务之间转移的可转移状态表示对于减少训练样本量是很重要的。然而,将Transformer移植到样本高效的视觉控制仍然是一个具有挑战性且未解决的问题。为此,我们提出了一种新的控制Transformer(CtrlFormer),具有许多吸引人的好处,现有技术没有。首先,CtrlFormer联合学习不同控制任务之间视觉令牌和策略令牌之间的自我注意力机制,其中多任务表示可以在没有灾难性遗忘的情况下学习和转移。其次,我们精心设计了一个对比强化学习范式来训练CtrlFormer,使其能够实现高样本效率,这在控制问题中是很重要的。例如,在DMControl基准测试中,与最近的高级方法不同,这些方法在使用10万个样本进行迁移学习后,在“Cartpole”任务中产生零分,而CtrlFormer可以在保持先前任务性能的同时,仅使用10万个样本就获得最先进的分数。代码和模型发布在我们的项目主页上。
2022-06-17 cs.AI cs.CV cs.LG
Unsupervised Visual Attribute Transfer with Reconfigurable Generative Adversarial Networks
SK T-Brain
学习传递视觉属性需要监督数据集。学习传递函数需要具有相同身份的不同属性值的对应图像。这在很大程度上限制了它们的应用,因为捕获它们通常是一项艰巨的任务。为了解决这个问题,我们提出了一个无监督的方法来学习转移视觉属性。所提出的方法可以学习的传递函数没有任何对应的图像。通过对多个无监督属性迁移任务的可视化结果进行检验,验证了该方法的有效性。
2017-07-31 cs.CV
Transferring Visual Explainability from Self-Explaining to Prediction-Only Vision Transformers via Task Arithmetic
Chiba Institute of Technology(千叶工业大学);ZOZO Research(ZOZO研究院)
本文提出一种方法,通过任务算术框架将自解释模型的视觉解释能力转移到仅预测模型中,无需额外训练,从而提升目标域的解释质量。
2026-11-10 cs.AI cs.CV cs.LG
Visual Question Answering using Deep Learning: A Survey and Performance Analysis
Indian Institute of Information Technology(印度信息技术学院)
视觉问答(VQA)任务将处理数据的挑战与视觉和语言处理相结合,以回答有关给定图像的基本“常识”问题。给定图像和自然语言中的问题,VQA系统尝试使用图像的视觉元素和从文本问题收集的推断来找到其正确答案。在本次调查中,我们涵盖并讨论了VQA领域最近发布的数据集,这些数据集涉及各种类型的问题格式和机器学习模型的鲁棒性。接下来,我们将讨论新的深度学习模型,这些模型在VQA数据集上显示出有希望的结果。最后,我们给出并讨论了我们在vanilla VQA模型,Stacked Attention Network和VQA Challenge 2017获奖模型上计算的一些结果。我们还提供了详细的分析以及面临的挑战和未来的研究方向。
2020-12-23 cs.AI cs.CL cs.CV
Deep Audio-Visual Learning: A Survey
Anhui University(安徽大学);University of the Chinese Academy of Sciences(中国科学院大学)
自深度学习开始成功使用以来,旨在利用音频和视觉模态之间的关系的视听学习引起了相当大的关注。研究人员倾向于利用这两种模式来提高以前考虑的单模态任务的性能,或解决新的挑战性问题。在本文中,我们提供了一个全面的调查最近视听学习发展。我们将当前的视听学习任务分为四个不同的子领域:视听分离与定位、视听对应学习、视听生成和视听表示学习。国家的最先进的方法,以及每个子字段的剩余挑战进行了进一步讨论。最后,我们总结了常用的数据集和性能指标。
2020-01-14 cs.CV
Visual Prompt Tuning for Generative Transfer Learning
Google Research(谷歌研究院)
从在大数据集上训练的图像合成模型中转移知识是有效学习来自各个领域的生成图像模型的一个有前途的方向。虽然以前的工作已经研究了GAN模型,但我们提出了一种通过生成知识转移来学习视觉Transformer的方法。我们的框架基于最先进的生成视觉Transformer,它将图像表示为自回归或非自回归Transformers的视觉令牌序列。为了适应一个新的领域,我们采用提示微调,这prepends可学习的令牌称为提示的图像令牌序列,并介绍了一个新的提示设计,我们的任务。我们研究了各种视觉领域,包括视觉任务适应基准~ \cite{zhai2019large},与不同数量的训练图像,并显示有效的知识转移和显着更好的图像生成质量比现有的作品。
2022-10-03 cs.AI cs.CV
Visual Prompting in Multimodal Large Language Models: A Survey
UC San Diego(加州大学圣地亚哥分校);Dartmouth College(达特茅斯学院);Rutgers University(罗格斯大学);UC Los Angeles(加州大学洛杉矶分校);Adobe Research(奥多比研究院);The University of New South Wales(新南威尔士大学);CSIRO’s Data61(联邦科学与工业研究组织Data61)
本文综述了多模态大语言模型中的视觉提示方法,涵盖提示分类、生成、组合推理及提示学习,并总结了提升模型对齐与感知的训练方法及未来展望。
2024-09-05 cs.CV cs.LG
A Comprehensive Survey of Data Augmentation in Visual Reinforcement Learning
Nanyang Technological University(南洋理工大学);The University of Sydney(悉尼大学);Tsinghua University(清华大学);The University of Queensland(昆士兰大学)
本文首次系统综述视觉强化学习中的数据增强技术,提出统一分析框架和分类法,并通过实证评估揭示如何利用增强数据提升样本效率与泛化能力。
2024-10-21 cs.AI cs.CV
Visual Text Meets Low-level Vision: A Comprehensive Survey on Visual Text Processing
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
本文全面综述视觉文本处理领域,提出层次化分类体系,分析文本特征集成方法,并基准测试现有技术,指出挑战与未来方向。
2024-02-05 cs.CV cs.LG
From Seeing to Moving: A Survey on Learning for Visual Indoor Navigation (VIN)
Arizona State University(亚利桑那州立大学)
视觉室内导航(VIN)任务已经引起了数据驱动的机器学习社区越来越多的关注,特别是最近报道的基于学习的方法的成功。由于这项任务的内在复杂性,研究人员试图从各种不同的角度来解决这个问题,其全部范围尚未在一份总体报告中得到体现。本调查首先总结了VIN任务的基于学习的方法的代表性工作,然后确定和讨论阻碍VIN性能的挥之不去的问题,以及激励未来的研究在这些关键领域值得探索的社会。
2022-07-02 cs.AI cs.CV cs.RO
Diffusion-Based Visual Art Creation: A Survey and New Perspectives
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学)
本综述从艺术与技术双重视角探讨了基于扩散模型的视觉艺术创作领域,总结了其发展、技术挑战与应用,并展望了生成式AI改变艺术创作范式及增强人类创造力的未来方向。
2024-08-22 cs.AI cs.CV
Visual Answer Localization with Cross-modal Mutual Knowledge Transfer
Hunan University(湖南大学)
视频中的视觉应答定位(VAL)的目标是从视频中获得相关的和简洁的时间片段作为给定自然语言问题的答案。早期的方法是基于视频和文本之间的交互建模,通过视觉预测器来预测视觉答案。后来,事实证明,使用带有字幕的文本预测器来进行VAL会更加精确。然而,这些现有的方法仍然有跨模态知识偏离视觉框架或文本字幕。在本文中,我们提出了一个跨模态相互知识转移跨度本地化(MutualSL)的方法,以减少知识偏差。MutualSL同时具有视觉预测器和文本预测器,我们期望两者的预测结果是一致的,从而促进跨模态之间的语义知识理解。在此基础上,设计了一个单向动态损失函数,动态调整知识转移的比例。我们在三个公共数据集上进行了广泛的实验进行评估。实验结果表明,我们的方法优于其他竞争国家的最先进的(SOTA)的方法,证明了其有效性。
2022-10-28 cs.AI cs.CV
A Survey on Visual Anomaly Detection: Challenge, Approach, and Prospect
Huazhong University of Science and Technology(华中科技大学);University of Michigan, Ann Arbor(密歇根大学安娜堡分校);Youtu Lab, Tencent(腾讯优图实验室);Singapore Management University(新加坡管理大学)
本综述针对视觉异常检测(VAD)领域,梳理其研究背景与概念,指出训练数据稀缺、视觉模态多样、层级异常复杂三大挑战,从多维度分类阐述最新进展,并总结未来发展方向与核心贡献。
2024-01-29 cs.AI cs.CV
Language bias in Visual Question Answering: A Survey and Taxonomy
University of Electronic Science and Technology of China(电子科技大学)
视觉问答(VQA)是一项具有挑战性的任务,在计算机视觉和自然语言处理领域引起了越来越多的关注。但是,目前的视觉问答存在语言偏向的问题,降低了模型的鲁棒性,对视觉问答的实际应用产生了不利影响。本文首次对这一领域进行了全面的回顾和分析,并将现有的方法按照增强视觉信息、弱化语言先验、数据增强和训练策略三大类进行了分类。同时,对相关的代表性方法依次进行了介绍、总结和分析。揭示了语言偏见产生的原因并进行了分类。其次,本文介绍了主要用于测试的数据集,并报告了各种现有方法的实验结果。最后,我们讨论了该领域未来可能的研究方向。
2021-11-16 cs.AI cs.CV
Using Visual and Vehicular Sensors for Driver Behavior Analysis: A Survey
George Mason University(乔治梅森大学)
本文综述了利用视觉与车载传感器进行驾驶员行为分析的各类技术与最新研究,讨论了领域挑战与未来方向,指出整合两类信息可提升分析准确性、减少交通事故。
2023-08-25 cs.CV cs.LG
$P^{3}O$: Transferring Visual Representations for Reinforcement Learning via Prompting
University of Science and Technology of China(中国科学技术大学)
深度强化学习(DRL)算法将其学习的策略转移到具有不同视觉输入的新环境中是很重要的。在本文中,我们介绍了基于提示的近端策略优化($P^{3}O$),一个三阶段的DRL算法,通过应用提示将视觉表示从目标环境转移到源环境。$P^{3}O$的过程包括三个阶段:预训练、提示和预测。特别是,我们指定了一个表示转换的转换器,并提出了一个两步的训练过程,训练的转换器的目标环境,而其余的DRL管道保持不变。我们实现了$P^{3}O$,并在OpenAI CarRacing视频游戏上对其进行了评估。实验结果表明,$P^{3}O$的性能优于现有的可视化传输方案。特别地,$P^{3}O$允许学习的策略在具有不同视觉输入的环境中表现良好,这比在这些环境中重新训练策略有效得多。
2023-03-27 cs.AI cs.CV
Visual Anomaly Detection for Images: A Survey
University of Chinese Academy of Sciences(中国科学院大学)
视觉异常检测是机器学习和计算机视觉领域的一个重要而又具有挑战性的问题。这个问题已经引起了相关研究界的相当大的关注。特别是近年来,深度学习的发展引发了人们对视觉异常检测问题的兴趣,并带来了各种新颖的方法。在本文中,我们对文献中用于视觉异常检测的经典方法和基于深度学习的方法进行了全面的调查。我们根据相关方法的基本原理对它们进行了分组,并仔细讨论了它们的假设、优点和缺点。我们的目的是帮助研究人员了解视觉异常检测方法的共同原则,并确定在这一领域有前途的研究方向。
2021-09-27 cs.CV
Fine-Grained Image Style Transfer with Visual Transformers
Microsoft Research(微软研究院)
随着卷积神经网络的发展,图像风格的传递越来越受到人们的关注。然而,大多数现有方法采用全局特征变换来将样式模式转换为内容图像(例如,AdaIN和WCT)。这样的设计通常会破坏输入图像的空间信息,并且无法将细粒度的样式模式转换为样式转换结果。为了解决这个问题,我们提出了一种新的风格Transformer(STTR)网络,将内容和风格图像分解为视觉标记,以实现细粒度的风格转换。具体来说,我们的STTR采用了两种注意力机制。我们首先建议使用自我注意力来编码内容和风格标记,以便可以将类似的标记分组并一起学习。然后,我们在内容和样式标记之间采用交叉注意,以鼓励细粒度的样式转换。为了将STTR与现有方法进行比较,我们对Amazon Mechanical Turk(AMT)进行了用户研究,该研究由50名人类受试者进行,总共有1,000张选票。广泛的评估表明,建议的STTR在产生视觉上令人愉快的风格转移结果的有效性和效率。
2022-10-11 cs.AI cs.CV
Visual Semantic Information Pursuit: A Survey
University of Surrey(萨里大学)
视觉语义信息包括两个重要部分:每个视觉语义单位的意义和这些视觉语义单位所传达的连贯的视觉语义关系。从本质上讲,前者是一个视觉感知任务,而后者对应于视觉上下文推理。由于深度学习的成功,视觉感知取得了显著的进步。而视觉语义信息追踪是一种结合视觉感知和视觉上下文推理的视觉场景语义解释任务,目前还处于初级阶段。它是许多不同的计算机视觉应用的核心任务,如目标检测,视觉语义分割,视觉关系检测或场景图生成。由于它有助于提高解释的准确性和一致性,视觉上下文推理通常与视觉感知结合在当前的深度端到端视觉语义信息追踪方法中。然而,对这一令人兴奋的领域的全面审查仍然缺乏。在本次调查中,我们为所有这些方法提供了统一的理论范式,然后概述了每个潜在方向的主要发展和未来趋势。介绍了常用的基准数据集、评价指标以及相应方法的比较。
2019-03-13 cs.CV
A Survey of Appearance Models in Visual Object Tracking
The University of Adelaide(阿德莱德大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);State University of New York, Binghamton(纽约州立大学宾汉姆顿分校)
视觉目标跟踪是一项重要的计算机视觉任务,在视觉监控、人机交互、视频压缩等领域有着广泛的应用。在文献中,研究人员提出了各种2D外观模型。为了帮助读者快速了解视觉对象跟踪的2D外观模型的最新进展,我们提供了这个调查,它提供了现有的2D外观模型的详细审查。特别是,本调查采用了基于模块的架构,使读者能够轻松掌握视觉对象跟踪的关键点。在本研究中,我们首先将外观建模问题分解为两个不同的处理阶段:视觉表示和统计建模。然后,不同的二维外观模型进行了分类,并讨论了其组成模块。最后,我们解决了几个感兴趣的问题,以及剩余的挑战,为今后的研究这一主题。这项调查的贡献有四个方面。首先,我们根据视觉表征的特征构建机制(即,本地和全球)。其次,现有的统计建模方案跟踪检测审查根据其模型的建设机制:生成,歧视性,和混合生成歧视性。第三,从理论或实践的角度分析和讨论了每种类型的视觉表示或统计建模技术。第四,现有的基准资源(例如,源代码和视频数据集)进行了检查。
2013-03-20 cs.CV
Visual Transfer between Atari Games using Competitive Reinforcement Learning
Robotics Institute(机器人研究所);Carnegie Mellon University(卡内基梅隆大学)
本文探讨了使用深度强化学习代理将知识从一个环境转移到另一个环境。更具体地说,该方法利用异步优势演员评论家(A3 C)架构,使用在Atari中的源游戏上训练的代理来概括目标游戏。我们提出了一种学习方法,使用多个代理并行训练目标游戏的不同表示来更新模型,而不是微调目标游戏的预训练模型。转移对的视频序列之间的视觉映射用于导出目标游戏的新表示;对目标游戏的这些视觉表示进行训练可以在性能、数据效率和稳定性方面提高模型更新。为了演示该架构的功能,OpenAI健身房环境中使用了Atari游戏Pong-v0和Breakout-v0作为源和目标环境。
2018-09-02 cs.CV cs.LG
Comparative survey of visual object classifiers
Universite Bourgogne - Franche-Comte(勃艮第-弗朗什孔泰大学)
视觉对象类的分类代表了计算机视觉中最复杂的领域之一。它总是具有挑战性的,以获得一个特定的检测器,描述符或分类器,提供预期的对象分类结果。因此,关键是要比较不同的检测,描述符和分类器方法,并选择一个或两个或三个的组合,以获得最佳结果。在本文中,我们提出了一个不同的特征描述符和分类器的比较调查。从特征描述符,SIFT(稀疏和密集)和HeuSIFT组合颜色描述符;从分类技术,支持向量分类器,K-最近邻,ADABOOST,和费舍尔在比较实际的实施调查。
2018-06-17 cs.CV eess.IV
QuantArt: Quantizing Image Style Transfer Towards High Visual Fidelity
Harvard University(哈佛大学);University of Rochester(罗切斯特大学);Boston College(波士顿学院)
针对现有风格迁移难以保证生成结果真实感的问题,本文提出 QuantArt 框架,通过向量量化及量化与连续潜在表示融合,灵活控制内容、风格与视觉保真度,并在实验中显著优于现有方法。
2023-06-05 cs.CV cs.LG cs.MM
Adaptive color transfer from images to terrain visualizations
Nanjing Normal University(南京师范大学)
地形测绘不仅致力于传达一个景观有多高或多陡,还可以帮助描述我们对一个地方的感受。然而,制作有效的和表现力的分层色调对非专家和专家来说都是具有挑战性的。在本文中,我们提出了一个两步图像到地形的颜色转移方法,可以从任意图像的颜色转移到不同的地形模型。首先,我们提出了一种新的图像颜色组织方法,将离散的,不规则的图像颜色组织成一个连续的,规则的颜色网格,便于一系列的颜色操作,如局部和全局搜索,分类颜色选择和顺序颜色插值。其次,我们量化了一系列关于立面色彩制作的主观问题,如“低,高”的原则,色彩惯例和空中透视。我们还定义了图像和地形可视化与美学质量之间的颜色相似性。然后,我们在数学上制定的图像到地形的颜色转移作为一个双目标优化问题,并提供了一个启发式搜索方法来解决这个问题。最后,我们比较海拔色调从我们的方法与标准的配色方案在四个测试地形。评估结果表明,所提出的方法可以有效地作为标准方案的高度着色,我们的色调是更直观的有利。我们还展示了我们的方法可以将情感从图像转移到地形可视化。
2022-05-30 cs.CL cs.CV
A Survey of Visual Sensory Anomaly Detection
Southern University on Science and Technology(南方科技大学);University of Surrey(萨里大学);Tencent(腾讯);Bielefeld University(比勒费尔德大学)
视觉异常检测是计算机视觉的一个重要问题,近年来随着人工智能的发展,视觉异常检测得到了迅猛发展。与在标签水平检测异常(语义偏移)的语义异常检测相比,视觉感知AD检测样本的异常部分(协变量偏移)。然而,没有提供全面的审查来总结计算机视觉社区的这一领域。在这次调查中,我们是第一个提供一个全面的审查视觉感觉AD和分类分为三个级别,根据异常的形式。此外,我们还根据监管级别对每种异常进行了分类。最后,我们总结了挑战,并为这个社区提供开放的方向。所有资源都可以在https://github.com/M-3LAB/awesome-visual-sensory-anomaly-detection上找到。
2022-02-14 cs.CV
Visual Affordance and Function Understanding: A Survey
University of New South Wales(新南威尔士大学);Data61-CSIRO(联邦科学与工业研究组织Data61);Australian National University(澳大利亚国立大学)
如今,机器人正在主导制造业,娱乐和医疗保健行业。机器人视觉旨在使机器人具有发现信息、理解信息并与环境交互的能力。这些功能需要一个代理,以有效地了解对象的启示和功能,在复杂的视觉领域。在这篇文献综述中,我们首先关注视觉启示,并总结了最新的技术水平以及开放的问题和研究空白。具体来说,我们讨论了子问题,如启示检测,分类,分割和高级推理。此外,我们涵盖功能场景理解和文献中使用的流行功能描述符。该调查还提供了必要的背景问题,揭示了其重要性,并强调了现有的挑战,供能和功能学习。
2018-07-18 cs.CV cs.RO
Crossing You in Style: Cross-modal Style Transfer from Music to Visual Arts
National Chiao Tung University(台湾交通大学);National Tsing Hua University(台湾清华大学);Academia Sinica(中央研究院)
音乐风格到视觉风格的迁移是创造力实践中一个具有挑战性但又重要的跨通道学习问题。它与传统的图像风格传递问题的主要区别在于风格信息是由音乐而不是图像提供的。假设音乐特征可以通过两个域之间的语义链接正确地映射到视觉内容,我们分两步解决音乐到视觉风格转移问题:音乐可视化和风格转移。音乐可视化网络利用具有条件生成对抗网络的编码器生成器架构来从音乐数据生成基于图像的音乐表示。该网络与图像风格转换方法相结合,完成风格转换过程。实验在WikiArt-IMSLP上进行,这是一个新编译的数据集,包括几十年来列出的西方音乐录音和绘画。通过利用这样的标签来学习绘画和音乐之间的语义联系,我们证明了所提出的框架可以从音乐作品中生成不同的图像风格表示,并且这些表示可以揭示同一时代的某些艺术形式。主观测试结果也强调了时代标签在提高音乐与视觉内容兼容性的感知质量方面的作用。
2020-09-17 cs.CV cs.MM
Big Transfer (BiT): General Visual Representation Learning
Google Research(谷歌研究院)
在训练深度神经网络进行视觉训练时,预训练表示的传输提高了样本效率并简化了超参数调整。我们重新审视了在大型监督数据集上进行预训练并在目标任务上微调模型的范例。我们扩大了预训练,并提出了一个简单的配方,我们称之为大转移(BiT)。通过组合一些精心选择的组件,并使用简单的启发式传输,我们在20多个数据集上实现了强大的性能。BiT在令人惊讶的广泛数据体系中表现良好--从每个类1个示例到总共100万个示例。BiT在ILSVRC-2012上达到了87.5%的前1准确率,在CIFAR-10上达到了99.4%,在19个任务的视觉任务适应基准(VTAB)上达到了76.3%。在小数据集上,BIT在ILSVRC-2012上达到76.8%,每个类10个示例,在CIFAR-10上达到97.0%,每个类10个示例。我们对导致高传输性能的主要组件进行了详细的分析。
2020-05-05 cs.CV cs.LG
Deep transfer learning for image classification: a survey
本文综述了深度迁移学习在图像分类中的应用,提出新的分类法,分析其有效性及改进方向。
2025-12-07 cs.AI cs.CV
A Survey on MLLM-based Visually Rich Document Understanding: Methods, Challenges, and Emerging Trends
The University of Western Australia(西澳大学);The University of Melbourne(墨尔本大学);Weill Cornell Medicine(韦尔·柯尔医学中心)
本文综述了基于MLLM的视觉丰富文档理解最新进展,探讨了文本、视觉和布局特征的表示与整合技术,以及预训练、指令微调等训练方法,分析了数据稀缺、多页文档处理等挑战及新兴趋势。
2026-04-21 cs.AI cs.CV
Visual Attribute Transfer through Deep Image Analogy
Microsoft Research(微软研究院);Shanghai Jiao Tong University(上海交通大学)
我们提出了一种新的技术,可以有非常不同的外观,但有感知相似的语义结构的图像之间的视觉属性转移。所谓视觉属性转移,我们指的是视觉信息(如颜色、色调、纹理和风格)从一幅图像转移到另一幅图像。例如,一个图像可以是绘画或素描的图像,而另一个图像是真实场景的照片,并且两者描绘相同类型的场景。我们的技术发现两个输入图像之间的语义有意义的密集对应。为了实现这一点,它采用了“图像类比”的概念,从深度卷积神经网络中提取特征进行匹配;我们称我们的技术为深度图像类比。一个由粗到细的策略是用来计算最近邻场产生的结果。我们验证了我们提出的方法在各种情况下,包括风格/纹理转移,颜色/风格交换,素描/绘画照片,和时间推移的有效性。
2017-06-06 cs.CV
Survey of Visual-Semantic Embedding Methods for Zero-Shot Image Retrieval
Meisei University(明星大学)
视觉语义嵌入是一个有趣的研究课题,因为它是有用的各种任务,如视觉问答(VQA),图像-文本检索,图像描述,和场景图生成。在本文中,我们专注于zero-shot图像检索使用的句子作为查询,并提出了在这一领域的技术趋势的调查。首先,我们全面概述了该技术的历史,首先讨论了图像到文本匹配的早期研究以及该技术如何随着时间的推移而发展。此外,在实验中常用的数据集的描述和每种方法的评价结果的比较。我们还介绍了github上的实现,用于确认实验的准确性和进一步改进。我们希望这份调查报告将鼓励研究人员进一步发展他们对桥接图像和语言的研究。
2021-09-28 cs.CV
A Survey on Bias in Visual Datasets
CERTH-ITI(希腊研究与技术中心-信息技术研究所)
计算机视觉(CV)已经取得了显著的成果,在几项任务中超过了人类。尽管如此,如果处理不当,它可能会导致严重的歧视,因为CV系统高度依赖于它们所输入的数据,并且可以学习和放大这些数据中的偏差。因此,理解和发现偏见的问题至关重要。然而,目前还没有关于视觉数据集偏差的全面调查。因此,这项工作旨在:i)描述视觉数据集中可能出现的偏差; ii)回顾视觉数据集中偏差发现和量化方法的文献; iii)讨论收集偏差感知视觉数据集的现有尝试。我们研究的一个关键结论是,视觉数据集中的偏差发现和量化问题仍然是开放的,在这两种方法和可以解决的偏差范围方面都有改进的空间。此外,没有无偏差的数据集,因此科学家和从业者必须意识到数据集中的偏差,并将其明确化。为此,我们提出了一个清单,以发现不同类型的偏见在视觉数据集收集。
2022-06-23 cs.CV
Anomaly Detection in Road Traffic Using Visual Surveillance: A Survey
Indian Institute of Technology Bhubaneswar(布巴内斯瓦尔印度理工学院)
计算机视觉在过去十年中已经发展成为许多应用的关键技术,取代了人类的监督。在本文中,我们提出了一个调查相关的视觉监控相关的研究异常检测在公共场所,主要集中在道路。首先,我们回顾了过去10年在这一领域进行的调查。由于一个典型的异常检测的基本组成部分是学习,我们强调更多的学习方法应用于视频场景。然后,我们总结了在过去六年中所做的重要贡献异常检测主要集中在功能,底层技术,应用场景和类型的异常使用单静态相机。最后,我们讨论了计算机视觉相关的异常检测技术的挑战和一些重要的未来的可能性。
2019-01-24 cs.CV