Compact Hash Codes for Efficient Visual Descriptors Retrieval in Large Scale Databases
Università degli Studi di Firenze（佛罗伦萨大学）；Media Integration and Communication Center（媒体集成与通信中心）
在本文中，我们提出了一种有效的方法，视觉描述符检索的基础上计算使用多个k-均值分配紧凑的哈希码。该方法已被应用到本地和全局视觉内容描述符的近似最近邻（ANN）搜索的问题，并已在不同的数据集上进行了测试：三个大规模的公共数据集高达十亿个描述符（BIGANN），并支持最近的进展卷积神经网络（CNN），也对CIFAR-10和MNIST数据集。实验结果表明，尽管它的简单，所提出的方法获得了非常高的性能，使其优于更复杂的国家的最先进的方法。
2016-05-10 cs.CV
Multiple Categories Of Visual Smoke Detection Database
Beijing University of Technology（北京工业大学）
由于石油化工行业的烟气排放与其安全生产和环境危害密切相关，烟气检测已成为相关行业的一项重要工作。在实际的工业生产环境中，有几种生产情况，包括废气完全燃烧，废气燃烧不充分，废气直接排放等，我们发现，在以前的研究工作中使用的数据集只能确定是否存在烟雾，而不是它的类型。也就是说，数据集的类别没有映射到现实世界的生产情况，这不利于生产系统的精确调节。因此，我们创建了一个多类别的烟雾检测数据库，其中包括70196个图像。我们进一步采用多个模型在该数据库上进行实验，结果表明，现有算法的性能有待提高，证明了该数据库的有效性。
2022-07-30 cs.CV
Tencent ML-Images: A Large-Scale Multi-Label Image Database for Visual Representation Learning
Tencent AI Lab（腾讯人工智能实验室）；Hong Kong University of Science and Technology（香港科技大学）
在现有的视觉表示学习任务中，深度卷积神经网络（CNN）通常在用单个标签注释的图像上训练，例如ImageNet。然而，单个标签不能描述一个图像的所有重要内容，并且在训练过程中可能会浪费一些有用的视觉信息。在这项工作中，我们建议从带有多个标签的图像中训练CNN，以提高训练后的CNN模型的视觉表示质量。为此，我们建立了一个包含18 M图片和11 K类别的大规模多标签图像数据库，称为腾讯ML-Images。我们基于大规模分布式深度学习框架，在腾讯ML-Images上高效训练多标签输出的ResNet-101模型，耗时90小时，60个epoch，即，TFplus。通过三个迁移学习任务，包括ImageNet和Caltech-256上的单标签图像分类，PASCAL VOC 2007上的目标检测和PASCAL VOC 2012上的语义分割，验证了腾讯ML-Images检查点的视觉表示的良好质量。腾讯ML-Images数据库、ResNet-101的检查点以及所有训练代码已在https://github.com/Tencent/tencent-ml-images上发布。预计它将促进研究和工业界的其他视觉任务。
2020-02-09 cs.CV
SCD4VPR: Multi-modal Scene Change Detection for Long-term Visual Place Recognition Database Update
New York University（纽约大学）
本文提出LangSCD框架，通过融合语言和视觉信息提升场景变化检测的鲁棒性，引入几何-语义匹配模块和多类标注数据集NYC-CD，实验证明其在多个基准上的优越性能。
2026-08-07 cs.CV
Fighting Selection Bias in Statistical Learning: Application to Visual Recognition from Biased Image Databases
Monk AI
在实践中，特别是在训练深度神经网络时，视觉识别规则通常是基于各种信息源来学习的。另一方面，最近部署的面部识别系统在不同人群中的表现不均匀，突出了由数据集的天真聚合引起的代表性问题。在本文中，我们将展示如何偏置模型可以解决这些问题。基于工作中的偏置机制的（近似）知识，我们的方法包括重新加权观测，从而形成目标分布的近去偏估计。一个关键条件是有偏分布的支持必须部分重叠，并覆盖目标分布的支持。为了在实践中满足这一要求，我们建议使用低维图像表示，在图像数据库中共享。最后，我们提供了数值实验，突出我们的方法的相关性。
2022-11-01 cs.CV cs.CY cs.LG
ScriptViz: A Visualization Tool to Aid Scriptwriting based on a Large Movie Database
Stanford University（斯坦福大学）
本文提出 ScriptViz 工具，通过大型电影数据库为剧本作者实时检索参考视觉素材，并提供固定与可变视觉元素控制，用户评估表明其能有效辅助剧本创作。
2024-10-04 cs.AI cs.CV cs.GR
AVECL-UMONS database for audio-visual event classification and localization
Numediart Institute（Numediart研究所）；University of Mons（蒙斯大学）；NECOTIS Lab（NECOTIS实验室）；University of Sherbrooke（舍布鲁克大学）
我们引入AVECL-UMons数据集，用于在办公环境中进行视听事件分类和本地化。视听数据集是由11个事件类记录在几个现实的位置在两个不同的房间。根据序列中事件的数量记录两种类型的序列。该数据集包括2662个单标记序列和2724个多标记序列，对应于总共5.24小时。该数据集可在线公开访问：https://zenodo.org/record/3965492#.X09wsobgrCI。
2020-10-02 cs.CV cs.IR cs.MM
Harvesting Visual Objects from Internet Images via Deep Learning Based Objectness Assessment
The University of Hong Kong（香港大学）；Sun Yat-Sen University（中山大学）；Bournemouth University（伯恩茅斯大学）；Deepwise AI Lab（深度智耀人工智能实验室）
互联网上的图像收藏量一直在以惊人的速度增长。据了解，这些图像包含丰富的视觉信息，可以在许多应用中，如视觉媒体创建和数据驱动的图像合成是有用的。在本文中，我们专注于建立一个视觉对象数据库的方法，从互联网图像的集合。这样的数据库包含大量高质量的视觉对象，可以帮助各种数据驱动的图像应用程序。我们的方法是基于密集的建议生成和基于对象的重新排名。设计了一种新的深度卷积神经网络，用于推断提案对象性，即提案包含最佳位置的前景对象的概率。在我们的工作中，客观性是定量测量的完整性和丰满度方面，反映了两个互补的特点，一个最佳的建议：一个完整的前景和相对较小的背景。我们的实验表明，根据我们的网络的输出重新排名的对象建议通常比其他国家的最先进的方法产生的性能更高。作为一个具体的例子，超过120万的视觉对象的数据库已经建立使用所提出的方法，并已成功地用于各种数据驱动的图像应用程序。
2019-04-01 cs.CV cs.LG
TBPos: Dataset for Large-Scale Precision Visual Localization
University of Vaasa（瓦萨大学）；Aalto University（阿尔托大学）
基于图像的定位是一个经典的计算机视觉挑战，具有几个众所周知的数据集。通常，数据集包括捕获建模场景的视觉3D数据库，以及要发现其3D姿态的查询图像。通常，查询图像是用与用于收集3D数据库的成像硬件不同的相机获取的;因此，难以获取查询图像和3D数据库之间的准确地面实况姿态。随着视觉定位算法精度的不断提高，精确的地面实况变得越来越重要。本文提出了TBPos，一种新的大规模的基于图像的定位，它提供查询图像与完全准确的地面实况构成的视觉数据集：数据库图像和查询图像已来自相同的激光扫描仪数据。在本文的实验部分中，通过基于图像的定位管道来评估所提出的数据集。
2023-02-20 cs.CV
Towards Estimating the Upper Bound of Visual-Speech Recognition: The Visual Lip-Reading Feasibility Database
Pompeu Fabra University（庞培法布拉大学）
语音是人类之间最常用的交流方式，它涉及听觉和视觉通道的感知。自动语音识别的重点是解释音频信号，尽管视频可以提供与音频互补的信息。然而，利用视觉信息已被证明具有挑战性。一方面，研究人员报告说，音素和视位（视觉单位）之间的映射是一对多的，因为有音素是视觉上相似的，它们之间无法区分。另一方面，众所周知，有些人读唇语很好（如聋人）。我们研究了在受控条件下仅视觉语音识别的极限。有了这个目标，我们设计了一个新的数据库，其中的发言者意识到正在阅读，旨在促进唇读。在文献中，听力受损的人是否比听力正常的人更好的唇读存在差异。然后，我们分析了9名听力障碍者和15名听力正常者的唇读能力是否存在差异。最后，人类的能力进行了比较的视觉自动语音识别系统的性能。在我们的测试中，听力受损的参与者的表现优于听力正常的参与者，但没有达到统计学显著性。人类观察者能够解码44%的语音信息。相比之下，仅视觉自动系统实现了20%的单词识别率。然而，如果我们重复的音素方面的比较都获得了非常相似的识别率，刚刚超过50%。这表明，人类唇读和自动语音阅读之间的差距可能更多地与上下文的使用有关，而不是解释嘴部外观的能力。
2017-04-26 cs.CV
An annotated grain kernel image database for visual quality inspection
Gaozhe Technology（高哲科技）；The University of New South Wales（新南威尔士大学）
本文提出GrainSet谷物籽粒图像数据库，含超35万张带专家标注的单籽粒图像，覆盖四种谷物、5国20余地区，并提供深度学习基准分类结果，以支持谷物质量检测与智慧农业研究。
2023-11-20 cs.CV
SEWA DB: A Rich Database for Audio-Visual Emotion and Sentiment Research in the Wild
随着数字设备日益成为我们生活中不可或缺的一部分，比以往任何时候都更需要自然的人机交互和视听人类行为传感系统，这些系统将在野外实现强大的性能。精确标注的真实世界数据是设计此类系统的关键。然而，现有的数据库通常考虑受控的设置，低人口统计变异性和单一任务。在本文中，我们介绍了超过2000分钟的视听数据的SEWA数据库的398人来自六个文化，50%的女性，统一跨越18至65岁的年龄范围。受试者在两种不同的情况下进行记录：观看广告时和在视频聊天中讨论广告时。该数据库包括丰富的注释的记录方面的面部标志，面部动作单位（FAU），各种发声，镜像，并不断重视效价，唤醒，喜欢，协议，和原型的例子（不）喜欢。该数据库旨在成为情感计算和自动人体感知研究人员的极其宝贵的资源，并有望推动包括文化研究在内的人类行为分析研究。随着数据库，我们提供了广泛的自动FAU检测和自动效价，唤醒和（不）喜欢强度估计的基线实验。
2019-11-18 cs.AI cs.CV cs.HC
Dominating Set Database Selection for Visual Place Recognition
Saint Petersburg State University（圣彼得堡国立大学）
本研究提出基于图支配集的DominatingSet方法，可从RGBD序列构建大幅压缩且高召回的VPR数据库，还能生成弱监督标签提升算法精度，配套全自动化流水线与评估指标，已在多数据集验证有效。
2024-01-21 cs.CV cs.RO
VocaDet: Sample-Driven Open-Vocabulary Object Detection and Segmentation via Visual Tokenization and Vector Database Retrieval
PowerChina Zhongnan Engineering Corporation Limited（中国电建集团中南勘测设计研究院有限公司）
VocaDet是样本驱动的开放词汇目标检测与分割框架，通过视觉词元化及向量数据库检索，直接从用户样本集学习物体概念，无需模型重训，能有效检测，支持识别能力随样本积累扩展，减少背景冗余检索。
2026-07-10 cs.AI cs.CV
Lazy Visual Localization via Motion Averaging
Peking University（北京大学）；ETH Zurich（苏黎世联邦理工学院）；ByteDance Inc.（字节跳动公司）
本研究提出无需3D场景重建的视觉定位方法LazyLoc，通过定制化运动平均处理数据库-查询对，精度媲美主流结构基方法，且可扩展至多查询协同定位等复杂场景。
2023-07-19 cs.CV
ImageNet MPEG-7 Visual Descriptors - Technical Report
Université François Rabelais of Tours（图尔弗朗索瓦·拉伯雷大学）
ImageNet是一个大规模的公共图像数据库。它目前提供超过1400万张图像，根据WordNet层次结构进行组织。创建者的主要目标之一是为研究界提供一个相关的数据库，用于视觉识别应用，如对象识别，图像分类或对象定位。然而，只有少数视觉描述的图像可供研究人员使用。仅从集合的子集中提取了基于SIFT的特征。本技术报告介绍了从ImageNet数据库中提取一些MPEG-7视觉描述符。这些描述符是公开的，以努力实现开放的研究。
2017-02-01 cs.CV cs.IR
Mitigating Low-Level Visual Hallucinations Requires Self-Awareness: Database, Model and Training Strategy
针对多模态大模型在低级视觉任务中的幻觉问题，提出HLPU数据库、SAFEQA模型和ESA-PO训练框架，通过增强模型自我意识显著减少幻觉并提升性能。
2025-03-27 cs.CV
3D Surfel Map-Aided Visual Relocalization with Learned Descriptors
Hong Kong University of Science and Technology（香港科技大学）；ETH Zurich（苏黎世联邦理工学院）
在本文中，我们介绍了一种方法的视觉重新定位使用的几何信息，从三维冲浪地图。一个可视化的数据库首先建立从三维曲面图渲染，它提供了图像点和三维曲面之间的关联的全球索引。曲面重投影约束用于优化视觉数据库中的关键帧姿态和映射点。然后，分层相机重新定位算法利用视觉数据库来估计6-DoF相机姿态。学习的描述符进一步用于提高在具有挑战性的情况下的性能。我们在真实世界条件下进行了评估，并进行了仿真，以显示我们的方法的有效性和效率，并使最终的相机姿态始终与3D环境保持一致。
2021-04-08 cs.CV cs.RO
Audio-Visual Quality Assessment for User Generated Content: Database and Method
Institute of Image Communication and Information Processing, Shanghai Jiao Tong University（上海交通大学图像通信与信息处理研究所）；Department of Electrical, Computer and Biomedical Engineering, Toronto Metropolitan University（多伦多都会大学电气、计算机与生物医学工程系）
本文首次研究UGC音视频质量评估，构建了包含520个真实场景序列的SJTU-UAV数据库，并提出融合VQA方法与音频特征的AVQA模型，实验证明音频信号能提升感知质量评估准确性。
2023-12-27 cs.CV cs.MM eess.IV
Semantic Pose Verification for Outdoor Visual Localization with Self-supervised Contrastive Learning
Izmir Institute of Technology（伊兹密尔理工学院）；Instituto de Investigación en Ingeniería de Aragón (I3A)（阿拉贡工程研究院（I3A））；Universidad de Zaragoza（萨拉戈萨大学）
任何城市规模的视觉定位系统都必须克服长期的外观变化，例如查询图像和数据库图像之间的光照条件变化或季节变化。由于语义内容是更强大的这种变化，我们利用语义信息，以提高视觉定位。在我们的场景中，数据库由全景图像（例如Google街景）生成的日晷视图组成，查询图像是在不同时间用标准视场相机收集的。为了改进本地化，我们检查查询和数据库图像之间的语义相似性，这并不是小事，因为摄像机的位置和视角并不完全匹配。为了学习相似性，我们建议在语义分割图像的数据集上以自监督的方式训练CNN，并进行对比学习。实验表明，这种语义相似度估计方法比像素级的相似度测量方法效果更好。最后，我们使用语义相似性分数来验证通过最先进的视觉定位方法获得的检索，并观察到基于对比学习的姿势验证将前1召回值增加到0.90，这对应于2%的改进。
2022-03-31 cs.CV
Exploring Deep Learning for Joint Audio-Visual Lip Biometrics
Tianjin University（天津大学）；National Institute of Informatics（日本国立信息学研究所）
视听（AV）唇生物特征识别技术是一种很有前途的认证技术，它充分利用了语音通信中的音频和视觉模式的优点。以前的工作已经证明了AV唇生物识别的有用性。然而，缺乏一个相当大的AV数据库阻碍了基于深度学习的视听嘴唇生物识别的探索。为了解决这个问题，我们使用现有的公共数据库编译一个中等大小的数据库。同时，我们建立了DeepLip AV嘴唇生物识别系统，该系统由基于卷积神经网络（CNN）的视频模块、基于时延神经网络（TDNN）的音频模块和多模态融合模块实现。我们的实验表明，DeepLip在上下文建模方面优于传统的说话人识别模型，与我们最好的单一模态基线相比，实现了超过50%的相对改进，在测试数据集上的相等出错率分别为0.75%和1.11%。
2021-04-17 cs.CV cs.MM cs.SD
FathomNet: A global image database for enabling artificial intelligence in the ocean
Monterey Bay Aquarium Research Institute（蒙特雷湾水族馆研究所）；California Institute of Technology（加州理工学院）；Smithsonian Institution（史密森尼学会）；NOAA（美国国家海洋和大气管理局）；CVision AI Inc.（CVision人工智能公司）；Ocean Discovery League（海洋探索联盟）
海洋正在经历前所未有的快速变化，在负责任的管理所需的时空尺度上直观地监测海洋生物群是一项艰巨的任务。随着研究界寻求基线，所需的数据汇集的数量和速度迅速超过了我们处理和分析它们的能力。机器学习的最新进展使视觉数据的快速，复杂的分析成为可能，但由于缺乏数据标准化，格式不足以及对大型标记数据集的需求，在海洋中的成功有限。为了满足这一需求，我们构建了FathomNet，这是一个开源的图像数据库，它可以收集和聚合专业策划的标记数据。FathomNet已经植入了海洋动物，水下设备，碎片和其他概念的现有标志性和非标志性图像，并允许来自分布式数据源的未来贡献。我们演示了如何FathomNet数据可用于训练和部署模型在其他机构的视频，以减少注释工作，并实现自动跟踪水下概念时，与机器人车辆。随着FathomNet的不断发展，并从社区中整合更多标记数据，我们可以加速视觉数据的处理，以实现健康和可持续的全球海洋。
2022-09-07 cs.CV cs.LG eess.IV
STAViS: Spatio-Temporal AudioVisual Saliency Network
National Technical University of Athens（雅典国立技术大学）
我们引入STAViS，时空视听显着性网络，结合时空视觉和听觉信息，以有效地解决视频中的显着性估计的问题。我们的方法采用了一个单一的网络，结合视觉显着性和听觉功能，并学会适当地定位声源，并融合两个显着性，以获得最终的显着图。该网络经过端到端的设计和训练，并在六个不同的数据库上进行了评估，这些数据库包含各种视频的视听眼动跟踪数据。我们将我们的方法与8种不同的最先进的视觉显着性模型进行比较。跨数据库的评估结果表明，在大多数情况下，我们的STAViS模型优于我们的视觉变体以及其他最先进的模型。此外，它在所有数据库中实现的一贯良好的性能表明，它适用于“在野外”估计显着性。该代码可在https://github.com/atsiami/STAViS上获得。
2020-06-14 cs.CV
Text-Guided Synthesis of Artistic Images with Retrieval-Augmented Diffusion Models
Ludwig-Maximilian University Munich（慕尼黑路德维希-马克西米利安大学）
新的架构最近改进了生成图像合成，从而在各种任务中获得出色的视觉质量。特别值得注意的是“人工智能艺术”领域，随着CLIP等强大的多模式模型的出现，该领域出现了前所未有的增长。通过将语音和图像合成模型相结合，所谓的“语音工程”已经建立，其中使用精心选择和编写的句子来实现合成图像中的某种视觉风格。在本说明中，我们提出了一种基于检索增强扩散模型（RDM）的替代方法。在RDM中，在每个训练实例的训练期间从外部数据库检索一组最近邻居，并且扩散模型以这些信息样本为条件。在推理（采样）过程中，我们将检索数据库替换为更专业的数据库，例如，仅包含特定视觉风格的图像。这提供了一种新的方式来在训练后提示一般的训练模型，从而指定特定的视觉风格。实验表明，这种方法优于在文本提示中指定视觉样式。我们在https://github.com/CompVis/latent-diffusion上开源代码和模型权重。
2022-07-26 cs.CV
Ensemble Network for Ranking Images Based on Visual Appeal
IIT Kanpur（印度理工学院坎普尔分校）；University of Warwick（华威大学）
我们提出了一个计算框架，用于对在短时间内拍摄的同一事件中的图像（特别是组照片）进行排名。该排名预计将符合人类对图像整体吸引力的感知。我们假设并通过主观分析提供证据，即吸引人类的因素是其情感内容，美学和图像质量。我们提出了一个网络，这是一个合奏的三个信息渠道，每个预测得分对应的三个视觉吸引力因素之一。对于群体情感估计，我们提出了一种基于卷积神经网络（CNN）的架构，用于从图像中预测群体情感。这种新的架构强制网络把重点放在图像中的重要区域，并取得了可比的结果，以国家的最先进的。接下来，我们开发了一个网络的图像排名任务，结合群体情感，美学和图像质量分数。由于没有合适的数据库，我们创建了一个新的数据库，其中包含在各种社交活动中拍摄的手动注释的集体照片。我们目前的实验结果在这个数据库和其他基准数据库，只要可用。总体而言，我们的实验表明，该框架可以可靠地预测图像的整体吸引力，其结果与人类排名密切相关。
2020-06-06 cs.CV cs.MM eess.IV
AIGCIQA2023: A Large-scale Image Quality Assessment Database for AI Generated Images: from the Perspectives of Quality, Authenticity and Correspondence
Shanghai Jiao Tong University（上海交通大学）；Tianjin University（天津大学）；Shanghai Second Polytechnic University（上海第二工业大学）
该研究构建 AIGCIQA2023 大规模 AIGC 图像质量评估数据库，通过主观实验从质量、真实性和对应性标注人类偏好，并基准评估多种先进 IQA 指标。
2023-07-15 cs.CV eess.IV
Bag-of-Features Image Indexing and Classification in Microsoft SQL Server Relational Database
Institute of Computational Intelligence Cz e stochowa University of Technology al. Armii Krajowej 36, 42-200 Cz e stochowa, Poland Email
本文提出了一种新的关系数据库体系结构，旨在视觉对象的分类和检索。该框架是基于袋的特征图像表示模型结合支持向量机分类，并集成在Microsoft SQL Server数据库。
2015-06-26 cs.CV cs.DB
Give me a hint! Navigating Image Databases using Human-in-the-loop Feedback
Boston University（波士顿大学）；eBay Inc（eBay公司）
在本文中，我们介绍了一种基于属性的交互式图像搜索，它可以利用人在环反馈迭代细化图像搜索结果。我们研究了主动图像搜索，其中人类的反馈是专门以视觉形式征求，而不使用以前的工作中通常没有发现在许多数据集使用的相对属性注释。为了优化图像选择策略，我们训练了一个深度强化模型来学习哪些图像是信息性的，而不是依赖于以前工作中通常使用的手工制作的措施。此外，我们扩展了最近引入的条件相似性网络，将全局相似性纳入训练视觉嵌入中，从而在用户探索学习到的相似性嵌入时产生更自然的过渡。我们的实验证明了我们的方法的有效性，在主动图像搜索和图像属性表示任务上都产生了令人信服的结果。
2018-09-24 cs.CV
Cross-modal Place Recognition in Image Databases using Event-based Sensors
ShanghaiTech University（上海科技大学）；Fudan University（复旦大学）
本文提出首个跨模态视觉地点识别框架，利用事件相机查询从常规图像数据库中检索图像，并在 Brisbane-Event-VPR 数据集上验证了检索与分类结合可显著提升性能。
2023-07-03 cs.CV
SceneGraphLoc: Cross-Modal Coarse Visual Localization on 3D Scene Graphs
ETH Zurich（苏黎世联邦理工学院）；Google（谷歌公司）；TU Munich（慕尼黑工业大学）；Microsoft（微软公司）
针对多模态3D场景图参考地图下的图像定位新问题，提出SceneGraphLoc方法学习场景图节点固定嵌入实现对象匹配，在大幅降低存储与计算开销的同时取得接近现有最优技术的性能。
2024-07-12 cs.CV
Calibrating Retrieval Geometry: Reliability-Guided Training-Free Aggregation for Visual Place Recognition
University of Chinese Academy of Sciences（中国科学院大学）
针对视觉地点识别中固定聚合抑制新环境区分性的问题，提出可靠性引导的免训练聚合方法TFA，利用跨码本一致性与谱统计校准检索，在多个基准上显著提升Recall@1。
2026-09-23 cs.CV
Leveraging Image based Prior for Visual Place Recognition
University of Fukui（福井大学）
在这项研究中，我们提出了一种新的场景描述符的视觉位置识别。不同于流行的词袋场景描述符依赖于矢量量化的视觉特征库，我们提出的描述符是基于一个库的原始图像数据，如公开可用的照片集从谷歌街景和Flickr。库图像不需要与关于场景的视点和取向的空间信息相关联。因此，这些图像比数据库图像便宜;此外，它们很容易获得。我们提出的描述符直接挖掘图像库以发现地标（即，图像块），其适当地匹配输入查询/数据库图像。所发现的地标然后通过它们的姿态和形状被完整地描述（即，库图像ID、边界框），并用作输入图像的紧凑区别性场景描述符。我们评估我们的场景描述框架的有效性，通过比较其性能与以前的方法。
2015-05-14 cs.CV
Aff-Wild2: Extending the Aff-Wild Database for Affect Recognition
Imperial College London（帝国理工学院）；University of Oulu（奥卢大学）
使用视觉信号自动理解人类情感是一个在过去20年中引起极大兴趣的问题。然而，人类的情绪状态是相当复杂的。为了评估现实世界中的这种状态，我们需要能够捕捉和描述这种复杂性的表达性情感描述符。情感的复杂模型，用效价来描述（即，情绪的积极或消极程度）和唤醒（即，情感的激活的力量），可以用于此目的。情感识别领域的最新进展是通过深度神经架构的开发和非常大的训练数据库的可用性实现的。为此，Aff-Wild是第一个大规模的“野外”数据库，包含约1，200，000帧。在本文中，我们建立在这个数据库的基础上，扩展了260多个主题和1，413，000个新的视频帧。我们将Aff-Wild与附加数据的联合称为Aff-Wild 2。这些视频是从Youtube上下载的，在姿势、年龄、照明条件、种族和职业方面有很大的差异。本文利用Aff-Wild 2和RECOLA数据库进行了特定数据库和跨数据库的实验。开发的深度神经架构基于最先进的卷积和递归神经网络与注意力机制的联合训练;从而利用卷积特征的不变特性，同时通过递归层对人类行为中出现的时间动态进行建模。所获得的结果显示利用扩展的Aff-Wild，以及开发的深层神经架构的人类行为的视觉分析方面的连续情感维度的前提。
2019-12-13 cs.AI cs.CV cs.LG
Attack Agnostic Adversarial Defense via Visual Imperceptible Bound
IIIT-Delhi（德里印度理工学院）；Texas A&M University, Kingsville（金斯维尔得克萨斯农工大学）；IIT Jodhpur（焦特布尔印度理工学院）
深度学习算法对结构化和非结构化扰动的高度敏感性激发了高效对抗防御算法的开发。然而，现有的防御算法缺乏通用性和针对不同数据库的攻击算法的性能的高度可变性对防御算法的有效性提出了几个问题。在这项研究中，我们的目标是设计一个防御模型，在一定范围内对可见和不可见的对抗攻击都是鲁棒的。这个界限与图像的视觉外观有关，我们称之为\textit{Visual Imperceptible Bound (VIB)}。为了计算这个界限，我们提出了一种新的方法，使用数据库的特点。另外，还利用VIB来度量攻击算法的有效性。在MNIST，CIFAR-10和Tiny ImageNet数据库上评估了所提出的防御模型的性能，包括C\&W（$l_2$）和DeepFool。该防御模型不仅能够提高对多种攻击的鲁棒性，而且能够保持或提高原始干净测试集上的分类精度。所提出的算法是攻击不可知的，即它不需要任何知识的攻击算法。
2020-10-25 cs.CR cs.CV
Fourier descriptors based on the structure of the human primary visual cortex with applications to object recognition
University of South Toulon - Var（南土伦-瓦尔大学）；University of Paris-Dauphine（巴黎第九大学）
在本文中，我们提出了一个监督的目标识别方法，使用新的全球功能和灵感的模型，人类初级视觉皮层V1的半离散旋转平移组$SE(2,N) = \mathbb Z_N\rtimes \mathbb R^2$。所提出的技术是基于广义傅立叶描述符后一组，这是不变的自然几何变换（旋转，平移）。然后，这些描述符被用于馈送SVM分类器。我们已经测试了我们的方法对COIL-100图像数据库和ORL人脸数据库，并将其与其他技术的基础上，传统的描述符，全球和本地。所获得的结果表明，我们的方法看起来非常有效和稳定的噪声，在存在的情况下，它优于本文中分析的其他技术。
2016-06-28 cs.CV
Vulnerability of Automatic Identity Recognition to Audio-Visual Deepfakes
Idiap Research Institute（伊迪亚普研究院）
本文构建了首个逼真音视频深度伪造数据库SWAN-DF及音频深度伪造数据库LibriTTS-DF，并证明经身份调优的预训练模型可在超过90%的情况下欺骗人脸和说话人识别系统。
2023-11-29 cs.AI cs.CV cs.MM
ViS-HuD: Using Visual Saliency to Improve Human Detection with Convolutional Neural Networks
L. D. College of Engineering（L. D. 工程学院）；Dosepack LLC（Dosepack 有限责任公司）；Meditab Software Inc.（Meditab 软件公司）；School of Engineering and Applied Science (SEAS), Ahmedabad University（艾哈迈达巴德大学工程与应用科学学院）
本文提出了一种使用深度学习来改进静止图像中的人体检测的技术。我们的新方法，ViS-HuD，从图像中计算视觉显着性图。然后将输入图像乘以映射，并将乘积馈送到卷积神经网络（CNN），该卷积神经网络检测图像中的人。使用ML-Net生成视觉显着图，使用DetectNet进行人体检测。ML-Net在SALICON上进行预训练，而DetectNet在ImageNet数据库上进行预训练，分别用于视觉显著性检测和图像分类。ViS-HuD的CNN在两个具有挑战性的数据库上进行了训练- Penn Fudan和TUD-Brussels Benchmark。实验结果表明，该方法在Penn Fudan数据集上达到了最先进的性能，人体检测准确率为91.4%，在TUDBussels基准测试中的平均误检率为53%。
2018-04-18 cs.CV
Predicting beauty, liking, and aesthetic quality: A comparative analysis of image databases for visual aesthetics research
University of Jena School of Medicine（耶拿大学医学院）
本研究比较了十二个图像数据集，发现统计图像属性与卷积神经网络预测美学评分的准确度相似，但数据集间存在显著差异，强调需使用多数据集以提升研究有效性。
2023-07-03 cs.CV cs.DB
Listen to Your Face: Inferring Facial Action Units from Audio Channel
University of South Carolina（南卡罗来纳大学）
已经投入了大量的努力来识别面部动作单元（AU）。然而，它仍然是具有挑战性的，以识别AU从自发的面部显示，特别是当他们伴随着语音。不同于所有先前的工作，利用视觉观察面部AU识别，本文提出了一种新的方法，识别语音相关的AU专门从音频信号的基础上，面部活动与语音在语音过程中高度相关。具体来说，AU和音素之间的动态和生理关系建模通过连续时间贝叶斯网络（CTBN），然后AU识别通过概率推理通过CTBN模型。一个试点视听AU编码数据库已经建成，以评估拟议的基于音频的AU识别框架。该数据库包括一个“干净”的子集，正面和中性的面孔和一个具有挑战性的子集收集大头部运动和闭塞。在该数据库上的实验结果表明，所提出的CTBN模型实现了有前途的识别性能为7语音相关的AU和优于国家的最先进的视觉为基础的方法，特别是对于那些激活在低强度或“几乎不可见”的视觉通道中的AU。此外，CTBN模型在具有挑战性的子集上产生了更令人印象深刻的识别性能，其中基于视觉的方法受到显着影响。
2017-09-19 cs.CV
LIP-RTVE: An Audiovisual Database for Continuous Spanish in the Wild
本文提出了一个半自动标注的西班牙语视听数据库 LIP-RTVE，提供 13 小时自然场景数据，并使用隐马尔可夫模型报告了说话人相关与无关场景的基线结果。
2023-11-21 cs.CL cs.CV
Visual Re-Ranking with Non-Visual Side Information
Lund University（吕勒欧大学）
提出基于图神经网络的重排序方法GCSA，通过融合非视觉侧信息提升视觉位置识别与下游定位任务的性能。
2025-06-30 cs.CV
Re-ViLM: Retrieval-Augmented Visual Language Model for Zero and Few-Shot Image Captioning
UIUC（伊利诺伊大学厄巴纳-香槟分校）；NVIDIA（英伟达公司）；UT Austin（德克萨斯大学奥斯汀分校）
本文提出基于Flamingo的检索增强视觉语言模型Re-ViLM，通过外部数据库显式存储知识以减少参数并适应新数据，在域外零样本和少样本图像到文本生成任务中，以少于基线4倍的参数显著提升性能。
2023-10-22 cs.AI cs.CL cs.CV
AIR-HLoc: Adaptive Retrieved Images Selection for Efficient Visual Localisation
University College London（伦敦大学学院）
本文提出AIR-HLoc，一种基于查询与数据库图像全局描述子相似度自适应调整top-$k$值的视觉定位方法，有效缓解特征匹配瓶颈，在保持精度的同时将匹配时间减少高达30%。
2025-03-04 cs.CV
Visual Localization in 3D Maps: Comparing Point Cloud, Mesh, and NeRF Representations
Univ. of Oxford（牛津大学）；Univ. of Hong Kong（香港大学）
本文提出并评估了一个统一的全局视觉定位系统，通过合成新视角图像数据库并利用学习型特征，在点云、网格和NeRF三种3D地图表示中实现单目图像定位，其中NeRF平均成功率达72%，并支持反向行进方向定位。
2024-10-19 cs.CV cs.RO
Insights From A Large-Scale Database of Material Depictions In Paintings
Cornell University（康奈尔大学）；Delft University of Technology（代尔夫特理工大学）
深度学习为强大的识别系统铺平了道路，这些系统通常都是在自然图像上训练和应用的。在本文中，我们研究了这种视觉识别系统和美术中丰富的信息之间的关系。首先，我们发现为自然图像设计的视觉识别系统在绘画上的效果令人惊讶。特别是，我们发现，交互式分割工具可以用来干净地注释多边形段内的绘画，这是一项耗时的手工进行的任务。我们还发现，FasterRCNN是一种专为自然场景中的对象识别而设计的模型，可以快速重新用于检测绘画中的材料。其次，我们证明了从绘画中学习对于用于自然图像的神经网络是有益的。我们发现，在绘画而不是自然图像上进行训练可以提高学习特征的质量，并且我们进一步发现，大量的绘画可以成为评估领域自适应算法的有价值的测试数据来源。我们的实验是基于一个新的大规模注释数据库的材料在绘画中，我们在一个单独的手稿详细说明。
2020-11-24 cs.CV
Image Quality Assessment for Machines: Paradigm, Large-scale Database, and Models
School of Electronics and Communication Engineering, Sun Yat-sen University（电子与通信工程学院，中山大学）；College of Computing and Data Science, Nanyang Technological University（计算与数据科学学院，南洋理工大学）
本文提出面向机器视觉的图像质量评估范式与MIQD-2.5M大规模数据库，并设计区域感知模型RA-MIQA，通过细粒度退化分析显著提升MVS质量预测性能。
2025-08-27 cs.CV
SACReg: Scene-Agnostic Coordinate Regression for Visual Localization
Naver Labs Europe（Naver欧洲实验室）；Seoul University（首尔大学）
本文提出场景无关坐标回归模型SACReg，通过交叉注意力利用数据库图像的稀疏2D-3D标注为查询图像预测稠密三维坐标，无需微调即可泛化到新场景，并在多个视觉定位基准上显著超越现有方法。
2023-11-30 cs.CV
Physical Representation-based Predicate Optimization for a Visual Analytics Database
University of Michigan（密歇根大学）；Intel Labs（英特尔研究院）
查询图像、视频和其他非文本数据源的内容需要昂贵的内容提取方法。现代提取技术基于深度卷积神经网络（CNN），可以以惊人的准确度对图像中的对象进行分类。不幸的是，这些方法都很慢：在现代基于GPU的硬件上处理一张图像可能需要大约10毫秒。随着大量视频库变得无处不在，在数百万个视频帧上运行基于内容的查询是禁止的。一个有前途的方法，以减少视觉内容的查询的运行时成本是使用分层模型，如级联，其中简单的情况下，由一个廉价的分类器处理。先前的工作试图设计级联，例如通过使用较小的CNN来优化推理的计算成本。然而，我们观察到，除了推理时间之外，还有一些关键因素会显著影响整体查询时间。值得注意的是，通过将输入图像的物理表示作为我们的查询优化的一部分--也就是说，通过在级联中包括图像变换，例如分辨率缩放或颜色深度减少--我们可以优化数据处理成本，并实现更有效的分类器级联。在本文中，我们提出了Taxlet，它生成并评估了许多潜在的分类器级联，这些级联共同优化了CNN架构和输入数据表示。我们在ImageNet的一个子集上的实验表明，Taxon的输入转换将级联速度提高了35倍。我们还发现ResNet 50分类器的速度提高了98倍，而准确性没有损失，如果牺牲一些准确性，速度提高了280倍。
2019-02-27 cs.CV cs.DB
PerSIM: Multi-resolution Image Quality Assessment in the Perceptually Uniform Color Domain
Georgia Institute of Technology（佐治亚理工学院）
一个普通的观察者感知世界的颜色，而不是黑色和白色。此外，视觉系统关注的是结构和片段，而不是单个像素。基于这些观察，我们提出了一个完整的参考客观图像质量度量建模视觉系统的特性和色度相似性在感知均匀的颜色域（Lab）。在L通道中获得高斯拉普拉斯特征以模拟人类视觉系统中的视网膜神经节细胞，并且在a和b通道上计算颜色相似性。在所提出的感知相似性指数（PerSIM），多分辨率的方法来模仿人类视觉系统的分层性质。在验证中使用了LIVE和TID 2013数据库，PerSIM在排名、单调行为和线性方面优于整个数据库中的所有比较指标。
2018-11-18 cs.CV cs.MM eess.IV
MVAD: A Multiple Visual Artifact Detector for Video Streaming
Visual Information Lab, University of Bristol（视觉信息实验室，布里斯托大学）；Amazon Prime Video（亚马逊Prime视频）
本文提出MVAD多重视觉伪影检测器，首次在单一框架中结合ADFE特征提取器和RMViT时间建模模块，不依赖质量评估模型即可同时检测视频流中的多种伪影，并在两个数据库上验证了优于现有方法的性能。
2024-12-09 cs.CV eess.IV
See What You See: Self-supervised Cross-modal Retrieval of Visual Stimuli from Brain Activity
University of New South Wales（新南威尔士大学）；CSIRO’s Data 61（联邦科学与工业研究组织数据61所）；Lehigh University（理海大学）；Neuroscience Research Australia（澳大利亚神经科学研究所）
最近的研究表明，使用一个两阶段的监督框架，以产生图像，描绘人类的感知视觉刺激的EEG，指的是EEG视觉重建。然而，它们无法再现精确的视觉刺激，因为决定合成图像是什么的是人类指定的图像注释，而不是它们的数据。此外，合成的图像往往受到噪声EEG编码和生成模型的不稳定训练的影响，使其难以识别。相反，我们提出了一个单阶段的EEG视觉检索范式，其中两种模式的数据是相关的，而不是他们的注释，使我们能够恢复确切的视觉刺激的EEG剪辑。我们最大限度地提高了互信息之间的EEG编码和相关的视觉刺激，通过优化的对比自我监督的目标，导致两个额外的好处。第一，它使EEG编码能够处理训练期间可见的视觉类别，因为学习并不针对类别注释。此外，模型不再需要生成视觉刺激的每个细节，而是专注于跨模态对齐并在实例级别检索图像，确保可区分的模型输出。实证研究进行了最大的单一主题EEG数据集，测量大脑活动引起的图像刺激。我们证明了所提出的方法完成了现有方法无法完成的实例级EEG视觉检索任务。我们还研究了一系列EEG和视觉编码器结构的影响。此外，对于一个主要研究的语义级脑电视觉分类任务，尽管不使用类注释，所提出的方法优于国家的最先进的监督脑电视觉重建方法，特别是在开放类识别的能力。
2022-08-18 cs.CV cs.HC cs.MM
Estimating See and Be Seen Performance with an Airborne Visual Acquisition Model
MIT Lincoln Laboratory（麻省理工学院林肯实验室）；PickNik Robotics（皮克尼克机器人公司）
本文更新 J.W. Andrews 视觉捕获模型并通过 Monte Carlo 模拟目视飞行规则下的双机交互，提出评估无人机 detect and avoid 系统“看见与被看见”性能的方法。
2023-06-29 cs.CE cs.CV cs.RO
