UniISP: A Unified ISP Framework for Both Human and Machine Vision
Li Auto Inc.(利自动公司)
本文提出UniISP框架,结合混合注意力模块和监督学习,生成视觉 pleasing 的图像,同时通过特征适配模块提升下游任务性能,实验显示其在多种场景和数据集上表现优异。
2026-05-08 cs.CV
$\mathbf{R}^3$: Reconstruction, Raw, and Rain: Deraining Directly in the Bayer Domain
Department of ECE Technion(电子工程系技术学院);Department of CS Technion(计算机科学系技术学院);School of ECE Ben-Gurion University(电子工程学院巴伊伦大学)
本文提出在原始拜耳马赛克上直接进行雨去除,通过Raw-Rain基准和ICS度量,实现更优的重建效果并提升效率。
2026-10-22 cs.CV
DRL-ISP: Multi-Objective Camera ISP with Deep Reinforcement Learning
KAIST(韩国科学技术院)
在本文中,我们提出了一个多目标相机ISP框架,该框架利用深度强化学习(DRL)和相机ISP工具箱,包括基于网络的ISP工具和传统的ISP工具。所提出的基于DRL的相机ISP框架迭代地从工具箱中选择合适的工具并将其应用于图像,以最大化给定的视觉任务特定的奖励函数。为此,我们实现了总共51个ISP工具,包括曝光校正,色彩和色调校正,白平衡,锐化,去噪等。我们还提出了一个有效的DRL网络架构,可以提取图像的各个方面,并使图像和大量的动作之间的刚性映射关系。我们提出的基于DRL的ISP框架有效地提高了图像质量,根据每个视觉任务,如RAW到RGB图像复原,2D目标检测,和单目深度估计。
2022-07-07 cs.AI cs.CV cs.LG
VisionISP: Repurposing the Image Signal Processor for Computer Vision Applications
Intel Corporation, Santa Clara, CA, USA(美国加利福尼亚州圣克拉拉市英特尔公司)
传统的图像信号处理器(ISP)主要设计和优化,以提高人类感知的图像质量。然而,最佳感知图像质量并不总是转化为计算机视觉应用的最佳性能。我们提出了一组方法,我们统称为VisionISP,重新利用ISP的机器消费。VisionISP通过降低位深度和分辨率,同时保留相关信息,显著降低了数据传输需求。VisionISP中的块简单、内容感知且可训练。实验结果表明,VisionISP提高了后续计算机视觉系统的性能,该系统经过训练,可以在自动驾驶环境中检测物体。结果表明VisionISP在计算机视觉应用中的潜力和实用性。
2019-11-14 cs.CV eess.IV
Kornia: an Open Source Differentiable Computer Vision Library for PyTorch
Computer Vision Center(计算机视觉中心);Czech Technical University in Prague(布拉格捷克理工大学);Arraiy, Inc.(Arraiy公司)
这项工作介绍了Kornia --一个开源的计算机视觉库,它由一组可区分的例程和模块组成,用于解决一般的计算机视觉问题。该软件包使用PyTorch作为其主要后端,以提高效率,并利用反向模式自动微分来定义和计算复杂函数的梯度。受OpenCV的启发,Kornia由一组包含运算符的模块组成,这些运算符可以插入神经网络中以训练模型来执行图像变换、相机校准、对极几何和低级图像处理技术,例如直接对高维张量表示进行操作的滤波和边缘检测。使用我们的框架实现的经典视觉问题的例子,包括一个基准比较现有的视觉库。
2019-10-09 cs.CV
Binary Image Features Proposed to Empower Computer Vision
Indian Institute of Technology Roorkee(鲁尔基印度理工学院)
该文献提出了三种快速且容易计算的图像特征,以通过提供更像人类的视觉能力来改善计算机视觉。这些特征不基于图像像素的绝对或相对强度;也不基于形状或颜色。因此,不需要复杂的逐像素计算。对于人眼来说,逐像素计算就像是看到一幅具有最大缩放的图像,只有在需要更高级别的细节时才进行这种计算。通常情况下,我们首先看一张图像,以了解它的整体概念,以知道它是否值得进一步研究。这种能力得到一个想法在一瞥进行了分析,并提出了三个基本特征,使计算机视觉。通过不同的医疗数据集测试和建立拟议功能的潜力。实现的分类精度证明了在图像处理中使用所提出的特征的可能性和潜力。
2018-08-14 cs.CV
Analyzing Compression Techniques for Computer Vision
本研究针对计算机视觉应用,探索知识蒸馏、剪枝和量化三种压缩技术及其顺序组合,在MNIST和CIFAR-10数据集上评估效果并总结观察。该研究为小规模识别任务提供了压缩策略的实证分析。
2023-05-14 cs.CV
A survey on Kornia: an Open Source Differentiable Computer Vision Library for PyTorch
Universitat Autònoma de Barcelona(巴塞罗那自治大学);Institut de Robòtica i Informàtica Industrial(工业机器人与信息技术研究所);Czech Technical University in Prague(布拉格捷克理工大学);The Chinese University of Hong Kong(香港中文大学)
这项工作介绍了Kornia,一个开源的计算机视觉库,建立在一组可区分的例程和模块,旨在解决一般的计算机视觉问题。该软件包使用PyTorch作为其主要后端,不仅是为了提高效率,还利用反向自动微分引擎来定义和计算复杂函数的梯度。受OpenCV的启发,Kornia由一组包含运算符的模块组成,这些运算符可以集成到神经网络中,以训练模型来执行广泛的操作,包括图像变换、相机校准、对极几何和低级图像处理技术,例如直接在图形处理单元上对高维张量表示进行操作的滤波和边缘检测,从而生成更快的系统。使用我们的框架实现的经典视觉问题的例子,包括一个基准比较现有的视觉库。
2020-09-21 cs.CV
AdaptiveISP: Learning an Adaptive Image Signal Processor for Object Detection
Shanghai AI Laboratory(上海人工智能实验室);Peking University(北京大学);The Chinese University of Hong Kong(香港中文大学)
针对现有ISP方法侧重图像质量、高级视觉任务性能欠佳且推理时固定、动态场景性能下降的问题,提出任务驱动场景自适应的AdaptiveISP,用深度强化学习生成最优ISP流水线及参数,提升目标检测性能并动态权衡性能与计算成本。
2024-10-30 cs.CV
A Tour of Visualization Techniques for Computer Vision Datasets
Meta
我们调查了一些数据可视化技术分析计算机视觉(CV)数据集。这些技术通过应用数据集级别的分析,帮助我们理解这些数据中的属性和潜在模式。我们提出了各种例子,说明这种分析如何帮助预测数据集属性对CV模型的潜在影响,并适当缓解其缺点。最后,我们探索了CV数据集的不同模式的进一步可视化技术的途径,以及为支持特定CV任务和分析需求而量身定制的可视化技术。
2022-04-19 cs.CV cs.GR
MNIST-C: A Robustness Benchmark for Computer Vision
Google Inc.(谷歌公司)
我们介绍了MNIST-C数据集,这是一个适用于MNIST测试集的15种损坏的综合套件,用于对计算机视觉中的分布鲁棒性进行基准测试。通过几个实验和可视化,我们证明了我们的腐败显着降低性能的最先进的计算机视觉模型,同时保留测试图像的语义内容。与对抗性鲁棒性的流行概念相反,我们的模型不可知的腐败不寻求最坏情况下的性能,而是被设计为广泛和多样化,捕获现代模型的多种故障模式。事实上,我们发现,根据MNIST-C的测量,之前发布的几种对抗性防御显著降低了鲁棒性。我们希望我们的基准作为一个有用的工具,在未来的工作中设计的系统,能够学习强大的功能表示,捕捉输入的底层语义。
2019-06-05 cs.CV cs.LG
Efficient Visual Computing with Camera RAW Snapshots
Nanjing University(南京大学);University of Leeds(利兹大学);Chongqing University of Technology(重庆理工大学);University of California Riverside(加州大学河滨分校)
本文提出ρ-Vision框架,利用无监督CycleR2R网络生成模拟RAW图像并微调模型,在RAW域直接完成目标检测与图像压缩,无需ISP,实现了更高精度和更低计算开销。
2024-01-25 cs.CV eess.IV
Domain Adaptations for Computer Vision Applications
University of California, San Diego(加州大学圣地亚哥分校)
统计学习理论的一个基本假设是,训练和测试数据来自相同的底层分布。不幸的是,这个假设在许多应用中并不成立。相反,充足的标记数据可能存在于一个特定的“源”域,而推理需要在另一个“目标”域。领域自适应方法利用来自两个领域的标记数据来改进对目标领域中的不可见数据的分类。在这项工作中,我们调查域迁移学习方法的各种应用领域的重点是最近的工作在计算机视觉。
2012-11-20 cs.CV cs.LG stat.ML
Literature Review: Computer Vision Applications in Transportation Logistics and Warehousing
FZI Research Center for Information Technology(FZI信息技术研究中心);Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院(KIT))
本文对计算机视觉在运输物流与仓储中的应用进行结构化文献综述,按任务与技术分类,梳理监测与操作研究、未来方向、数据集及工业方案。
2023-06-07 cs.CV cs.LG
The iCub multisensor datasets for robot and computer vision applications
Humboldt-Universität zu Berlin(柏林洪堡大学);The BioRobotics Institute, Scuola Superiore Sant’Anna(圣安娜高等学校生物机器人研究所);Adaptive Systems Group, Department of Computer Science(计算机科学系自适应系统组)
本文介绍了新的数据集,通过采用配备额外的深度传感器和彩色摄像头的iCub机器人构建。我们使用机器人在不同的采集场景中采集了210个物体的颜色和深度信息。最后,结果是机器人和计算机视觉应用的大规模数据集:对象表示,对象识别和分类,以及动作识别。
2020-03-04 cs.CV cs.LG cs.RO
Ethical Challenges in Computer Vision: Ensuring Privacy and Mitigating Bias in Publicly Available Datasets
University Malaya(马来大学)
本文探讨了计算机视觉中公开数据集引发的隐私与偏见伦理问题,通过分析COCO、ImageNet等数据集,提出保护个人权利、减少偏见并兼顾开放与责任的全面伦理框架,以促进符合社会价值的AI发展。
2025-08-11 cs.CR cs.CV cs.CY
Adversarial RAW: Image-Scaling Attack Against Imaging Pipeline
深度学习技术已经成为计算机视觉发展的支柱。随着进一步的探索,人们发现深度神经网络容易受到精心设计的对抗攻击的攻击。大多数视觉设备都配备了图像信号处理(ISP)流水线来实现RAW到RGB的转换,并嵌入到数据预处理模块中以进行高效的图像处理。实际上,ISP管道可以将对抗行为引入到捕获后的图像中,而数据预处理可能会破坏攻击模式。然而,现有的对抗攻击都没有考虑ISP管道和数据预处理的影响。在本文中,我们开发了一种针对ISP管道的图像缩放攻击,其中制作的对抗RAW可以转换为攻击图像,一旦缩放到特定大小的图像,则会呈现完全不同的外观。我们首先考虑梯度可用的ISP管道,即,梯度信息可以直接用于对抗RAW的生成过程中来发起攻击。为了使对抗攻击更适用,我们进一步考虑梯度不可用的ISP管道,其中提出了一个很好地学习RAW到RGB变换的代理模型作为梯度预言机。大量的实验表明,所提出的对抗攻击可以针对目标ISP管道制造对抗RAW数据,具有高攻击率。
2022-06-02 cs.CR cs.CV cs.LG
Reconfiguring the Imaging Pipeline for Computer Vision
Cornell University(康奈尔大学);Carnegie Mellon University(卡内基梅隆大学)
深度学习的进步引发了对嵌入式计算机视觉高效硬件的研究爆炸。然而,硬件视觉加速并没有解决捕获和处理这些算法所需的图像数据的成本问题。我们研究了图像信号处理(ISP)管道在计算机视觉中的作用,以确定减少计算和节省能源的机会。关键的见解是,成像管道应该被设计为可配置的:在传统摄影模式和低功耗视觉模式之间切换,该模式产生仅适用于计算机视觉的低质量图像数据。我们使用八个计算机视觉算法和可逆流水线仿真工具来研究成像系统对视觉性能的影响。对于基于CNN和经典的视觉算法,我们观察到只有两个ISP阶段,去马赛克和伽马压缩,对任务性能至关重要。我们提出了一种新的图像传感器设计,可以弥补跳过这些阶段。传感器设计具有可调分辨率和可调模数转换器(ADC)。我们提出的成像系统的视觉模式完全禁用ISP,并配置传感器产生二次采样,低精度的图像数据。这种视觉模式可以节省约75%的基线摄影模式的平均能量,同时对视觉任务精度的影响很小。
2017-08-01 cs.CV
Self-Supervised Reversed Image Signal Processing via Reference-Guided Dynamic Parameter Selection
Sony Group Corporation(索尼集团公司)
未经处理的传感器输出(RAW图像)可能会改进低级和高级计算机视觉算法,但缺乏大规模RAW图像数据集是研究的障碍。因此,已经研究了将现有RGB图像转换为RAW图像的逆图像信号处理(ISP)。然而,大多数现有方法需要相机特定的元数据或成对的RGB和RAW图像来模拟转换,并且它们并不总是可用的。此外,在处理不同ISP和恢复全局光照方面存在问题。为了解决这些限制,我们提出了一种自监督的反向ISP方法,不需要元数据和配对的图像。所提出的方法通过基于参考RAW图像动态地选择反向ISP流水线的参数,将RGB图像转换为在与参考RAW图像相同的环境中使用相同的传感器拍摄的RAW类图像。通过从未配对的RGB和RAW图像创建的伪配对数据来训练参数选择。我们表明,所提出的方法能够学习各种反向ISP,其精度与其他最先进的监督方法相当,并将未知的RGB图像从COCO和Flickr1M转换为目标RAW类图像,在像素分布方面更准确。我们还证明了我们生成的RAW图像提高了真实RAW图像目标检测任务的性能。
2023-03-24 cs.CV eess.IV
RAW-Adapter: Adapting Pre-trained Visual Model to Camera RAW Images
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所人工智能项目)
针对现有方法忽略ISP与后续网络交互的问题,提出RAW-Adapter框架,通过输入级和模型级适配器将sRGB预训练视觉模型适配至相机RAW数据,在多数据集上取得SOTA性能。
2024-08-27 cs.CV
Beyond RGB: Adaptive Parallel Processing for RAW Object Detection
Institution A(机构A);Institution B(机构B);Sony Research(索尼研究);Sony Group Corporation(索尼集团公司)
本文提出Raw Adaptation Module(RAM),以并行ISP处理替代传统顺序ISP,专为RAW目标检测优化,并在多数据集上取得领先性能。
2025-07-20 cs.CV
Automatic ISP image quality tuning using non-linear optimization
Intel Corporation(英特尔公司)
图像信号处理器(ISP)由各种模块组成,用于将图像传感器原始数据重建为人类视觉系统或计算机视觉应用所消耗的最终图像。由于操作的复杂性,每个块通常具有许多调谐参数。这些需要由图像质量(IQ)专家手动调整,这需要相当多的时间。在本文中,我们提出了一个自动IQ调谐使用非线性优化和自动参考生成算法。该方法可以在几分钟内产生高质量的智商,而智商专家需要数周的手工调整结果。此外,所提出的方法可以与任何算法一起工作,而不需要知道它们的具体实现。它被发现在多个不同的处理块上是成功的,例如降噪、去噪和锐化。
2019-02-24 cs.CV
Integrated Structural Prompt Learning for Vision-Language Models
School of Computer Science and Technology(计算机科学与技术学院);Anhui University(安徽大学);The Key Laboratory of Intelligent Computing(智能计算重点实验室);Intelligent Sensing Laboratory of Anhui Province(安徽省智能感知实验室)
本文提出集成结构提示(ISP)方法,通过自结构与跨结构提示模块及样本探测模块,增强视觉-语言模型的信息交互与泛化能力,在多个基准上达到先进性能。
2025-07-09 cs.CV
RawGen: Learning Camera Raw Image Generation
Samsung Electronics(三星电子);Yonsei University(延世大学)
RawGen通过扩散模型生成任意目标相机的原始图像,解决大规模原始数据集收集困难的问题,并提升低级视觉任务性能。
2026-03-31 cs.CV
Efficient Bayer-Domain Video Computer Vision with Fast Motion Estimation and Learned Perception Residual
SIGS, Tsinghua University(清华大学信号与系统系);New York University(纽约大学)
针对视频视觉系统计算负担重的问题,本文提出前后端联合优化的拜耳域高效框架,通过移除传统ISP、并行运动估计、轻量残差网络优化,实现显著加速且性能损失极小。
2025-11-14 cs.CV
Task-Aware Image Signal Processor for Advanced Visual Perception
University of Electronic Science and Technology of China(电子科学与技术大学);ByteDance Inc.(字节跳动公司)
提出任务感知图像信号处理框架TA-ISP,通过预测多尺度轻量调制算子生成面向任务的表示,在提升下游视觉感知精度的同时显著降低计算开销与延迟。
2025-09-17 cs.CV
Modeling sRGB Camera Noise with Normalizing Flows
York University(约克大学);Vector Institute(向量研究所);Samsung AI Center–Toronto(三星人工智能中心(多伦多))
噪声建模和降噪是低层计算机视觉的基本任务。它们对于依赖于小型传感器的智能手机摄像头尤为重要,这些传感器会显示出视觉上明显的噪声。最近,人们对使用数据驱动的方法通过神经网络来改进相机噪声模型重新产生了兴趣。这些数据驱动的方法在原始传感器图像被相机的图像信号处理器(ISP)处理之前就针对存在于原始传感器图像中的噪声。在RAW-rgb域中建模噪声对于改进和测试相机内去噪算法非常有用;但是,在某些情况下,相机的ISP不应用去噪,或者当RAW-rgb域图像不再可用时需要额外的去噪。在这种情况下,传感器噪声通过ISP传播到以标准RGB(sRGB)编码的最终渲染图像。ISP上的非线性步骤最终导致sRGB域中的噪声分布明显更复杂,并且现有的原始域噪声模型无法捕获sRGB噪声分布。我们提出了一种新的sRGB域噪声模型,该模型基于归一化流,能够学习各种ISO级别下sRGB图像中的复杂噪声分布。我们的归一化流为基础的方法优于其他模型的噪声建模和合成任务的大幅度提高。我们还表明,在用我们的噪声模型合成的噪声图像上训练的图像去噪器的性能优于用来自基线模型的噪声训练的图像去噪器。
2022-06-02 cs.CV eess.IV
SYENet: A Simple Yet Effective Network for Multiple Low-Level Vision Tasks with Real-time Performance on Mobile Device
State Key Laboratory of Mobile Network and Mobile Multimedia Technology(移动网络与移动多媒体技术国家重点实验室);Sanechips Technology(晟芯科技)
本文提出仅约6K参数的双分支实时网络SYENet,通过QCU和Outlier-Aware Loss统一处理ISP、LLE与SR,在移动SoC上达到2K60FPS并取得竞赛最佳成绩。
2023-08-16 cs.AI cs.CV
Leveraging Motion Estimation for Efficient Bayer-Domain Video Convolutional Networks
本文提出 MEVC 框架,消除 ISP 并将滑动窗口运动估计集成至卷积层,直接在 Bayer 域加速视频视觉任务,在多基准上 FLOPs 减少超 70% 且精度损失极小。
2026-10-12 cs.CV eess.IV
Rethinking Scanning Strategies with Vision Mamba in Semantic Segmentation of Remote Sensing Imagery: An Experimental Study
CSIRO Mineral Resources(联邦科学与工业研究组织矿产资源部)
本文通过在 LoveDA、ISPRS Potsdam 和 ISPRS Vaihingen 上的实验,评估 Mamba 不同扫描方向及组合对遥感影像语义分割的影响,发现简单单一扫描方向已足够。
2024-05-14 cs.CV
Reversed Image Signal Processing and RAW Reconstruction. AIM 2022 Challenge Report
University of Würzburg(维尔茨堡大学)
摄像机捕捉传感器RAW图像,并使用其集成的图像信号处理器(ISP)将其转换为适合人眼的愉快RGB图像。由于RAW域与场景辐照度的线性关系、12位的宽范围信息和传感器设计,许多低级视觉任务在RAW域中操作(例如图像去噪、白平衡)。尽管如此,RAW图像数据集还是很稀缺,而且比已经很大的公共RGB数据集收集起来更昂贵。本文介绍了AIM 2022逆向图像信号处理和RAW重建挑战赛。我们的目标是从相应的RGB中恢复原始传感器图像,而不需要元数据,通过这样做,可以“逆转”ISP转换。所提出的方法和基准为这种低级视觉逆问题建立了最先进的技术,并且生成逼真的原始传感器读数可能有利于其他任务,如去噪和超分辨率。
2022-10-20 cs.CV eess.IV
Kinematics of motion tracking using computer vision
University of Seville(塞维利亚大学)
本文介绍了运动学的刚体运动跟踪使用视频记录。本文的新颖之处在于将计算机视觉中使用的方法和术语与多体系统动力学中使用的方法和术语相结合。这样,这里提出的方程可以用于例如由选定物体的运动跟踪驱动的逆动力学多体仿真。本文还适应了著名的张校准方法所提出的命名。
2020-07-19 cs.CV eess.IV
Physics-Informed Computer Vision: A Review and Perspectives
Queensland University of Technology(昆士兰科技大学);Brown University(布朗大学)
本文系统综述250余篇物理规律引导的计算机视觉研究,按视觉流程及数据、架构、损失三类纳入方式建立分类框架,总结应用现状、开放挑战与未来方向。
2024-05-13 cs.CV eess.IV
Computer Vision For COVID-19 Control: A Survey
Charles Sturt University(查尔斯特大学);Victoria University(维多利亚大学)
本文综述了计算机视觉在COVID-19防控中的应用,回顾近期研究成果、梳理可用资源并指出未来方向,为相关研究人员节省时间,助力全球抗疫。
2020-05-05 cs.CV eess.IV
SemiISP/SemiIE: Semi-Supervised Image Signal Processor and Image Enhancement Leveraging One-to-Many Mapping sRGB-to-RAW
Sony Group Corporation(索尼集团公司);SonyAI(索尼人工智能)
本文提出利用sRGB-to-RAW重建方法实现ISP和IE的半监督学习,并提出一种能提高任务图像质量的sRGB-to-RAW方法,成功提升了多种模型在多种数据集上的图像质量。
2025-04-03 cs.CV
You Only Need 90K Parameters to Adapt Light: A Light Weight Transformer for Image Enhancement and Exposure Correction
The University of Tokyo(东京大学);Shanghai AI Laboratory(上海人工智能实验室);RIKEN AIP(理化学研究所人工智能研究中心);Shanghai Jiao Tong University(上海交通大学);Tencent Youtu Lab(腾讯优图实验室)
现实世界中的光照条件(低光、曝光不足和曝光过度)不仅会造成令人不快的视觉外观,而且还会污染计算机视觉任务。摄像机采集原始RGB数据后,通过图像信号处理器(ISP)绘制标准sRGB图像。通过将ISP流水线分解为局部和全局图像分量,我们提出了一种轻量级的快速照明自适应Transformer(IAT)来恢复正常照明的sRGB图像,无论是低光或曝光不足/过度的条件。具体来说,IAT使用注意查询来表示和调整ISP相关的参数,如颜色校正,伽马校正。凭借仅约90 k的参数和约0.004s的处理速度,我们的IAT在当前基准低光增强和曝光校正数据集上始终实现优于SOTA的性能。竞争性的实验性能也表明,我们的IAT显着提高目标检测和语义分割任务在各种光照条件下。训练代码和预训练模型可在https://github.com/cuiziteng/Illumination-Adaptive-Transformer上获得。
2022-10-08 cs.CV
RawVLA: Embodied Neural Image Signal Processor For Robotic Manipulation
UTokyo(东京大学);D-Robotics(地瓜机器人);TohokuU(东北大学);NTU(南洋理工大学);HKUSTGZ(香港科技大学(广州))
针对VLA模型忽略成像流水线的问题,提出RawVLA神经ISP,自适应处理RAW图像以提升操作鲁棒性,并构建RawVLA-Bench基准验证其有效性。
2026-09-30 cs.CV cs.RO
Vision Transformers in Medical Computer Vision -- A Contemplative Retrospection
National University of Sciences and Technology (NUST)(国立科技大学(NUST))
最近计算机视觉领域的升级支撑了一堆算法,这些算法具有解开图像中包含的信息的巨大潜力。这些计算机视觉算法正在医学图像分析中得到实践,并正在改变成像数据的感知和解释。在这些算法中,Vision Transformers被发展为计算机视觉领域中使用的最现代和最占主导地位的体系结构之一。这些被大量的研究人员用来进行新的和以前的实验。在本文中,我们研究了Vision Transformers和医学图像的交叉点,并概述了不同研究人员正在使用的各种基于ViT的框架,以破译医学计算机视觉中的障碍。我们调查了Vision Transformers在医学计算机视觉不同领域的应用,例如基于图像的疾病分类,解剖结构分割,配准,基于区域的病变检测,字幕,报告生成,使用多种医学成像模式进行重建,极大地帮助医疗诊断和治疗过程。与此同时,我们还揭开了医学计算机视觉中使用的几种成像模式的神秘面纱。此外,为了获得更多的洞察力和更深入的理解,Transformers的自我注意机制也进行了简要的解释。最后,我们还以讨论的形式介绍了现有的数据集、采用的方法、绩效指标、挑战及其解决方案。我们希望这篇综述文章将为医学计算机视觉研究人员开辟未来的方向。
2022-03-29 cs.CV cs.LG eess.IV
DAD vision: opto-electronic co-designed computer vision with division adjoint method
Tsinghua University(清华大学)
计算机视觉系统的小型化和移动性受到计算负担和光学透镜尺寸的限制。在这里,我们提出使用超薄衍射光学元件来实现无源光学卷积。提出了分块伴随光电协同设计方法。在我们的模拟实验中,神经网络的前几个卷积层可以在CIFAR-10数据集上的分类任务中被光学卷积取代,而没有功耗,同时可以获得类似的性能。
2022-11-04 cs.CV eess.IV physics.optics
Survey of Computer Vision and Machine Learning in Gastrointestinal Endoscopy
本文试图为读者提供一个开始研究计算机视觉和机器学习在胃肠道(GI)内窥镜检查中的应用的地方。它们被分为18类。读者应该注意到,这是一个前深度学习时代的评论。许多基于深度学习的应用在本文中没有涉及。
2019-04-26 cs.CV eess.IV physics.med-ph
Are object detection assessment criteria ready for maritime computer vision?
Carnegie Mellon University(卡内基梅隆大学)
配备有可见光和红外摄像机的海上船只可以补充用于目标检测的其他传统传感器。然而,计算机视觉技术在海事领域的应用只是最近才受到关注。海洋环境有其独特的要求和挑战。检测质量的评估是计算机视觉的一个基本需求。然而,适合于通常的目标检测的常规评估度量在海上环境中是有缺陷的。因此,计算机视觉中的大量相关工作乍一看似乎不适用于海上环境。我们讨论的问题,定义评估指标适用于海上计算机视觉。我们认为新的底部边缘接近度量海上计算机视觉的评估指标。这些指标表明,现有的计算机视觉方法确实是有前途的海上计算机视觉,并可以在新兴的海上计算机视觉领域发挥基础性作用。
2019-11-17 cs.CV
Second Croatian Computer Vision Workshop (CCVW 2013)
University of Zagreb(萨格勒布大学)
第二届克罗地亚计算机视觉研讨会(CCVW 2013,http://www.fer.unizg.hr/crv/ccvw2013)会议记录,2013年9月19日,克罗地亚萨格勒布。研讨会由萨格勒布大学计算机视觉卓越中心组织。
2013-11-03 cs.CV
Residual Quantity in Percentage of Factory Machines Using Computer Vision and Mathematical Methods
自从人工智能发展获得推动力以来,计算机视觉一直在蓬勃发展。使用深度学习技术一直是计算机科学家认为解决方案的最流行的方法。然而,深度学习技术往往表现出比手动处理更低的性能。使用深度学习并不总是解决与计算机视觉相关的问题。
2022-02-14 cs.CV
Euphrates: Algorithm-SoC Co-Design for Low-Power Mobile Continuous Vision
University of Rochester(罗切斯特大学);Georgia Institute of Technology(佐治亚理工学院);ARM Research(ARM研究院)
连续计算机视觉(CV)任务越来越依赖于卷积神经网络(CNN)。然而,CNN具有巨大的计算需求,远远超过了移动设备的性能和能源限制。在本文中,我们提出并开发了一个算法架构协同设计的系统,幼发拉底河,同时提高能源效率和连续视觉任务的性能。我们的关键观察是,连续帧之间的像素数据的变化代表视觉运动。我们首先提出了一种算法,利用这种运动信息来放松连续视觉应用所需的昂贵的CNN推理的数量。我们共同设计了一个移动片上系统(SoC)架构,以最大限度地提高新算法的效率。我们架构增强的关键是共同优化视觉管道中的不同SoC IP块。具体来说,我们建议将图像信号处理器(ISP)在视觉管道早期自然生成的运动数据暴露给CNN引擎。测量和综合结果表明,Euphrates实现了高达66%的SoC级节能(视觉计算的4倍),精度损失仅为1%。
2018-03-29 cs.CV
calibDB: enabling web based computer vision through on-the-fly camera calibration
Fraunhofer IGD(弗劳恩霍夫计算机图形学研究所)
对于许多计算机视觉应用,摄像机校准数据的可用性至关重要,因为整体质量在很大程度上取决于它。虽然通过增强现实(AR)框架(如ARCore和ARKit)在某些设备上可以获得校准数据,但对于大多数摄像机,此信息不可用。因此,我们提出了一个基于Web的校准服务,不仅聚集校准数据,而且还允许校准新的相机上的飞行。我们建立在一个新的相机校准框架,使即使是新手用户可以在大约2分钟内执行精确的相机校准。这使得计算机视觉算法在网络上的一般部署成为可能,而这在以前是不可能的,因为缺乏校准数据。
2019-08-15 cs.CV cs.NI eess.IV
Using UAS Imagery and Computer Vision to Support Site-Specific Weed Control in Corn
North Dakota State University of Agriculture and Applied Science(北达科他州立大学农业与应用科学学院)
目前,玉米田中的杂草控制是通过除草剂的毯式施用来进行的,其不考虑杂草的空间分布信息,并且还使用大量的化学除草剂。为了减少化学品的使用量,我们使用无人机高分辨率图像和计算机视觉技术来进行玉米的特定地点杂草控制。
2022-06-02 cs.AI cs.CV eess.IV
Adapting Computer Vision Algorithms for Omnidirectional Video
JOANNEUM RESEARCH(约翰内姆研究所)
全方位(360°)视频已经非常流行,因为它提供了高度沉浸式的观看体验。对于计算机视觉算法,它提出了几个挑战,如通常采用的特殊(等矩形)投影和巨大的图像尺寸。在这项工作中,我们给出了一个高层次的概述,这些挑战和概述策略如何适应计算机视觉算法的全向视频的具体情况。
2019-07-22 cs.CV
Negative Results in Computer Vision: A Perspective
University of Central Florida(中佛罗里达大学)
负结果是指实验或模型的结果与预期不符,或者假设不成立。尽管在科学界经常被忽视,但负面结果是结果,它们具有价值。虽然这个主题在社会科学和生物科学等其他领域已经得到了广泛的讨论,但在计算机视觉界却很少有人关注。计算机视觉的独特性,特别是其实验方面,要求对这一问题进行特殊处理。在本文中,我将讨论是什么让负面结果变得重要,如何传播和激励它们,以及在这方面可以从认知视觉研究中吸取什么教训。此外,我将讨论的问题,如计算机视觉和人类视觉的相互作用,实验设计和统计假设检验,解释与预测建模,性能评估,模型比较,以及计算机视觉的研究文化。
2017-06-06 cs.CV
Tuning computer vision models with task rewards
Google Research(谷歌研究院);University of Oxford(牛津大学)
模型预测与预期用途之间的不一致可能对计算机视觉模型的部署有害。当任务涉及复杂的结构化产出时,这一问题就更加严重,因为更难设计程序来解决这种不协调问题。在自然语言处理中,这通常使用将模型与任务奖励对齐的强化学习技术来解决。我们采用这种方法,并在多个计算机视觉任务,如目标检测,全景分割,彩色化和图像描述显示其令人惊讶的有效性。我们相信这种方法有可能广泛用于更好地将模型与各种计算机视觉任务相匹配。
2023-02-16 cs.CV
Computer Vision and Abnormal Patient Gait Assessment a Comparison of Machine Learning Models
University of Connecticut(康涅狄格大学);Saint Johns’ Episcopal Hospital(圣约翰圣公会医院);Plainview Medical Center(普莱恩维尤医疗中心);Northwell Health(诺斯韦尔健康中心)
步态异常及其相关的跌倒和并发症具有较高的患者发病率、死亡率。计算机视觉检测、预测患者步态异常、评估跌倒风险,并作为医生的临床决策支持工具。本文对计算机视觉、机器学习模型如何进行异常患者步态评估进行了系统的综述。计算机视觉在步态分析中是有益的,它有助于捕获患者的姿势。一些文献建议使用不同的机器学习算法,例如SVM、ANN、K-Star、随机森林、KNN等,对提取的特征进行分类,以研究患者步态异常。
2020-03-22 cs.CV
The possibility of making \$138,000 from shredded banknote pieces using computer vision
Hong Kong Monetary Authority(香港金融管理局)
本文探讨利用计算机视觉技术将香港金管局纪念品中的碎钞片像拼图一样重建,从而理论上从售价100港元的纸镇中回收138,000港元。
2023-11-17 cs.CV
Towards computer vision powered color-nutrient assessment of pureed food
University of Waterloo(滑铁卢大学);Schlegel-UW Research Institute for Aging(Schlegel-UW老龄研究所)
由于四分之一的人患有营养不良,计算机视觉可以提供一种方法,在营养领域引入新的自动化水平,以可靠地监测食物和营养摄入。在这项研究中,我们提出了一种新的方法来建模颜色和维生素A含量之间的联系,使用透射率成像的泥食品稀释系列在计算机视觉供电的营养传感系统通过微调深度自动编码器网络,在这种情况下,训练预测甘薯泥的相对浓度。实验结果表明,深度自动编码器网络可以在初级(6个月)和中级(8个月)商业制备的甘薯泥样品上达到80%的准确度。预测误差可以解释为进一步讨论的光学性质的根本差异。
2019-05-01 cs.CV cs.NE eess.IV
Multiband NFC for High-Throughput Wireless Computer Vision Sensor Network
视觉传感器是计算机视觉的核心。在许多计算机视觉应用中,例如AR/VR,需要具有高吞吐量的非接触式近场通信(NFC)来将信息传输到算法。在这项工作中,我们提出了一种新的NFC系统,利用多个频段,以实现高吞吐量。
2017-05-28 cs.CV cs.NI
Computer Stereo Vision for Autonomous Driving
UC San Diego(加州大学圣地亚哥分校);ATG Robotics(ATG机器人公司);University of Bristol(布里斯托尔大学);Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
作为自动驾驶系统的重要组成部分,自动驾驶汽车感知随着并行计算架构的最新进展而有了很大的飞跃。随着微型但功能齐全的嵌入式超级计算机的使用,计算机立体视觉已被初步应用于自动驾驶汽车的深度感知。计算机立体视觉的两个关键方面是速度和精度。它们都是理想的但相互矛盾的特性,因为具有更好视差精度的算法通常具有更高的计算复杂性。因此,开发一种用于资源有限的硬件的计算机立体视觉算法的主要目的是提高速度和精度之间的权衡。在本章中,我们将介绍用于自动驾驶汽车系统的计算机立体视觉的硬件和软件方面。然后,我们讨论了四个自主汽车感知任务,包括1)视觉特征检测,描述和匹配,2)三维信息获取,3)目标检测/识别和4)语义图像分割。然后详细介绍了计算机立体视觉和多线程CPU和GPU架构上的并行计算的原理。
2020-12-17 cs.CV