A residual dense vision transformer for medical image super-resolution with segmentation-based perceptual loss fine-tuning
University of Cambridge(剑桥大学);Imperial College London(帝国理工学院);Royal Brompton Hospital(皇家布朗普顿医院)
超分辨率在医学成像中起着至关重要的作用,因为它提供了一种替代方法来实现高空间分辨率和图像质量,而无需额外的采集成本。在过去的几十年里,深度神经网络的快速发展促进了超分辨率性能,具有新颖的网络架构,损失函数和评估指标。具体来说,Vision Transformers在广泛的计算机视觉任务中占主导地位,但在将其应用于低级医疗图像处理任务时仍然存在挑战。本文提出了一种有效的Vision Transformer与剩余密集连接和局部特征融合,以实现有效的单图像超分辨率(SISR)的医疗模式。此外,我们实现了一个通用的感知损失与手动控制图像质量的改善所需的方面,通过将医学图像分割的先验知识。在四个公共医学图像数据集上与现有方法进行比较,在七种模态中,该方法在六种模态下获得了最好的PSNR分数。该算法仅用SwinIR的38%的参数就能使PSNR平均提高$+0.09$ dB.另一方面,对于SOTA方法,包括CNN和Vision Transformers,基于分割的感知损失平均增加了$+0.14$ dB PSNR。此外,我们还进行了全面的消融研究,以讨论Vision Transformers优于CNN的潜在因素以及网络和损失功能组件的影响。代码将与论文一起发布在GitHub上。
2023-03-03 cs.CV cs.LG eess.IV
ETA: Evaluating Then Aligning Safety of Vision Language Models at Inference Time
Purdue University(普渡大学)
本文提出ETA框架,在推理时先评估视觉输入与输出以建立安全意识,再通过干扰前缀和句子级best-of-N对齐不安全行为,显著降低不安全率并提升有用性。
2025-02-10 cs.CL cs.CV cs.LG
When Helpful Text Hurts: Option-Redirecting Bias in Vision-Language Models
本研究揭示视觉语言模型中,与问题一致但违背图像并支持干扰项的辅助文本会系统性重定向模型预测,导致高达53.1%的准确率下降,并提出无需训练的推理时干预方法以缓解此问题。
2026-09-29 cs.AI cs.CV
Scaling Federated Learning Solutions with Kubernetes for Synthesizing Histopathology Images
National University of Science and Technology POLITEHNICA Bucharest(布加勒斯特理工国立大学)
本文提出将Vision Transformers与GAN结合生成结直肠癌组织病理图像以提升分类精度,并在Kubernetes多节点联邦学习环境中验证了该方法的可行性。
2025-04-05 cs.CV
Improving the Energy Efficiency and Robustness of tinyML Computer Vision using Log-Gradient Input Images
Stanford University(斯坦福大学)
本文研究了将对数梯度输入图像应用于卷积神经网络(CNN)用于tinyML计算机视觉(CV)的优点。我们表明,对数梯度使:(i)积极的1.5位量化的第一层输入,(ii)潜在的CNN资源减少,和(iii)固有的鲁棒性照明变化(1.7%的精度损失在1/32. 8亮度变化,而JPEG高达10%)。我们建立这些结果使用PASCAL RAW图像数据集,并通过使用神经结构搜索和固定的三层网络的实验相结合。后者揭示了对数梯度图像上的训练导致更高的滤波器相似性,使得CNN更可打印。积极的第一层量化、CNN资源减少以及在没有严格曝光控制和图像信号处理(ISP)的情况下操作的组合益处有助于将tinyML CV推向其最终效率极限。
2022-03-04 cs.CV eess.IV
Jigsaw-ViT: Learning Jigsaw Puzzles in Vision Transformer
KU Leuven(鲁汶大学);Tencent AI Lab(腾讯人工智能实验室);University of Trento(特伦托大学)
视觉Transformer(ViT)在各种计算机视觉任务中的成功促进了这种无卷积网络的日益普及。ViT对图像块起作用的事实使其可能与拼图游戏解决问题相关,拼图游戏解决问题是一种经典的自我监督任务,旨在将混洗的序列图像块重新排序回其自然形式。尽管它很简单,但解决拼图游戏已被证明有助于使用卷积神经网络(CNN)的各种任务,例如自监督特征表示学习,领域泛化和细粒度分类。在本文中,我们探索解决拼图作为一个自我监督的辅助损失的图像分类,Jigsaw-ViT。我们展示了两个修改,可以使Jigsaw-ViT优于标准ViT:丢弃位置嵌入和屏蔽补丁随机。然而,简单的,我们发现,Jigsaw-ViT是能够提高泛化和鲁棒性的标准ViT,这通常是一个权衡。实验表明,在ImageNet上的大规模图像分类中,添加拼图分支比ViT提供了更好的泛化能力。此外,辅助任务还提高了对Animal-10 N、Food-101 N和Clothing 1 M上的噪声标签以及对抗性示例的鲁棒性。我们的实现可以在https://yingyichen-cyy.github.io/Jigsaw-ViT/上获得。
2023-01-05 cs.CV
A novel integrated industrial approach with cobots in the age of industry 4.0 through conversational interaction and computer vision
Innovation Lab, Exprivia S.p.A.(创新实验室,埃克斯普里维亚股份公司);QuestIT S.r.l.(奎斯特信息技术有限责任公司)
针对机器人自动化新趋势对零部件制造商的挑战,提出集成Cobot、AI与人类的新型工业协作方法,通过精准物理作业、信息分析决策与战略眼光实现紧密协作。
2024-02-16 cs.CL cs.CV cs.LG
LAVT: Language-Aware Vision Transformer for Referring Image Segmentation
University of Oxford(牛津大学);Shanghai AI Laboratory(上海人工智能实验室);Tsinghua-Berkeley Shenzhen Institute, Tsinghua University(清华大学清华-伯克利深圳学院);SenseTime Research(商汤科技研究院);The University of Hong Kong(香港大学)
指称图像分割是一项基本的视觉语言任务,其目的是从图像中分割出由自然语言表达所指称的对象。这项任务背后的关键挑战之一是利用指涉表达来突出显示图像中的相关位置。解决这个问题的范例是利用强大的视觉语言(“跨模态”)解码器来融合从视觉编码器和语言编码器独立提取的特征。最近的方法已经取得了显着的进步,在这种范式利用Transformers作为跨模态解码器,并行的Transformer的压倒性的成功,在许多其他视觉语言的任务。在这项工作中采用不同的方法,我们表明,通过早期融合的语言和视觉功能的中间层的视觉Transformer编码器网络,可以实现更好的跨模态对齐。通过在视觉特征编码阶段进行跨模态特征融合,我们可以利用Transformer编码器的久经考验的相关建模能力来挖掘有用的多模态上下文。这样,准确的分割结果很容易收获一个轻量级的掩模预测。没有花里胡哨的东西,我们的方法大大超过了RefCOCO、RefCOCO+和G-Ref上以前最先进的方法。
2022-04-05 cs.CL cs.CV
Monocular Depth Estimation Using Cues Inspired by Biological Vision Systems
Imperial College London(帝国理工学院)
单目深度估计(MDE)旨在将场景的RGB图像从同一相机视图转换为逐像素深度图。由于缺少信息,它从根本上是不适定的:任何单个图像都可以从许多可能的3D场景中获取。因此,MDE任务的一部分是学习图像中的哪些视觉线索可以用于深度估计,以及如何使用。由于训练数据受到注释成本的限制或网络容量受到计算能力的限制,这是具有挑战性的。在这项工作中,我们证明,明确地注入视觉线索信息的模型是有益的深度估计。在对生物视觉系统进行深入研究之后,我们着重于语义信息和物体大小及其关系的先验知识,以模拟相对大小、熟悉大小和绝对大小的生物线索。我们使用最先进的语义和实例分割模型来提供外部信息,并利用语言嵌入来编码类之间的关系信息。我们还提供了一个先验的平均现实世界中的对象的大小。这种外部信息克服了数据可用性的限制,并确保给定网络的有限容量集中在已知有用的线索上,从而提高性能。我们通过实验验证了我们的假设,并在广泛使用的NYUD 2室内深度估计基准上评估了所提出的模型。结果表明,在深度预测的语义信息,尺寸先验和实例大小显式提供的RGB图像时,我们的方法可以很容易地适应任何深度估计系统的改进。
2022-05-12 cs.CV
Multilingual Vision-Language Pre-training for the Remote Sensing Domain
INESC-ID;Instituto Superior Técnico(高等技术学院);University of Lisbon(里斯本大学);NOVA-LINCS;Faculty of Science and Technology(科学与技术学院);NOVA University(NOVA大学);EPFL(洛桑联邦理工学院);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);LUMLIS (Lisbon ELLIS Unit)(LUMLIS(里斯本ELLIS单元))
针对遥感领域CLIP适配多语言输入研究不足的问题,该研究提出RS-M-CLIP模型,结合标准CLIP目标与局部全局表征对齐自监督方法微调多语言CLIP,用翻译扩充的多语言数据训练,在多项视觉-语言任务上达SOTA。
2024-10-30 cs.CV
The Effects of Visual Priming on Cooperative Behavior in Vision-Language Models
ST Engineering, Singapore(1 ST工程,新加坡)
本文研究了视觉提示如何影响视觉语言模型在囚徒困境中的合作行为,通过图像内容和颜色奖励矩阵实验,发现图像内容和颜色提示对模型决策模式有影响,不同模型的敏感性和缓解效果各异。
2026-04-30 cs.AI cs.CV
Towards Multimodal In-Context Learning for Vision & Language Models
IBM Research(IBM研究院);Weizmann Institute of Science(魏茨曼科学研究所);TU Graz(格拉茨工业大学);ELLIS Unit(ELLIS单元);Institute for Machine Learning, JKU Linz(林茨约翰内斯·开普勒大学机器学习研究所);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
针对视觉-语言模型上下文学习能力不足的问题,提出基于多轮课程学习与数据混合的方法,显著提升ICL性能,并贡献新评估基准。
2024-07-17 cs.CV
PatchRot: A Self-Supervised Technique for Training Vision Transformers
Arizona State University(亚利桑那州立大学);Georgia State University(佐治亚州立大学)
视觉Transformer需要大量的标记数据才能胜过卷积神经网络。然而,标记一个巨大的数据集是一个非常昂贵的过程。自监督学习技术通过以无监督的方式学习类似于监督学习的特征来缓解这个问题。在本文中,我们提出了一种自监督技术PatchRot,专为视觉Transformer。PatchRot旋转图像和图像补丁,并训练网络来预测旋转角度。该网络学习从图像中提取全局和局部特征。我们在不同数据集上的大量实验展示了PatchRot训练学习到的丰富特征,这些特征优于监督学习和基线比较。
2022-10-27 cs.CV
Assessing visual acuity in visual prostheses through a virtual-reality system
Instituto de Investigación en Ingeniería de Aragón(阿拉贡工程研究所);Universidad de Zaragoza(萨拉戈萨大学)
目前的视觉植入物仍然提供非常低的分辨率和有限的视野,因此限制了植入患者的视力。利用新技术发展人工视觉模拟系统的新策略是开发新视觉设备的首要任务。在这项工作中,我们利用虚拟现实软件与便携式盔装显示器配对,并评估了正常视力的参与者在模拟假肢视觉与可变的视野和像素数的性能。我们的模拟假体视觉系统允许简单的实验,以研究未来的视觉假体的设计参数。10名视力正常的参与者自愿参加视力研究。受试者被要求识别计算机生成的Landolt-C间隙方向和不同的刺激的基础上的光感知,时间分辨率,光的位置和运动知觉通常用于视力检查的视力。在不同电极数量和视野大小的条件下记录视力评分。我们的结果表明,在所有测试条件中,20°的视场和1000个光幻视的分辨率被证明是最好的,视力为1.3 logMAR。此外,性能似乎与光幻视密度相关,但当视场小于20°时显示出递减的回报。新型人工视觉模拟系统的开发将有助于指导新型视觉设备的开发以及视野和分辨率的优化,从而为深度或全盲患者提供有用的和有价值的视觉辅助。
2022-05-20 cs.CV
Energy-Inspired Self-Supervised Pretraining for Vision Models
Purdue University(普渡大学);Microsoft Corporation(微软公司)
基于深度网络的前向和后向传递自然形成输入和输出表示之间的对称映射这一事实,我们引入了一个简单而有效的自监督视觉模型预训练框架,该框架受到基于能量的模型(EBM)的启发。在所提出的框架中,我们将能量估计和数据恢复建模为单个网络的前向和后向传递,而没有任何辅助组件,例如,额外的解码器对于前向传递,我们将网络拟合到一个能量函数,该函数将低能量分数分配给属于未标记数据集的样本,否则将高能量。对于向后传递,我们使用基于梯度的优化沿着能量最小化的方向迭代地从损坏的版本恢复数据。通过这种方式,我们自然地将广泛用于掩码图像建模的编码器-解码器架构折叠到单个视觉模型的前向和后向通道中。因此,我们的框架现在接受各种各样的借口任务与不同的数据损坏方法,并允许模型从掩码图像建模,补丁排序和图像复原,包括超分辨率,去噪和着色进行预训练。我们通过大量的实验来支持我们的研究结果,并表明与最先进的自监督视觉模型预训练方法相比,所提出的方法可以提供相当甚至更好的性能,并且训练时间明显更少。我们的研究结果为进一步探索自监督视觉模型预训练和掩码图像建模之外的任务提供了启发。
2023-02-02 cs.CV
SPFormer: Enhancing Vision Transformer with Superpixel Representation
Johns Hopkins University(约翰斯·霍普金斯大学);Bytedance(字节跳动);UC Santa Cruz(加州大学圣克鲁兹分校)
SPFormer通过采用适应图像内容的超像素表示替代固定图像块划分,有效提升了Vision Transformer的性能、可解释性与鲁棒性。
2024-01-05 cs.CV
Heuristic Vision Pre-Training with Self-Supervised and Supervised Multi-Task Learning
提出一种结合自监督与监督多任务学习的启发式视觉预训练框架,通过多标签分类和掩码图像建模、对比学习,在多个视觉任务上达到或超越SOTA性能。
2023-10-11 cs.CV
Image Re-Identification: Where Self-supervision Meets Vision-Language Learning
School of Computer Science and Cyber Engineering, Guangzhou University(广州大学计算机科学与网络工程学院);School of Engineering, Huaqiao University(华侨大学工学院)
本文提出SVLL-ReID框架,通过两阶段训练将语言自监督与视觉自监督融入预训练CLIP模型,在六个图像ReID基准数据集上无需文本标签即取得最佳性能。
2024-07-30 cs.CV
Self-supervised pretraining for an iterative image size agnostic vision transformer
INSAIT, Sofia University "St. Kliment Ohridski", Bulgaria(INSAIT,索菲亚大学"圣克莱门特·奥赫里迪斯",保加利亚)
本文提出基于DINO自蒸馏目标的新型序列到全局自监督学习框架,通过高效积分图像补丁提取方法实现图像尺寸无关的视觉编码器大规模预训练,取得ImageNet-1K和下游分类任务的竞争力表现。
2026-04-22 cs.CV
Positional Label for Self-Supervised Vision Transformer
Southwest Jiaotong University(西南交通大学)
位置编码对于视觉Transformer(ViT)捕获输入图像的空间结构是重要的。一般有效性已在ViT中得到证明。在我们的工作中,我们建议训练ViT识别输入图像的补丁的位置标签,这个看似简单的任务实际上产生了一个有意义的自我监督任务。基于ViT位置编码的工作,我们提出了两个位置标签专用于二维图像,包括绝对位置和相对位置。我们的位置标签可以很容易地插入到各种当前的ViT变体中。它可以通过两种方式工作:(a)作为vanilla ViT的辅助训练目标(例如,ViT-B和Swin-B)以获得更好的性能。(b)结合自我监督的ViT(例如,MAE)为语义特征学习提供更强大的自监督信号。实验表明,使用所提出的自监督方法,ViT-B和Swin-B在ImageNet上的增益分别提高了1.20%(top-1 Acc)和0.74%(top-1 Acc),在Mini-ImageNet上分别提高了6.15%和1.14%。
2023-02-16 cs.CV
FFT-based Dynamic Token Mixer for Vision
Rikkyo University(立教大学);AnyTech Co., Ltd.(AnyTech有限公司)
针对MHSA处理高分辨率图像复杂度高的问题,提出基于FFT的Dynamic Filter及DFFormer、CDFFormer,在图像分类和下游任务中展现出优异的高分辨率吞吐量与内存效率。
2023-12-17 cs.AI cs.CV cs.LG
Unsupervised Vision-and-Language Pre-training via Retrieval-based Multi-Granular Alignment
Meta AI;Columbia University(哥伦比亚大学)
近年来,视觉和语言(V+L)预训练模型在各种多模态基准测试中取得了巨大的成功。然而,大多数现有的模型需要在大量的并行图像-文本数据集上进行预训练,与仅图像或仅文本数据相比,这是昂贵的。在本文中,我们探索了无监督的视觉和语言预训练(UVLP),以从非并行图像和文本数据集中学习跨模态表示。我们发现了两个关键因素,可以在没有并行数据的情况下实现良好的无监督V+L预训练:(i)联合图像和文本输入(ii)整体图文对齐(即使是非并行数据)。因此,我们提出了一种新的无监督V+L预训练课程,用于非平行文本和图像。我们首先通过基于检索的方法构建一个弱对齐的图像-文本语料库,然后应用一组多粒度对齐预训练任务,包括区域到标签,区域到短语和图像到句子对齐,以弥合这两种模式之间的差距。全面的消融研究表明,每个粒度都有助于学习更强大的预训练模型。我们将预先训练的模型适应一组V+L下游任务,包括VQA、NLVR 2、Visual Entailment和RefCOCO+。我们的模型在无监督的环境下实现了所有这些任务的最先进的性能。
2022-03-01 cs.AI cs.CL cs.CV
Fine-grained Image Retrieval via Dual-Vision Adaptation
Xin Jiang 1 , Meiqi Cao 1 1 1 footnotemark: 1(某机构);Hao Tang 2(某机构);Fei Shen 3(某机构);Zechao Li 1(某机构)
本文提出双视觉适应方法,通过协同样本和特征适应提升细粒度图像检索的性能与效率。
2025-12-01 cs.CV cs.MM
AnchorFormer: Differentiable Anchor Attention for Efficient Vision Transformer
The University of Hong Kong, Hong Kong(香港大学);European Academy of Sciences and Arts(欧洲科学与艺术学院);South China University of Technology, Guangzhou, Guangdong, China(华南理工大学)
提出AnchorFormer,利用可微锚点注意力将ViT复杂度从O(n²)降至O(mn),在分类、检测、分割任务上显著提升效率与精度。
2025-06-18 cs.CV cs.LG
An Integrated Vision-and-Language Pretraining (VLP) and Visual Question Answering (VQA) model to Automate Nondestructive Evaluation Image Analysis
Federal Highway Administration(联邦公路管理局);Turner-Fairbank Highway Research Center(特纳-费尔班克公路研究中心)
本研究提出一种整合ResNet-50图像特征提取与GPT-2语言生成的VQA模型,用于自动化NDE图像分析,可提升检测效率、减少误差并增强现场可用性。
2026-09-07 cs.CV cs.LG
Rethinking Bottlenecks in Safety Fine-Tuning of Vision Language Models
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Purdue University(普渡大学);Tianjin University(天津大学)
本文提出多图像安全数据集,通过增强视觉推理能力,提升模型在安全关键任务中的性能与通用能力。
2026-02-03 cs.CL cs.CR cs.CV
Semantic Image Completion and Enhancement using Deep Learning
ABV-Indian Institute of Information Technology and Management, Gwalior(ABV-瓜廖尔印度信息技术与管理学院)
在实际应用中,某些图像被破坏,其中图像像素被损坏或丢失,这增加了计算机视觉任务的复杂性。在本文中,提出了一种深度学习架构来处理图像完成和增强。生成对抗网络(GAN)已被证明在图片完成任务中很有帮助。因此,在GANs中,Wasserstein GAN架构用于图像完成,其创建粗糙补丁以填充失真图像中的缺失区域,并且增强网络将利用残差学习过程额外地细化所得图像,从而为计算机视觉应用提供更好的完整图像。实验结果表明,所提出的方法提高了峰值信噪比和结构相似性指数值分别为2.45%和4%时,最近报道的数据相比。
2020-01-05 cs.CV cs.LG eess.IV
Training Vision-Language Models with Less Bimodal Supervision
Tel Aviv University(特拉维夫大学)
预训练多模态模型(例如视觉语言模型)的标准实践是依赖于来自两种模态的对齐输入对,例如对齐的图像-文本对。然而,在低资源设置中可能难以获得这样的对,并且对于一些模态对(例如,结构化表格和图像)。在这项工作中,我们调查了我们可以在多大程度上减少对这种并行数据的依赖,我们称之为\emph{bimodal supervision},并使用在每个模态上独立预训练的模型。我们实验了一个高性能的视觉语言模型,并分析了双峰监督对三个视觉语言任务的影响。我们发现,在更简单的任务,如VQAv 2和GQA,可以完全消除双峰监督,只遭受轻微的性能损失。相反,对于需要更复杂推理的NLVR 2,没有双峰监督的训练会导致随机性能。然而,仅使用5%的双峰数据(142 K图像及其标题),或以机器生成的标签列表的形式为每个图像利用弱监督,与使用3 M图像-文本对相比,仅导致适度的退化:$\rightarrow$ $\sim$ 70%。我们的代码可在https://github.com/eladsegal/less-bimodal-sup上获得。
2022-11-01 cs.CL cs.CV
Geometric Analysis of Self-Supervised Vision Representations for Semantic Image Retrieval
Universidad de Costa Rica(哥斯达黎加大学)
研究评估现代自监督学习方法在图像检索中的表现,发现高各向异性表示会损害基于分区和哈希的搜索性能,而更各向同性表示能提升语义检索效果。
2026-04-27 cs.CV cs.IR
Where are my Neighbors? Exploiting Patches Relations in Self-Supervised Vision Transformer
University of Padova(帕多瓦大学)
视觉Transformer(ViTs)支持在视觉任务中使用Transformer架构,在大数据集上训练时表现出令人印象深刻的性能。然而,在相对较小的数据集上,ViT由于缺乏归纳偏差而不太准确。为此,我们提出了一个简单但仍然有效的自监督学习(SSL)策略来训练ViTs,没有任何外部注释或外部数据,可以显着提高结果。具体来说,我们定义了一组SSL任务的基础上的关系的图像补丁,该模型必须解决之前或联合监督任务。从ViT继承,我们的RelViT模型优化了与图像块相关的Transformer编码器的所有输出令牌,从而在每个训练步骤中利用更多的训练信号。我们在几个图像基准上研究了我们的方法,发现RelViT大幅提高了SSL最先进的方法,特别是在小数据集上。代码可在:https://github.com/guglielmocamporese/relvit.
2022-10-13 cs.CV cs.LG
Self-Supervised Vision Transformers Learn Visual Concepts in Histopathology
Harvard Medical School(哈佛医学院);University of Toronto(多伦多大学)
组织表型分析是了解肿瘤免疫微环境中组织病理学生物标志物客观特征的基本任务。然而,全载玻片成像(WSI)是一种复杂的计算机视觉,其中:1)WSI具有巨大的图像分辨率,排除了数据整理中的大规模像素级工作,以及2)形态表型的多样性导致组织标记中的观察者间和观察者内变异性。为了解决这些限制,目前的努力已经提出使用预训练的图像编码器(来自ImageNet的迁移学习,自我监督预训练)从病理学中提取形态特征,但尚未得到广泛验证。在这项工作中,我们通过训练各种自监督模型,并在各种弱监督和补丁级任务上进行验证,来搜索病理学中的良好表示。我们的关键发现是发现使用基于DINO的知识蒸馏的视觉Transformer能够学习组织学图像中的数据高效和可解释的特征,其中不同的注意力头学习不同的形态表型。我们在https://github.com/Richarizardd/Self-Supervised-ViT-Path上公开提供评估代码和预训练权重。
2022-03-01 cs.CV q-bio.TO
Weakly-Supervised Image Forgery Localization via Vision-Language Collaborative Reasoning Framework
提出ViLaCo视觉-语言协同推理框架,利用预训练VLM蒸馏语义监督,仅用图像级标签实现像素级伪造定位,在多个数据集上达到最先进性能。
2025-08-02 cs.AI cs.CV
Is Multimodal Vision Supervision Beneficial to Language?
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Intel Labs(英特尔实验室)
本文通过对比多种图像-文本和视频-文本模型中视觉监督与普通预训练得到的语言表示,发现普通语言表示在多数自然语言理解与常识推理任务上表现更优,揭示了当前视觉-语言模型的不足。
2023-04-15 cs.AI cs.CL cs.CV
Weakly supervised one-stage vision and language disease detection using large scale pneumonia and pneumothorax studies
NVIDIA(英伟达);National Institute of Health Clinical Center(美国国立卫生研究院临床中心)
由于缺乏详细的标签,检测医学图像中的临床相关对象是一个挑战,尽管大型数据集。为了解决标签问题,我们利用场景级标签与检测架构,结合自然语言信息。我们提出了一个具有挑战性的新的放射科医生配对限界框和自然语言注释的公开MIMIC-CXR数据集,特别是集中在肺炎和气胸。除了数据集,我们还提出了一种联合视觉语言弱监督Transformer层选择的一阶段双头检测架构(LITERATI),以及与类激活映射(CAM),梯度CAM以及NIH ChestXray-14和MIMIC-CXR数据集上的相关实现的强基线比较。借鉴视觉语言架构的进步,LITERATI方法演示了联合图像和引用表达(使用自然语言在图像中定位的对象)输入,用于以纯粹的弱监督方式进行缩放的检测。架构修改解决了三个障碍-以弱监督的方式实现监督视觉和语言检测方法,将临床参考表达自然语言信息,并生成具有地图概率的高保真检测。然而,放射科医师注释的具有挑战性的临床性质,包括微妙的引用、多实例规范和相对冗长的基础医学报告,确保了大规模的视觉语言检测任务对于未来的研究仍然是刺激的。
2020-07-31 cs.CV cs.LG eess.IV
Perceiver: General Perception with Iterative Attention
DeepMind(深度思维)
生物系统通过同时处理来自视觉、听觉、触觉、本体感受等不同模态的高维输入来感知世界。另一方面,深度学习中使用的感知模型是为个体模态设计的,通常依赖于特定领域的假设,例如几乎所有现有视觉模型所利用的局部网格结构。这些先验引入了有益的归纳偏差,但也将模型锁定在个体模态上。在本文中,我们介绍了Perceiver -一个建立在Transformers基础上的模型,因此对其输入之间的关系做了一些架构假设,但也可以扩展到数十万个输入,如ConvNets。该模型利用不对称的注意力机制来迭代地将输入提取到紧密的潜在瓶颈中,从而使其能够扩展以处理非常大的输入。我们表明,这种架构在各种形式的分类任务上具有竞争力或优于强大的专业模型:图像,点云,音频,视频和视频+音频。Perceiver通过直接处理50,000个像素,在没有2D卷积的情况下获得了与ResNet-50和ImageNet上的ViT相当的性能。它在AudioSet的所有模式中也具有竞争力。
2021-06-23 cs.AI cs.CV cs.LG
Topology-Aware Representation Alignment for Semi-Supervised Vision-Language Learning
KAIST(韩国科学技术院);POSTECH
本文提出ToMA框架,通过持久同调识别拓扑显著边,利用跨模态对应关系对齐多模态表示,提升视觉-语言学习在遥感和时尚检索中的性能。
2026-10-15 cs.CV cs.LG math.AT
Uni-Mlip: Unified Self-supervision for Medical Vision Language Pre-training
Technology Innovation Institute(技术创新研究院)
本文提出统一自监督框架Uni-Mlip,通过整合跨模态、单模态和融合模态自监督并定制医学图像自监督策略,缓解医学多模态数据稀缺问题,在图像-文本检索、图像分类和视觉问答任务上显著超越现有方法。
2024-11-20 cs.AI cs.CL cs.CV
When are Diffusion Priors Helpful in Sparse Reconstruction? A Study with Sparse-view CT
Rice University(莱斯大学);The University of Texas MD Anderson Cancer Center(德克萨斯大学 MD 安德森癌症中心)
本研究通过稀疏视角CT脂肪定量实验,系统比较扩散先验与经典正则化先验,发现扩散先验在极少投影下能恢复更多细节但存在性能平台期和伪真实风险,揭示了其在临床稀疏重建中的潜在问题。
2025-02-04 cs.CV cs.LG eess.IV