CANVAS: A Benchmark for Vision-Language Models on Tool-Based User Interface Design
CANVAS是一个用于评估视觉-语言模型在基于工具的用户界面设计任务中性能的基准,通过复制和修改UI设计任务来测试模型的工具调用能力和设计质量。
2025-11-27 cs.AI cs.CL cs.CV
You Only Look at One Sequence: Rethinking Transformer in Vision through Object Detection
Huazhong University of Science & Technology(华中科技大学);Horizon Robotics(地平线机器人)
Transformer是否可以从纯粹的序列到序列的角度执行2D对象和区域级别的识别,而对2D空间结构的了解很少?为了回答这个问题,我们提出了你只看一个序列(YOLOS),一系列的目标检测模型的基础上香草视觉Transformer与尽可能少的修改,区域先验,以及目标任务的归纳偏见。我们发现,仅在中等规模的ImageNet-1 k数据集上预训练的YOLOS已经可以在具有挑战性的COCO目标检测基准上实现相当有竞争力的性能,例如,YOLOS-Base直接采用BERT-Base架构,可以在COCO val上获得42.0盒AP。我们还通过YOLOS讨论了当前预训练方案和视觉中Transformer的模型缩放策略的影响和局限性。代码和预训练模型可在https://github.com/hustvl/YOLOS上获得。
2021-10-27 cs.AI cs.CV cs.LG
OmniParser for Pure Vision Based GUI Agent
Microsoft Research(微软研究院);Microsoft Gen AI(微软生成式人工智能部门)
本文提出 OmniParser,通过可交互图标检测与语义描述模型将界面截图解析为结构化元素,从而显著提升 GPT-4V 等纯视觉 GUI 智能体的动作定位与执行能力。
2024-08-01 cs.AI cs.CL cs.CV
Vision Wormhole: Latent-Space Communication in Heterogeneous Multi-Agent Systems
Purdue University(普渡大学);Contextual AI(情境人工智能);Carnegie Mellon University(卡内基梅隆大学);Georgia Institute of Technology(佐治亚理工学院)
提出Vision Wormhole框架,通过通用视觉编解码器将推理轨迹映射到共享连续空间,实现异构VLM间的潜在状态传输,无需配对翻译器,降低对齐复杂度并提升效率。
2026-09-30 cs.CL cs.CV cs.LG
LAVIS: A Library for Language-Vision Intelligence
Salesforce Research(Salesforce研究院)
我们介绍LAVIS,一个开源的深度学习库,用于LANGUage-VISion研究和应用。LAVIS旨在成为一站式综合图书馆,为研究人员和从业人员提供语言视觉领域的最新进展,以及未来的研究和开发。它具有统一的界面,可以轻松访问最先进的图像语言,视频语言模型和常见的数据集。LAVIS支持各种任务的培训、评估和基准测试,包括多模态分类、检索、字幕、视觉问答、对话和预培训。同时,该库还具有高度的可扩展性和可配置性,便于未来的开发和定制。在这份技术报告中,我们描述了库的设计原则、关键组件和功能,并介绍了常见语言视觉任务的基准测试结果。该库可在https://github.com/salesforce/LAVIS上获得。
2022-09-15 cs.CL cs.CV cs.LG
DiD It in 87 Minutes: A Label-Free Softmax-to-Linear Adaptation of Vision Transformers for Object Detection
Institute of Advanced Intelligence and Computing (IAIC), A*STAR(先进智能与计算研究所(IAIC),新加坡科技研究局);Nanyang Technological University(南洋理工大学)
本研究提出无标签的DiD方法,通过对齐检测器接口张量,将Softmax注意力ViT主干转换为线性注意力主干,在DOTA-v1.5上性能优异且耗时短,能大幅降低检测的推理延迟与内存占用。
2026-08-26 cs.CV cs.LG
Similarity Is Not Logic: Factored Inference for Dual-Encoder Vision-Language Models
研究双编码器视觉语言模型组合约束失效问题,提出因式推理,将证据提取与约束执行分离,引入LCSE方法,在FACTOR-Bench上实验,提升了准确率并保持检索性能。
2026-07-28 cs.CL cs.CV cs.LG
SpanCalib-VLM: Calibrated Hallucination Span Detection in Vision-Language Models
Shaggar Institute of Technology(沙加尔理工学院);Trinity College Dublin(都柏林圣三一学院)
本文提出SpanCalib-VLM混合双系统,结合多模态序列标注器与微调生成式VLM,经联合校准融合策略优化,在SHROOM-Visions任务上实现幻觉跨度的高效校准检测,公开了模型权重与代码。
2026-10-21 cs.CL cs.CV
Learning to Detect UI Principle Violations via Reinforcement Learning
University of California, Santa Cruz(加州大学圣克鲁兹分校);Carnegie Mellon University(卡内基梅隆大学)
研究小型语言模型和编码代理生成的网页前端代码违反界面质量原则的问题,通过统一多来源的界面质量原则,构建数据集并利用强化学习训练轻量级视觉语言模型作为评判器,提升检测效果并发布相关方法支持评估和后续工作。
2026-08-06 cs.CL
From Pixels to Hierarchical Sequences: Quadtree Mask Encoding for Vision-Language Binary Change Detection
Wuhan University(武汉大学);Peking University(北京大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
提出QUAKE-CD框架,将二值变化掩码编码为语法约束的四叉树令牌序列,结合思维链与双奖励强化学习,在QUAKE-CoT上取得78.31%累积F1,优于现有方法。
2026-09-10 cs.CV
Interactive Interface For Semantic Segmentation Dataset Synthesis
University of Science(理大学);Vietnam National University(越南国家大学);University of Dayton(代顿大学)
本文提出SynthLab平台,通过模块化架构和交互式界面,简化语义分割数据集的合成过程,提升灵活性和可访问性。
2026-04-11 cs.CV
Patch n' Pack: NaViT, a Vision Transformer for any Aspect Ratio and Resolution
Google DeepMind(谷歌DeepMind)
本文提出 NaViT,通过训练时序列打包支持任意分辨率与宽高比,提升预训练效率、下游迁移表现及测试时成本-性能权衡灵活性。
2023-07-12 cs.AI cs.CV cs.LG
GeoBridge: Evolving Transferable Decoder Topologies for Geometric Vision
The Hong Kong Polytechnic University(香港理工大学)
GeoBridge是一种演化框架,通过搜索可迁移解码器拓扑结构,在深度估计、高斯重建等几何视觉任务中实现复用,其衍生的GeoBridgeNet-A3在多个基准数据集上取得优异性能。
2026-10-20 cs.AI cs.CV
UFO: A Unified Approach to Fine-grained Visual Perception via Open-ended Language Interface
Center for Data Science, Peking University(北京大学数据科学中心);Alibaba Group(阿里巴巴集团);CASIA;Center for Machine Learning Research, Peking University(北京大学机器学习研究中心);State Key Laboratory of General Artificial Intelligence, Peking University(北京大学通用人工智能国家重点实验室)
针对细粒度视觉感知任务难整合到通用模型的问题,提出UFO框架,通过开放式语言接口统一多类感知任务,性能优于现有通用模型,还可与MLLMs无缝结合实现推理分割等任务。
2025-09-30 cs.CV
P2T: Pyramid Pooling Transformer for Scene Understanding
Nankai University(南开大学);Institute for Infocomm Research (I2R), Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局资讯通信研究院);Alibaba DAMO Academy(阿里巴巴达摩院)
最近,视觉Transformer通过推动各种视觉任务的最新技术,取得了巨大的成功。视觉Transformer中最具挑战性的问题之一是图像令牌的大序列长度导致高计算成本(二次复杂度)。这个问题的一个流行的解决方案是使用单个池操作来减少序列长度。本文考虑如何改进现有的视觉Transformer,其中通过单个池化操作提取的池化特征似乎不太强大。为此,我们注意到,金字塔池已被证明是有效的各种视觉任务,由于其强大的能力,在上下文抽象。然而,金字塔池尚未在骨干网设计中进行探索。为了弥补这一差距,我们建议在视觉Transformer中将金字塔池化适应多头自注意力(MHSA),同时减少序列长度并捕获强大的上下文特征。插入基于池的MHSA,我们构建了一个通用的视觉Transformer主干,称为金字塔池Transformer(P2T)。大量的实验表明,当应用P2T作为骨干网络时,与以前的CNN和基于transformer的网络相比,它在各种视觉任务(如图像分类,语义分割,目标检测和实例分割)中显示出巨大的优越性。该代码将在https://github.com/yuhuan-wu/P2T上发布。
2022-08-31 cs.CV
Florence-2: Advancing a Unified Representation for a Variety of Vision Tasks
Microsoft(微软)
Florence-2是一种采用统一提示表示和序列到序列结构的视觉基础模型,通过大规模数据集FLD-5B训练,支持多种视觉任务,展现出强大的零样本和微调能力。
2023-11-10 cs.CV
Sketch2code: Generating a website from a paper mockup
University of Bristol(布里斯托大学)
开发面向用户的应用程序的早期阶段是创建线框来布局界面。一旦线框图被创建,它就被交给开发人员在代码中实现。开发样板用户界面代码是一项耗时的工作,但仍然需要有经验的开发人员。在这篇论文中,我们提出了两种方法,自动化这个过程中,一个使用经典的计算机视觉技术,另一个使用深度语义分割网络的新应用。我们发布了一个网站数据集,可用于训练和评估这些方法。此外,我们设计了一个新的评估框架,允许通过创建合成草图进行经验评估。我们的评估表明,我们的深度学习方法优于我们的经典计算机视觉方法,我们得出结论,深度学习是未来研究的最有前途的方向。
2019-05-09 cs.CV
GlobalMamba: Global Image Serialization for Vision Mamba
Tsinghua University(清华大学);UC Berkeley(加州大学伯克利分校)
针对现有 Vision Mamba 忽略图像 2D 结构且难以提取全局信息的问题,提出全局图像序列化方法 GlobalMamba,利用 DCT 将图像转换为包含全局信息的因果 token 序列,在图像分类、目标检测和语义分割任务上验证了其有效性。
2024-10-14 cs.CV
VESICLE: Volumetric Evaluation of Synaptic Interfaces using Computer vision at Large Scale
Johns Hopkins University(约翰斯·霍普金斯大学);JHU Applied Physics Laboratory(约翰斯·霍普金斯大学应用物理实验室);Harvard University(哈佛大学)
现代神经科学前沿的一个开放性挑战问题是获得人类大脑功能基础的神经通路的全面映射;对大脑接线图的增强理解有望在诊断和治疗神经系统疾病方面取得新的突破。从图像数据(例如通过电子显微镜(EM)获得的图像数据)推断大脑结构需要解决在大数据量中识别生物结构的问题。突触是大脑中的关键通信结构,由于其尺寸小且对比度有限而特别难以检测。在自动化突触检测之前的工作依赖于时间密集的生物制剂(染色后,各向同性切片厚度),以简化问题。本文介绍了VESICLE,第一个已知的方法设计用于哺乳动物突触检测各向异性,非后染色数据。我们的方法明确地利用生物背景,结果在准确性和可扩展性方面超过了现有的突触检测方法。我们提供了两种不同的方法-一种是深度学习分类器(VESICLE-CNN),另一种是轻量级随机森林方法(VESICLE-RF),以提供性能可扩展性空间中的替代方案。解决这一突触检测挑战,使高通量成像数据的分析很快有望达到PB级的数据,并提供更快速的估计脑图的工具。最后,为了促进社区的努力,我们开发了用于大规模目标检测的工具,并演示了这个框架在60,000个$μm ^3$(磁盘上有220 GB)电子显微镜数据中找到$\approx$ 50,000个突触。
2015-09-07 cs.CE cs.CV q-bio.QM
MiniGPT-v2: large language model as a unified interface for vision-language multi-task learning
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);Meta AI Research(Meta AI研究院)
本研究针对单模型难以通过简单多模态指令高效完成多样视觉语言任务的问题,提出带任务唯一标识符的MiniGPT-v2模型,经三阶段训练后在多项基准上性能优于同类通用模型。
2023-11-07 cs.CV
InstructDiffusion: A Generalist Modeling Interface for Vision Tasks
Microsoft Research Asia(微软亚洲研究院)
提出InstructDiffusion框架,通过扩散过程将视觉任务转化为基于人类指令的像素预测,统一处理理解与生成任务,展现强泛化能力。
2023-09-07 cs.CV
Transferable Representation Learning in Vision-and-Language Navigation
Google Research(谷歌研究院)
视觉和语言导航(VLN)任务,如房间到房间(R2R),需要机器代理解释自然语言指令,并学习在视觉上逼真的环境中行动,以实现导航目标。整体任务需要在几个感知问题的能力:成功的代理结合时空,视觉和语言理解,以产生适当的动作序列。我们的方法将预先训练的视觉和语言表示适应相关的域内任务,使它们对VLN更有效。具体地,所述表示适于解决跨模态序列比对和序列一致性任务。在序列对齐任务中,模型确定指令是否对应于视觉帧序列。在序列一致性任务中,模型确定感知序列在以预防为条件的潜在空间中是否具有预测性。通过转移域适应的表示,我们提高竞争力的代理在R2R衡量的成功率加权路径长度(SPL)度量。
2019-08-12 cs.CL cs.CV cs.LG
Designing, Playing, and Performing with a Vision-based Mouth Interface
ATR Media Information Science Labs(ATR媒体信息科学实验室);RWTH Aachen University(亚琛工业大学);McGill University(麦吉尔大学)
面部和嘴巴在言语产生以及非语言交流中的作用表明面部动作可以控制音乐声音。在这里,我们的文件工作的mouthesizer,一个系统,它使用一个头戴式微型摄像机和计算机视觉算法,以提取形状参数的嘴开口和输出这些作为MIDI控制的变化。我们报告我们的经验与各种手势到声音的映射和音乐的应用,并描述了现场表演,使用Mouthesizer接口。
2020-10-07 cs.CV cs.HC cs.SD
GraSP-VL: Length as a Semantic Granularity Interface for Vision-Language Representations
University of the Chinese Academy of Sciences(中国科学院大学)
本文研究如何将嵌入长度转化为可控的语义访问接口,提出GraSP-VL方法,通过学习共享的近正交前缀变换,实现视觉-语言嵌入的语义层次递进接口,并在多个数据集上验证了其有效性。
2026-08-31 cs.CV
Sequence Length Scaling in Vision Transformers for Scientific Images on Frontier
Oak Ridge National Laboratory(橡树岭国家实验室);Indiana University Bloomington(印第安纳大学伯明顿分校);RIKEN Center for Computational Science(理化学研究所计算科学中心)
本研究提出面向ViT的分布式序列并行方法,支持百万级令牌,在2048块GPU上实现94%扩展效率,并将气候温度预测精度提升20%。
2024-04-17 cs.CV cs.LG
Non-autoregressive Sequence-to-Sequence Vision-Language Models
AWS AI Labs(AWS AI实验室)
针对自回归视觉-语言模型推理延迟高的问题,提出基于 Query-CTC 损失和并行解码的 NARVL,以联合 token 分布建模实现恒定时间推理,并保持与最先进自回归模型相当的性能。
2025-03-13 cs.AI cs.CV
FOVI: A biologically-inspired foveated interface for deep vision models
harvard(哈佛大学);nvidia
受人类视觉系统启发,提出基于视网膜和V1的中央凹接口FOVI,通过kNN卷积和低秩适应实现高效变分辨率视觉处理,在减少像素和计算成本的同时保持竞争力。
2026-05-29 cs.CV cs.NE q-bio.NC
SPECTRA-VLA: Base-Fine Hyperspectral Token Transfer at Frozen Vision-Language-Action Interfaces
National Yang Ming Chiao Tung University(国立阳明交通大学)
SPECTRA-VLA在不重训VLA模型的视觉编码器和动作解码器的情况下,通过自身归一化伪彩色参考的连续残差实现高光谱升级,提升了高光谱物体识别的准确率与探针复用效果。
2026-10-14 cs.CV
Certified Interface Aliases: Exact Collisions in Vision-Language Preprocessing, and When They Exist
提出AliasForge,通过定点重采样构造视觉-语言预处理中的精确碰撞,证明验证器无法区分相反标签的图像,并给出存在性准则与认证结果。
2026-09-29 cs.CV
GiT: Towards Generalist Vision Transformer through Universal Language Interface
Peking University(北京大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));ETH Zurich(苏黎世联邦理工学院)
本文提出GiT,一种仅用普通ViT和通用语言接口统一多种视觉任务的通用视觉Transformer,在五个基准上联合训练并取得领先性能,缩小了视觉与语言的架构差距。
2024-03-14 cs.CV
Masked AutoDecoder is Effective Multi-Task Vision Generalist
S-Lab, Nanyang Technological University(南洋理工大学S-Lab);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Sensetime Research(商汤科技研究院);College of Computer Science and Technology, Zhejiang University of Technology(浙江工业大学计算机科学与技术学院)
针对自回归Transformer在视觉任务序列预测中的不足,提出掩码自动解码器(MAD),采用并行解码与掩码序列建模统一多视觉任务,性能优于自回归方法且与任务特定模型相当。
2024-03-14 cs.CV
Survey on the attention based RNN model and its applications in computer vision
Delft University of Technology(代尔夫特理工大学)
递归神经网络(RNN)可以用来解决输入和输出都具有序列结构的序列到序列问题。通常,结构之间存在一些隐含的关系。然而,普通的RNN模型很难充分挖掘序列之间的关系。在本次调查中,我们介绍了一些基于注意力的RNN模型,这些模型可以关注每个输出项的输入的不同部分,以便探索和利用输入和输出项之间的隐含关系。详细描述了不同的注意力机制。然后,我们介绍了一些应用在计算机视觉,应用基于注意力的RNN模型。实验结果表明了基于注意力的RNN模型的优越性。最后指出了今后的研究方向。
2016-01-25 cs.CV cs.LG
GeoFormer: A Vision and Sequence Transformer-based Approach for Greenhouse Gas Monitoring
FermionAI(费米子人工智能公司)
提出GeoFormer模型,结合视觉与时间序列Transformer,利用Sentinel-5P卫星图像预测地表NO2浓度,在自建数据集上取得高精度(MAE 5.65),助力温室气体监测与气候监管。
2024-02-11 cs.CV cs.LG
Pointing-VLA: Typed Spatial Grounding Interfaces for Vision-Language-Action Manipulation
Pointing-VLA是基于Embodied-R1的类型化空间读出接口,可提升VLA模型的机器人操控性能,在多任务评估中实现SOTA表现,还能高效迁移至其他机器人系统并提升真实机器人自主成功率。
2026-08-25 cs.AI cs.CV cs.RO
Long-Short Transformer: Efficient Transformers for Language and Vision
NVIDIA(英伟达);Arizona State University(亚利桑那州立大学);California Institute of Technology(加州理工学院);University of Maryland, College Park(马里兰大学学院市分校)
Transformers在语言和视觉领域都取得了成功。然而,将它们缩放到长序列(诸如长文档或高分辨率图像)是极其昂贵的,因为自注意力机制具有关于输入序列长度的二次时间和存储器复杂度。在本文中,我们提出了长-短Transformer(transformer-LS),一个有效的自我注意力机制建模长序列的线性复杂度的语言和视觉任务。它聚合了一种新的具有动态投影的长距离注意力来模拟远距离相关性,并聚合了一种短期注意力来捕获细粒度的局部相关性。我们提出了一个双重标准化策略来解释两个注意力机制之间的规模失配。transformer-LS可以应用于自回归和双向模型,而不会增加复杂性。我们的方法在语言和视觉领域的多个任务上优于最先进的模型,包括长距离Arena基准测试,自回归语言建模和ImageNet分类。例如,Transformer-LS在enwik 8上实现了0.97的测试BPC,使用的参数数量比以前的方法少了一半,同时速度更快,并且能够处理3倍于相同硬件上的全注意力版本的长序列。在ImageNet上,它可以获得最先进的结果(例如,仅在224 x224 ImageNet-1 K上训练的中等大小的55.8M模型可以获得Top-1准确率(84.1%),同时在高分辨率图像上更具可扩展性。源代码和模型在https://github.com/NVIDIA/transformer-ls上发布。
2021-12-07 cs.CL cs.CV cs.LG
REOrdering Patches Improves Vision Models
University of Pittsburgh(匹兹堡大学);University of California, Berkeley(加州大学伯克利分校)
诸如Transformers之类的序列模型要求输入被表示为一维序列。在视觉中,这通常涉及使用固定的行为主(光栅扫描)顺序来平整图像。虽然完全的自我注意是置换等变的,但现代长序列Transformers越来越依赖于打破这种不变性并引入对补丁排序敏感性的架构近似。我们表明,补丁顺序显着影响模型的性能,在这样的设置,与简单的替代品,如列主要或希尔伯特曲线产生显着的准确性变化。出于这一动机,我们提出了REOrder,一个两阶段的框架,发现任务最优的补丁排序。首先,我们通过评估各种补丁序列的可压缩性来获得信息理论先验。然后,我们通过使用REINFORCE优化Plackett-Luce策略来学习置换策略。这种方法能够在组合置换空间中进行有效的学习。在ImageNet-1 K上,REOrder将行优先排序的前1精度提高了3.01%,将Functional Map of the World提高了13.35%。
2025-10-23 cs.AI cs.CV cs.LG
Do Vision-Language Models Agree on the Affective Qualities of Shape? A Cross-Model Audit for Generative Design Interfaces
Honda Research Institute Europe GmbH(本田欧洲研究院);Julius-Maximilians-Universität Würzburg(维尔茨堡大学)
本研究审计6个VLM对ShapeNet中10类3D物体的情感特质一致性,发现其一致性介于零基准与几何上限之间,据此实现UI原型指导生成式设计界面的语义控制选择。
2026-09-09 cs.CV cs.HC
A Lightweight Vision-Language Fusion Framework for Predicting App Ratings from User Interfaces and Metadata
Department of Computer Science, American International University–Bangladesh(计算机科学系,美国国际大学-孟加拉)
本文提出了一种轻量级视觉-语言融合框架,通过结合UI和语义信息预测应用评分,实现了高精度的预测效果。
2026-10-08 cs.CV
Learning Compact Vision Tokens for Efficient Large Multimodal Models
Central South University(中南大学)
本文提出 STF 空间 Token 融合与 MBTF 多块 Token 融合模块,在保留多粒度信息的同时将 LLaVA-1.5 的视觉 token 压缩至 25%,并在 8 个基准上保持或提升性能。
2025-06-08 cs.AI cs.CL cs.CV
Scaling Up Computer Vision Neural Networks Using Fast Fourier Transform
Ahmedabad University(艾哈迈达巴德大学)
基于深度学习的计算机视觉领域最近一直在尝试探索更大的卷积核,以有效地扩大卷积神经网络。同时,诸如视觉Transformer的模型的新范例发现,由于它们在输入序列方面的二次复杂性,难以按比例放大到更大的更高分辨率的图像。在本报告中,快速傅立叶变换以各种方式用于提供这些问题的一些解决方案。
2023-02-02 cs.CV cs.LG
Sequencer: Deep LSTM for Image Classification
Rikkyo University(立教大学);AnyTech Co., Ltd.(AnyTech有限公司)
在最近的计算机视觉研究中,视觉Transformer(ViT)的出现迅速改变了各种架构设计工作:ViT使用自然语言处理中的自注意力实现了最先进的图像分类性能,MLP-Mixer使用简单的多层感知器实现了具有竞争力的性能。相比之下,一些研究还表明,精心设计的卷积神经网络(CNN)可以在不诉诸这些新想法的情况下实现与ViT相当的高级性能。在此背景下,人们越来越关注什么样的电感偏置适合于计算机视觉。在这里,我们提出了Sequencer,一种新颖的和有竞争力的架构替代ViT,提供了一个新的视角对这些问题。与ViT不同,Sequencer使用LSTM而不是自我注意层来建模长期依赖关系。我们还提出了一个二维版本的Sequencer模块,其中LSTM被分解为垂直和水平LSTM以提高性能。尽管它很简单,但几个实验证明Sequencer的表现令人印象深刻:Sequencer 2D-L,具有54 M参数,仅在ImageNet-1 K上就实现了84.6%的top-1准确率。不仅如此,我们还证明了它具有良好的可移植性和双分辨率下的鲁棒分辨率适应性。
2023-01-12 cs.AI cs.CV cs.LG
CrACK: Adversarial Attacks on Cross-Model Consistency in Collaborative Vision Foundation Models
South China Normal University(华南师范大学);Hong Kong University of Science and Technology(香港科技大学);University of Macau(澳门大学)
提出CrACK攻击,利用协作视觉基础模型间未验证语义一致性的接口,通过两阶段方法在推理时破坏跨模态亲和矩阵和操纵预测,导致系统性能灾难性退化,证明模型间接口必须视为安全边界。
2026-09-09 cs.CV
CloudifierNet -- Deep Vision Models for Artificial Image Processing
University “Politehnica” Bucharest(布加勒斯特理工大学)
如今,越来越多的人需要在基于云的基础设施上在线访问以前或当前技术开发的大多数应用程序和文档。这就是为什么使用现代人工智能技术将遗留系统(包括其文档主机)迁移到新技术和在线基础设施是绝对必要的。随着人工智能和深度学习及其众多应用的发展,一个新的研究领域正在出现-自动化系统开发和维护。导致本文的基本工作目标是研究和开发真正的智能系统,能够分析来自各种来源的用户界面,并生成从架构分析到实际代码生成的真实和可用的推论。这种系统的一个关键要素是基于深度学习计算机视觉系统的人工场景检测和分析。计算机视觉模型,特别是基于卷积模块的深度有向无环图,通常基于自然图像数据集来构建和训练。由于这一事实,模型将在训练过程中开发自然图像特征检测器,而不是学习基本原始特征的基本图模块。在本文中,我们将介绍应用于人工场景(由用户界面或类似物生成的场景)的计算机视觉深度神经管道的基本原理。最后,我们将根据实验开发和对最先进的迁移学习实现的深度视觉模型进行基准测试来得出结论。
2020-07-28 cs.CV cs.LG eess.IV
Cable Slack Detection for Arresting Gear Application using Machine Vision
本文提出一种基于机器视觉的阻拦装置线缆松弛检测系统,利用态势感知摄像头采集视频,结合多种图像处理算法准确识别线缆松弛并提示维护,有效降低误报率。
2023-12-04 cs.CV
RIPE-MambaSpike: Resolution-Independent Spiking-State-Space Interfaces for Parameter-Efficient Event-Based Vision
提出分辨率无关参数高效的RIPE-MambaSpike,以固定通道宽度的分层多分辨率桥接替代高成本投影,在紧凑参数下保持精度,并在多个事件视觉基准上达到最优。
2026-11-03 cs.CV cs.NE
BU-CVKit: Extendable Computer Vision Framework for Species Independent Tracking and Analysis
Boston University(波士顿大学)
本文提出可扩展计算机视觉框架BU-CVKit,通过可链式Processor与插件机制促进模型复用,并配套MuSeqPose Kit支持姿态估计及行为神经科学研究流水线。
2023-06-07 cs.CV
Foveated Probes Recover Localized Binding Information in Vision Foundation Models
该研究通过对比全局读出、凹点读出和神谕读出,发现冻结视觉基础模型的空间盲性源于全局嵌入界面,而非 patch 标记缺乏空间信息,凹点读出可有效恢复局部绑定信息。
2026-08-04 cs.CV
CloudCV: Large Scale Distributed Computer Vision as a Cloud Service
Virginia Tech(弗吉尼亚理工大学);Imperial College London(帝国理工学院)
我们正在目睹大量视觉数据的扩散。不幸的是,将现有的计算机视觉算法扩展到大型数据集会让研究人员反复解决相同的算法,物流和基础设施问题。我们的目标是使计算机视觉民主化;人们不应该成为计算机视觉、大数据和分布式计算专家,才能访问最先进的分布式计算机视觉算法。我们提出了CloudCV,一个全面的系统,通过Web接口和API提供对最先进的分布式计算机视觉算法的访问,作为云服务。
2017-02-13 cs.CV cs.DC
HUE Dataset: High-Resolution Event and Frame Sequences for Low-Light Vision
Hacettepe University(哈杰泰佩大学);HAVELSAN Inc.(哈维桑公司);Koç University(科克大学)
本文构建包含106个高分辨率事件与帧序列的 HUE 数据集,覆盖多类低光场景,并系统评估低光增强、事件重建及下游检测方法。
2024-10-24 cs.CV
Knee3DVLM: Dual-Sequence Full-Volume Vision-Language Modeling for Comprehensive Knee MRI Assessment
Cleveland Clinic(克利夫兰诊所);Cleveland State University(克利夫兰州立大学);Case Western Reserve University(凯斯西储大学);Kent State University(肯特州立大学)
提出Knee3DVLM,一种利用DESS和TSE双序列全容积MRI的视觉-语言模型,预测57个MOAKS诊断目标,在1,074例队列中实现最高性能,支持全面膝关节评估。
2026-10-08 cs.AI cs.CV
Separators in Enhancing Autoregressive Pretraining for Vision Mamba
Huazhong University of Science and Technology(华中科技大学)
本文提出STAR方法,通过引入分隔符技术扩展视觉Mamba的输入序列长度,提升其在ImageNet-1k上的准确率至83.5%
2026-09-23 cs.AI cs.CV
Yanyun-3: Enabling Cross-Platform Strategy Game Operation with Vision-Language Models
Nanjing University of Science and Technology(南京理工大学);Nanjing University(南京大学)
Yanyun-3通过整合视觉-语言模型和结构化多模态数据组织,实现了跨平台战略游戏操作的自动化,提升了任务执行效率和泛化能力。
2025-11-24 cs.AI cs.CV
Vision Augmentation Prediction Autoencoder with Attention Design (VAPAAD)
University of Chicago, Booth School of Business(芝加哥大学布斯商学院);Columbia University(哥伦比亚大学)
针对现有序列预测模型忽视注意力机制在未来帧预测中作用的问题,本研究提出整合注意力机制的VAPAAD模型,结合数据增强、ConvLSTM2D与定制自注意力,在Moving MNIST数据集上表现优于传统方法,提升了视频预测精度。
2024-04-17 cs.AI cs.CV
RISE: Roadside Infrastructure Sequence Understanding across 3D Tracking and Structured Vision-Language Reasoning
本研究提出RISE框架,结合仅图像的三维跟踪方法与结构化视觉-语言推理,构建含33910个问答对的RISE-VQA数据集,通过RISE-Bench评估任务,揭示相关挑战并验证域自适应与时间上下文的益处。
2026-08-18 cs.AI cs.CV