Text-Printed Image: Bridging the Image-Text Modality Gap for Text-centric Training of Large Vision-Language Models
Turing Inc.(图灵公司);Institute of Science Tokyo(东京科学研究院);The University of Tokyo(东京大学);Tohoku University(东北大学)
本研究提出文本打印图像(TPI)技术,通过生成合成图像弥合图像-文本模态差距,提升以文本为中心的大型视觉-语言模型训练效果。
2025-12-03 cs.AI cs.CL cs.CV
Clarification as Supervision: Reinforcement Learning for Vision-Language Interfaces
ILLC, University of Amsterdam(伊拉斯谟范例学院、阿姆斯特丹大学);ILCC, University of Edinburgh(爱丁堡大学)
针对视觉-语言模型生成的字幕遗漏推理关键细节导致的接口不匹配问题,提出自适应澄清强化学习AC-RL,以澄清请求为隐式监督,通过交互训练模型生成全面初始字幕,在7个视觉数学推理基准上准确率提升4.4个百分点,且可减少最多39%的澄清请求。
2025-09-30 cs.CL cs.CV cs.LG
Discrete Diffusion Language Models for Interactive Radiology Report Drafting
Stanford University School of Medicine(斯坦福大学医学院);Ghent University(根特大学);Stanford University(斯坦福大学)
提出将离散扩散语言模型用于放射报告草稿生成,利用其任意顺序填充能力实现交互式编辑,在医学VQA任务上达到或超越自回归模型,解码速度快3.5-4.4倍。
2026-07-03 cs.AI cs.LG
MiniGPT-v2: large language model as a unified interface for vision-language multi-task learning
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);Meta AI Research(Meta AI研究院)
本研究针对单模型难以通过简单多模态指令高效完成多样视觉语言任务的问题,提出带任务唯一标识符的MiniGPT-v2模型,经三阶段训练后在多项基准上性能优于同类通用模型。
2023-11-07 cs.CV
Free the Language Model From the Vision Encoder: Semantic Serialization as a Perception Interface for Small Language Models
University of South Florida(南佛罗里达大学)
本研究提出语义序列化感知接口,将视觉信息转为文本供小语言模型问答,在机器人基准上优于同规模零样本VLM,且优势随模型缩小而增强。
2026-09-25 cs.CL cs.CV cs.RO
OmniParser for Pure Vision Based GUI Agent
Microsoft Research(微软研究院);Microsoft Gen AI(微软生成式人工智能部门)
本文提出 OmniParser,通过可交互图标检测与语义描述模型将界面截图解析为结构化元素,从而显著提升 GPT-4V 等纯视觉 GUI 智能体的动作定位与执行能力。
2024-08-01 cs.AI cs.CL cs.CV
Beyond Static Charts: Can Language and Vision Language Models Generate Interactive Data Visualization Interfaces?
York University(约克大学)
针对语言模型和视觉语言模型生成交互式数据可视化界面的能力缺乏评估的问题,提出VIS-GEN基准,含3042个样本,测试14个模型,发现性能差距大,并设计多阶段生成框架,将最佳模型通过率提升15.9个百分点。
2026-09-23 cs.CL
GraSP-VL: Length as a Semantic Granularity Interface for Vision-Language Representations
University of the Chinese Academy of Sciences(中国科学院大学)
本文研究如何将嵌入长度转化为可控的语义访问接口,提出GraSP-VL方法,通过学习共享的近正交前缀变换,实现视觉-语言嵌入的语义层次递进接口,并在多个数据集上验证了其有效性。
2026-08-31 cs.CV
Yanyun-3: Enabling Cross-Platform Strategy Game Operation with Vision-Language Models
Nanjing University of Science and Technology(南京理工大学);Nanjing University(南京大学)
Yanyun-3通过整合视觉-语言模型和结构化多模态数据组织,实现了跨平台战略游戏操作的自动化,提升了任务执行效率和泛化能力。
2025-11-24 cs.AI cs.CV
GUIDE: Graphical User Interface Data for Execution
SuperAGI Research(SuperAGI研究院)
本文提出面向RPA的GUI多模态数据集GUIDE,覆盖多网站与多平台并含动作定位标注,还据此构建自动化模型V-Zen。
2024-10-27 cs.AI cs.HC
Adapting Vision-Language Models for Human-Readable XAI in Industrial Object Detection
Mercedes-Benz AG(梅赛德斯-奔驰股份公司);University of Stuttgart(斯图加特大学)
针对工业目标检测中现有XAI方法对非专家用户不友好的问题,提出基于微调视觉-语言模型的解释界面,在专有及公开数据集上较GPT 4o-mini显著提升解释清晰度与上下文感知,增强了AI解释的可访问性。
2026-09-29 cs.AI cs.CV
CanViT: Toward Active-Vision Foundation Models
McGill University(麦吉尔大学);Mila - Quebec AI Institute(魁北克人工智能研究院);Université Laval(拉瓦尔大学)
CanViT是首个任务和策略无关的主动视觉基础模型,通过场景相对RoPE结合视图Transformer和场景-wide潜在工作空间,提出Canvas Attention机制,实现高效推理和高分辨率扩展,并在ADE20K和ImageNet-1k上取得新突破。
2026-11-13 cs.CV
Vision Wormhole: Latent-Space Communication in Heterogeneous Multi-Agent Systems
Purdue University(普渡大学);Contextual AI(情境人工智能);Carnegie Mellon University(卡内基梅隆大学);Georgia Institute of Technology(佐治亚理工学院)
提出Vision Wormhole框架,通过通用视觉编解码器将推理轨迹映射到共享连续空间,实现异构VLM间的潜在状态传输,无需配对翻译器,降低对齐复杂度并提升效率。
2026-09-30 cs.CL cs.CV cs.LG
Do Vision-Language Models Agree on the Affective Qualities of Shape? A Cross-Model Audit for Generative Design Interfaces
Honda Research Institute Europe GmbH(本田欧洲研究院);Julius-Maximilians-Universität Würzburg(维尔茨堡大学)
本研究审计6个VLM对ShapeNet中10类3D物体的情感特质一致性,发现其一致性介于零基准与几何上限之间,据此实现UI原型指导生成式设计界面的语义控制选择。
2026-09-09 cs.CV cs.HC
Learning to Detect UI Principle Violations via Reinforcement Learning
University of California, Santa Cruz(加州大学圣克鲁兹分校);Carnegie Mellon University(卡内基梅隆大学)
研究小型语言模型和编码代理生成的网页前端代码违反界面质量原则的问题,通过统一多来源的界面质量原则,构建数据集并利用强化学习训练轻量级视觉语言模型作为评判器,提升检测效果并发布相关方法支持评估和后续工作。
2026-08-06 cs.CL
Temporal-Oriented Recipe for Transferring Large Vision-Language Model to Video Understanding
National University of Singapore(新加坡国立大学);Nanyang Technological University(南洋理工大学)
本研究针对大型视觉-语言模型(LVLMs)视频理解潜力受限的问题,通过实证发现视觉编码器与大语言模型的中间接口是时序理解关键,提出含时序训练策略与升级接口的面向时序方案,显著提升了模型在标准视频理解任务上的表现。
2025-05-19 cs.CV
LAVIS: A Library for Language-Vision Intelligence
Salesforce Research(Salesforce研究院)
我们介绍LAVIS,一个开源的深度学习库,用于LANGUage-VISion研究和应用。LAVIS旨在成为一站式综合图书馆,为研究人员和从业人员提供语言视觉领域的最新进展,以及未来的研究和开发。它具有统一的界面,可以轻松访问最先进的图像语言,视频语言模型和常见的数据集。LAVIS支持各种任务的培训、评估和基准测试,包括多模态分类、检索、字幕、视觉问答、对话和预培训。同时,该库还具有高度的可扩展性和可配置性,便于未来的开发和定制。在这份技术报告中,我们描述了库的设计原则、关键组件和功能,并介绍了常见语言视觉任务的基准测试结果。该库可在https://github.com/salesforce/LAVIS上获得。
2022-09-15 cs.CL cs.CV cs.LG
Similarity Is Not Logic: Factored Inference for Dual-Encoder Vision-Language Models
研究双编码器视觉语言模型组合约束失效问题,提出因式推理,将证据提取与约束执行分离,引入LCSE方法,在FACTOR-Bench上实验,提升了准确率并保持检索性能。
2026-07-28 cs.CL cs.CV cs.LG
Multimodal LLMs Can Learn to Read Brain Signals: A Vision--Language Model for Unified Multi-Task EEG Decoding
University of Southern California(南加州大学)
本文提出BraVista,一种将多通道脑电图信号编码为结构化图像并利用指令条件化视觉-语言模型进行多任务学习的框架,在睡眠分期、情绪识别等四个数据集上表现优异,验证了结构化视觉表示作为神经信号与基础模型接口的有效性。
2026-10-08 cs.AI cs.CV cs.LG
VASCAR: Content-Aware Layout Generation via Visual-Aware Self-Correction
D3 Center, Osaka University(大阪大学D3中心);LY Corporation(LY公司)
本文提出无需训练的VASCAR方法,通过让大型视觉语言模型参照渲染布局图像进行视觉感知自校正,解决了LLMs无法感知图像导致的内容感知布局生成局限,并在GPT-4o和Gemini上取得SOTA效果。
2025-03-11 cs.CV
OmniMoE-VL: A Sparse Vision-Language Model with Coupled Visual-Depth Routing
OmniMoE-VL通过耦合视觉-深度路由投影器,为每个图像-提示对选择稀疏中间视觉深度,实现问题依赖的视觉访问,在八个基准上以28B总参数和9B激活参数达到85.9平均分,验证了耦合与条件化视觉访问的有效性。
2026-09-29 cs.CV cs.LG
R-VLM: Region-Aware Vision Language Model for Precise GUI Grounding
KAIST(韩国科学技术院);AWS AI Labs(亚马逊人工智能实验室)
R-VLM通过放大区域提议和IoU感知目标函数,提升GUI元素定位精度,在多个基准上实现13%的定位精度提升和3.2-9.7%的导航任务精度改进。
2025-07-08 cs.CV
On the Robustness of Temporal Vision-Language Models for Surgical Endoscopy Videos
Indian Institute of Technology Delhi(印度理工学院德里分校);Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学);Birmingham City University(伯明翰城市大学);University Hospitals Birmingham(伯明翰大学医院);Khalifa University(哈利法大学);German Cancer Research Center (DKFZ)(德国癌症研究中心)
该研究针对手术内窥镜视频的时间视觉语言模型,构建Endo-C6基准测试其鲁棒性,提出RobustEndoCLIP,可提升模型在内窥镜损坏下的性能与鲁棒性。
2026-08-17 cs.CV
LIRA: Local Cross-Layer Information Routing for Vision-Language-Action Decoding
LIRA是面向VLA模型的局部跨层信息路由机制,通过深度感知路由VLM特征,在多机器人操作基准及真实场景中提升了动作预测性能与分布偏移下的鲁棒性。
2026-08-11 cs.CV cs.RO
Reality's Canvas, Language's Brush: Crafting 3D Avatars from Monocular Video
Huawei London Research Center(华为伦敦研究中心);Technical University of Munich(慕尼黑工业大学)
本文提出完全可微分管线ReCaLaB,仅从单一RGB视频学习高保真3D人类虚拟化身,结合可变形NeRF与文本提示控制位姿、纹理等,并利用扩散模型生成未见运动视频,在图像质量上超越以往单目方法。
2024-03-24 cs.CV
InstructDiffusion: A Generalist Modeling Interface for Vision Tasks
Microsoft Research Asia(微软亚洲研究院)
提出InstructDiffusion框架,通过扩散过程将视觉任务转化为基于人类指令的像素预测,统一处理理解与生成任务,展现强泛化能力。
2023-09-07 cs.CV
Designing, Playing, and Performing with a Vision-based Mouth Interface
ATR Media Information Science Labs(ATR媒体信息科学实验室);RWTH Aachen University(亚琛工业大学);McGill University(麦吉尔大学)
面部和嘴巴在言语产生以及非语言交流中的作用表明面部动作可以控制音乐声音。在这里,我们的文件工作的mouthesizer,一个系统,它使用一个头戴式微型摄像机和计算机视觉算法,以提取形状参数的嘴开口和输出这些作为MIDI控制的变化。我们报告我们的经验与各种手势到声音的映射和音乐的应用,并描述了现场表演,使用Mouthesizer接口。
2020-10-07 cs.CV cs.HC cs.SD
Pointing-VLA: Typed Spatial Grounding Interfaces for Vision-Language-Action Manipulation
Pointing-VLA是基于Embodied-R1的类型化空间读出接口,可提升VLA模型的机器人操控性能,在多任务评估中实现SOTA表现,还能高效迁移至其他机器人系统并提升真实机器人自主成功率。
2026-08-25 cs.AI cs.CV cs.RO
SPECTRA-VLA: Base-Fine Hyperspectral Token Transfer at Frozen Vision-Language-Action Interfaces
National Yang Ming Chiao Tung University(国立阳明交通大学)
SPECTRA-VLA在不重训VLA模型的视觉编码器和动作解码器的情况下,通过自身归一化伪彩色参考的连续残差实现高光谱升级,提升了高光谱物体识别的准确率与探针复用效果。
2026-10-14 cs.CV
Certified Interface Aliases: Exact Collisions in Vision-Language Preprocessing, and When They Exist
提出AliasForge,通过定点重采样构造视觉-语言预处理中的精确碰撞,证明验证器无法区分相反标签的图像,并给出存在性准则与认证结果。
2026-09-29 cs.CV
FOVI: A biologically-inspired foveated interface for deep vision models
harvard(哈佛大学);nvidia
受人类视觉系统启发,提出基于视网膜和V1的中央凹接口FOVI,通过kNN卷积和低秩适应实现高效变分辨率视觉处理,在减少像素和计算成本的同时保持竞争力。
2026-05-29 cs.CV cs.NE q-bio.NC
GiT: Towards Generalist Vision Transformer through Universal Language Interface
Peking University(北京大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));ETH Zurich(苏黎世联邦理工学院)
本文提出GiT,一种仅用普通ViT和通用语言接口统一多种视觉任务的通用视觉Transformer,在五个基准上联合训练并取得领先性能,缩小了视觉与语言的架构差距。
2024-03-14 cs.CV
GeoBridge: Evolving Transferable Decoder Topologies for Geometric Vision
The Hong Kong Polytechnic University(香港理工大学)
GeoBridge是一种演化框架,通过搜索可迁移解码器拓扑结构,在深度估计、高斯重建等几何视觉任务中实现复用,其衍生的GeoBridgeNet-A3在多个基准数据集上取得优异性能。
2026-10-20 cs.AI cs.CV
When Does Geometric View Synthesis Help Wine Label Retrieval? A Public One-Shot Benchmark Across Self-Supervised and Vision-Language Backbones
National Dong Hwa University(国立东华大学)
该研究通过公开基准评估几何视图合成对酒标检索的增益,发现其对自监督DINO配方提升显著(34.1%至62.6-63.7%),但对冻结SigLIP 2-B仅带来较小改进,且SAM定位优于边缘方法。
2026-09-29 cs.CV
A Lightweight Vision-Language Fusion Framework for Predicting App Ratings from User Interfaces and Metadata
Department of Computer Science, American International University–Bangladesh(计算机科学系,美国国际大学-孟加拉)
本文提出了一种轻量级视觉-语言融合框架,通过结合UI和语义信息预测应用评分,实现了高精度的预测效果。
2026-10-08 cs.CV
CrACK: Adversarial Attacks on Cross-Model Consistency in Collaborative Vision Foundation Models
South China Normal University(华南师范大学);Hong Kong University of Science and Technology(香港科技大学);University of Macau(澳门大学)
提出CrACK攻击,利用协作视觉基础模型间未验证语义一致性的接口,通过两阶段方法在推理时破坏跨模态亲和矩阵和操纵预测,导致系统性能灾难性退化,证明模型间接口必须视为安全边界。
2026-09-09 cs.CV
Cable Slack Detection for Arresting Gear Application using Machine Vision
本文提出一种基于机器视觉的阻拦装置线缆松弛检测系统,利用态势感知摄像头采集视频,结合多种图像处理算法准确识别线缆松弛并提示维护,有效降低误报率。
2023-12-04 cs.CV
Foveated Probes Recover Localized Binding Information in Vision Foundation Models
该研究通过对比全局读出、凹点读出和神谕读出,发现冻结视觉基础模型的空间盲性源于全局嵌入界面,而非 patch 标记缺乏空间信息,凹点读出可有效恢复局部绑定信息。
2026-08-04 cs.CV
RIPE-MambaSpike: Resolution-Independent Spiking-State-Space Interfaces for Parameter-Efficient Event-Based Vision
提出分辨率无关参数高效的RIPE-MambaSpike,以固定通道宽度的分层多分辨率桥接替代高成本投影,在紧凑参数下保持精度,并在多个事件视觉基准上达到最优。
2026-11-03 cs.CV cs.NE
Interactive Interface For Semantic Segmentation Dataset Synthesis
University of Science(理大学);Vietnam National University(越南国家大学);University of Dayton(代顿大学)
本文提出SynthLab平台,通过模块化架构和交互式界面,简化语义分割数据集的合成过程,提升灵活性和可访问性。
2026-04-11 cs.CV
X-Tokenizer: A Multimodal Action Tokenizer for Vision-Language-Action Pretraining
Square Robot;City University of Hong Kong(香港城市大学);Tsinghua University(清华大学)
提出X-Tokenizer,通过语义残差量化(SRQ)和掩码动作建模(MAM)将动作离散化为语义接口,在2.4M轨迹上预训练后提升VLA模型的多模态接地和长程任务性能。
2026-06-16 cs.AI cs.CV cs.LG
SOLAMI: Social Vision-Language-Action Modeling for Immersive Interaction with 3D Autonomous Characters
SenseTime Research(商汤科技研究院);S-Lab, Nanyang Technological University(南洋理工大学S-Lab)
提出端到端社会VLA框架SOLAMI,结合SynMSI合成数据与VR界面,使3D自主角色能低延迟生成自然的语音和动作响应。
2024-11-29 cs.AI cs.CV cs.LG
SiLVi: Simple Interface for Labeling Video Interactions
SiLVi整合了行为标注与交互检测功能,为动物行为分析提供结构化输出,促进计算机视觉模型的训练与验证。
2026-10-20 cs.CV q-bio.QM
Attention is All They Need: Exploring the Media Archaeology of the Computer Vision Research Paper
Stonehill College(斯通希尔学院);Tufts University(塔夫茨大学);Indiana University(印第安纳大学);University of California, Santa Cruz(加州大学圣克鲁兹分校)
本文从媒介考古学视角,结合资深研究人员访谈,分析了过去十年深度学习革命下计算机视觉论文中图表的变化,探讨论文元素如何影响研究注意力经济,旨在推动研究论文及出版系统设计的未来讨论。
2024-08-27 cs.CV cs.CY
DiD It in 87 Minutes: A Label-Free Softmax-to-Linear Adaptation of Vision Transformers for Object Detection
Institute of Advanced Intelligence and Computing (IAIC), A*STAR(先进智能与计算研究所(IAIC),新加坡科技研究局);Nanyang Technological University(南洋理工大学)
本研究提出无标签的DiD方法,通过对齐检测器接口张量,将Softmax注意力ViT主干转换为线性注意力主干,在DOTA-v1.5上性能优异且耗时短,能大幅降低检测的推理延迟与内存占用。
2026-08-26 cs.CV cs.LG
UFO: A Unified Approach to Fine-grained Visual Perception via Open-ended Language Interface
Center for Data Science, Peking University(北京大学数据科学中心);Alibaba Group(阿里巴巴集团);CASIA;Center for Machine Learning Research, Peking University(北京大学机器学习研究中心);State Key Laboratory of General Artificial Intelligence, Peking University(北京大学通用人工智能国家重点实验室)
针对细粒度视觉感知任务难整合到通用模型的问题,提出UFO框架,通过开放式语言接口统一多类感知任务,性能优于现有通用模型,还可与MLLMs无缝结合实现推理分割等任务。
2025-09-30 cs.CV
Unidirectional brain-computer interface: Artificial neural network encoding natural images to fMRI response in the visual cortex
Johns Hopkins University(约翰斯·霍普金斯大学);Johns Hopkins Medicine(约翰斯·霍普金斯医学中心);Pennsylvania State University(宾夕法尼亚州立大学)
本文提出多模态神经网络 VISION,利用视觉与上下文输入预测自然图像诱发的视觉皮层 fMRI 响应,准确率较 SOTA 提高 45%,并支持皮层表征分析与脑机接口研究。
2023-09-26 cs.AI cs.CV cs.HC
Vision-based Engagement Detection in Virtual Reality
Konica Minolta Laboratory U.S.A., Inc.(柯尼卡美能达美国实验室公司);Stanford University(斯坦福大学)
基于视觉界面的用户交互行为建模是用户心理状态检测的重要研究课题之一。在虚拟现实环境中,使用摄像机传感器来识别人类活动,我们必须知道用户何时打算执行动作,何时不打算。如果没有一个合适的算法来识别参与状态,任何类型的活动都可以被解释为操纵行为,称为“点石成金”问题。解决这一问题的基本方法是使用一些焦点手势(如放弃或举手)来激活手势识别系统。然而,理想的自然用户界面应该能够自动地理解用户的心理状态。本文提出了一种新的多模态交战检测模型DAIA。使用DAIA,用于执行动作的精神状态的频谱被量化为有限数量的参与状态。为此,设计了有限状态传感器(FST)。该参与框架展示了如何整合来自用户生物特征数据流(如2D和3D成像)的多模态信息。FST是使用几个布尔表达式的组合,使状态过渡顺利。我们的FST真正的检测率是92.3%,在四个不同的国家。实验结果还表明,FST可以分割用户的手势更强大。
2016-09-05 cs.CV
Sketch2code: Generating a website from a paper mockup
University of Bristol(布里斯托大学)
开发面向用户的应用程序的早期阶段是创建线框来布局界面。一旦线框图被创建,它就被交给开发人员在代码中实现。开发样板用户界面代码是一项耗时的工作,但仍然需要有经验的开发人员。在这篇论文中,我们提出了两种方法,自动化这个过程中,一个使用经典的计算机视觉技术,另一个使用深度语义分割网络的新应用。我们发布了一个网站数据集,可用于训练和评估这些方法。此外,我们设计了一个新的评估框架,允许通过创建合成草图进行经验评估。我们的评估表明,我们的深度学习方法优于我们的经典计算机视觉方法,我们得出结论,深度学习是未来研究的最有前途的方向。
2019-05-09 cs.CV
Mahotas: Open source software for scriptable computer vision
Instituto de Medicina Molecular(分子医学研究所)
Mahotas是Python的计算机视觉库。它包含传统的图像处理功能,如滤波和形态学运算,以及更现代的计算机视觉功能,用于特征计算,包括兴趣点检测和局部描述符。接口是用Python编写的,Python是一种动态规划语言,非常适合快速开发,但算法是用C++实现的,并针对速度进行了调整。该库旨在适应该语言的科学软件生态系统,并可以利用该语言开发的现有基础设施。Mahotas是在自由开源许可证(MIT许可证)下发布的,可以从(http://github.com/luispedro/mahotas)和Python包索引(http://pypi.python.org/pypi/mahotas)获得。
2013-01-05 cs.CV cs.SE
Cloud Computing framework for Computer Vision Research:An Introduction
Beijing Jiaotong University(北京交通大学)
云计算提供了帮助科学家处理机器学习应用(例如计算机视觉问题)中经常需要的大量计算资源的潜力。该提案旨在说明可以从云计算中获得哪些好处,以帮助医学图像分析用户(包括科学家,临床医生和研究机构)。由于算法的安全性和隐私对于大多数算法发明者来说都很重要,因此这些算法可以隐藏在云中,以允许用户将算法作为一个包使用,而无需查看/更改其内部。换句话说,在用户部分,用户将他们的图像发送到云端,并通过接口配置算法。在云部分,算法被应用于该图像,结果被返回给用户。我的建议有两部分:(1)调查云计算解决计算机视觉问题的潜力,(2)研究拟议的基于云的医学图像分析应用框架的组件并开发它们(取决于实习时间的长短)。调查部分将涉及对问题的几个方面的研究,包括安全性,可用性(服务的医疗最终用户),视觉问题的适当编程抽象,可扩展性和资源需求。在本提案的第二部分,我将深入研究拟议的框架组成部分及其关系,并将其发展。所提出的基于云的框架包括一个集成环境,使科学家和临床医生能够使用少数用户界面访问以前和当前的医学图像分析算法,而无需访问算法代码和程序。
2013-02-06 cs.CV cs.DC
VESICLE: Volumetric Evaluation of Synaptic Interfaces using Computer vision at Large Scale
Johns Hopkins University(约翰斯·霍普金斯大学);JHU Applied Physics Laboratory(约翰斯·霍普金斯大学应用物理实验室);Harvard University(哈佛大学)
现代神经科学前沿的一个开放性挑战问题是获得人类大脑功能基础的神经通路的全面映射;对大脑接线图的增强理解有望在诊断和治疗神经系统疾病方面取得新的突破。从图像数据(例如通过电子显微镜(EM)获得的图像数据)推断大脑结构需要解决在大数据量中识别生物结构的问题。突触是大脑中的关键通信结构,由于其尺寸小且对比度有限而特别难以检测。在自动化突触检测之前的工作依赖于时间密集的生物制剂(染色后,各向同性切片厚度),以简化问题。本文介绍了VESICLE,第一个已知的方法设计用于哺乳动物突触检测各向异性,非后染色数据。我们的方法明确地利用生物背景,结果在准确性和可扩展性方面超过了现有的突触检测方法。我们提供了两种不同的方法-一种是深度学习分类器(VESICLE-CNN),另一种是轻量级随机森林方法(VESICLE-RF),以提供性能可扩展性空间中的替代方案。解决这一突触检测挑战,使高通量成像数据的分析很快有望达到PB级的数据,并提供更快速的估计脑图的工具。最后,为了促进社区的努力,我们开发了用于大规模目标检测的工具,并演示了这个框架在60,000个$μm ^3$(磁盘上有220 GB)电子显微镜数据中找到$\approx$ 50,000个突触。
2015-09-07 cs.CE cs.CV q-bio.QM
Reproducible Vision-Guided 6-DoF Robotic Manipulator with a Mixed Stepper-Driver Architecture and Browser-Native Control
University of Moratuwa(莫拉图瓦大学)
该研究推出开源低成本6自由度机械臂NeuralNexus Arm,采用混合步进驱动器架构与浏览器原生控制,具备视觉引导自主抓取能力,所有设计开源且可复现。
2026-08-25 cs.CV cs.RO cs.SY