Computer vision systems today are primarily N-purpose systems, designed and trained for a predefined set of tasks. Adapting such systems to new tasks is challenging and often requires non-trivial modifications to the network architecture (e.g. adding new output heads) or training process (e.g. adding new losses). To reduce the time and expertise required to develop new applications, we would like to create general purpose vision systems that can learn and perform a range of tasks without any modification to the architecture or learning process.
In this paper, we propose GPV-1, a task-agnostic vision-language architecture that can learn and perform tasks that involve receiving an image and producing text and/or bounding boxes, including classification, localization, visual question answering, captioning, and more. We also propose evaluations of generality of architecture, skill-concept transfer, and learning efficiency that may inform future work on general purpose vision. Our experiments indicate GPV-1 is effective at multiple tasks, reuses some concept knowledge across tasks, can perform the Referring Expressions task zero-shot, and further improves upon the zero-shot performance using a few training samples.
Scalable Training of Spatially Grounded 2D Vision-Language Models for Radiology
Computer Vision Group, University of Freiburg, Germany（德国弗莱堡大学计算机视觉组）；Department of Radiology, Medical Center -- University of Freiburg, Germany（德国弗莱堡大学医学中心放射科）；CRIION-AI Lab, Freiburg, Germany（德国弗莱堡CRIION-AI实验室）
Towards Efficient and General-Purpose Few-Shot Misclassification Detection for Vision-Language Models
Institute of Automation, CAS（中国科学院自动化研究所）；School of Artificial Intelligence, UCAS（中国科学院大学人工智能学院）；Centre for Artificial Intelligence and Robotics, HKISI-CAS（香港中文大学（深圳）中国科学院深圳先进技术研究院人工智能与机器人中心）
MiniVLM: A Smaller and Faster Vision-Language Model
Microsoft（微软）
最近的视觉语言（VL）的研究已经取得了显着的进展，学习通用表示与Transformer模型，然后微调下游VL任务的大量图像-文本对。虽然现有的研究一直专注于通过大型预训练模型实现高准确性，但构建轻量级模型在实践中具有很大的价值，但探索较少。在本文中，我们提出了一个更小，更快的VL模型，MiniVLM，它可以微调，在各种下游任务的良好性能，就像它的大型同行。MiniVLM由两个模块组成，一个视觉特征提取器和一个基于变换的视觉语言融合模块。我们设计了一个两阶段有效的特征提取器（TEE），灵感来自一个阶段的EfficientDet网络，显着减少视觉特征提取的时间成本$95\%$，相比基线模型。通过比较不同的紧凑型BERT模型，采用MiniLM结构来降低Transformer模块的计算量。此外，我们通过添加$7M$ Open Images数据来改进MiniVLM预训练，这些数据由最先进的字幕模型进行伪标记。我们还使用从强标记模型中获得的高质量图像标记进行预训练，以增强跨模态对齐。大型模型可以离线使用，而不会在微调和推理中增加任何开销。通过上述设计选择，我们的MiniVLM通过$73\%$减少了模型大小，通过$94\%$减少了推理时间成本，同时能够在多个VL任务上保持$94-97\%$的准确性。我们希望MiniVLM有助于简化最先进的VL研究在边缘应用中的使用。
Evaluation of Medical Vision Language Models HuluMed and MedGemma, and general purpose chatbots Gemma 3, ChatGPT Plus, and Claude Pro on real previously unseen wound images
Department of Computer Science, New Jersey Institute of Technology（新泽西理工学院计算机科学系）；Vascular and Endovascular Surgery, Robert Wood Johnson Hospital（罗伯特·伍德·约翰逊医院血管外科）；Department of Data Science, New Jersey Institute of Technology（新泽西理工学院数据科学系）
本研究评估了六种视觉语言模型在慢性伤口分析任务上的表现，发现通用模型 ChatGPT 和 Claude 显著优于医学专用模型，表明广泛的多模态推理能力比领域知识更重要。
MedGPT-oss: Training a General-Purpose Vision-Language Model for Biomedicine
Department of Computer Science and Engineering, Lehigh University（莱斯大学计算机科学与工程系）；Department of Computer Science and Engineering, University of Notre Dame（圣母大学计算机科学与工程系）；Department of Health Outcomes & Biomedical Informatics, University of Florida（佛罗里达大学健康结果与生物医学信息学系）；Department of Radiation Oncology, Mayo Clinic（梅奥诊所放射肿瘤科）；Research Computing, University of Florida（佛罗里达大学研究计算中心）；AI Technology Center, NVIDIA（NVIDIA人工智能技术中心）
A Foundational Multimodal Vision Language AI Assistant for Human Pathology
Brigham and Women’s Hospital（布莱根妇女医院）；Harvard Medical School（哈佛医学院）；Massachusetts General Hospital（麻省总医院）；Broad Institute of Harvard and MIT（哈佛-麻省理工博德研究所）；Dana-Farber Cancer Institute（达纳-法伯癌症研究所）；Massachusetts Institute of Technology (MIT)（麻省理工学院）；Harvard John A. Paulson School of Engineering And Applied Sciences（哈佛大学约翰·A·保尔森工程与应用科学学院）；Harvard University（哈佛大学）；Wexner Medical Center, Ohio State University（俄亥俄州立大学韦克斯纳医学中心）；Ohio State University（俄亥俄州立大学）；Harvard Data Science Initiative（哈佛大学数据科学计划）
LM4LV: A Frozen Large Language Model for Low-level Vision Tasks
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）；Nanjing University（南京大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
ALICE: Learning a General-Purpose Pathology Foundation Model from Vision, Vision-Language, and Slide-Level Experts
Institute of Biopharmaceutical and Health Engineering, Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学生物医药与健康工程研究院，清华大学深圳国际研究生院）；Department of Engineering Science, University of Oxford（牛津大学工程科学系）；Department of Pathology, The First Affiliated Hospital of Sun Yat-sen University（中山大学附属第一医院病理科）；Medical Optical Technology R&D Center, Research Institute of Tsinghua, Pearl River Delta（清华珠三角研究院医学光学技术研发中心）
Perceive, Ground, Reason, and Act: A Benchmark for General-purpose Visual Representation
Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）；Peking University（北京大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Beijing Institute of Technology（北京理工大学）
Scorpion detection and classification systems based on computer vision and deep learning for health security purposes
Instituto LEICI (CONICET-UNLP)（LEICI研究所（CONICET-UNLP））；Universidad Nacional Arturo Jauretche（阿图罗·豪雷切国立大学）；Consejo Nacional de Investigaciones Científicas y Técnicas (CONICET)（国家科学技术研究委员会（CONICET））；CEPAVE (CONICET-UNLP-CCT La Plata, Asoc. CICBA)（CEPAVE（CONICET-UNLP-CCT La Plata, Asoc. CICBA））
本文利用计算机视觉和深度学习技术开发了两种新的自动和实时系统，用于对在拉普拉塔市（阿根廷）发现的两种蝎子进行检测和分类。目标检测技术基于蝎子的形状特征，采用两种不同的方法，YOLO（You Only Look Once）和MobileNet。这两个模型分别达到了88%和91%的高准确率值，以及90%和97%的高召回率值，这保证了它们可以成功地检测蝎子。此外，MobileNet方法已被证明具有出色的性能，可以在不受控制的环境中检测蝎子，并执行多次检测。MobileNet模型还用于图像分类，以便成功区分危险蝎子（Tityus）和非危险蝎子（Bothriurus），目的是提供一个健康安全工具。开发了智能手机应用程序，其优点是系统的便携性，可用作紧急服务或生物研究目的的帮助工具。开发的系统可以很容易地扩展到其他属和种的蝎子，以扩展这些应用程序可以使用的区域。
