UniBrain：在一个扩散模型中统一实现基于人脑活动的图像重建与图像描述
UniBrain: Unify Image Reconstruction and Captioning All in One Diffusion Model from Human Brain Activity
AI总结：
本文提出 UniBrain，利用 Versatile Diffusion 将 fMRI 体素映射为文本与图像潜变量并结合 CLIP 条件引导扩散，首次统一实现脑活动图像重建与描述，且在 NSD 上取得最优表现。
摘要：
由视觉刺激诱发的脑活动图像重建和描述，使研究人员能够进一步理解人脑与视觉感知系统之间的联系。尽管深度生成模型近期已被应用于该领域，但要重建同时具备低层细节与高层语义保真度的逼真描述和图像，仍是一个具有挑战性的问题。在本研究中，我们提出 UniBrain：在一个扩散模型中统一实现基于人脑活动的图像重建与图像描述。我们首次通过名为 Versatile Diffusion 的潜在扩散模型，将基于视觉诱发功能磁共振成像（fMRI）的图像重建与图像描述统一起来。具体而言，我们将 fMRI 体素转换为用于低层信息的文本和图像潜变量，并通过源自 CLIP 的、基于 fMRI 的图像与文本条件引导反向扩散过程，以生成逼真的描述和图像。在图像重建方面，UniBrain 在定性和定量上均优于现有方法，并在 Natural Scenes Dataset（NSD）数据集上首次报告了图像描述结果。此外，消融实验和功能感兴趣区（ROI）分析进一步展示了 UniBrain 的优越性，并为视觉诱发脑解码提供了全面洞见。
英文摘要：
Image reconstruction and captioning from brain activity evoked by visual stimuli allow researchers to further understand the connection between the human brain and the visual perception system. While deep generative models have recently been employed in this field, reconstructing realistic captions and images with both low-level details and high semantic fidelity is still a challenging problem. In this work, we propose UniBrain: Unify Image Reconstruction and Captioning All in One Diffusion Model from Human Brain Activity. For the first time, we unify image reconstruction and captioning from visual-evoked functional magnetic resonance imaging (fMRI) through a latent diffusion model termed Versatile Diffusion. Specifically, we transform fMRI voxels into text and image latent for low-level information and guide the backward diffusion process through fMRI-based image and text conditions derived from CLIP to generate realistic captions and images. UniBrain outperforms current methods both qualitatively and quantitatively in terms of image reconstruction and reports image captioning results for the first time on the Natural Scenes Dataset (NSD) dataset. Moreover, the ablation experiments and functional region-of-interest (ROI) analysis further exhibit the superiority of UniBrain and provide comprehensive insight for visual-evoked brain decoding.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
