面向溃疡性结肠炎内镜检查自动图像描述的病灶感知视觉-语言融合方法
Lesion-Aware Visual-Language Fusion for Automated Image Captioning of Ulcerative Colitis Endoscopic Examinations
AI总结：
本研究提出溃疡性结肠炎内镜图像病灶感知描述框架，融合多模态特征与临床元数据提示，提升描述质量与MES分类准确率，辅助内镜报告生成。
摘要：
我们提出一种用于溃疡性结肠炎（UC）的病灶感知图像描述框架。该模型将ResNet嵌入、Grad-CAM热力图、CBAM增强注意力与T5解码器相融合，将临床元数据（MES评分0-3、血管形态、出血、红斑、脆性、溃疡）以自然语言提示的形式注入，引导描述生成。系统可生成符合临床实践的结构化、可解释描述，同时提供MES分类与病灶标签。与基线方法相比，本方法提升了描述质量与MES分类准确率，可为可靠的内镜报告生成提供支持。
英文摘要：
We present a lesion-aware image captioning framework for ulcerative colitis (UC). The model integrates ResNet embeddings, Grad-CAM heatmaps, and CBAM-enhanced attention with a T5 decoder. Clinical metadata (MES score 0-3, vascular pattern, bleeding, erythema, friability, ulceration) is injected as natural-language prompts to guide caption generation. The system produces structured, interpretable descriptions aligned with clinical practice and provides MES classification and lesion tags. Compared with baselines, our approach improves caption quality and MES classification accuracy, supporting reliable endoscopic reporting.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
