多模态大模型

ABE-CLIP: Training-Free Attribute Binding Enhancement for Compositional Image-Text Matching

ABE-CLIP: 无训练属性绑定增强用于组合图像-文本匹配

Qi Zhang, Yuxu Chen, Lei Deng, Lili Shen

机构 * School of Mathematics, Sichuan University（四川大学数学学院） 纠错

专题命中 图文多模态 ：image-text(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 ABE-CLIP通过语义细化和局部对齐策略提升CLIP模型的属性-物体绑定性能，无需额外训练。

Comments 10 pages, 8 figures

On the dynamic evolution of CLIP texture-shape bias and its relationship to human alignment and model robustness

CLIP纹理-形状偏倚的动态演变及其与人类对齐和模型鲁棒性的关系

Pablo Hernández-Cámara, Jose Manuel Jaén-Lorites, Alexandra Gómez-Villa, Jorge Vila-Tomás, Valero Laparra, Jesus Malo

机构 * Image Processing Lab, Universitat de Valencia, Spain（瓦伦西亚大学图像处理实验室） ； Centro de Biomateriales e Ingenieria Tisular, Universitat Politecnica de Valencia, Spain（瓦伦西亚理工大学生物材料与组织工程中心） ； Computer Vision Center, Spain（西班牙计算机视觉中心） ； Universitat Autònoma de Barcelona, Spain（巴塞罗那自治大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文研究CLIP模型在训练过程中纹理-形状偏倚的演变，揭示其与人类感知对齐及模型鲁棒性的关系。

Continual Learning on CLIP via Incremental Prompt Tuning with Intrinsic Textual Anchors

通过内在文本锚点进行增量提示调优实现CLIP的持续学习

Haodong Lu, Xinyu Zhang, Kristen Moore, Jason Xue, Lina Yao, Anton van den Hengel, Dong Gong

机构 * School of Computer Science and Engineering, University of New South Wales（新南威尔士大学计算机科学与工程学院） ； Data61, CSIRO（CSIRO数据61研究中心） ； School of Computer Science, University of Auckland（奥克兰大学计算机科学学院） ； Australian Institute for Machine Learning (AIML), The University of Adelaide（阿德莱德大学澳大利亚机器学习研究所） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 本文提出基于增量提示调优的CLIP持续学习方法，通过引入文本原型作为稳定锚点，提升多模态嵌入空间稳定性，并联合优化视觉和文本提示以减少遗忘。

Comments Accepted at TMLR. Code is available at https://github.com/jeff024/tppt