多模态大模型

Enhancing Multimodal Retrieval via Complementary Information Extraction and Alignment

通过互补信息提取与对齐增强多模态检索

Delong Zeng, Yuexiang Xie, Yaliang Li, Ying Shen

机构 * School of Intelligent Systems Engineering, Sun Yat-sen University（1 智能系统工程学院，中山大学） ； Alibaba Group（2 阿里巴巴集团） ； Guangdong Provincial Key Laboratory of Fire Science and Intelligent Emergency Technology（3 广东省火灾科学与智能应急技术重点实验室） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI、cs.MM

AI总结 CIEA通过互补信息提取与对齐提升多模态检索效果，实现对图像和文本统一潜在空间的建模，并在多个基准上取得显著优势。

Comments Accepted by ACL'2025

ArtCognition: A Multimodal AI Framework for Affective State Sensing from Visual and Kinematic Drawing Cues

ArtCognition：一种多模态AI框架，用于从视觉和运动学绘画线索中感知情绪状态

Behrad Binaei-Haghighi, Nafiseh Sadat Sajadi, Mehrad Liviyan, Reyhane Akhavan Kharazi, Fatemeh Amirkhani, Behnam Bahrak

机构 * Department of Electrical and Computer Engineering, University of Tehran（电信工程系，德黑兰理工大学） ； Tehran Institute for Advanced Studies, Khatam University（德黑兰高级研究院，凯塔姆大学） ； Department of Psychology, Allameh Tabataba’i University（心理学系，阿勒梅·塔巴塔比大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV

AI总结 ArtCognition通过融合视觉和运动学绘画线索，提供非侵入性情绪状态评估的新方法，验证了其在心理测量中的潜力。

Comments 12 pages, 7 figures

Beyond Retrieval: Improving Evidence Quality for LLM-based Multimodal Fact-Checking

超越检索：提升基于大语言模型的多模态事实核查的证据质量

Haoran Ou, Gelei Deng, Xingshuo Han, Jie Zhang, Han Qiu, Shangwei Guo, Tianwei Zhang

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出Aletheia框架，通过改进证据检索策略提升多模态事实核查的证据质量，实验证明其在虚假信息检测中的高准确率。

Using Large Language Models to Detect Socially Shared Regulation of Collaborative Learning

利用大语言模型检测协作学习中的社会共享调节

Jiayi Zhang, Conrad Borchers, Clayton Cohn, Namrata Srivastava, Caitlin Snyder, Siyuan Guo, Ashwin T S, Naveeduddin Mohammed, Haley Noh, Gautam Biswas

机构 * University of Pennsylvania（宾夕法尼亚大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Vanderbilt University（范德堡大学） ； University of Detroit Mercy（底特律默克大学） ； New York University（纽约大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文利用大语言模型检测协作学习中的社会共享调节行为，通过嵌入方法提升学习分析的预测能力。

Comments Short research paper accepted at Learning Analytics and Knowledge (LAK '26)