Exploring Text Specific and Blackbox Fairness Algorithms in Multimodal Clinical NLP
University of Toronto(多伦多大学);Vector Institute(向量研究所);University of Western Ontario(西安大略大学);St. Michael’s Hospital(圣迈克尔医院)
临床机器学习越来越多地采用多模式,以结构化表格格式和非结构化形式(如自由文本)收集。我们提出了一个新的任务,探索多模态临床数据集的公平性,采用均衡的赔率为下游的医疗预测任务。为此,我们调查了一个模态不可知的公平算法-均衡的赔率后处理-并将其与文本特定的公平算法:去偏临床词嵌入。尽管事实上,debiased词嵌入不明确解决平等的几率保护组,我们表明,文本特定的公平的方法可以同时实现良好的平衡的性能和经典的公平概念。我们希望我们的论文能在临床NLP和公平性的关键交叉点上激发未来的贡献。完整的源代码可以在这里获得:https://github.com/johntiger1/multimodal_fairness
2021-06-10 cs.AI cs.CL
Can Large Language Models Understand As Well As Apply Patent Regulations to Pass a Hands-On Patent Attorney Test?
本研究评估多种大型语言模型在欧洲专利律师资格考试中的表现,发现最佳模型准确率仅0.82,未达专业标准,且存在与专家判断不一致、对参数敏感等局限,强调专家监督必要性。
2025-09-11 cs.AI cs.CL cs.CY
Talk, Walk, and Market Response: Multimodal Measurement of AI Washing and Its Capital Market Consequences in China
School of Economics and Trade, Guangdong University of Finance(广东金融学院经济贸易学院);Department of Computer Science, Faculty of Science, Hong Kong Baptist University(香港 Baptist 大学科学学院计算机科学系)
本文通过多模态方法测量中国AI洗绿现象,发现其对资本市场的负面影响,揭示了AI投资与实际创新之间的关系及市场反应机制。
2026-03-22 cs.AI cs.CY
Echoes of Unrest: A Multimodal NLP Framework for Early Warning of Fake News and Violence-Driven Mob Activity
Department of Computer Science and Engineering, Dhaka International University(达卡国际大学计算机科学与工程系);Department of Computer Science and Engineering, Bangladesh University of Engineering and Technology(孟加拉国工程技术大学计算机科学与工程系)
针对社交媒体上错误信息传播引发危害的问题,提出多语言、多模态NLP框架。通过融合多基准数据集创建数据集,集成多种技术进行多模态融合,实验显示该框架在早期错误信息检测中有效。
2026-07-07 cs.AI cs.CL
Dealing with Semantic Underspecification in Multimodal NLP
Institute for Logic, Language and Computation(逻辑、语言与计算研究所);University of Amsterdam(阿姆斯特丹大学)
本文探讨多模态 NLP 中的语义欠规范挑战,指出视觉等多模态系统仍难以补足语言未明示信息,并提出相关应用方向与研究路径。
2023-06-08 cs.AI cs.CL cs.CV
Partially Recentralization Softmax Loss for Vision-Language Models Robustness
本文提出部分重校正softmax损失,通过限制top K softmax输出提升预训练多模态模型的对抗鲁棒性,实验显示细调后模型对主流攻击更具鲁棒性。
2026-03-13 cs.AI cs.CL
NusaAksara: A Multimodal and Multilingual Benchmark for Preserving Indonesian Indigenous Scripts
MBZUAI(穆罕默德·本·扎耶德人工智能大学);Monash University Indonesia(莫纳什大学印度尼西亚分校)
针对印度尼西亚本地文字在NLP中被忽视的问题,提出包含8种文字、7种语言的多模态多语言基准NusaAksara,覆盖OCR、翻译等任务,并评测多种模型,发现多数模型性能接近零。
2025-02-25 cs.AI cs.CL cs.LG
Backdoor Learning in Language Models and Vision-Language Models
Stony Brook University(石溪大学);The Graduate School(研究生院)
本论文针对NLP与VLMs面临的后门攻击安全威胁,研究了后门攻击的分析、检测与设计,并开发了适用于临床医学影像的多模态表示方法,助力可信AI与高效多模态学习。
2026-08-20 cs.AI cs.CL
Research on feature fusion and multimodal patent text based on graph attention network
Northwest A&F University(西北农林科技大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Columbia University(哥伦比亚大学)
针对专利文本跨模态融合与长文本建模难题,提出HGM-Net框架,融合层次对比学习、多模态图注意力与多粒度稀疏注意力,在专利分类和相似度匹配任务上优于现有方法。
2025-05-26 cs.IR cs.LG
UniRank: End-to-End Domain-Specific Reranking of Hybrid Text-Image Candidates
Shanghai Jiao Tong University(上海交通大学);Alibaba Group(阿里巴巴集团)
提出UniRank,一种基于视觉语言模型的重排序框架,通过无需模态转换的统一评分和端到端领域适应(包括指令微调和基于强化学习的偏好对齐),在科学文献检索和设计专利搜索中显著提升性能。
2026-05-24 cs.AI cs.IR
IAA: Inner-Adaptor Architecture Empowers Frozen Large Language Model with Multimodal Capabilities
AI Research(360人工智能研究院)
针对多模态大语言模型微调导致NLP能力下降的问题,提出内部适配器架构(IAA),在冻结语言模型不同深度集成多模态适配器,小规模数据即可提升性能,在视觉-语言基准测试中优于现有方法且不牺牲NLP能力。
2025-04-15 cs.AI cs.CL cs.LG
Documenting Large Webtext Corpora: A Case Study on the Colossal Clean Crawled Corpus
University of Washington(华盛顿大学);Hugging Face(抱抱脸);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Queer in AI(人工智能酷儿组织)
大语言模型已经在许多NLP任务上取得了显着的进展,研究人员正在转向越来越大的文本语料库来训练它们。一些最大的语料库是通过抓取互联网的重要部分而制作的,并且经常只使用最少的文档。在这项工作中,我们为Colossal Clean Crawled Corpus(C4; Raffel等人,2020),通过将一组过滤器应用于Common Crawl的单个快照创建的数据集。我们首先调查数据的来源,并从专利和美国军事网站等意想不到的来源找到大量文本。然后我们探索文本本身的内容,并找到机器生成的文本(例如,来自机器翻译系统)和来自其他基准NLP数据集的评估示例。为了了解应用于创建此数据集的过滤器的影响,我们评估了被删除的文本,并显示阻止列表过滤不成比例地删除了来自少数群体的文本和关于少数群体的文本。最后,我们总结了一些关于如何从互联网上创建和记录网络规模数据集的建议。
2021-09-30 cs.AI cs.CL
StayLTC: A Cost-Effective Multimodal Framework for Hospital Length of Stay Forecasting
TCS Research(塔塔咨询服务研究中心)
本文提出StayLTC多模态框架,利用液体时间常数网络预测住院时长,在MIMIC-III上以更低计算成本取得优于多数时间序列模型的性能。
2025-04-08 cs.AI
VL-InterpreT: An Interactive Visualization Tool for Interpreting Vision-Language Transformers
Intel Labs(英特尔实验室);UCLA(加州大学洛杉矶分校);Microsoft Research(微软研究院)
基于transformer的模型的突破性进展不仅彻底改变了NLP领域,也改变了视觉和多模态系统。然而,尽管可视化和可解释性工具已经可用于NLP模型,但视觉和多模态Transformers的内部机制在很大程度上仍然不透明。随着这些Transformers的成功,了解它们的内部工作变得越来越重要,因为解开这些黑匣子将导致更有能力和更值得信赖的模型。为了促进这一探索,我们提出了VL-InterpreT,它提供了新的交互式可视化解释的注意力和隐藏的表示在多模态Transformers。VL-InterpreT是一个与任务无关的集成工具,它(1)跟踪视觉和语言组件所有层中注意力头部的各种统计数据,(2)通过易于阅读的热图可视化跨模态和模态内注意力,(3)绘制视觉和语言标记的隐藏表示,因为它们通过Transformer层。在本文中,我们通过分析KD-VLP,一个端到端的预训练的视觉语言多模态转换器为基础的模型,在视觉常识推理(VCR)和WebQA,两个视觉问答基准的任务中,展示了VL-InterpreT的功能。此外,我们还提出了一些有趣的发现多模态Transformer的行为,通过我们的工具。
2022-08-22 cs.AI cs.CL cs.CV
MoZIP: A Multilingual Benchmark to Evaluate Large Language Models in Intellectual Property
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Shenzhen Technology University(深圳技术大学);Shenzhen University(深圳大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
本文提出首个多语言知识产权基准MoZIP及基于BLOOMZ微调的MoZi模型,通过三项任务评估LLMs在IP领域的表现,发现现有模型与ChatGPT均未达及格水平。
2024-02-26 cs.AI cs.CL
Can We Edit Multimodal Large Language Models?
Platform and Content Group, Tencent(腾讯平台与内容事业群);Zhejiang Laboratory(浙江省实验室);Zhejiang University(浙江大学);Donghai Laboratory(东海实验室)
本文提出多模态大语言模型编辑基准MMEdit及创新评估指标,通过全面实验分析不同编辑基线效果,发现现有方法编辑多模态模型效果有限,揭示该任务的挑战性,并提供代码与数据集以推动研究。
2024-04-18 cs.AI cs.CL cs.CV
nach0: Multimodal Natural and Chemical Languages Foundation Model
NVIDIA(英伟达);Insilico Medicine Canada Inc.(英矽智能加拿大公司);Insilico Medicine Hong Kong Ltd.(英矽智能香港有限公司)
本文提出多领域多任务基础模型 nach0,通过在科学文献、专利和分子字符串上预训练并结合指令微调,在生物医学问答、分子生成与合成等任务上超越现有基线,实现分子与文本跨领域高质量生成。
2024-05-02 cs.AI cs.CL cs.LG
Towards Reliable Evaluation of Large Language Models for Multilingual and Multimodal E-Commerce Applications
Shopee(虾皮)
针对现有电商大模型评估的不足,提出多语言多模态基准EcomEval,涵盖37项任务,基于真实数据并采用半自动标注,支持七种语言,实现细粒度可靠评估。
2025-10-23 cs.AI
Peacock: A Family of Arabic Multimodal Large Language Models and Benchmarks
The University of British Columbia(不列颠哥伦比亚大学);Invertible AI
针对阿拉伯语多模态资源匮乏问题,提出Peacock系列阿拉伯语多模态大语言模型,并构建文化基准Henna,实验证明其视觉推理性能及方言潜力。
2024-05-24 cs.AI cs.CL
Natural Language Processing for Cardiology: A Narrative Review
本综述系统梳理2014-2025年心脏病学领域NLP研究,筛选265篇文献从多维度分析,揭示从规则系统到LLM的方法演进,指出可解释LLM、多模态融合等未来方向,是该领域迄今最全面的综述。
2025-10-22 cs.AI cs.CL
Low-Resource, High-Impact: Building Corpora for Inclusive Language Technologies
Toloka AI
本教程提供构建包容性语言技术的实用工具和方法,涵盖多语言和低资源语言的端到端NLP流水线建设。
2025-12-16 cs.AI cs.CL
VIP5: Towards Multimodal Foundation Models for Recommendation
Rutgers University(罗格斯大学)
提出 VIP5 多模态基础模型,统一视觉、文本和个性化模态,通过多模态个性化提示和参数高效训练(冻结主干、微调适配器)提升推荐性能与效率。
2023-10-14 cs.AI cs.HC cs.IR
Parameter Efficient Multimodal Instruction Tuning for Romanian Vision Language Models
National University of Science and Technology(科学技术大学)
针对罗马尼亚语这种低资源语言,通过翻译并扩展Flickr30K数据集,采用参数高效的LoRA方法微调开源视觉语言模型来降低多模态NLP资源差距,模型在视觉问答等任务中能力提升且语法错误减少。
2026-07-07 cs.AI cs.CL cs.LG
Survey of Social Bias in Vision-Language Models
The Hong Kong University of Science and Technology(香港科技大学);Center for Artificial Intelligence Research (CAiRE)(人工智能研究中心)
本文综述 NLP、CV 与视觉-语言预训练模型中的社会偏见研究,比较其异同并为单模态与多模态场景下的偏见识别、缓解及公平 AI 开发提供指导。
2023-09-24 cs.AI cs.CL
Visual Goal-Step Inference using wikiHow
University of Pennsylvania(宾夕法尼亚大学)
了解完成目标所需的步骤顺序可以帮助人工智能系统对人类活动进行推理。NLP过去的工作已经研究了文本的目标步骤推理任务。我们引入视觉模拟。我们提出了视觉目标-步骤推理(VGSI)任务,其中模型被赋予文本目标,并且必须选择四个图像中的哪一个代表朝着该目标的合理步骤。通过从wikiHow收集的由772,277张代表人类行为的图像组成的新数据集,我们证明了我们的任务对于最先进的多模态模型来说是具有挑战性的。此外,从我们的数据中学习的多模态表示可以有效地转移到其他数据集,如HowTo 100 m,将VGSI的准确性提高了15 - 20%。我们的任务将促进程序事件的多模态推理。
2021-09-10 cs.AI cs.CL cs.CV
Commander-GPT: Dividing and Routing for Multimodal Sarcasm Detection
本文提出Commander-GPT框架,通过分工协作的LLM代理团队,结合三种指挥官类型,提升多模态讽刺检测性能,实验结果显示在F1分数上优于现有方法。
2026-04-08 cs.AI
LLM-Driven Multimodal Opinion Expression Identification
Tianjin University(天津大学);Institute of Computing and Intelligence, Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳)计算与智能研究院)
研究提出多模态意见表达识别(MOEI)任务及LLM驱动的STOEI方法,结合文本与语音模态,在构建的数据集上性能提升9.20%达SOTA。
2024-06-29 cs.AI cs.CL cs.SD
TeleMem: Building Long-Term and Multimodal Memory for Agentic AI
Institute of Artificial Intelligence (TeleAI), China Telecom(人工智能研究院(TeleAI),中国电信)
TeleMem通过统一的长期和多模态记忆系统,提升代理AI在长对话和多模态任务中的表现,实现更高的准确率、更低的令牌使用和更快的操作速度。
2026-01-22 cs.AI cs.CL cs.CV
Does Vision-and-Language Pretraining Improve Lexical Grounding?
Brown University(布朗大学)
仅从文本中衍生的语言表征因缺乏基础而受到批评,即,将词语与它们在现实世界中的意义联系起来。视觉和语言(VL)模型,共同训练的文本和图像或视频数据,已被提供作为对这些批评的回应。然而,尽管VL预训练在多模态任务(如视觉问答)上取得了成功,但尚不清楚内部语言表征本身与纯文本对应物的比较情况。本文比较了通过VL与纯文本预训练两个最近的VL模型使用一套分析(聚类,探测,和一个常识性的问答任务的性能)在一个纯语言设置的语义表示。我们发现,多模态模型未能显着优于纯文本的变体,这表明,未来的工作是必要的,如果要追求多模态预训练作为一种手段,提高NLP的一般。
2021-09-21 cs.AI cs.CL cs.CV
FinTral: A Family of GPT-4 Level Multimodal Financial Large Language Models
The University of British Columbia(不列颠哥伦比亚大学);Invertible AI
FinTral是基于Mistral-7b的多模态金融大语言模型,通过领域预训练、指令微调与RLAIF及工具检索增强,在多项金融任务上超越GPT-4,推动AI金融分析发展。
2024-06-14 cs.AI cs.CL
LENS: LLM-Enabled Narrative Synthesis for Mental Health by Aligning Multimodal Sensing with Language Models
Dartmouth College(达特茅斯学院);University of Virginia(弗吉尼亚大学);Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院)
本文提出LENS框架,通过将多模态传感数据与语言模型对齐,生成临床相关的心理健康叙述。该方法构建大规模数据集并训练补丁级编码器,提升对长时序传感器数据的处理能力,实验显示其在自然语言处理指标和症状严重性准确性上优于基线模型。
2026-05-08 cs.AI cs.CL
A Comparative Study of Quality Evaluation Methods for Text Summarization
University of North Texas(北得克萨斯大学)
本文针对文本摘要评估中自动指标与人工评估脱节的问题,提出基于大语言模型的评估方法,并在专利文档数据集上通过比较实验验证其与人工评估高度一致,进而构建LLM驱动的自动评估与改进框架。
2024-06-30 cs.AI cs.CL
Bridging Traditional Explainability Methods and Multimodal Multilingual Models: An XAI-Based Analysis
提出多模态Shapley值框架,结合频谱图引导的音素对齐(SGPA)预处理方法,实现文本与音频特征的可解释性归因,并开源计算包与可视化工具。
2026-04-21 cs.AI cs.CL cs.SD
A Survey on Image-text Multimodal Models
Shenyang Institute of Computing Technology, Chinese Academy of Sciences(中国科学院沈阳计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
该综述梳理了图像-文本多模态模型从早期探索到大模型架构的技术演进,分析了通用技术对生物医学领域的推动作用、模型通用组件与挑战,并分类提出应对策略与未来研究方向。
2024-06-19 cs.AI cs.CL cs.MM
Multimodal Retrieval-Augmented Generation with Large Language Models for Medical VQA
George Mason University(乔治·马歇尔大学)
本文提出 MasonNLP 系统,利用通用大语言模型结合轻量级检索增强生成框架,通过文本和视觉范例提升医学视觉问答性能,在 MEDIQA-WV 2025 任务中排名第三,验证了其作为简单有效基线的价值。
2025-10-12 cs.AI cs.CL cs.CV
SwaQuAD-24: QA Benchmark Dataset in Swahili
Hanyang University(汉阳大学)
本文提出SwaQuAD-24斯瓦希里语问答基准数据集,借鉴SQuAD等既有基准构建高质量标注问答对,以支持低资源语言NLP研究并促进东非技术创新。
2024-10-18 cs.AI cs.CL
Large Language Model Informed Patent Image Retrieval
National Taiwan University(台湾大学);JCIPRNET
本文提出一种融合大语言模型与分布感知对比损失的多模态专利图像检索方法,在DeepPatent2上显著提升mAP、Recall@10和MRR@10,并验证了其实际应用价值。
2024-04-30 cs.CL cs.CV cs.IR
Can MLLMs Read Students' Minds? Unpacking Multimodal Error Analysis in Handwritten Math
Lehigh University(里海大学);Squirrel Ai Learning(松鼠AI学习);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Michigan State University(密歇根州立大学)
本文提出ScratchMath基准测试,用于解释和分类学生手写数学草稿中的错误,评估16种MLLMs显示其在视觉识别和逻辑推理方面存在显著差距,专有模型表现更优。
2026-03-26 cs.AI cs.CL cs.CV
MCIF: Multimodal Crosslingual Instruction-Following Benchmark from Scientific Talks
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Translated(Translated公司)
MCIF是首个多模态跨语言指令遵循基准,通过科学讲座数据评估模型在跨语言、多模态环境下处理不同输入长度的任务能力。
2026-08-11 cs.AI cs.CL cs.CV
Multimodal Document Analytics for Banking Process Automation
Humboldt University of Berlin(柏林洪堡大学)
本研究针对银行文档密集型流程效率问题,通过案例研究证实,引入布局信息的多模态模型 LayoutXLM 相比 BERT 和 GPT 等文本模型能大幅提升文档处理性能,且仅需 30% 训练数据即可达到 75% 以上的 F1 分数,为银行业多模态文档分析提供了实证依据与实践指导。
2023-11-26 cs.AI cs.CL cs.CV
GridMind: A Multi-Agent NLP Framework for Unified, Cross-Modal NFL Data Insights
Telemetry Sports(遥测体育公司)
针对体育分析中多模态数据整合的挑战,提出多智能体框架GridMind,通过RAG和LLMs统一NFL的结构化、半结构化和非结构化数据,支持自然语言查询,提升实时跨模态数据洞察能力。
2025-03-24 cs.AI cs.IR
Natural Language Processing tools for Pharmaceutical Manufacturing Information Extraction from Patents
本研究开发了两个互补的NLP模型,利用专利数据提取药物初级和次级制造信息,结合LDA与k-Means聚类实现相关文本片段识别(Cohen's kappa>90%),并构建深度神经网络NER系统提取操作、材料和条件信息(f1-score micro average达84.2%)。
2025-05-01 cs.IR
eSapiens: A Real-World NLP Framework for Multimodal Document Understanding and Enterprise Knowledge Processing
eSapiens是一个企业级统一问答系统,结合Text-to-SQL与混合RAG流水线,通过引用验证提升答案忠实度,在RAGTruth基准上优于FAISS基线,支持严格基础控制。
2025-06-20 cs.IR
A Breadth-First Catalog of Text Processing, Speech Processing and Multimodal Research in South Asian Languages
Google(谷歌公司);Microsoft(微软公司);Meta;IISc(印度科学学院);Tech-Mahindra(马恒达科技);Ola(奥拉公司);Reliance-NVIDIA(信实英伟达);Zoho(佐霍公司);Lanka Law(兰卡法律公司)
本文以广度优先方式系统梳理2022至2024年南亚语言在文本、语音和多模态处理方面的文献,重点分析21种低资源语言,并借助大语言模型进行分类与聚类,揭示趋势、挑战和未来方向。
2024-12-20 cs.CL cs.IR cs.LG
Beyond Global Similarity: Towards Fine-Grained, Multi-Condition Multimodal Retrieval
Shanghai Jiao Tong University(上海交通大学);Institute of Digital Twin, Eastern Institute of Technology(数字孪生研究院,东部技术研究所);Ningbo Key Laboratory of Spatial Intelligence and Digital Derivative(宁波空间智能与数字衍生关键实验室)
MCMR提出一个多条件多模态检索基准,通过细粒度多模态检索评估模型在复杂查询中的条件感知推理能力。
2026-03-01 cs.CV cs.IR