Conditional Flow Matching for Single-Neuron Electrophysiology: Capturing Multimodal Responses Across Stimuli
University of Cambridge(剑桥大学);Cedars-Sinai Medical Center(西达赛奈医疗中心);California Institute of Technology(加州理工学院);Archimedes AI, Athena Research Center(阿基米德人工智能,雅典娜研究中心)
本文提出基于条件流匹配的生成模型,以输入电流为条件学习单神经元电生理多模态响应,在两种人类皮层中间神经元模型上准确再现特征分布,并恢复阈值附近及去极化阻滞时的双模式。
2026-10-06 cs.LG
Improving Probabilistic Diffusion Models With Optimal Diagonal Covariance Matching
Imperial College London(伦敦帝国学院);University College London(伦敦大学学院);University of Manchester(曼彻斯特大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Tubingen(蒂宾根大学);IMPRS-IS(马克斯·普朗克智能系统研究所国际马克斯·普朗克研究学院)
针对扩散模型协方差预测近似误差大的问题,提出基于无偏目标最优协方差匹配(OCM)的对角协方差学习方法,直接回归最优解析对角协方差,有效提升常用扩散模型的采样效率、召回率与似然。
2025-02-19 cs.LG
Generator Matching: Generative modeling with arbitrary Markov processes
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);FAIR, Meta(元公司 FAIR);Weizmann Institute of Science(魏茨曼科学研究所)
提出生成器匹配框架,利用任意马尔可夫过程的生成器进行生成式建模,统一扩散模型、流匹配等方法,并支持跳跃过程叠加,提升图像与多模态生成性能。
2025-02-27 cs.AI cs.LG
Improving Ensemble Filters with Flow Matching
National University of Singapore(新加坡国立大学)
本文提出流集成滤波器(FlowEF),利用条件流匹配将预报集成从经典滤波器传输到分析集成,学习非线性更新,在稀疏观测动力学系统中优于四种经典集成滤波器及最先进的生成式数据同化模型。
2026-09-24 cs.LG math.DS stat.ME
Attention-Based Multimodal Image Matching
Bar Ilan University(巴伊兰大学)
本文提出基于Transformer编码器和多尺度Siamese CNN的注意力方法,并引入注意力残差架构,在多模态与单模态图像匹配基准上取得最先进精度。
2023-09-24 cs.CV cs.LG
Improving Unimodal Inference with Multimodal Transformers
Tampere University(坦佩雷大学);Aarhus University(奥胡斯大学)
本文提出多分支架构,通过多任务共同训练,使多模态Transformer分支向单模态分支迁移知识,提升单模态模型性能,并在手势识别、情感识别和情感分析任务上验证了有效性。
2023-11-16 cs.LG
Robust Multimodal Graph Matching: Sparse Coding Meets Graph Matching
Duke University(杜克大学)
图匹配是一个具有挑战性的问题,在从图像和视频分析到生物和生物医学问题的广泛领域中具有非常重要的应用。我们提出了一个强大的图匹配算法的灵感在稀疏相关的技术。我们投的问题,类似于组或协作稀疏配方,作为一个非光滑的凸优化问题,可以有效地解决使用增广拉格朗日技术。该方法可以处理加权或未加权的图,以及多峰数据,其中不同的图表示不同类型的数据。所提出的方法也自然地与协作图推理技术相结合,解决了一般的网络推理问题,其中观察到的变量,可能来自不同的模态,是不对应的。该算法进行了测试,并与最先进的图匹配技术在合成和真实的图形。我们还提出了多模态图和应用程序的协作推理的大脑连接从无故障功能磁共振成像(fMRI)数据的结果。代码是公开的。
2013-11-25 cs.LG math.OC stat.ML
Decoupling and Damping: Structurally-Regularized Gradient Matching for Multimodal Graph Condensation
Xiamen University(厦门大学)
本文提出SR-GM框架,通过梯度解耦和结构阻尼正则化解决多模态图压缩中的语义错位和梯度噪声问题,实现高效稳定的图结构压缩。
2026-02-09 cs.LG
Transferring Pre-trained Multimodal Representations with Cross-modal Similarity Matching
LG AI Research(LG人工智能研究院);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
尽管在zero-shot传输上有令人惊讶的性能,但预训练大规模多模态模型通常是禁止的,因为它需要大量的数据和计算资源。在本文中,我们提出了一种方法(BeamCLIP),可以有效地将大型预训练多模态模型(CLIP-ViT)的表示转换为小型目标模型(例如,ResNet-18)。对于无监督传输,我们引入了跨模态相似性匹配(CSM),使学生模型能够通过匹配跨文本提示嵌入的相对相似性分布来学习教师模型的表示。为了更好地编码文本提示,我们设计了基于上下文的提示增强(CPA),可以减轻输入文本提示的词汇歧义。我们的实验表明,预训练的视觉语言模型的无监督表示转移使小型ResNet-18能够实现比仅视觉自监督学习(SSL)方法(例如,Simplified:51.8%,SwAV:63.7%),而监督学习(69.8%)则缩小了差距。
2023-01-07 cs.CV cs.LG
A survey on Self Supervised learning approaches for improving Multimodal representation learning
Columbia University(哥伦比亚大学)
最近,自监督学习在各种机器学习任务中出现了爆炸性增长和使用,因为它能够避免注释大规模数据集的成本。本文综述了多模态学习的最佳自监督学习方法。所提出的方法已经聚集了广泛的研究文献,并以不同的方式解决了自监督学习的应用。讨论的方法是跨模态生成,跨模态预训练,循环翻译和以自监督方式生成单峰标签。
2022-10-20 cs.AI cs.CV cs.LG
Star-Graph Multimodal Matching Component Analysis for Data Fusion and Transfer Learning
University of Dayton Research Institute(戴顿大学研究院)
先前的匹配分量分析(MCA)技术将两个数据域映射到公共域以用于在数据融合和迁移学习上下文中进一步处理。在本文中,我们将这些技术扩展到星图多模态(SGM)的情况下,其中一个特定的数据域连接到$m$他人通过一个目标函数。我们提供了一个特定的可行点的轨迹最大化问题的封闭形式和算法的计算和迭代改进,导致我们的主要结果,SGM地图。我们还提供了数值例子证明,SGM是能够编码到它的地图比MCA的信息时,很少的训练点。此外,我们开发了一个进一步推广的MCA协方差约束,消除了以前的可行性条件,并允许更大的值的规定协方差矩阵的秩。
2022-10-05 cs.LG cs.NA math.NA
Using Neural Architecture Search for Improving Software Flaw Detection in Multimodal Deep Learning Models
Sandia National Laboratories(桑迪亚国家实验室)
使用多模态深度学习模型的软件缺陷检测已被证明是基准问题上非常有竞争力的方法。在这项工作中,我们证明了使用神经架构搜索(NAS)与多模态学习模型相结合可以实现更好的性能。我们适应的NAS框架,旨在调查图像分类的问题,软件缺陷检测和证明朱丽叶测试套件,一个流行的基准测试数据集,用于测量性能的机器学习模型在这个问题域的改进结果。
2020-09-22 cs.AI cs.CR cs.LG
Multimodal Alignment of Histopathological Images Using Cell Segmentation and Point Set Matching for Integrative Cancer Analysis
Mayo Clinic(梅奥诊所)
本文提出一种结合细胞分割、相干点漂移和图匹配的组织病理图像多模态对齐框架,在卵巢癌组织微阵列上实现高精度细胞级对齐,并支持从MxIF生成虚拟H&E图像以辅助癌症整合分析。
2024-09-30 cs.CV cs.LG eess.IV
Improving Multimodal Sentiment Analysis: Supervised Angular Margin-based Contrastive Learning for Enhanced Fusion Representation
Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学)
本文提出基于监督角度间隔的对比学习框架,通过关注同类情感分数差异和单模态重要性,增强多模态情感分析中融合表示的判别力与泛化性。
2023-12-04 cs.CL cs.LG
Advanced Multimodal Deep Learning Architecture for Image-Text Matching
Stony Brook University(石溪大学);Stanford University(斯坦福大学);New York University(纽约大学);Northeastern University(东北大学);Southern Methodist University(南卫理公会大学)
本研究针对现有图像-文本匹配模型的局限,提出融合视觉与文本建模优势、结合新型跨模态注意力与分层融合策略的多模态深度学习架构,经训练优化后在基准及开放场景数据集上实现性能、泛化性与鲁棒性的提升。
2024-06-13 cs.CL cs.CV cs.LG
Improving Multimodal Learning Balance and Sufficiency through Data Remixing
School of Computer Science and Engineering, Southeast University, Nanjing, China(东南大学计算机科学与工程学院);Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University), Ministry of Education, China(新一代人工智能技术及交叉应用重点实验室);College of Computer Science, Beijing University of Technology, Beijing, China(北京理工大学计算机学院)
针对多模态联合训练中存在的模态惰性、冲突导致的学习不均衡不充分问题,提出数据重混合方法,通过数据解耦、困难样本筛选与批次级重组同时实现两类优化目标,在多个数据集上取得准确率提升且无额外推理开销。
2025-06-16 cs.AI cs.LG
Improving Medical Predictions by Irregular Multimodal Electronic Health Records Modeling
University of California, Santa Barbara(加州大学圣巴巴拉分校)
本文提出面向不规则数值时间序列与临床笔记的单模态建模及交错注意力多模态融合方法,在两项ICU医疗预测任务上持续超过SOTA基线。
2023-06-05 cs.AI cs.LG
Improving Multimodal Large Language Models Using Continual Learning
University of Rochester(罗切斯特大学);Rochester Institute of Technology(罗切斯特理工学院)
本研究将视觉模型集成至LLM视为持续学习问题,评估五种方法缓解遗忘,提出在保持多模态准确率的同时将语言性能退化降低高达15%的技术。
2025-08-13 cs.CL cs.CV cs.LG
Improving Hospital Mortality Prediction with Medical Named Entities and Multimodal Learning
Amazon.com Services Inc.(亚马逊服务公司)
除了结构化的临床数据外,临床文本还提供了估计患者住院期间病情的基本信息。在这项研究中,我们探讨了临床文本如何补充临床预测学习任务。我们利用内部医学自然语言处理服务对临床笔记执行命名实体提取和否定检测,并将选定的实体组成新的文本语料库以训练文档表示。然后,我们提出了一个多模态神经网络联合训练时间序列信号和非结构化的临床文本表示,以预测ICU患者的院内死亡风险。我们的模型优于基准2% AUC。
2018-12-04 cs.AI cs.CL cs.LG
Improving Multimodal Classification of Social Media Posts by Leveraging Image-Text Auxiliary Tasks
University of Sheffield(谢菲尔德大学);Bloomberg(彭博公司)
本研究提出在微调多模态模型时联合使用图像-文本对比和图像-文本匹配两个辅助损失,以改进社交媒体帖子的多模态分类,在五个数据集上实现高达2.6个F1分数点的提升。
2024-02-03 cs.CL cs.LG cs.SI
Improving prediction of students' performance in intelligent tutoring systems using attribute selection and ensembles of different multimodal data sources
Pontifical Catholic University of Ecuador(厄瓜多尔天主教大学);University of Oviedo(奥维耶多大学);University of Central Florida(中佛罗里达大学);University of Córdoba(科尔多瓦大学)
本研究利用智能辅导系统的多模态数据,通过属性选择与集成方法改进大学生成绩预测,实验表明数值数据下集成与最优属性选择效果最佳。
2024-02-10 cs.AI cs.CY cs.HC
Improving Dialogue Agents by Decomposing One Global Explicit Annotation with Local Implicit Multimodal Feedback
Massachusetts Institute of Technology(麻省理工学院);Carnegie Mellon University(卡内基梅隆大学)
提出GELI方法,利用局部隐式多模态反馈信号跨模态塑造并分解全局显式会话级奖励,学习轮次级奖励模型并应用于RHLF流程,有效提升了基于LLM的对话智能体在各项对话指标上的表现。
2024-04-23 cs.AI cs.CL cs.HC
Improving Multimodal fusion via Mutual Dependency Maximisation
LTCI, Telecom Paris, Institut Polytechnique de Paris(巴黎综合理工学院电信巴黎分校LTCI);IBM GBS France(IBM GBS法国)
多模态情感分析是当前情感分析领域的一个研究热点,而多模态融合多模态融合是其中最活跃的研究课题之一。承认人类通过各种渠道(即视觉,听觉,语言)进行交流,多模态系统旨在将不同的单峰表示集成为一个合成系统。到目前为止,已经做出了相应的努力,开发复杂的架构,允许这些模式的融合。然而,这样的系统主要通过最小化简单损失(例如$L_1$或交叉熵)来训练。在这项工作中,我们调查未开发的处罚,并提出了一套新的目标,衡量模式之间的依赖性。我们证明了我们的新惩罚在两个著名的情感分析数据集上的各种最先进的模型中得到了一致的改进(高达$4.3$的准确性):\texttt{CMU-MOSI}和\texttt{CMU-MOSEI}。我们的方法不仅在两个数据集上实现了新的SOTA,而且还产生了对模态下降更鲁棒的表示。最后,我们的方法的一个副产品包括一个统计网络,可以用来解释模型学习的高维表示。
2021-09-09 cs.AI cs.CL cs.LG
Improving Clinical Outcome Predictions Using Convolution over Medical Entities with Multimodal Learning
TOBB University of Economics and Technology(TOBB经济与技术大学)
早期预测患者的死亡率和住院时间对于挽救患者的生命和管理医院资源至关重要。电子健康记录(EHR)的可用性对医疗保健领域产生了巨大的影响,并且已经看到了一些预测临床问题的工作。然而,由于稀疏和高维性质,许多研究没有从临床记录中受益。在这项工作中,我们从临床笔记中提取医疗实体,并将其作为除了时间序列特征之外的附加特征来改进我们的预测。我们提出了一个基于卷积的多模态架构,它不仅可以有效地学习结合医疗实体和患者的时间序列ICU信号,而且还可以让我们比较不同的嵌入技术,如Word2vec,FastText对医疗实体的影响。在实验中,我们提出的方法鲁棒性优于所有其他基线模型,包括不同的多模态架构的所有临床任务。所提出的方法的代码可在https://github.com/tanlab/ConvolutionMedicalNer上获得。
2020-11-26 cs.CL cs.IR cs.LG
ScaleVLAD: Improving Multimodal Sentiment Analysis via Multi-Scale Fusion of Locally Descriptors
Southwest Jiaotong University(西南交通大学);Microsoft Research Asia(微软亚洲研究院);Southwestern University of Finance and Economics(西南财经大学);Ocean University of China(中国海洋大学);Tencent(腾讯)
融合技术是多模态情感分析中的一个关键研究课题。最近的基于注意力的融合展示了简单的基于操作的融合的进步。然而,这些融合工作采用单尺度,即,标记级或话语级的单峰表示。这种单尺度融合是次优的,因为不同的模态应该与不同的粒度对齐。本文提出了一种融合模型ScaleVLAD,利用局部聚集描述符的共享向量从文本、视频和音频中收集多尺度表示,以改善非对齐的多模态情感分析。这些共享向量可以被视为共享主题,以对齐不同的模态。此外,我们提出了一个自我监督的移动聚类损失,以保持样本之间的融合特征的差异。骨干是对应于三种模态的三个Transformer编码器,并且从融合模块生成的聚合特征被馈送到Transformer加上完整连接以完成任务预测。三个流行的情感分析基准,IEMOCAP,MOSI和MOSEI的实验,表现出显着的收益超过基线。
2021-12-02 cs.AI cs.CL cs.LG
Improving Pediatric Emergency Department Triage with Modality Dropout in Late Fusion Multimodal EHR Models
Stanford University(斯坦福大学)
本文提出一种晚期融合多模态架构,结合XGBoost和Bio_ClinicalBERT处理结构化数据和非结构化文本,通过逻辑回归元分类器预测急诊严重程度指数,通过模态脱落提升模型在儿科群体中的泛化能力。
2026-04-10 cs.LG
Visual Text Matters: Improving Text-KVQA with Visual Text Entity Knowledge-aware Large Multimodal Assistant
Indian Institute of Technology Jodhpur(印度理工学院焦特布尔分校)
针对 Text-KVQA,本文提出 VisTEL 视觉文本实体链接模块与 KaLMA 知识增强多模态助手,在三个划分上较此前最佳方法绝对提升 23.3%。
2024-10-24 cs.AI cs.CL cs.CV
Multimodal Lyrics-Rhythm Matching
McLean High School(麦克莱恩高中);George Mason University(乔治梅森大学)
针对歌词与节奏关键成分相关性研究不足,提出一种无语言限制的多模态匹配方法,利用音频生成强拍、音节、发音及关键词模式,实现关键元素匹配,实验平均匹配概率0.81,显著揭示二者关联。
2023-03-15 cs.LG cs.SD eess.AS
V-Zero: Self-Improving Multimodal Reasoning with Zero Annotation
State Key Laboratory of CAD&CG(计算机辅助设计与图形学国家重点实验室);Zhejiang University(浙江大学)
V-Zero通过自改进机制在无需人工标注的情况下提升多模态模型的视觉数学推理和通用视觉能力。
2026-01-15 cs.AI cs.CV cs.LG
That's the Wrong Lung! Evaluating and Improving the Interpretability of Unsupervised Multimodal Encoders for Medical Data
Northeastern University(东北大学);Brigham and Women’s Hospital(布莱根妇女医院);University of Amsterdam(阿姆斯特丹大学)
电子健康记录(EHR)上的预训练多模态模型提供了一种学习表示的方法,可以在最少的监督下转移到下游任务。最近的多模态模型诱导图像区域和句子之间的软局部对齐。这在医学领域中特别令人感兴趣,其中对齐可能会突出显示图像中与自由文本中描述的特定现象相关的区域。虽然过去的工作表明,注意力“热图”可以用这种方式来解释,但很少有人对这种对齐进行评估。我们比较了来自最先进的多模态(图像和文本)EHR模型的对齐与将图像区域链接到句子的人类注释。我们的主要发现是,文本对注意力的影响往往很弱或不直观;对齐并不能始终如一地反映基本的解剖信息。此外,合成修改-例如用“左”替换“右”-不会实质上影响高光。简单的技术,如允许模型选择不关注图像和Few-Shot微调,显示出在很少或没有监督的情况下改善对齐的能力。我们将代码和检查点开源。
2022-10-22 cs.AI cs.CV cs.LG
MMRNet: Improving Reliability for Multimodal Object Detection and Segmentation for Bin Picking via Multimodal Redundancy
University of Waterloo(滑铁卢大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
针对机器人料箱抓取中传感器故障导致的可靠性问题,提出MMRNet,通过多模态冗余、门控融合与动态集成学习,以及多模态一致性分数,提升系统输出可靠性。
2023-05-07 cs.CV cs.LG cs.RO
Test-Time Matching: Unlocking Compositional Reasoning in Multimodal Models
University of California, Riverside(加州大学河滨分校)
本文提出测试时匹配算法,通过改进评估指标提升多模态模型的组合推理能力,使SigLIP-B16和GPT-4.1在Winoground等基准上取得新突破。
2026-04-24 cs.AI cs.CL cs.CV
Improving Generalization for Multimodal Fake News Detection
TIB – Leibniz Information Centre for Science and Technology(莱布尼茨科技信息中心);University of Potsdam(波茨坦大学);Leibniz University Hannover(汉诺威莱布尼茨大学)
本文针对多模态假新闻检测模型泛化能力不足的问题,提出三种微调多模态 Transformer 的模型,并通过训练数据增强减少偏差,在社交媒体场景下取得了改进的最先进检测结果。
2023-05-29 cs.CL cs.IR cs.LG
MASS: Overcoming Language Bias in Image-Text Matching
Yonsei University(延世大学)
针对图像-文本匹配中模型过度依赖语言先验而忽视视觉内容的问题,提出无需额外训练即可集成到现有视觉-语言模型中的MASS框架,有效减轻语言偏差并保持语言组合性理解,提升匹配性能。
2025-01-20 cs.CV cs.LG
Improving Generalizability of Fake News Detection Methods using Propensity Score Matching
University of Notre Dame(圣母大学)
近年来,由于在线社交网络的蓬勃发展,检测假新闻引起了学术界和公众的极大关注。本文考虑假新闻特征中混杂变量的存在,采用倾向分数匹配(PSM)方法选择可泛化特征,以减少混杂变量的影响。实验结果表明,使用PSM比使用原始频率选择特征的假新闻方法的泛化能力明显更好。我们研究了多种类型的假新闻方法(分类器),如逻辑回归,随机森林和支持向量机。我们对业绩改善有一致的观察。
2020-01-28 cs.CL cs.LG cs.SI
DialectGen: Benchmarking and Improving Dialect Robustness in Multimodal Generation
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文通过构建涵盖六种英语方言的大型基准,评估多模态生成模型在方言输入下的表现,提出一种通用编码器策略提升方言鲁棒性,同时保持标准美式英语性能。
2026-04-07 cs.CL cs.CV cs.LG
SyncLoop: A Multimodal Dual-Loop Framework for Self-Improving Mathematical Reasoning
Sun Yat-sen University(中山大学);The Hong Kong Polytechnic University(香港理工大学);MBZUAI;Huawei Noah’s Ark Lab(华为诺亚实验室);Yinwang Intelligent Technology Co. Ltd(依文智科有限公司)
提出SyncLoop多模态双循环框架,通过跨模态数据演化循环和数据-模型演化循环联合进化训练数据和模型能力,解决数据复杂度不匹配和演化分离问题,在数学推理基准上持续提升性能。
2026-06-25 cs.CL cs.CV cs.LG
Meta-TTRL: A Metacognitive Framework for Self-Improving Test-Time Reinforcement Learning in Unified Multimodal Models
Tsinghua University(清华大学)
Meta-TTRL通过元认知信号实现测试时间参数优化,提升统一多模态模型的自改进能力,在文本到图像生成任务中取得显著成果。
2026-03-16 cs.AI cs.LG
Improving Autism Detection with Multimodal Behavioral Analysis
Center for Cognitive Interaction Technology (CITEC), Bielefeld University(认知交互技术中心(CITEC),比勒菲尔德大学);Institute of Psychology, Humboldt University of Berlin(心理学研究所,洪堡大学);Department of Psychiatry and Psychotherapy, Medical Center-University of Freiburg(精神病学与心理治疗系,弗赖堡医学院-大学)
本研究通过多模态行为分析,引入新型凝视统计描述符,将凝视分类准确率从64%提升至69%,并利用晚期融合达到74%的整体分类准确率,为自闭症视频筛查提供了可扩展的有效方法。
2025-09-19 cs.CV cs.LG
Multimodal and Force-Matched Imitation Learning with a See-Through Visuotactile Sensor
University of Toronto(多伦多大学);Samsung AI Centre(三星人工智能中心);McGill University(麦吉尔大学)
本研究在模仿学习框架中利用多模态视觉触觉传感器执行接触密集型任务,提出触觉力匹配和学习模式切换两种算法改进,实验证明其在四个开门任务中显著提升了策略成功率。
2025-01-26 cs.AI cs.LG cs.RO
Improving Deep Dynamics Models for Autonomous Vehicles with Multimodal Latent Mapping of Surfaces
University of Freiburg(弗赖堡大学);Toyota Research Institute(丰田研究院);University of Technology, Nuremberg(纽伦堡工业大学)
自动驾驶汽车的安全部署取决于它们对环境变化的有效反应能力。这可能需要在变化的表面上操纵,这仍然是一个困难的问题,特别是对于光滑的地形。为了解决这个问题,我们提出了一种新的方法,学习表面感知的动态模型的条件下,它对一个潜在的变量向量存储有关当前位置的表面信息。训练潜在映射器以在每次遍历对应位置时从多个模态进行推断期间更新这些潜在变量,并将它们存储在地图中。通过端到端地训练所有内容,同时丢失动态模型,我们强制潜在映射器学习对后续动态模型有用的潜在映射的更新规则。我们实施和评估我们的方法上一个真正的微型电动汽车。结果表明,与没有此信息的模型相比,潜在映射被更新以允许对动力学模型进行更准确的预测。我们进一步表明,通过使用该模型,可以提高驾驶性能的变化和具有挑战性的表面。
2023-03-21 cs.LG cs.RO
FrogDeepSDM: Improving Frog Counting and Occurrence Prediction Using Multimodal Data and Pseudo-Absence Imputation
Pervasive Systems, University of Twente(普罗威斯系统,埃因霍温大学);CYENS Center of Excellence(CYENS卓越中心);Cyprus University of Tecnhology(塞浦路斯技术大学)
本研究提出FrogDeepSDM,利用多模态数据与伪缺失插补及数据平衡技术,显著提升青蛙计数与出现预测精度,MAE从189降至29,分类准确率达84.9%,AUC为0.90。
2025-10-22 cs.CV cs.LG
Improving the Performance of Unimodal Dynamic Hand-Gesture Recognition with Multimodal Training
Rutgers University(罗格斯大学);Microsoft(微软);Johns Hopkins University(约翰斯·霍普金斯大学)
提出一种多模态训练框架,通过嵌入多模态知识并引入时空语义对齐损失和焦点正则化参数,提升单模态3D-CNN动态手势识别的准确率,达到最先进性能。
2019-08-12 cs.AI cs.CV cs.HC
Improving Fuzzy-Logic based Map-Matching Method with Trajectory Stay-Point Detection
Kharazmi University(哈拉兹米大学)
针对GPS轨迹中停留点不规则导致地图匹配错误的问题,提出利用DBSCAN聚类停留点并消除冗余数据的方法,在保持匹配准确度的同时减少了数据量和处理时间。
2022-08-04 cs.AI cs.CG cs.CV
Improving Question Generation with Sentence-level Semantic Matching and Answer Position Inferring
NSF Center for Big Learning, University of Florida(佛罗里达大学NSF大数据学习中心);AI Institute, Tongdun Technology(同盾科技人工智能研究院)
以答案及其上下文作为输入,序列到序列模型在问题生成方面取得了相当大的进展。然而,我们观察到,这些方法经常生成错误的问题词或关键字,并从输入中复制与答案无关的词。我们认为缺乏全局问题语义和没有很好地利用答案位置意识是关键的根本原因。本文提出了一个神经问题生成模型,该模型包括两个具体模块:句子级语义匹配和答案位置推断。此外,我们通过利用答案感知门控融合机制来增强解码器的初始状态。实验结果表明,我们的模型优于最先进的(SOTA)模型SQuAD和MARCO数据集。由于其通用性,我们的工作也显着改善现有的模型。
2020-02-03 cs.AI cs.CL cs.LG
SILMM: Self-Improving Large Multimodal Models for Compositional Text-to-Image Generation
National University of Singapore(新加坡国立大学);University of Science and Technology of China(中国科学技术大学);Zhejiang University(浙江大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
提出模型无关的迭代自改进框架SILMM,利用直接偏好优化及多样性机制和核方法,显著提升大型多模态模型在组合式文本到图像生成中的文本-图像对齐性能。
2025-03-24 cs.AI cs.CL cs.CV