Comp4D: LLM-Guided Compositional 4D Scene Generation
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Cambridge(剑桥大学);University of Toronto(多伦多大学)
提出Comp4D框架,利用LLM分解文本提示并规划轨迹,分别构建场景中各4D物体,结合组合式分数蒸馏技术,实现了高质量且具备丰富物体交互的组合式4D场景生成。
2024-03-25 cs.CV
FBC-GAN: Diverse and Flexible Image Synthesis via Foreground-Background Composition
Nanyang Technological University(南洋理工大学)
生成对抗网络(GANs)已经成为图像合成中的事实标准。然而,在不考虑前景-背景分解的情况下,现有的GANs倾向于捕获前景和背景之间的过度内容相关性,从而限制了图像生成的多样性。本文提出了一种新的前景-背景合成GAN(FBC-GAN GAN),它通过同时独立地生成前景对象和背景场景来执行图像生成,然后将它们以风格和几何一致性进行合成。通过这种显式设计,FBC-GAN可以生成具有在内容上相互独立的前景和背景的图像,从而解除不期望学习的内容相关性约束并实现优异的多样性。它还通过允许相同的前景对象具有不同的背景场景、相同的背景场景具有不同的前景对象、或者相同的前景对象和背景场景具有不同的对象位置、大小和姿态来提供出色的灵活性。它还可以合成从不同数据集采样的前景对象和背景场景。在多个数据集上进行的大量实验表明,与最先进的方法相比,FBC-GAN实现了具有竞争力的视觉真实感和优越的多样性。
2021-07-07 cs.CV
Generating Intermediate Representations for Compositional Text-To-Image Generation
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本文提出两阶段组合式文本到图像生成方法,先以文本为条件生成深度图或分割图等中间表示,再结合文本映射到最终图像,相比非组合式基线显著改善FID分数并保持可比CLIP分数。
2024-10-20 cs.CV
GAN-based Content-Conditioned Generation of Handwritten Musical Symbols
Computer Vision Center(计算机视觉中心);Universitat Autònoma de Barcelona(巴塞罗那自治大学)
针对OMR真实标注数据不足的问题,本文提出音乐符号级GAN并用Smashcima组装合成手写乐谱,实验表明生成符号具有高度真实感。
2025-10-16 cs.CV
Griffin: Generative Reference and Layout Guided Image Composition
Simon Fraser University(西蒙弗雷泽大学);Huawei(华为);University of Toronto(多伦多大学)
针对多图像布局控制问题,本文提出无需训练的 Griffin 方法,以单张参考图像和布局信息实现对象级与部件级的可控图像合成。
2025-09-30 cs.CV
ScoreMix: Synthetic Data Generation by Score Composition in Diffusion Models Improves Recognition
EPFL(苏黎世联邦理工学院);Idiap(日内瓦智能感知研究院)
ScoreMix是一种无需外部资源的自包含合成数据生成方法,通过混合扩散模型的类条件分数生成样本,在8个人脸识别基准上无需超参数搜索即可将准确率提升多达7个百分点。
2026-09-04 cs.AI cs.CV cs.LG
DyST-XL: Dynamic Layout Planning and Content Control for Compositional Text-to-Video Generation
Zhejiang University(浙江大学)
提出免训练框架DyST-XL,通过动态布局规划、双提示注意力控制和实体一致性约束,显著提升了组合式文本到视频生成中多实体交互与时空关系的准确性。
2025-04-30 cs.CV
Image Interpolation with Score-based Riemannian Metrics of Diffusion Models
Hokkaido University(北海道大学)
本文提出将预训练扩散模型的数据空间视为黎曼流形,利用得分函数导出度量,实验表明该方法生成的图像插值比现有方法更真实、噪声更少且更忠实于提示。
2025-04-28 cs.CV
Training-Free Video Editing via Optical Flow-Enhanced Score Distillation
本研究提出基于预训练文本到视频模型的分数蒸馏方法,通过迭代优化和光流增强技术,解决无需训练视频编辑中的内容保留与时间连续性问题。
2026-01-04 cs.CV
Improving Compositional Attribute Binding in Text-to-Image Generative Models via Enhanced Text Embeddings
University of Maryland(马里兰大学)
本文针对文本到图像模型组合属性绑定失败问题,发现CLIP文本编码器输出空间次优且最终token嵌入含无关注意力,通过微调参数高效线性投影,在不损害FID分数下显著提升组合生成质量。
2025-03-24 cs.CV
Learning to Generate Novel Scene Compositions from Single Images and Videos
Bosch Center for Artificial Intelligence(博世人工智能中心);University of Bonn(波恩大学)
在低数据条件下训练GANs仍然是一个挑战,因为过度拟合通常会导致记忆或训练分歧。在这项工作中,我们引入了One-Shot GAN,它可以学习从一个训练集生成样本,小到一个图像或一个视频。我们提出了一个两个分支,内容和布局分支的设计,以判断内部内容分别从场景布局的现实主义。这允许合成具有不同内容和布局的视觉上合理的、新颖的场景组成,同时保留原始样本的上下文。与以前的单图像GAN模型相比,One-Shot GAN实现了更高的多样性和合成质量。它也不限于单一图像设置,在单一视频的介绍设置中成功学习。
2021-05-12 cs.CV cs.LG
Disco-LoRA: Disentangled Composition of Content, Style, and Motion for Multi-concept Video Customization
Nanjing University of Posts and Telecommunications(南京邮电大学);Hefei University of Technology(合肥工业大学);Peng Cheng Laboratory(鹏城实验室)
提出Disco-LoRA框架,通过两阶段解耦和重组内容、风格和运动概念,实现多概念视频定制,并采用Z-score正则化协调LoRA权重分布。
2026-06-26 cs.AI cs.CV
Separate-and-Enhance: Compositional Finetuning for Text2Image Diffusion Models
CMU(卡内基梅隆大学);Adobe Research(奥多比研究院);UIUC(伊利诺伊大学厄巴纳-香槟分校)
针对文本生成图像扩散模型多目标组合生成与提示对齐不佳的问题,提出结合Separate与Enhance损失的微调方法,提升了图像真实感、对齐度与适应性。
2024-01-31 cs.AI cs.CV
Generating Novel Scene Compositions from Single Images and Videos
Bosch Center for Artificial Intelligence(博世人工智能中心);University of Tübingen(图宾根大学);University of Bonn(波恩大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究所)
针对极低数据量下GAN训练易过拟合的问题,提出双分支判别器架构的SIV-GAN,可从单图或单视频少量帧生成多样高质量的新颖场景构图。
2023-12-13 cs.CV cs.LG
Unsupervised Compositional Concepts Discovery with Text-to-Image Generative Models
UIUC(伊利诺伊大学厄巴纳-香槟分校);MIT(麻省理工学院)
提出一种无监督方法从图像集合中发现生成概念,能解耦风格、物体与光照并重组生成新图像,同时可用于下游分类任务。
2023-08-03 cs.AI cs.CV cs.LG
Image Cropping with Composition and Saliency Aware Aesthetic Score Map
Shanghai Jiao Tong University(上海交通大学);Versa Inc(Versa公司)
图像的美学裁剪是一项实用而又具有挑战性的任务,其目的是在图像中找到具有最高美学质量的最佳裁剪。近年来,许多深度学习方法被提出来解决这个问题,但它们并没有揭示审美评价的内在机制。在本文中,我们提出了一个可解释的图像裁剪模型来揭开神秘的面纱。对于每个图像,我们使用一个完全卷积的网络来生成一个美学评分图,在作物级美学评估过程中,所有候选作物都可以共享该评分图。然后,我们要求美学评分图既具有构图意识又具有显著性意识。特别地,相同区域基于其在不同作物中的相对位置被分配有不同的美学分数。此外,视觉上显著的区域应该具有更敏感的美学分数,以便我们的网络可以学习将显著对象放置在更合适的位置。这样的美学评分图可用于定位图像中美学上重要的区域,这揭示了我们模型学习的构图规则。我们展示了我们的模型在几个基准数据集上的图像裁剪任务中的竞争性能,并且还展示了它在现实世界应用中的通用性。
2019-11-24 cs.CV
Improving Surgical Risk Prediction Through Integrating Automated Body Composition Analysis: a Retrospective Trial on Colectomy Surgery
Duke University(杜克大学)
该研究评估了从术前CT自动提取的身体成分指标对结肠切除术后1年死亡率的预测能力,发现其单独或结合临床变量均可有效预测,并比较了与NSQIP评分的性能。
2025-06-20 cs.CV
SACT: Self-Aware Multi-Space Feature Composition Transformer for Multinomial Attention for Video Captioning
University of Florida(佛罗里达大学)
视频描述主要研究两个基本概念:特征检测和特征合成。虽然现代Transformers在构成特征上是有益的,但它们缺乏对内容的选择和理解的基本问题。随着特征长度的增加,包括用于改进相关内容的捕获的规定变得越来越重要。在这项工作中,我们引入了一个新的概念,自我意识的组成Transformer(SACT),能够产生多项式注意力(MultAtt),这是一种生成各种组合的帧的分布。此外,多头注意力转换器Transformer的工作原理是将所有可能的注意力内容组合起来,这对自然语言分类很好,但对视频描述有局限性。视频内容具有重复,并且需要解析重要内容以更好地内容合成。在这项工作中,我们已经引入了SACT更多的选择性注意,并结合他们为不同的注意力头更好地捕捉可用的内容,为任何应用程序。为了解决多样化的问题,并鼓励选择性利用,我们提出了自感知组合Transformer模型密集的视频描述和应用技术的两个基准数据集,如ActivityNet和YouCookII。
2020-06-25 cs.CL cs.CV cs.NE
Exploring Content Based Image Retrieval for Highly Imbalanced Melanoma Data using Style Transfer, Semantic Image Segmentation and Ensemble Learning
Gujarat Technological University(古吉拉特理工大学)
病变图像经常在开放设置中拍摄。由于图像数据的多样性,卷积神经网络很难找到合适的特征并具有良好的泛化能力,因此很难建立基于内容的病变图像检索(CBIR)系统。本文探讨了这一领域,并提出了多个相似性措施,使用风格损失和骰子系数通过一个新的相似性措施称为I1-得分。在提出的CBIR相似性度量中,纯风格损失方法比传统的方法如欧氏距离和余弦相似性实现了显着的准确性提高。使用风格损失的I1分数表现优于传统方法的一个小的利润率,而,I1分数与骰子系数公平非常差。所使用的模型使用集成学习进行训练,以获得更好的泛化能力。
2021-10-12 cs.CV
Open World Compositional Zero-Shot Learning
University of Tübingen(蒂宾根大学);TU München(慕尼黑工业大学);MPI for Informatics(马克斯·普朗克信息学研究所);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所)
成分零样本学习(CNOML)需要识别在训练过程中看不到的状态对象成分。在这项工作中,而不是假设先验知识的看不见的组合物,我们在开放世界的设置,其中的搜索空间包括大量的看不见的组合物,其中一些可能是不可行的。在这种情况下,我们从视觉特征和合成嵌入之间的余弦相似性开始。在估计每个组合的可行性得分之后,我们使用这些得分直接屏蔽输出空间,或者作为训练期间视觉特征和组合嵌入之间的余弦相似性的余量。我们在两个标准的CNOHL基准测试上的实验表明,所有的方法在开放世界环境中应用时,都会出现严重的性能下降。虽然我们简单的CNOML模型在封闭世界场景中实现了最先进的性能,但我们的可行性分数提高了我们在开放世界环境中的性能,明显优于以前的最先进水平。
2021-03-30 cs.CV cs.LG
PortraitCraft: A Benchmark for Portrait Composition Understanding and Generation
MT Lab, Meitu Inc(美图实验室,美图公司);Airbrush Studio, Meitu Inc(喷雾工作室,美图公司);Meitu Design, Meitu Inc(美图设计,美图公司)
本文提出PortraitCraft基准测试,通过结构化多级监督数据集,实现对肖像构图的理解与生成评估,包含评分预测、细粒度属性推理和生成任务,推动细粒度肖像理解与可控生成研究。
2026-04-16 cs.CV
Direct content-based retrieval from music scores images
Pattern Recognition and Artificial Intelligence Group, University of Alicante(阿利坎特大学模式识别与人工智能小组);Instituto Superior de Enseñanzas Artísticas de la Comunidad Valenciana(瓦伦西亚社区艺术教育研究所)
研究乐谱图像内容检索方法,比较基于光学音乐识别的转录方法、无转录Transformer模型和文本提示大语言模型在不同数据集上的表现。
2026-05-28 cs.CV cs.IR
SCORES: Shape Composition with Recursive Substructure Priors
Simon Fraser University(西蒙弗雷泽大学);National University of Defense Technology(国防科技大学);Princeton University(普林斯顿大学);Adobe Research(Adobe研究院);IIT Bombay(印度理工学院孟买分校)
我们介绍SCORES,一个递归神经网络的形状组成。我们的网络将来自两个或多个源3D形状的零件集以及零件的粗略初始放置作为输入。它为组合形状输出优化的零件结构,从而实现高质量的几何构造。我们的合成网络的一个独特之处在于,它不仅仅是学习如何连接各个部分。我们的目标是产生一个连贯和合理的3D形状,尽管输入部分之间存在很大的不兼容性。网络可以显著地改变输入部分的几何形状和结构,并且基于输入合成新颖的形状结构,同时添加或移除部分以最小化结构可扩展性损失。我们将SCORES设计为递归自动编码器网络。在编码期间,输入部分被递归地分组以生成根代码。在合成期间,根代码被递归地解码,以产生新的、连贯的部件装配。组装的形状结构可能是新颖的,与训练样本几乎没有全局相似性,但具有合理的子结构。因此,SCORES基于每个节点的损失学习分层子结构形状先验。它是在ShapeNet的结构化形状上训练的,并迭代应用以减少可扩展性损失。我们展示了来自多个来源的不同类别人造形状的形状组合结果,并与最先进的替代方案进行了比较,表明我们的网络可以显着扩展基于装配的建模的可组合形状的范围。
2018-09-14 cs.CV cs.GR cs.LG
Utilizing unsupervised learning to improve sward content prediction and herbage mass estimation
Dublin City University(都柏林城市大学);VistaMilk Research Centre(VistaMilk研究中心);University College Dublin(都柏林大学学院);Teagasc(爱尔兰农业与食品发展局)
草地物种组成估测是一项繁琐的工作。必须在田间采集牧草,人工将其分成各种成分,干燥并称重,以估计物种组成。使用神经网络的深度学习方法已在以前的工作中使用,通过仅从牧场区域的图片估计生物量信息,为该过程提出更快,更经济的替代方案。然而,深度学习方法很难推广到遥远的地理位置,并且需要进一步的数据汇集来重新训练并在不同的气候中表现最佳。在这项工作中,我们通过在训练神经网络时减少对地面真实(GT)图像的需求来增强深度学习解决方案。我们演示了如何无监督的对比学习可以用于草地组成预测问题,并与丹麦收集的公开可用的GrassClover数据集以及爱尔兰最近的数据集进行比较,我们在那里处理牧草质量和高度估计。
2022-04-20 cs.CV
Phys4DGen: Physics-Compliant 4D Generation with Multi-Material Composition Perception
School of Informatics, Xiamen University(厦门大学信息学院)
提出Phys4DGen框架,通过3D材质分组、内部物理结构发现及多模态大模型蒸馏物理先验,实现多材质复合对象的自动化物理合规4D生成,显著优于现有方法。
2025-11-03 cs.CV
Compositional 3D Scene Generation using Locally Conditioned Diffusion
Stanford University(斯坦福大学)
设计复杂的3D场景一直是一个繁琐的手动过程,需要领域专业知识。新兴的文本到3D生成模型显示出很大的希望,使这项任务更直观,但现有的方法仅限于对象级的生成。我们引入\textbf{locally conditioned diffusion}作为一种方法组成的场景扩散,使用文本提示和边界框提供对语义部分的控制,同时确保这些部分之间的无缝过渡。我们展示了一个分数蒸馏采样-基于文本到3D合成管道,使组成的3D场景生成在更高的保真度比相关的基线。
2023-03-23 cs.CV
Image Composition Assessment with Saliency-augmented Multi-pattern Pooling
图像构图评价是美学评价中的一个重要环节,其目的是评价给定图像的整体构图质量。然而,据我们所知,没有数据集或方法专门为这项任务提出。在本文中,我们贡献了第一个组成评估数据集CADB与组成分数为每个图像提供多个专业评分。此外,我们提出了一个组成评估网络SAMP-Net与一个新的显着性增强的多模式池(SAMP)模块,从多个组成模式的角度分析视觉布局。我们还利用组成相关的属性,以进一步提高性能,并扩展地球移动器的距离(EMD)损失加权EMD损失,以消除内容偏见。实验结果表明,我们的SAMP-Net可以执行更有利的比以前的美学评估方法。
2021-10-18 cs.CV
Composition-Aware Image Aesthetics Assessment
Netflix Inc.(奈飞公司)
自动图像美学评价对于在线照片推荐、相册管理和图像检索等应用都具有重要意义。先前的方法集中于将整体图像内容映射到高或低美学评级。而图像的构图信息则体现了图像视觉元素之间的协调性,为美学的学习提供了更丰富的信息。在这项工作中,我们建议将图像组成信息建模为其局部区域的相互依赖性,并设计一种新的架构来利用这些信息来提高美学评估的性能。为了实现这一点,我们密集地将图像划分为局部区域,并计算区域上的美学保持特征来表征图像内容的美学属性。利用局部区域的特征表示,构造了一个区域组合图,图中每个节点表示一个区域,任意两个节点之间由一条边连接,边的权重由区域特征的相似性决定。我们通过图卷积在这个图上进行推理,其中每个节点的激活由其高度相关的邻居决定。我们的方法自然地揭示了网络训练过程中局部区域的相互依赖性,并在基准视觉美学数据集上实现了最先进的性能。
2019-07-25 cs.CV
Analytic Score Optimization for Multi Dimension Video Quality Assessment
Department of XXX, University of YYY, Location, Country(XXX系,YYY大学,地点,国家);School of ZZZ, Institute of WWW, Location, Country(ZZZ学院,WWW研究所,地点,国家)
本文提出多维视频质量评估数据集UltraVQA,并引入分析评分优化方法,通过理论支持的后训练目标提升质量评分精度,实验显示其在质量预测中表现优异。
2026-02-18 cs.CV
RTIC: Residual Learning for Text and Image Composition using Graph Convolutional Network
Kakao Brain;NAVER/LINE Vision
在本文中,我们研究了图像和文本的组合学习的图像检索。该查询是以图像和文本的形式给出的,该文本描述了对图像的期望修改;目标是通过在文本和图像模态中组合信息来检索满足给定修改并且类似于查询的目标图像。为了弥补这一点,我们提出了一种新的架构设计的图像-文本组成的任务,并表明,所提出的结构可以有效地编码的源和目标图像之间的差异的文本条件。此外,我们介绍了一种新的联合训练技术的基础上的图卷积网络,一般适用于任何现有的组成方法,即插即用的方式。我们发现,所提出的技术不断提高性能,并在各种基准测试中达到最先进的分数。为了避免由琐碎的训练超参数引起的误导性实验结果,我们使用统一的训练环境再现所有个体基线和训练模型。我们希望这种方法能够抑制不相关组件的不良影响,并强调图像-文本合成模块的能力。此外,我们在不限制训练环境的情况下获得了最先进的分数,这意味着我们的方法考虑到超参数调整的收益的优越性。代码,包括所有的基线方法,都发布在https://github.com/nashory/rtic-gcn-pytorch上。
2021-10-26 cs.CV
A deep architecture for unified aesthetic prediction
Naver Labs Europe
图像美学已经成为社交媒体网站和媒体内容库上视觉内容策展的重要标准。在计算机视觉社区中关于美学预测模型的先前工作集中在美学分数预测或二进制图像标记上。然而,原始美学注释是以分数直方图的形式,并且提供比二进制标签或平均分数更丰富和更精确的信息。因此,在这项工作中,我们专注于很少研究的问题预测美学分数分布,并提出了一种新的架构和训练过程,我们的模型。我们的模型在标准AVA大规模基准数据集上实现了三个任务的最新结果:(i)美学质量分类;(ii)美学评分回归;(iii)美学评分分布预测,所有这些都使用一个仅为分布预测任务训练的模型。我们还介绍了一种方法来修改图像,使其预测的美学变化,并使用这种修改来深入了解我们的模型。
2017-08-16 cs.CV
Composition and Style Attributes Guided Image Aesthetic Assessment
University of Milano-Bicocca(米兰比可卡大学)
图像的审美品质是对图像美的度量或评价。美学本质上是一种主观属性,但也有一定的因素,影响它,如,图像的语义内容,描述艺术方面的属性,用于拍摄的摄影设置等。在本文中,我们提出了一种方法,用于自动预测的图像的美学是基于语义内容,艺术风格和图像的组成的分析。拟议的网络包括:用于语义特征提取的预训练网络(Backbone);依赖Backbone特征来预测图像属性的多层感知器(MLP)网络(DatabenNet);自适应超网络,利用之前编码到的属性由DatabenNet生成的嵌入来预测专用于美学估计的目标网络(AestheticNet)的参数。给定一幅图像,所提出的多网络能够预测:风格和构图属性,以及美学分数分布。三个基准数据集上的结果证明了所提出的方法的有效性,而消融研究提供了一个更好的理解所提出的网络。
2022-07-07 cs.CV
What Does the Caption Really Say? Counterfactual Phrase Intervention for Compositional Data Selection in Vision-Language Pretraining
Soongsil University(顺斯尔大学)
本文研究了在视觉语言预训练中如何通过反事实短语干预来改进组合数据选择,提出了CPI方法以解决现有方法中全局过滤信号失效的问题,从而提升模型在关系识别任务上的表现。
2026-05-21 cs.CV
VCoME: Verbal Video Composition with Multimodal Editing Effects
ByteDance Inc.(字节跳动公司)
本文提出带多模态编辑效果的口播视频合成任务及大规模数据集,并构建基于大型多模态模型的 VCoME 框架,自动推荐效果位置与类型,效率达专业编辑的85倍。
2024-07-05 cs.CV cs.MM
AMICO: Amodal Instance Composition
University of Maryland, College Park(马里兰大学帕克分校);Facebook(脸书)
图像合成的目的是混合多个对象,以形成一个和谐的图像。现有的方法通常假设精确分割和完整的对象。然而,这种假设在无约束的情况下很难满足。我们提出了非模态实例合成不完美的-潜在的不完整和/或粗分割-到目标图像上的对象。我们首先开发对象形状预测和内容完成模块来合成非模态内容。然后,我们提出了一个神经组合模型来无缝地混合对象。我们的主要技术新颖性在于使用单独的前景/背景表示和混合掩模预测来减轻分割错误。我们的结果显示了在公共COCOA和KINS基准测试中最先进的性能,并在不同场景中获得了良好的视觉效果。我们展示了各种图像合成应用程序,如对象插入和去遮挡。
2022-10-11 cs.AI cs.CV cs.LG
BOSS: Bottom-up Cross-modal Semantic Composition with Hybrid Counterfactual Training for Robust Content-based Image Retrieval
National University of Singapore(新加坡国立大学);Université de Montréal(蒙特利尔大学);Zhejiang University(浙江大学)
基于内容的图像检索(Content-Based Image Retrieval,CIR)旨在通过同时理解示例图像和补充文本的组成来搜索目标图像,这可能会影响各种各样的现实应用,例如互联网搜索和时尚检索。在这种情况下,输入图像用作搜索的直观上下文和背景,而相应的语言明确地请求关于应该如何修改查询图像的特定特征以获得预期目标图像的新特征。这项任务是具有挑战性的,因为它需要学习和理解的复合图像-文本表示,通过纳入跨粒度的语义更新。在本文中,我们解决了这个任务,一个新的\underline{\textbf{B}} ottom-up cr \underline{\textbf{O}} ss-modal \underline{\textbf{S}} emantic compo \underline{\textbf{S}} ition(\textbf{BOSS})与混合反事实训练框架,它揭示了新的光CIR任务,从两个以前被忽视的角度研究:\emph{implicitly bottom-up composition of visiolinguistic representation}和\emph{explicitly fine-grained correspondence of query-target construction}。一方面,我们利用隐式的交互和组合的跨模态嵌入从底部的局部特征到顶部…
2022-07-09 cs.AI cs.CV cs.IR
Towards a Better Understanding of VR Sickness: Physical Symptom Prediction for VR Contents
KAIST(韩国科学技术院)
我们通过评估VR疾病的身体症状水平来解决VR疾病评估(VRSA)的黑箱问题。对于诱发类似VR疾病水平的VR内容,身体症状可以根据内容的特性而变化。大多数现有的VRSA方法侧重于评估整体VR疾病评分。为了更好地理解VR病,需要预测和提供VR病的主要症状水平,而不是VR病的总体程度。在本文中,我们预测的程度,主要的身体症状影响VR病的整体程度,这是定向力障碍,恶心,眼球。此外,我们引入了一个新的大规模数据集的VRSA,包括360个视频与各种帧速率,生理信号和主观评分。在VRSA基准测试和我们新收集的数据集上,我们的方法不仅可以实现与主观评分的最高相关性,还可以更好地了解哪些症状是VR疾病的主要原因。
2021-04-14 cs.CV eess.IV
Prompt Tuning for Zero-shot Compositional Learning
Samsung Research America(三星美国研究院)
针对开放世界组合零样本学习缺乏开放世界常识的问题,本文提出 MMPT 框架,通过多模态提示调优继承大型预训练视觉-语言模型知识,并在 UT-Zappos 和 MIT-States 上刷新最先进性能。
2023-12-02 cs.AI cs.CV
VisionScores -- A system-segmented image score dataset for deep learning tasks
VisionScores是首个系统分割的图像乐谱数据集,提供24.8k个高信息密度的双手钢琴作品灰度图像样本,涵盖作曲家与作品类型两种场景,并附带元数据及未分割全页乐谱,支持深度学习任务。
2025-06-28 cs.AI cs.CV cs.LG
Enhancing Historical Image Retrieval with Compositional Cues
Computer Vision Lab, TU Wien(计算机视觉实验室,维也纳技术大学)
针对历史图像检索忽视非语义信息的问题,提出将CNN提取的图像构图线索显式融入检索模型,同时利用构图与语义信息,实验证明该方法优于仅依赖内容的方法,能更符合人类感知地检索图像。
2024-03-21 cs.AI cs.CV eess.IV
Image Aesthetics Prediction Using Multiple Patches Preserving the Original Aspect Ratio of Contents
The University of Tokyo(东京大学)
社交网络服务的普及创造了对选择、编辑和生成令人印象深刻的图像的日益增长的需求。这种趋势增加了评价图像美学作为自动图像处理的补充功能的重要性。我们提出了一个多补丁的方法,命名为MPA-Net(多补丁聚合网络),预测图像美学分数保持原来的长宽比的内容在图像中。通过涉及大规模AVA数据集,其中包含250,000张图像的实验,我们表明,与单块预测和随机块选择方法相比,等间隔多块选择方法用于美学评分预测的有效性是显着的。对于该数据集,MPA-Net优于神经图像评估算法,后者被视为基线方法。特别是,MPA-Net产生了0.073(11.5%)更高的线性相关系数(LCC)的美学评分和0.088(14.4%)更高的斯皮尔曼等级相关系数(SRCC)。MPA-Net还将均方误差(MSE)降低了0.0115(4.18%),并实现了与最先进的连续美学评分预测方法相当的LCC和SRCC结果。最值得注意的是,MPA-Net产生了显着较低的MSE,特别是对于宽高比远离1.0的图像,这表明MPA-Net适用于宽高比范围内的图像。MPA-Net只使用图像,在训练和预测阶段不需要外部信息。因此,MPA-Net在美学评分预测以外的其他人类主观性预测方面具有很大的应用潜力。
2020-07-05 cs.CV cs.MM
Considering user agreement in learning to predict the aesthetic quality
University of Nantes(南特大学);Tencent(腾讯)
如何对给定图像的美学质量进行鲁棒排序一直是一个长期存在的不适定问题。这种挑战主要源于不同观察者对不同类型内容的不同主观意见。有越来越多的兴趣,估计用户的协议,考虑标准偏差的分数,而不是只预测平均审美意见得分。然而,当比较一对内容时,很少有研究考虑我们对美学分数的差异有多大信心。因此,在本文中,我们提出了(1)一个重新调整的多任务注意力网络,以端到端的方式预测平均意见得分和标准差;(2)一个全新的置信区间排名损失,鼓励模型关注那些不太确定其美学得分差异的图像对。有了这样的损失,模型被鼓励学习与观察者意见的多样性相关的内容的不确定性,即,用户不同意。大量的实验表明,所提出的多任务美学模型在两种不同类型的美学数据集上实现了最先进的性能,即,AVA和TMGA。
2021-10-13 cs.AI cs.CV
InternLM-XComposer2: Mastering Free-form Text-Image Composition and Comprehension in Vision-Language Large Model
The Chinese University of Hong Kong(香港中文大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);SenseTime Group(商汤科技)
本研究推出视觉语言模型InternLM-XComposer2,通过PLoRA方法平衡视觉理解与文本生成能力,在多模态任务上表现优异,部分指标超越GPT-4V等模型,且已开源7B参数版本。
2024-01-29 cs.CL cs.CV