Human Pose Driven Object Effects Recommendation
Renmin university of china(中国人民大学);Tinghua university(清华大学)
本文研究微视频平台中的物体效果推荐这一新课题,这对于广告插播等实际应用来说是一个具有挑战性的重要课题。为了避免直接从图像帧中学习视频内容所引起的背景偏差问题,我们提出利用隐藏在3D人体姿势中的有意义的肢体语言进行推荐。为此,在这项工作中,介绍了一种新的人类姿势驱动的对象效果推荐网络PoseRec。PoseRec利用3D人体姿势检测的优势,从多帧3D人体姿势中学习信息,用于视频项目注册,从而获得高质量的对象效果推荐性能。此外,为了解决对象效果推荐中存在的固有模糊性和稀疏性问题,我们进一步提出了一种新的项目感知隐式原型学习模块和一种新的姿势感知直推式硬否定挖掘模块,以更好地学习姿势-项目关系。此外,为了对新的研究主题的方法进行基准测试,我们建立了一个新的对象效果推荐数据集Pose-OBE。Pose-OBE上的大量实验表明,我们的方法可以实现优于强基线的性能。
2022-09-17 cs.AI cs.CV
MealRec: Multi-granularity Sequential Modeling via Hierarchical Diffusion Models for Micro-Video Recommendation
National University of Defense Technology(国防科技大学);National University of Singapore(新加坡国立大学)
MealRec通过分层扩散模型实现多粒度序列建模,解决微视频推荐中的偏好无关表示和模态冲突问题,提升推荐效果。
2026-03-02 cs.CV cs.IR
Describe What You See with Multimodal Large Language Models to Enhance Video Recommendations
Spotify Denmark(Spotify丹麦分公司);Spotify United Kingdom(Spotify英国分公司)
提出一个零微调框架,利用现成的多模态大语言模型为视频生成自然语言描述,将其注入标准推荐器,在MicroLens-100K数据集上显著提升了视频推荐效果。
2025-08-13 cs.CV cs.IR
A Behavior-aware Graph Convolution Network Model for Video Recommendation
MX Media Co., Ltd.(MX媒体有限公司);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学)
用户与视频之间的交互是进行视频推荐的主要数据来源。尽管现有的推荐方法很多,但用户在视频上的行为,即用户与视频之间的复杂关系,仍然远未得到充分的研究。在本文中,我们提出了一个名为人马座的模型。射手座采用图卷积神经网络来捕捉用户和视频之间的影响力。特别地,Sagittarius通过加权来区分不同的用户行为,并将用户行为的语义融合到用户和视频的嵌入中。此外,射手座结合多个优化目标,学习用户和视频嵌入,然后通过学习的用户和视频嵌入实现视频推荐。在多个数据集上的实验结果表明,Sagittarius在召回率、独特召回率和NDCG方面优于几个最先进的模型。
2021-06-27 cs.CV
Dynamic Multimodal Fusion via Meta-Learning Towards Micro-Video Recommendation
Shandong University(山东大学);National University of Singapore(新加坡国立大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
针对微视频推荐中静态多模态融合无法适配不同微视频模态关系的问题,提出基于元学习的动态融合框架MetaMMF,为每个微视频动态生成专属融合函数,在三个基准数据集上优于多个现有模型,还通过规范多变量分解提升了训练效率。
2025-01-13 cs.CV cs.IR cs.MM
Does This Moment Justify the Recommendation? Counterfactual Behavior-Grounded Evidence Retrieval for Personalized Video Recommendation
该研究针对个性化视频推荐中时序定位无法保证推荐依据有效性的问题,提出 CBGER 框架并构建 CBGER-10K 数据集,解耦定位与依据估计,实验显示其在 Pair Accuracy 上较 QD-DETR 提升 11.03 个百分点。
2026-09-02 cs.CV
LinkedOut: Linking World Knowledge Representation Out of Video LLM for Next-Generation Video Recommendation
Northeastern University(东北大学);LinkedIn(领英);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
LinkedOut通过从视频中提取世界知识表示,实现低延迟、多视频输入的视频推荐,无需人工标注,取得最佳性能。
2025-12-18 cs.AI cs.CV cs.IR
NEXT: Reasoning-Driven Video Recommendation via a Vision-Language Model
Meta Platforms, Inc.(元平台公司)
研究提出推理驱动的视频推荐框架NEXT,通过对用户已观看视频推理推断其下一个意图来检索后续视频。训练NEXT-8B视觉语言模型,在DocVQA性能上表现出色,在特定评估中提升下一个意图逻辑质量,部署后带来生产收益,证明其可作为实用推理引擎。
2026-07-29 cs.CV cs.IR cs.LG
Latent Factor Modeling of Users Subjective Perception for Stereoscopic 3D Video Recommendation
Indian Institute of Information Technology, Design and Manufacturing Kancheepuram(印度坎奇普拉姆信息技术设计与制造学院);Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
每年都有许多立体3D电影在影院上映,并创造了大量收入。尽管立体捕捉和3D视频后期制作技术有所改进,但即使在高预算电影中也会继续出现引起观众不适的立体伪影。现有的自动3D视频质量测量工具可以检测立体图像或视频中的失真,但它们未能考虑观众对这些伪影的主观感知,以及这些失真如何影响他们的选择。在本文中,我们介绍了一种新的推荐系统,立体3D电影的基础上的潜在因素模型,仔细分析观众的主观评级和3D视频失真对他们的喜好的影响。据我们所知,这是第一个基于立体电影质量评级推荐3D电影的模型,该模型考虑了观众视觉不适和立体伪影感知之间的相关性。该模型在基准Nama 3ds 1-cospad 1和LFOVIAS 3DPh 2 S3 D视频质量评估数据集上进行了训练和测试。实验结果表明,基于矩阵分解的推荐系统能够更好地概括观众的主观评分。
2021-01-25 cs.CV cs.MM eess.IV
Dreaming User Multimodal Representation Guided by The Platonic Representation Hypothesis for Micro-Video Recommendation
Kuaishou Technology(快手科技)
本文提出 DreamUMM 方法,基于柏拉图表征假设利用用户历史行为在多模态空间中实时建模用户兴趣,并通过闭式解关联视频偏好与多模态相似度,在数亿日活用户的微视频平台上验证了显著提升用户参与度的效果。
2024-10-19 cs.AI cs.CV cs.IR
Explainable Deep Learning for Video Recognition Tasks: A Framework & Recommendations
Crime and Security Research Institute(犯罪与安全研究所);Cardiff University(卡迪夫大学);School of Engineering(工程学院)
深度学习在现实世界中的应用越来越受欢迎。随着高性能硬件的推出,应用程序不再局限于图像识别。随着越来越复杂的问题的出现,越来越复杂的解决方案也随之而来,对可解释的人工智能的需求也越来越大。用于视频任务的深度神经网络是最复杂的模型之一,其参数至少是图像对应模型的两倍。然而,这些模型的解释往往不适合视频域。目前在视频模型的可解释性方面的工作仍然被图像技术所掩盖,而视频深度学习本身正在快速获得静止图像的方法。本文旨在强调使用视频深度学习模型设计的可解释性方法的必要性,并考虑到关联时空输入,首先说明视频深度学习的前沿,然后注意到这些方法的解释研究的缺乏。
2019-09-07 cs.CV cs.HC cs.LG
Smoothed Gaussian Mixture Models for Video Classification and Recommendation
LinkedIn(领英);Pinterest(品趣)
诸如局部聚合描述符向量(VLAD)之类的分类和聚合技术及其端到端的区别性训练等价物(如NetVLAD)最近在视频分类和动作识别任务中很受欢迎。这些技术通过将视频帧分配给簇并且然后通过相对于每个簇的均值聚合帧的残差来表示视频来操作。由于一些集群可能看到非常少的视频特定数据,这些特征可能是嘈杂的。在本文中,我们提出了一种新的聚类和聚合方法,我们称之为平滑高斯混合模型(SGMM),以及它的端到端区分训练等价物,我们称之为深度平滑高斯混合模型(DSGMM)。SGMM通过针对该视频训练的高斯混合模型(GMM)的参数来表示每个视频。通过使用在大量视频上训练的通用背景模型(UBM)平滑特定于视频的估计来解决低计数集群。SGMM相对于VLAD的主要优点是平滑,这使得它对少量训练样本不太敏感。我们通过对YouTube-8 M分类任务的广泛实验表明,SGMM/DSGMM始终优于VLAD/NetVLAD,但幅度很小,但具有统计学意义。我们还显示了使用LinkedIn创建的数据集来预测成员是否会观看上传的视频的结果。
2020-12-17 cs.CV cs.LG
PARSE-Ego4D: Personal Action Recommendation Suggestions for Egocentric Videos
Google(谷歌);University of Groningen(格罗宁根大学);University of Central Florida(中佛罗里达大学)
为填补第一人称视频缺乏可执行动作标注的空白,本文发布 PARSE-Ego4D 数据集,结合 LLM 生成与大规模人工评估提供高质量动作推荐标注,并提出新任务以推动增强与虚拟现实系统发展。
2024-07-25 cs.CV cs.HC cs.NE
Convolutional Collaborative Filter Network for Video Based Recommendation Systems
th Century Fox(二十世纪福克斯);Miso Technologies(味噌科技)
这个分析探讨了电影预告片中物体的时间顺序。电影预告片中对象的时间排序(例如,物体的长镜头与间歇的短镜头)可以传达关于电影类型、电影情节、主要人物的角色以及电影制作者的电影摄影选择的信息。当与历史客户数据相结合时,序列分析可用于改善对客户行为的预测。例如,在一个示例中,顾客购买新电影的票,并且可能该顾客在过去已经看过包含类似序列的电影。为了探索电影预告片中的对象排序,我们提出了一个视频卷积网络来捕捉可以预测客户偏好的动作和场景。模型学习不同类型对象的序列的特定性质(例如,汽车与面孔),以及序列在预测客户未来行为中的作用。我们展示了这样一个时间感知模型如何优于我们以前的作品中提出的简单特征池方法,重要的是,展示了这样一个模型所允许的额外模型解释能力。
2018-10-22 cs.AI cs.CV cs.IR
Language-Guided Music Recommendation for Video via Prompt Analogies
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Adobe Research(奥多比研究中心);Czech Institute of Informatics, Robotics and Cybernetics(捷克信息学、机器人学与控制论研究所);Czech Technical University(捷克技术大学)
针对音乐视频数据集缺乏音乐文本描述的问题,提出基于类比提示合成文本、训练带文本丢弃正则的三模态模型的方法,实现语言引导的视频音乐推荐,性能优于现有方法。
2023-06-15 cs.CV
Content-based Video Relevance Prediction Challenge: Data, Protocol, and Baseline
Hulu LLC.
视频相关性预测是在线流媒体服务的重要任务之一。考虑到视频和观众反馈的相关性,系统可以提供个性化的推荐,这将有助于用户发现更多感兴趣的内容。在大多数在线服务中,视频相关性表的计算是基于用户的隐式反馈,例如观看和搜索历史。然而,这种方法对于“冷启动”问题表现不佳-当新视频被添加到库中时,推荐系统需要在用户行为知之甚少的情况下引导视频相关性分数。一种很有前途的解决方法是分析视频内容本身,即通过视频帧、音频、字幕和元数据预测视频相关性。在本文中,我们描述了Hulu在2018年ACM多媒体会议上主办的基于内容的视频相关性预测(CBVRP)的挑战。在这一挑战中,Hulu推动了对直接从原始视频中利用内容特征进行视频相关性预测的开放问题的研究。我们提供了大量的视频资产和地面实况相关性从我们的真实系统,建立一个共同的平台,算法开发和性能评估。
2018-06-03 cs.CV
Learning Self-Supervised Audio-Visual Representations for Sound Recommendations
Sony Interactive Entertainment(索尼互动娱乐)
该研究提出一种基于音视频对应关系的自监督表示学习方法,通过注意力机制融合多分辨率卷积特征,结合跨模态对比学习提升了视听相关性分类与音效推荐的准确率。
2024-12-10 cs.CV cs.MM cs.SD
FineVQ: Fine-Grained User Generated Content Video Quality Assessment
Shanghai Jiao Tong University(上海交通大学);Bilibili Inc.(哔哩哔哩公司)
针对现有视频质量评估模型仅提供总体评分的问题,构建了首个大规模细粒度UGC视频质量数据库FineVD,并提出FineVQ模型实现质量评级、评分与归因,达到最先进性能。
2025-04-26 cs.CV cs.LG cs.MM