Attract me to Buy: Advertisement Copywriting Generation with Multimodal Multi-structured Information
Northwestern Polytechnical University（西北工业大学）；Alibaba Group（阿里巴巴集团）；University of Adelaide（阿德莱德大学）
近年来，网上购物逐渐成为世界各地人们的一种普遍购物方式。精彩的商品广告往往能吸引更多的人购买。这些广告恰当地整合了商品的多模态多结构信息，如视觉空间信息和细粒度结构信息。然而，传统的多模态文本生成侧重于对存在和发生的事情的常规描述，这与现实世界中广告文案的需求不匹配。因为广告文案语言风格鲜明，对忠实性的要求更高。不幸的是，缺乏可重复使用的评价框架和数据集。因此，我们提出了一个数据集，E-MMAD（电子商务多模态多结构化广告文案），它需要，并支持更详细的信息，在文本生成。值得注意的是，它是该领域最大的视频描述数据集之一。基于此，本文提出了一种基于结构化信息推理能力的基线方法和可信度评价指标，以解决现实中对该数据集的需求。它在所有指标上都大大超过了以前的方法。数据集和方法即将在\url{https://e-mmad.github.io/e-mmad.net/index.html}上发布。
2022-05-07 cs.CL cs.CV cs.MM
AdSpark: A Large-Scale Dataset and Benchmark for Product-Centric Advertisement Video Generation
Peking University（北京大学）
针对产品中心广告视频生成缺乏大规模数据和评估框架的问题，提出AdSpark数据集与基准，含30万三元组和六维评估，验证了数据集有效性并揭示关键挑战。
2026-10-08 cs.CV
AutoCut: End-to-end advertisement video editing based on multimodal discretization and controllable generation
Tsinghua University（清华大学）；Kuaishou Technology（快手科技）
本文提出AutoCut框架，通过多模态离散化和可控生成实现广告视频编辑，提升一致性和可控性，降低生产成本和迭代时间。
2026-03-30 cs.CV
Story Understanding in Video Advertisements
University of Pittsburgh（匹兹堡大学）
为了引起观众的共鸣，许多视频广告探索了创造性的叙事技巧，如“弗赖塔格金字塔”，故事从阐述开始，然后是上升的行动，然后是高潮，最后是结局。特别是在广告的戏剧性结构中，高潮取决于情绪的变化。我们的研究致力于自动理解视频广告的动态结构。为了实现这一目标，我们首先从视频广告数据集中的1，149个视频中众包高潮注释，该数据集已经提供了情感注释。然后，我们使用无监督和监督的方法来预测高潮。基于预测的峰值，低级别的视觉和音频线索，以及语义上有意义的上下文特征，我们建立了一个情感预测模型，该模型比当前最先进的视频广告情感预测模型的性能高出25%。在我们的消融研究中，我们表明使用我们的上下文特征和使用LSTM建模动态都是提高性能的关键因素。
2018-07-29 cs.CV
Ad-Net: Audio-Visual Convolutional Neural Network for Advertisement Detection In Videos
New York University（纽约大学）；Samsung Research America（三星美国研究院）
个性化广告是许多在线企业和视频广播公司的关键任务。许多今天的广播公司使用相同的商业为所有客户，但可以想象不同的观众有不同的兴趣，它似乎合理的定制商业为不同的人群，选择基于他们的人口特征，和历史.在这个项目中，我们提出了一个框架，该框架获取广播视频，分析它们，检测商业广告并将其替换为更合适的商业广告。提出了一种双流音视频卷积神经网络，一个分支分析视频信息，另一个分支分析音频信息，然后将音频和视频嵌入融合在一起，用于商业广告检测和内容分类。我们表明，使用视频的视觉和音频内容显着提高了视频分析的模型性能。该网络在超过5万个常规视频和商业镜头的数据集上进行了训练，与基于手工制作特征的模型相比，该网络的性能要好得多。
2018-06-22 cs.CV
Multi-modal Representation Learning for Video Advertisement Content Structuring
Sun Yat-sen University（中山大学）
视频广告内容结构化的目的是对给定的视频广告进行分段，并在各个维度上对每个分段进行标记，例如呈现形式、场景和风格。与现实生活中的视频不同，视频广告包含了足够的和有用的多模态内容，如字幕和语音，这提供了关键的视频语义，并将增强结构化过程。在本文中，我们提出了一个多模态编码器学习多模态表示的视频广告之间的视频音频和文本的交互。基于多模态表示，我们然后应用边界匹配网络生成时间建议。为了使提案更准确，我们通过场景引导对齐和重新排名来改进生成的提案。最后，我们将建议定位嵌入到引入的多模态编码器中，以捕获每个建议的局部特征与整个视频的全局特征之间的时间关系，以进行分类。实验结果表明，该方法在ACM Multimedia 2021 Grand Challenge多模态广告视频理解任务中，与多个基线和Rank 1相比，取得了显著的提高。消融研究进一步表明，利用多模态内容，如字幕和语音在视频广告显着提高性能。
2021-09-04 cs.CV cs.MM
Can we predict the Most Replayed data of video streaming platforms?
Delft University of Technology（代尔夫特理工大学）；TNO（荷兰应用科学研究组织）
本研究构建了包含500个YouTube视频的YTMR500数据集，评估多种深度学习模型预测最常回放数据的能力，发现模型优于随机预测且超越人类准确率，表明该任务困难但可通过深度学习辅助提升。
2023-09-12 cs.CV
Markerless Augmented Advertising for Sports Videos
Williams College（威廉姆斯学院）；University of California, Los Angeles（加州大学洛杉矶分校）；Universidad de Guanaquatro（瓜纳夸特罗大学）；Imperial College London（伦敦帝国学院）；GumGum Inc.（GumGum公司）
无标记增强现实可能是一项具有挑战性的计算机视觉任务，特别是在直播设置中以及在缺乏与视频捕获相关的信息（诸如固有相机参数）的情况下。这通常需要熟练的艺术家的帮助，以及在后期制作环境中使用高级视频编辑工具。我们提出了一个自动化的视频增强管道，识别感兴趣的纹理，并覆盖在这些地区的广告。我们限制广告以美学和自然的方式放置。其目的是扩大现场，使不再需要商业休息。为了实现广告与原始视频的无缝集成，我们构建场景的3D表示，将广告放置在3D中，然后将其投影回图像平面上。在单个帧中成功放置后，我们使用基于单应性的形状保持跟踪，使得广告在视频剪辑的持续时间内呈现正确的视角。跟踪器旨在处理平滑的相机运动和镜头边界。
2019-07-22 cs.CV
FastBVP-Net: a lightweight pulse extraction network for measuring heart rhythm via facial videos
Sichuan University（四川大学）；Xi’an Jiaotong University（西安交通大学）
远程光电体积描记术（rPPG）是一种有吸引力的基于相机的健康监测方法，其可以从面部视频测量心律。据报道，许多成熟的深度学习模型可以测量心率（HR）和心率变异性（HRV）。然而，这些模型中的大多数通常需要30秒的面部视频和巨大的计算资源才能获得准确和鲁棒的结果，这大大限制了它们在现实世界场景中的应用。因此，我们提出了一个轻量级的脉搏提取网络FastBVP-Net，通过面部视频快速测量心律。FastBVP-Net采用多频模式信号融合（MMSF）机制，在分解模块中对原始信号的不同模式进行表征，在合成模块中对复杂噪声环境下的血容量脉搏（BVP）信号进行重构。同时，使用过采样训练方案解决了由于数据集的局限性而导致的过拟合问题。然后，可以基于所提取的BVP信号来估计HR和HRV。在基准数据集上进行了全面的实验，以验证所提出的FastBVP-Net。对于数据集内和跨数据集测试，所提出的方法从30秒的面部视频中获得了更好的HR和HRV估计性能，并且计算负担比当前成熟的方法更少。此外，所提出的方法也取得了竞争力的结果，从15秒的面部视频。因此，所提出的FastBVP-Net有可能应用于许多实际场景中的较短视频。
2022-12-21 cs.CV
Generating Animated Layouts as Structured Text Representations
Seoul National University（首尔国立大学）；SK telecom（SK电信）
针对视频广告中文本与动画图形控制难的问题，提出动画布局生成方法及结构化文本表示，并构建 VAKER 管道实现动态布局轨迹自动化，显著优于现有方法。
2025-05-02 cs.CV
Looking Beyond a Clever Narrative: Visual Context and Attention are Primary Drivers of Affect in Video Advertisements
Indian Institute of Science（印度科学学院）；National University of Singapore（新加坡国立大学）；Advanced Digital Sciences Center, University of Illinois（伊利诺伊大学先进数字科学中心）
广告所唤起的情感在影响品牌回忆和最终消费者选择方面起着关键作用。自动广告效果识别具有若干有用的应用。然而，基于内容的特征表示的使用并不能深入了解广告场景设置、显著对象属性及其相互作用等方面如何调节影响。这些方法也没有告诉我们人类如何优先考虑视觉信息来理解广告。我们的工作通过将视频内容分解为检测到的对象、粗糙的场景结构、对象统计和通过眼睛凝视识别的主动参与对象来解决这些缺陷。我们通过系统地将相关信息纳入广告影响预测模型来衡量这些信息渠道的重要性。相反，流行的观念，广告的影响取决于叙事和语言和社会线索的巧妙使用，我们发现，积极参加的对象和粗糙的场景结构更好地编码情感信息相比，个别场景对象或显着的背景元素。
2018-08-14 cs.CV
Localizing Adverts in Outdoor Scenes
Trinity College Dublin（都柏林圣三一学院）；The ADAPT SFI Research Centre（ADAPT SFI研究中心）；Huawei Ireland Research Center（华为爱尔兰研究中心）
在线视频在过去十年中经历了前所未有的增长，这是由于广泛的内容创作。这为广告和营销机构提供了大量的有针对性的广告机会。这样的技术涉及用新广告替换视频帧中的现有广告。然而，在线视频的这种后处理大多由视频编辑器手动完成。这既麻烦又耗时。在本文中，我们提出了DeepAds --一种基于简单编码器-解码器架构的深度神经网络，可以准确定位广告在视频帧中的位置。我们使用神经网络在户外场景中定位广告牌的方法，是同类中的第一个，并取得了最好的性能。我们基准我们提出的方法与其他语义分割算法，在一个公共数据集的户外场景与手动注释的广告牌二进制地图。
2019-05-06 cs.CV
AdsQA: Towards Advertisement Video Understanding
Tsinghua University（清华大学）；Peking University（北京大学）；CASIA（中国科学院自动化所）；Harvard University（哈佛大学）；Shanghai Artificial Intelligence Lab（上海人工智能实验室）
本文提出AdsQA基准，利用广告视频评估大语言模型，并设计ReAd-R强化学习模型，在14个顶级模型中取得最优性能。
2025-09-10 cs.CV
Measuring the Quality of Text-to-Video Model Outputs: Metrics and Dataset
Dublin City University（都柏林城市大学）；Insight Centre for Data Analytics（洞察数据分析中心）
本文针对文本到视频模型生成质量评估，构建了包含5个最新模型超1000个视频的数据集，通过对比常用指标与人工评估，发现自然度与语义匹配度至关重要，但无单一指标能全面衡量其输出质量。
2023-09-14 cs.CV cs.MM
VidMuse: A Simple Video-to-Music Generation Framework with Long-Short-Term Modeling
Hong Kong University of Science and Technology（香港科技大学）；Microsoft Research Asia（微软亚洲研究院）
VidMuse通过长短期建模融合局部与全局视觉线索，基于36万视频-音乐对数据集，实现了在音频质量、多样性和音画对齐方面优于现有模型的视频到音乐生成。
2025-05-07 cs.CV cs.LG cs.MM
Measuring similarity between geo-tagged videos using largest common view
本文提出了一种新的问题，发现基于视场（FoV）的视频数据的相似轨迹。该问题对于许多社会应用是重要的，例如对移动对象进行分组、对地理图像进行分类以及识别感兴趣的轨迹模式。以前的工作只考虑空间位置或空间关系的两个线段。然而，这些方法显示了一个局限性，找到相似的运动物体与共同的看法。在本文中，我们提出了一种新的算法，可以组的空间位置和观点，以确定相似的轨迹。我们还提出了新的方法，降低了计算成本的建议的工作。使用真实世界数据集的实验结果表明，所提出的方法优于以前的工作，并降低了计算成本。
2019-04-28 cs.CV cs.DB cs.LG
VideoAds for Fast-Paced Video Understanding
Northwestern University（西北大学）；Boston University（波士顿大学）
本文提出首个专为评估多模态大语言模型在广告视频上性能的基准数据集VideoAds，包含手动标注的视觉查找、视频摘要和视觉推理任务，实验表明开源模型Qwen2.5-VL-72B优于GPT-4o等专有模型，强调了提升时间建模能力的必要性。
2025-10-13 cs.CV
Superframes, A Temporal Video Segmentation
Kingston University（金斯顿大学）；Leeds Beckett University（利兹贝克特大学）
视频分割的目标是将视频数据转换为一组具体的运动簇，这些运动簇可以很容易地被解释为视频的构建块。有一些类似的主题，如检测视频中的场景切换的工作，但很少有具体的研究聚类视频数据到所需数量的紧凑段。这将是更直观，更有效的，与感知有意义的实体从一个低层次的分组过程中获得，我们称之为分类。本文提出了一种新的简单而有效的技术来检测视频中相似内容模式的超帧。我们计算内容-运动的相似度，以获得连续帧之间的变化强度。在现有的使用深度模型的光流技术的帮助下，所提出的方法能够有效地执行更精确的运动估计。我们还提出了两个标准来衡量和比较不同的算法在各种数据库上的性能。在基准数据库上的实验结果表明了该方法的有效性。
2019-03-06 cs.CV
Multimodal Feature Fusion for Video Advertisements Tagging Via Stacking Ensemble
Harbin Institute of Technology（哈尔滨工业大学）；Hebei University（河北大学）；Alibaba Group（阿里巴巴集团）；National University of Defense Technology（国防科技大学）
视频广告的自动标注一直是一个关键而又具有挑战性的问题，近年来由于其在许多领域的应用越来越明显，它引起了越来越多的关注。尽管已经做出了持续的努力，标记任务仍然受到一些挑战，例如，有效的特征融合方法是可取的，但在以前的研究中探索不足。在本文中，我们在2021年腾讯广告算法大赛中展示了我们的多模式视频广告标记方法。具体来说，我们提出了一种新的多模态特征融合框架，其目标是将来自多个模态的互补信息相结合。该框架引入了基于堆叠的集成方法，以减少不同程度的噪声和不同模态之间的冲突的影响。因此，与以前的方法相比，我们的框架可以提高标记任务的性能。为了实证研究所提出的框架的有效性和鲁棒性，我们对挑战数据集进行了广泛的实验。所获得的结果表明，我们的框架可以显着优于相关方法，我们的方法在最终排行榜上排名第一，全球平均精度（GAP）为82.63%。为了更好地推动这一领域的研究，我们将在最终版本中发布我们的代码。
2021-08-02 cs.CV cs.MM
Human Pose Driven Object Effects Recommendation
Renmin university of china（中国人民大学）；Tinghua university（清华大学）
本文研究微视频平台中的物体效果推荐这一新课题，这对于广告插播等实际应用来说是一个具有挑战性的重要课题。为了避免直接从图像帧中学习视频内容所引起的背景偏差问题，我们提出利用隐藏在3D人体姿势中的有意义的肢体语言进行推荐。为此，在这项工作中，介绍了一种新的人类姿势驱动的对象效果推荐网络PoseRec。PoseRec利用3D人体姿势检测的优势，从多帧3D人体姿势中学习信息，用于视频项目注册，从而获得高质量的对象效果推荐性能。此外，为了解决对象效果推荐中存在的固有模糊性和稀疏性问题，我们进一步提出了一种新的项目感知隐式原型学习模块和一种新的姿势感知直推式硬否定挖掘模块，以更好地学习姿势-项目关系。此外，为了对新的研究主题的方法进行基准测试，我们建立了一个新的对象效果推荐数据集Pose-OBE。Pose-OBE上的大量实验表明，我们的方法可以实现优于强基线的性能。
2022-09-17 cs.AI cs.CV
Predicting Online Video Advertising Effects with Multimodal Deep Learning
The University of Tokyo（东京大学）；Septeni Co., Ltd.（Septeni株式会社）
随着视频广告市场的不断扩大，对视频广告效果的预测研究越来越受到重视。虽然图像广告的效果预测已经有了很多探索，但视频广告的效果预测仍然是一个挑战，研究很少。在本研究中，我们提出一种预测视频广告点击率的方法，并分析影响点击率的因素。在本文中，我们展示了一个优化的框架，准确地预测的效果，利用多模态的在线视频广告，包括视频，文本和元数据的功能。特别是，两种类型的元数据，即，分类的和连续的，被适当地分离和规范化。为了避免过拟合，这在我们的任务中至关重要，因为训练数据不是很丰富，插入了额外的正则化层。实验结果表明，我们的方法可以实现高达0.695的相关系数，比基线（0.487）有显着提高。
2020-12-22 cs.CV
A Multimodal Framework for Video Ads Understanding
Fudan University（复旦大学）
在社交平台上投放视频广告进行在线营销的趋势越来越明显，这需要自动方法来有效地理解广告内容。以2021年TAAC大赛为契机，我们开发了多模态系统，提升广告视频内容的结构化分析能力。在我们的框架中，我们将视频结构化分析问题分解为两个任务，即，场景分割和多模态标记。在场景分割中，我们建立在一个时间卷积模块的时间建模，以预测相邻帧是否属于同一场景。在多模态标记中，我们首先通过使用NeXt-SoftDBoF聚合帧级特征来计算剪辑级视觉特征。视觉特征进一步补充了文本特征，这些文本特征使用全局-局部注意力机制从OCR（光学字符识别）和ASR（音频语音识别）输出中提取有用的信息。我们的解决方案在考虑定位和预测准确性的情况下获得了0.2470的分数，在2021年TAAC最终排行榜中排名第四。
2021-08-29 cs.CV
Free Energy-Based Modeling of Emotional Dynamics in Video Advertisements
Hakuhodo DY Holdings Inc.（三井冈田DY控股公司）；Hakuhodo Technologies Inc.（三井冈田技术公司）；Graduate School of Engineering, The University of Tokyo（东京大学工学系研究生院）
本文提出基于自由能原理的视频广告情感动态建模方法，通过场景级表达特征量化愉悦性、惊讶和习惯化，验证了方法的鲁棒性和泛化能力。
2025-12-22 cs.AI cs.CV
Towards Measuring Fairness in AI: the Casual Conversations Dataset
Facebook AI
本文介绍了一种新的数据集，以帮助研究人员评估他们的计算机视觉和音频模型在不同年龄、性别、明显肤色和环境照明条件下的准确性。我们的数据集由3,011个主题组成，包含超过45,000个视频，平均每人15个视频。这些视频是在美国多个州录制的，有不同年龄、性别和肤色的成年人。一个关键的特点是，每个主题同意参加他们的肖像被使用。此外，我们的年龄和性别注释由受试者自己提供。一组受过训练的注释者使用Fitzpatrick皮肤类型量表标记受试者的明显肤色。此外，还提供了在低环境照明下记录的视频的注释。作为衡量某些属性的预测鲁棒性的应用程序，我们对DeepFake Detection Challenge（DFDC）的前五名获奖者进行了全面的研究。实验评估表明，获胜的模型在某些特定人群上的性能较差，例如肤色较深的受试者，因此可能无法推广到所有人。此外，我们还评估了最先进的表观年龄和性别分类方法。我们的实验从公平对待不同背景的人的角度对这些模型进行了全面的分析。
2021-11-03 cs.AI cs.CV cs.LG
Remote Heart Rate Measurement from Highly Compressed Facial Videos: an End-to-end Deep Learning Solution with Video Enhancement
University of Oulu（奥卢大学）；Xi’an Jiaotong University（西安交通大学）；Northwest University（西北大学）
远程光电体积描记术（rPPG）旨在无任何接触地测量心脏活动，在许多应用中具有巨大的潜力（例如，远程医疗）。现有的rPPG方法依赖于分析面部视频的非常精细的细节，这些细节容易受到视频压缩的影响。在这里，我们提出了一个两阶段，端到端的方法，使用隐藏的rPPG信息增强和注意力网络，这是第一次尝试，以对抗视频压缩损失和恢复rPPG信号从高度压缩的视频。该方法包括两个部分：1）用于视频增强的时空视频增强网络（STVEN），以及2）用于rPPG信号恢复的rPPG网络（rPPGNet）。rPPGNet可以独立工作，实现强大的rPPG测量，并且可以添加STVEN网络并进行联合训练，以进一步提高性能，特别是在高度压缩的视频上。在两个基准数据集上进行的综合实验表明，1）该方法不仅在具有高质量视频对的压缩视频上取得了优异的性能，2）它还可以很好地推广只有压缩视频可用的新数据，这意味着在现实世界中的应用前景广阔。
2019-07-27 cs.CV eess.IV
Pop-Up Distractions Reveal Bag-of-Events Behavior in Video Large Language Models
Texas A&M University（德克萨斯A&M大学）；National Taiwan University（台湾国立大学）；Stanford University（斯坦福大学）；VinUniversity（文大学）
通过插入无关广告片段，发现视频大语言模型常将不同片段的事件错误关联，表现出将视频视为事件集合而非时间序列的“事件袋”行为。
2026-08-13 cs.CL cs.CV
Query-adaptive Video Summarization via Quality-aware Relevance Estimation
ETH Zurich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
尽管自动视频摘要的问题最近受到了很多关注，但是创建还突出显示与搜索查询相关的元素的视频摘要的问题却很少被研究。我们通过将查询相关摘要作为视频帧子集选择问题来解决这个问题，这使我们可以优化同时多样化，代表整个视频并与文本查询相关的摘要。我们量化的相关性，通过测量帧和查询之间的距离在一个共同的文本视觉语义嵌入空间诱导的神经网络。此外，我们扩展了模型，以捕获查询无关的属性，如帧质量。我们将我们的方法与之前用于缩略图选择的文本视觉嵌入的最新技术进行比较，并表明我们的模型在相关性预测方面优于它们。此外，我们引入了一个新的数据集，注释的多样性和查询特定的相关性标签。在这个数据集上，我们训练和测试了我们完整的视频摘要模型，并表明它优于标准基线，如最大边缘相关性。
2017-09-28 cs.CL cs.CV cs.MM
Measuring 3D Spatial Geometric Consistency in Dynamic Video Generation
Tongji University（同济大学）；Tsinghua University（清华大学）；University of California, Berkeley（加州大学伯克利分校）
本文提出SGC指标，用于评估动态生成视频中的3D空间几何一致性，通过分析多个相机姿态的分歧度来量化几何不一致问题，实验证实其能有效识别现有方法遗漏的关键故障。
2026-07-07 cs.CV
Prompt-to-Gesture: Measuring the Capabilities of Image-to-Video Deictic Gesture Generation
Knowledge Technology Group, Department of Informatics, University of Hamburg（汉堡大学信息学院知识技术组）；Behavioral Lab, Department of Product Development, University of Antwerp（安特卫普大学产品开发学院行为实验室）
本文提出通过提示生成视频来构建逼真指称手势数据集，评估其在下游任务中的有效性，展示了合成手势在视觉质量和多样性上的优势。
2026-04-16 cs.CV
Measuring Compositional Consistency for Video Question Answering
Veermata Jijabai Technological Institute（维尔马塔·吉贾拜技术学院）；Stanford University（斯坦福大学）；University of Washington（华盛顿大学）
最近的视频问答基准测试表明，最先进的模型很难回答组合问题。然而，目前还不清楚哪些类型的组合推理导致模型预测错误。此外，很难辨别模型是使用组合推理还是利用数据偏差来得出答案。在本文中，我们开发了一个问题分解引擎，以编程方式解构成一个有向无环图的子问题的组成问题。该图被设计成使得每个父问题是其子问题的组合。我们提出AGQA分解，一个基准包含$2.3M$问题图，平均每个图的$11.49$子问题，和$4.55M$总新的子问题。使用问题图，我们评估了三个国家的最先进的模型与一套新的组成一致性指标。我们发现，模型要么不能通过大多数组合正确推理，要么依赖于不正确的推理来获得答案，经常自相矛盾，或者在中间推理步骤失败时达到高准确度。
2022-05-24 cs.CV
How Well Can Your Video Model Remember? Measuring Memory-Budget Trade-offs in Long Video Understanding
Fudan University（复旦大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
提出一个经验模型，量化帧预算B和时间距离D对长视频理解准确率的影响，发现准确率与log预算呈线性关系，且距离相关指数α(D)可衡量不同模型的长距离记忆效率。
2026-06-23 cs.CV
AVEID: Automatic Video System for Measuring Engagement In Dementia
University of Glasgow（格拉斯哥大学）
参与痴呆症通常使用行为观察量表（BOS）进行测量，这些量表繁琐且涉及密集的体力劳动来注释，因此不容易扩展。我们提出了AVEID，一个低成本和易于使用的基于视频的参与测量工具，以确定参与程度的人与痴呆症（PwD）在数字互动。我们发现，通过AVEID计算的客观行为措施与流行的MPES和OME BOS的主观专家印象，确认其可行性和有效性。此外，AVEID措施可以获得各种参与设计，从而促进大规模的研究与PwD人群。
2017-12-21 cs.CV cs.HC
Are We Measuring Anticipation? Auditing Privileged Information in Procedural Video Evaluation
University of Exeter（埃克塞特大学）
本研究审计程序性视频评估协议，发现即使无时间泄漏也可能存在特权信息差距，导致能力声明与实测构念不符，并提出可复用的四条件审计方法。
2026-10-06 cs.CV
MESH -- Understanding Videos Like Human: Measuring Hallucinations in Large Video Models
The Chinese University of Hong Kong（香港中文大学）；Huawei Noah's Ark Lab（华为诺亚实验室）
针对大型视频模型易产生幻觉的问题，提出基准MESH，采用问答框架自下而上评估对象、特征和动作对，发现模型在处理细节和长视频多主体动作时幻觉显著增加。
2025-09-11 cs.AI cs.CV
Learning Action Changes by Measuring Verb-Adverb Textual Relationships
The University of Edinburgh（爱丁堡大学）
本工作通过测量动词与副词的文本关系生成回归目标，将动作变化预测转化为回归任务，在多个数据集上取得最先进结果，并构建了高质量数据集AIR以提升学习与评估可靠性。
2023-05-23 cs.CV
When Cultures Move: Measuring and Improving Multicultural Text-to-Video Generation
Santa Clara University（圣克拉拉大学）
提出MAVEN多智能体提示优化框架，通过并行或串行分解提示为人物、动作、地点维度，提升单文化和跨文化文本到视频生成的文化保真度，并构建包含243个文化提示和972个视频的基准进行评估。
2026-07-21 cs.AI cs.CV
A Perceptual Quality Metric for Video Frame Interpolation
Portland State University（波特兰州立大学）
视频帧内插技术的研究近年来取得了很大的进展。然而，现有的方法大多使用现成的指标来衡量插值结果的质量，除了少数方法，采用用户研究，这是耗时的。由于视频帧内插结果经常表现出独特的伪影，现有的质量度量在测量内插结果时有时与人类感知不一致。一些最近的基于深度学习的感知质量指标显示出与人类判断更一致，但它们在视频上的性能受到影响，因为它们不考虑时间信息。在本文中，我们提出了一个专门的感知质量度量测量视频帧插值结果。我们的方法直接从视频而不是单个帧中学习感知特征。该方法比较了从视频帧中提取的金字塔特征，并采用Swin Transformer基于块的时空模块提取时空信息。为了训练我们的度量，我们收集了一个新的视频帧插值质量评估数据集。我们的实验表明，我们的专用质量指标优于国家的最先进的方法时，测量视频帧插值结果。我们的代码和模型在\url{https://github.com/hqqxyy/VFIPS}上公开提供。
2022-10-04 cs.CV eess.IV
Detecting and measuring human gastric peristalsis using magnetically controlled capsule endoscope
AnX Robotica（AnX机器人公司）
磁控胶囊内镜（MCCE）是一种新兴的胃疾病诊断工具，具有舒适、安全、无需麻醉等优点。在本文中，我们开发的算法来检测和测量人体胃痉挛（收缩波），使用MCCE获得的视频序列。我们开发了一种时空深度学习算法来检测胃收缩波并测量人类胃蠕动周期。MCCE视频序列的质量容易受到摄像机运动的影响。我们设计了一个摄像机运动检测器（CMD）来处理MCCE视频序列，减轻MCCE检查过程中的摄像机运动。据我们所知，我们是第一个提出基于计算机视觉的解决方案来检测和测量人类胃溃疡的公司。我们的方法有很大的潜力，在协助诊断胃疾病的评价胃动力。
2023-01-24 cs.CV eess.IV
Pose-Selective Max Pooling for Measuring Similarity
Johns Hopkins University（约翰斯·霍普金斯大学）
在本文中，我们处理的两个挑战，在实际的基于视频的人脸识别测量的主体身份的相似性-在不受控制的环境中的头部姿势的变化和处理视频的计算费用。由于逐帧特征均值无法表征帧之间的姿态多样性，因此我们定义并保留视频中的整体姿态多样性和接近度。然后，身份将是视频之间变化的唯一来源，因为即使在单个视频中，姿势也会发生变化。我们不是简单地使用所有帧，而是选择那些姿态点最接近包含该姿态点的K均值聚类的质心的人脸。然后，我们将视频表示为一组帧级深度人脸特征，而特征数量已从数百减少到K。由于视频表示可以很好地表示身份，现在我们将两个视频之间的主题相似性度量为两个特征包中所有可能对之间的最大相关性。在用于人脸验证的YouTube Face数据集的官方5，000个视频对上，我们的算法实现了与VGG-face相当的性能，该性能平均超过了所有帧的深度特征。其他视觉任务也可以受益于采用几何线索来提高深度特征的连续性的一般想法。
2016-11-14 cs.AI cs.CV cs.LG
Measuring Student Behavioral Engagement using Histogram of Actions
University of Louisville（路易斯维尔大学）；College of Charleston（查尔斯顿学院）
提出基于骨骼、3D-CNN动作识别、动作直方图与SVM的学生行为参与度测量框架，并在自建视频数据集上验证其动作识别和班级平均参与度捕捉能力。
2025-05-15 cs.CV eess.IV
MMVU: Measuring Expert-Level Multi-Discipline Video Understanding
Yale NLP（耶鲁大学自然语言处理实验室）
MMVU是一个专家级多学科视频理解基准，含3,000个专家标注问题，覆盖27个主题，评估32个前沿模型，发现o1和Gemini 2.0 Flash Thinking表现最佳但仍不及人类专家。
2025-01-21 cs.AI cs.CL cs.CV
The Pulse of Motion: Measuring Physical Frame Rate from Visual Dynamics
Texas A\&M University
本文提出Visual Chronometer，通过视觉动态直接恢复物理帧率，解决视频生成中因训练数据帧率不一致导致的物理运动速度模糊问题，提升生成视频的自然度。
2026-03-27 cs.AI cs.CV
Markerless Stride Length estimation in Athletic using Pose Estimation with monocular vision
Dipartimento di Ingegneria dell’Innovazione Università del Salento（创新工程学院，萨勒诺大学）；Istituto di Scienze Applicate e sIstemi Intelligenti - ISASI Consiglio Nazionale delle Ricerche - (CNR)（应用科学与智能系统研究所 - 国家研究理事会 - (CNR)）；Consiglio Nazionale delle Ricerche - (CNR)（国家研究理事会 - (CNR)）
本文提出一种基于单目视觉与姿态估计的无标记步长估计方法，结合概率霍夫变换和单应性变换从视频中估计跑者步长，实验证明其可用于田径训练与步态监测。
2025-07-02 cs.CV
Methods Of Measurement The Three-Dimensional Wind Waves Spectra, Based On The Processing Of Video Images Of The Sea Surface
Institute of Applied Physics of the Russian Academy of Sciences（俄罗斯科学院应用物理研究所）
测量表面波特性的光学仪器提供了比其他方法更好的空间和时间分辨率，但它们在将间接测量结果转换为波的绝对水平时面临困难。我们在某种程度上解决了这个问题。本文提出了一种测量表面波三维功率谱密度和波剖面时空采样的光学方法。该方法涉及，第一，同步记录的亮度场的一个补丁的粗糙表面和测量的表面振荡在一个或多个点，第二，过滤的空间图像频谱。选择滤波器参数以最大化在一个或两个点处恢复和测量的表面振荡的相关性。除了测量过程，本文提供了测量粗糙度的多维光谱的实验结果，这与理论预期和其他作者的结果基本一致。
2014-04-03 cs.CV physics.ao-ph
Measuring hand use in the home after cervical spinal cord injury using egocentric video
KITE Research Institute, University Health Network（KITE研究所（大学健康网络））；The BioRobotics Institute, Scuola Superiore Sant’Anna（圣安娜高等学校生物机器人研究所）；Institute of Biomedical Engineering, University of Toronto（多伦多大学生物医学工程研究所）；Sunnybrook Research Institute, Sunnybrook Health Sciences Centre（桑尼布鲁克健康科学中心桑尼布鲁克研究所）；Temerty Faculty of Medicine, University of Toronto（多伦多大学特默蒂医学院）；Brain and Spinal Cord Rehabilitation Program, Toronto Rehabilitation Institute – University Health Network（大学健康网络多伦多康复研究所脑与脊髓康复项目）；Department of Physical Therapy, University of Toronto（多伦多大学物理治疗系）；Edward S. Rogers Sr. Department of Electrical and Computer Engineering, University of Toronto（多伦多大学爱德华·S·罗杰斯 Sr. 电气与计算机工程系）
本研究开发并验证了一种基于可穿戴视觉的自我中心视频系统，用于测量四肢瘫痪患者在家庭环境中的手部使用情况，通过深度学习算法自动检测手-物交互，并验证了其与临床评估指标的相关性。
2022-07-20 cs.CV eess.IV
Quantitative Movement Testing: Measuring Chronic Pain Patient Movements from a Single Smartphone Video
Nuffield Department of Clinical Neurosciences, University of Oxford（临床神经科学系,Nuffield大学,牛津大学）；Max Planck Institute of Biological Cybernetics（生物信息学研究所）；Oxford Gait Laboratory, University of Oxford（牛津大学步态实验室）；Harvard Medical School（哈佛医学院）；Massachusetts General Hospital（麻省总医院）；Institute of Biomedical Engineering, University of Oxford（生物医学工程研究所,牛津大学）；Mayo Clinic（梅奥诊所）
提出基于计算机视觉的定量运动测试（QMT）方法，利用深度学习3D姿态估计从单目智能手机视频提取运动生物标志物，在实验室验证中与光学运动捕捉高度一致（r>0.85），并在纤维肌痛和慢性坐骨神经痛患者中展示了可靠性和纵向监测能力。
2026-07-01 cs.AI cs.CV cs.HC
