Infer Induced Sentiment of Comment Response to Video: A New Task, Dataset and Baseline
Inspur Electronic Information Industry Co.,Ltd.(浪潮电子信息产业股份有限公司);Nankai University(南开大学);Fudan University(复旦大学);Tsinghua University(清华大学)
针对现有视频多模态情感分析忽略观众诱发情感的问题,提出MSA-CRVI新任务,构建了含8210个微视频、10万余条评论的CSMV数据集,并提出VC-CSA基线方法,性能优于现有基线。
2024-05-15 cs.AI cs.CL cs.CV
LOLGORITHM: Funny Comment Generation Agent For Short Videos
University of New South Wales(新南威尔士大学);University of Sydney(悉尼大学);The University of Hong Kong(香港大学);University of Southern California(南加州大学)
本文提出LOLGORITHM框架,通过视频摘要、分类和语义检索生成符合平台文化的短视频评论,实验显示其在YouTube和抖音上的人类偏好选择率高达80.46%和84.29%。
2026-04-14 cs.AI cs.CV
VTC: Improving Video-Text Retrieval with User Comments
Unitary Ltd.(Unitary有限公司);University of Amsterdam(阿姆斯特丹大学);University of Oxford(牛津大学)
多模态检索是推荐、搜索等应用中的一个重要问题。当前的基准测试甚至数据集通常是手动构建的,并且大多由干净的样本组成,其中所有模态都与内容密切相关。因此,目前的视频文本检索文献主要集中在视频标题或音频转录,而忽略了用户的意见,因为用户往往倾向于讨论的主题,只有模糊的视频相关。尽管在线用户评论无处不在,但目前还没有包含评论的多模态表示学习数据集。在本文中,我们a)介绍了一个新的视频,标题和评论数据集; b)提出了一种基于注意力的机制,允许模型从有时不相关的数据(如评论)中学习; c)通过使用评论,我们的方法能够更好地学习,更情境化,图像,视频和音频表示的表示。项目页面:https://unitaryai.github.io/vtc-paper。
2022-10-19 cs.CL cs.CV cs.IR
Going for GOAL: A Resource for Grounded Football Commentaries
Heriot-Watt University(赫瑞瓦特大学);Semasio, Lda.(Semasio有限公司)
最近的视频+语言数据集涵盖了交互高度结构化的领域,如教学视频,或者交互是脚本化的,如电视节目。这两个属性都可能导致模型利用虚假线索,而不是学习基础语言。在本文中,我们提出了GrOunded footbAlL评论(GOAL),足球(或“足球”)的一个新的数据集的精彩视频用英语转录的现场评论。由于游戏的进程是不可预测的,所以评论也是不可预测的,这使得它们成为研究动态语言基础的独特资源。我们还为以下任务提供最先进的基线:帧重新排序,时刻检索,现场评论检索和逐场直播评论生成。结果表明,SOTA模型在大多数任务中表现良好。我们讨论了这些结果的影响,并提出了新的任务,目标可以使用。我们的代码库可以在https://gitlab.com/grounded-sport-convai/goal-baselines上找到。
2022-11-08 cs.CL cs.CV
SCBench: A Sports Commentary Benchmark for Video LLMs
The University of Hong Kong(香港大学);Southern University of Science and Technology(南方科技大学);University of Toronto(多伦多大学)
针对现有视频大模型基准测试在细粒度时序视觉评估和任务多样性上的不足,提出体育解说生成任务及SCBench基准,包含六维指标SCORES和5,775条标注数据,实验表明InternVL-Chat-2表现最优。
2024-12-23 cs.AI cs.CV
A Dataset and Benchmarks for Multimedia Social Analysis
University of California, Berkeley(加州大学伯克利分校)
我们提出了一个新的公开数据集,其目标是通过在同一背景下提供视觉和语言数据来推进多模态学习。这是通过从社交媒体网站获取数据来实现的,该社交媒体网站具有包含多个配对图像/视频和文本的帖子,以及包含图像/视频和/或文本的评论树。通过总共67.7万个帖子、290万个帖子图像、48.8万个帖子视频、140万个评论图像、460万个评论视频和9690万个评论,来自不同模态的数据可以联合用于提高各种任务的性能,例如图像描述、图像分类、下一帧预测、情感分析和语言建模。我们为我们的数据集提供了广泛的统计数据。最后,我们使用预先训练的模型和几个完全连接的网络为其中一个回归任务提供了基线性能分析。
2020-06-05 cs.CL cs.CV cs.MM
Exploring Domain Incremental Video Highlights Detection with the LiveFood Benchmark
ByteDance Inc.(字节跳动公司);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
针对现有视频精彩片段检测方法基于封闭世界假设、扩展性差的问题,提出基于参数化原型的增量学习方法GPE,构建含5100余条视频的LiveFood基准,在增量与经典数据集上均取得优异表现,首次探索该领域增量学习方向。
2023-12-12 cs.CV
BoxComm: Benchmarking Category-Aware Commentary Generation and Narration Rhythm in Boxing
Tsinghua University(清华大学);Beijing Sport University(北京体育大学)
本文提出 BoxComm 数据集,包含 445 场世界拳击锦标赛视频及 52000 多条专业评论,通过分类注解和两项新评估方法,解决拳击评论生成中的节奏与类别准确性问题。
2026-04-06 cs.CV
InteracVid: Building a Real Interactive Audio-Visual Response Dataset from Live-Chat Videos
College of AI, Tsinghua University(清华大学人工智能学院)
该研究提出首个开源大规模交互式视听数据集InteracVid,解决现有生成模型监督信号缺失问题,实验证实其可提升多模态助手的交互规划与响应生成性能,为交互式多模态生成提供关键基础。
2026-08-04 cs.CV
Video Object of Interest Segmentation
Alibaba Group(阿里巴巴集团)
在这项工作中,我们提出了一个新的计算机视觉任务命名为视频对象的兴趣分割(VOIS)。给定视频和目标图像,我们的目标是同时分割和跟踪视频中与目标图像相关的所有对象。该问题将传统的视频对象分割任务与指示用户关注的内容的附加图像相结合。由于没有现有的数据集完全适合这项新任务,我们专门构建了一个名为LiveVideos的大规模数据集,其中包含2418对目标图像和带有实例级注释的实时视频。此外,我们提出了一个基于变压器的方法来完成这项任务。我们重新审视了Swin Transformer,并设计了一种双路径结构来融合视频和图像特征。然后,一个Transformer解码器被用来从融合的特征中生成用于分割和跟踪的对象建议。在LiveVideos数据集上的大量实验表明了该方法的优越性。
2022-12-06 cs.CV
SurgSkill-Bench: A Benchmark for Multimodal Surgical Skill Assessment
University of Birmingham(伯明翰大学);University of Leicester(莱斯特大学);University Hospitals North Midlands(中北部大学医院)
该研究构建了多模态外科手术技能评估基准SurgSkill-Bench,设计两种评估设置,通过实验验证内容自适应采样和专家评论辅助可提升评分预测性能,最佳平均AUROC达0.88。
2026-09-01 cs.CV
FVV Live: Real-Time, Low-Cost, Free Viewpoint Video
Universidad Autónoma de Madrid(马德里自治大学)
FVV Live是一种新颖的实时的【形】、低延迟的端到端自由视点系统,包括在边缘服务器上的捕获、传输、合成以及在移动终端上的可视化和控制。该系统专为低成本和实时的【形】操作而设计,仅使用现成的组件。
2020-06-30 cs.CV cs.MM
ComVi: Context-Aware Optimized Comment Display in Video Playback
KAIST(韩国科学技术院);Kookmin University(国民大学)
ComVi通过音频视频相关性计算,将评论映射到相关视频时间点,并优化时间相关性、流行度和显示时长,提升视频观看时的评论体验。
2026-03-27 cs.CV cs.GR cs.HC
Deep Live Video Ad Placement on the 5G Edge
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
近年来,视频广播行业一直在显著增长,特别是在向最终用户提供个性化内容方面。虽然视频广播继续增长,超越了电视,视频广告已成为一个关键的营销工具,直接向观众提供有针对性的信息。然而,对于宽带电视来说,一个关键问题是电视广告的目标受众广泛,因此缺乏针对用户的个性化广告内容。在本文中,我们提出了一个深边缘云广告投放系统,并简要描述了我们的方法和我们设计的广告投放系统的架构,提供视频点播(VoD)和直播电视内容通过MMT流协议。我们的论文旨在展示如何在未来的5G MEC平台上部署有针对性的、个性化的和用户特定的广告服务,这反过来又有很大的潜力来增加移动运营商行业的广告收入。
2022-09-03 cs.CV cs.MM
High-Quality Live Video Streaming via Transcoding Time Prediction and Preset Selection
提出基于学习的视频转码时间预测框架,直接从流头部提取特征,准确预测不同预设的转码时间(MAPE约5.0%),并据此选择最优预设,使直播视频流的PSNR提升最高达5 dB。
2025-07-13 cs.CV cs.MM
FVV Live: A real-time free-viewpoint video system with consumer electronics hardware
Universidad Politécnica de Madrid(马德里理工大学);Universidad Autónoma de Madrid(马德里自治大学);Huawei Technologies Co., Ltd.(华为技术有限公司)
FVV Live是一种新型的端到端自由视点视频系统,设计用于低成本和实时的【形】操作,基于现成的组件。该系统旨在使用消费级摄像头和硬件生成高质量的自由视点视频,从而降低部署成本,并易于安装沉浸式事件广播或视频会议。本文描述了该系统的体系结构,包括在多个捕获服务器上的多视点加深度数据的采集和编码以及在边缘服务器上的虚拟视点合成。该系统的各个模块的设计都克服了硬件和网络的限制,这些限制直接影响深度数据的准确性,从而影响虚拟视图合成的质量。FVV Live的设计允许任意数量的相机和捕获服务器,本文中给出的结果对应于具有九个基于立体的深度相机的实现。FVV Live呈现低运动到光子和端到端延迟,从而实现无缝自由视点导航和双边沉浸式通信。此外,FVV Live的视觉质量已经通过主观评估进行了评估,结果令人满意,额外的比较测试表明,它优于最先进的DIBR替代品。
2020-07-01 cs.CV cs.MM
DCA: Diversified Co-Attention towards Informative Live Video Commenting
Peking University(北京大学);Huazhong University of Science and Technology(华中科技大学);Beijing University of Aeronautics and Astronautics(北京航空航天大学)
我们专注于自动实时视频评论(ALVC)的任务,其目的是生成实时视频评论与视频帧和其他观众的评论作为输入。这项任务的一个主要挑战是如何正确利用视频和文本所携带的丰富多样的信息。在本文中,我们的目标是收集多样化的信息,从视频和文本的信息丰富的评论生成。为了实现这一目标,我们提出了一个多样化的共同注意力(DCA)模型。我们的模型通过度量学习从多个角度构建视频帧和周围评论之间的双向交互,以收集多样化和信息丰富的评论生成上下文。我们还提出了一个有效的参数正交化技术,以避免从不同的角度学习的信息过度重叠。结果表明,我们的方法优于现有的方法在ALVC任务,实现新的国家的最先进的结果。
2020-08-08 cs.CL cs.CV cs.LG
OpenKinoAI: An Open Source Framework for Intelligent Cinematography and Editing of Live Performances
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立高等物理、数学与信息学院)
OpenKinoAI是一个用于超高清视频后期制作的开源框架,它可以在单摄像机录制的情况下模拟专业的多剪辑编辑技术。OpenKinoAI包括用于将现场表演的原始视频片段上传到远程Web服务器上的工具,检测,跟踪和识别原始材料中的表演者,将原始视频重新构建为大量的电影胶片,将胶片编辑为电影,并为胶片和电影添加注释以供文档使用。OpenKinoAI可用于促进超高清视频的多剪辑视频编辑研究,并允许表演艺术家和公司使用此研究以创新的方式在线存档,记录和分享他们的工作。
2020-10-30 cs.CV cs.MM
MORPHOLO C++ Library for glasses-free multi-view stereo vision and streaming of live 3D video
MORPHOLO C++扩展库允许通过变形算法将特定的立体快照转换为本地多视图图像,同时考虑特定倾斜透镜状3D监视器的显示校准数据。MORPHOLO还可用于3D视频流的裸眼直播应用程序,以及各种创新的科学、工程和3D视频游戏应用程序-参见http://www.morpholo.it
2019-12-04 cs.CV
MD-VQA: Multi-Dimensional Quality Assessment for UGC Live Videos
Shanghai Jiao Tong University(上海交通大学);Alibaba Group(阿里巴巴集团)
本文针对UGC直播视频质量评估问题,构建了首个主观UGC直播VQA数据库,并提出多维VQA评估器MD-VQA,从语义、失真和运动三方面衡量视觉质量,在多个数据库上取得最先进性能。
2023-04-19 cs.CV
Live2Diff: Live Stream Translation via Uni-directional Attention in Video Diffusion Models
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Nanyang Technological University(南洋理工大学)
针对现有视频扩散模型因双向注意力无法处理直播流的问题,提出带单向时间注意力的Live2Diff,结合KV缓存与流水线实现高效直播视频翻译,性能优于现有方法。
2024-07-11 cs.CV
A Multi-user Oriented Live Free-viewpoint Video Streaming System Based On View Interpolation
Shanghai Jiao Tong University(上海交通大学)
自由视点视频作为沉浸式多媒体服务的一种重要应用形式,通过强交互性为用户提供沉浸式体验。然而,虚拟视图合成算法的计算复杂性对FVV系统的实时性能提出了重大挑战。此外,用户交互的个性化使得传统架构的系统难以同时为多个用户提供服务。本文提出了一种基于CNN的视图插值算法,用于实时的生成稠密虚拟视图。在此基础上,我们还建立了一个端到端的实时自由视点系统与面向多用户的流媒体策略。我们的系统可以利用一个单一的边缘服务器在同一时间服务于多个用户,而不必在客户端带来一个大的视图合成负载。我们分析了整个系统,并表明我们的方法给用户一个愉快的沉浸式体验,在视觉质量和延迟方面。
2021-12-22 cs.CV cs.MM
Privacy-sensitive Objects Pixelation for Live Video Streaming
University of Macau(澳门大学);vivo AI Lab(vivo人工智能实验室)
随着视频直播的普及,建立一种针对隐私敏感对象的在线像素化方法成为当务之急。由于对隐私敏感对象的检测不准确,简单地将检测跟踪结构迁移到在线形式会导致目标初始化、漂移和过度像素化的问题。为了应对不可避免的,但影响检测问题,我们提出了一种新的隐私敏感的对象像素(PsOP)框架,在直播视频流的自动个人隐私过滤。利用预先训练的检测网络,我们的PsOP可扩展到任何潜在的隐私敏感对象像素。采用嵌入式网络和建议的定位增量亲和传播(PIAP)聚类算法为骨干,我们的PsOP统一的像素的歧视和歧视像素对象通过轨迹生成。除了像素精度的提升,我们建立的流视频数据上的实验表明,所提出的PsOP可以显着降低隐私敏感对象像素化中的过像素化率。
2021-01-03 cs.AI cs.CV cs.MM
Comment on "No-Reference Video Quality Assessment Based on the Temporal Pooling of Deep Features"
在Neural Processing Letters 50,3(2019)中,提出了一种用于盲视频质量评估的机器学习方法。它基于视频帧特征的时间池化,这些特征取自深度卷积神经网络的最后一个池化层。该方法在两个已建立的基准数据集上进行了验证,结果远远优于以前的最先进的。在这封信中,我们报告了我们仔细重新实现的结果。性能结果,声称在文件中,不能达到,甚至低于国家的最先进的大幅度。我们表明,最初报告的错误的性能结果是两种情况下的数据泄漏的后果。来自训练数据集外部的信息用于微调阶段和模型评估。
2020-05-09 cs.CV cs.LG cs.MM
Subjective and Objective Quality Assessment of High Frame Rate Videos
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Google(谷歌)
高帧速率(HFR)视频随着诸如体育的实况高动作流传输内容的巨大流行而变得越来越普遍。虽然HFR内容通常具有非常高的质量,但是高带宽要求使得它们在保持质量的同时高效地传送具有挑战性。为了优化带宽要求和视频质量之间的折衷,在帧速率自适应方面,必须理解帧速率和感知视频质量之间的复杂关系。为了推进这一方向的发展,我们设计了一个新的主观资源,称为LIVE-YouTube-HFR(LIVE-YT-HFR)数据集,它由480个视频组成,具有6种不同的帧速率,从16个不同的内容中获得。为了了解压缩和帧速率调整的组合效果,我们还在每个帧速率下处理了5个压缩级别的视频。为了获得视频上的主观标签,我们进行了一项人类研究,从85名人类受试者中获得了19,000个人类质量评级。我们还对现有的最先进的完整和无参考视频质量算法进行了全面评估,并在新数据库上对其性能进行了统计基准测试。LIVE-YT-HFR数据库已在线提供,供公众使用和评估,希望它将有助于推进这一令人兴奋的视频技术方向的研究。可在\url{https://live.ece.utexas.edu/research/LIVE_YT_HFR/LIVE_YT_HFR/index.html}获取
2021-09-27 cs.CV cs.MM eess.IV
SoccerNet-Caption: Dense Video Captioning for Soccer Broadcasts Commentaries
KAUST(阿卜杜拉国王科技大学)
本文提出面向足球转播的单时间戳锚定密集解说字幕任务,构建含近3.7万条解说、715.9小时视频的数据集,并给出首个基准与基线。
2023-04-10 cs.CV
Live Video Synopsis for Multiple Cameras
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
视频监控摄像机生成大部分记录的视频,并且记录的视频远远超过操作员可以观看的视频。最近,使用录制视频的摘要已经取得了很大的进展,但这样的技术对实时视频监控没有太大的影响。我们假设一个摄像机层次结构,其中主摄像机观察决策关键区域,并且一个或多个从摄像机观察过去的活动对于做出当前决策很重要的区域。我们建议,当人们出现在现场主摄像头,从摄像头将显示他们过去的活动,和操作员可以使用过去的信息进行实时决策。我们的方法的基本单元是动作管,表示对象及其随时间的轨迹。我们的基于对象的方法比基于框架的方法具有优势,因为它可以处理多个人,每个人的多个活动,并可以解决重新识别的不确定性。
2015-05-20 cs.CV
LiveStre4m: Feed-Forward Live Streaming of Novel Views from Unposed Multi-View Video
AIMSGroup, Department of Electrical Engineering, Eindhoven University of Technology(埃因霍温理工大学电气工程系AIMSGroup)
本文提出LiveStre4m方法,通过多视角视觉Transformer和扩散-Transformer插值模块实现实时新视角视频直播,无需姿态参数,每帧重建时间仅0.07秒,显著优于传统优化方法。
2026-04-08 cs.CV
AIGVE-MACS: Unified Multi-Aspect Commenting and Scoring Model for AI-Generated Video Evaluation
IFM Lab, University of California, Davis(信息与媒体实验室,加州大学戴维斯分校)
本文提出统一模型AIGVE-MACS,结合大规模基准AIGVE-BENCH 2、逐token加权损失和动态帧采样,同时输出评分与多方面评论,在AI生成视频评估中超越GPT-4o等基线,并驱动视频生成质量提升53.5%。
2025-07-02 cs.CV
LiViBench: An Omnimodal Benchmark for Interactive Livestream Video Understanding
LiViBench是首个面向交互式直播视频的多模态基准测试,通过定制化两阶段指令微调和视频到评论检索模块,提升模型对直播视频的理解能力,并在多个基准测试中取得优异成绩。
2026-01-21 cs.CV
Comment-aided Video-Language Alignment via Contrastive Pre-training for Short-form Video Humor Detection
Soochow University(苏州大学);Huaiyin Normal University(淮阴师范学院)
针对短视频幽默检测任务,提出基于数据增强多模态对比预训练的评论辅助视频-语言对齐双分支层次模型,在两个数据集上性能超越现有最优方法及基线,相关资源已开源。
2024-04-15 cs.AI cs.CV
LiveStar: Live Streaming Assistant for Real-World Online Video Understanding
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);ShanghaiTech University(上海科技大学);Kuaishou Technology(快手科技);Peng Cheng Laboratory(鹏城实验室)
LiveStar提出自适应流式解码、响应-静默解码和记忆感知加速,构建OmniStar数据集,在在线视频理解中实现语义正确性平均提升19.5%、时序差异降低18.1%、FPS提升12.0%。
2025-11-07 cs.AI cs.CV
Unsupervised Multi-stream Highlight detection for the Game "Honor of Kings"
Tencent Inc.(腾讯公司)
随着电子竞技直播的日益普及,Highlight Flashback已经成为直播平台的关键功能,它可以在几秒钟内聚合整体精彩的战斗场景。在本文中,我们引入了一种新的训练策略,无需任何额外的注释,即可自动生成比赛视频直播的精彩片段。考虑到现有的手动编辑的剪辑包含更多的亮点比长的比赛直播视频,我们执行成对的排序约束剪辑编辑和长直播视频。提出了一个多流框架,融合从视频中提取的空间、时间和音频特征。为了评估我们的方法,我们对平均长度约为15分钟的长游戏直播视频进行了测试。大量的视频实验结果表明,该算法在亮点生成和有效性方面具有令人满意的性能。
2019-10-22 cs.CV
Towards Live 3D Reconstruction from Wearable Video: An Evaluation of V-SLAM, NeRF, and Videogrammetry Techniques
Arizona State University(亚利桑那州立大学);Maxar(Maxar公司);Carnegie Mellon University(卡内基梅隆大学);Cornell University(康奈尔大学);University of Pittsburgh(匹兹堡大学)
混合现实(MR)是一项有望改变未来战争的关键技术。物理户外环境和虚拟军事训练的MR混合体将使与远距离敌人的战斗成为可能,无论是真实的还是模拟的。为了实现这项技术,必须基于实时传感器观察来维护物理环境的大规模3D模型。3D重建算法应该利用视频摄像机传感器的低成本和普及性,从开销和嵌入式水平的角度来看。可以平衡标测速度和3D质量,以实现动态环境中的实时MR训练。鉴于这些要求,我们调查了几个三维重建算法的大规模映射军事应用只提供现场视频。我们从运动、视觉SLAM和摄影测量技术的常见结构测量3D重建性能。这包括使用Instant-NGP的开源算法COLMAP、ORB-SLAM 3和NeRF。我们利用自动驾驶学术基准KITTI,其中包括仪表盘摄像头视频和激光雷达生成的3D地面实况。与KITTI数据,我们的主要贡献是考虑实时视频时的三维重建计算速度的定量评估。
2022-11-21 cs.CV eess.IV
Personal Privacy Protection via Irrelevant Faces Tracking and Pixelation in Video Live Streaming
IEEE
本文提出FPVLS方法,通过帧到视频的双阶段结构实现视频直播中的自动隐私过滤,解决目标漂移、计算效率和过度像素化问题。
2021-01-05 cs.AI cs.CV cs.MM
Omni-LiveAvatar: Minute-Level Real-Time Streaming Joint Audio-Video Avatar Generation
Hong Kong University of Science and Technology(香港科技大学);Vivix Group Limited(Vivix集团有限公司)
本研究提出Omni-LiveAvatar框架,通过渐进式自回归蒸馏等技术,实现分钟级实时流式视听联动数字人生成,速度较LTX-2提升33倍且性能优于基线模型。
2026-08-18 cs.CV cs.MM cs.SD
Perceiving Better Moments: Cover Frame Reselection and Enhancement for Live Photos with the Live2K Dataset
University of Electronic Science and Technology of China(电子科技大学);OPPO Research Institute(OPPO研究院);The Hong Kong Polytechnic University(香港理工大学)
针对动态照片封面与视频帧质量差距问题,定义LPRE任务,利用动态照片内线索,构建Live2K数据集并开发统一基线,为动态照片增强研究建立首个基准。
2026-07-07 cs.CV
LiveSVG: Zero-Shot SVG Animation via Video Generation
Google(谷歌);The Hebrew University of Jerusalem(耶路撒冷希伯来大学);Bar-Ilan University(巴伊兰大学);Reichman University(雷赫曼大学)
提出LiveSVG方法,利用视频扩散模型直接拟合目标视频实现零样本SVG动画,无需骨架或类别先验,通过双层运动表示和球体填充重着色策略解决复杂运动与颜色歧义问题。
2026-05-28 cs.CV
Relit-LiVE: Relight Video by Jointly Learning Environment Video
Nanjing University(南京大学);Tsinghua University(清华大学);The Hong Kong University of Science and Technology(香港科学与技术大学);University of Chinese Academy of Sciences(中国科学院大学);Huazhong University of Science and Technology(华中科技大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
Relit-LiVE通过引入原始参考图像和环境视频预测方法,实现了无需相机姿态先验知识的物理一致视频照明,提升了真实场景下的照明效果和时间稳定性。
2026-05-07 cs.CV
Attacking Video Recognition Models with Bullet-Screen Comments
Fudan University(复旦大学);Shanghai Key Lab of Intelligent Information Processing(上海市智能信息处理重点实验室);Shanghai Collaborative Innovation Center on Intelligent Visual Computing(上海智能视觉计算协同创新中心)
最近的研究表明,深度神经网络(DNN)容易受到对抗补丁的影响,这些补丁会对输入产生可感知但局部的变化。尽管如此,现有的方法都集中在生成图像上的对抗补丁,他们在视频中的对手已经探索较少。与图像相比,攻击视频更具挑战性,因为它不仅需要考虑空间线索,还需要考虑时间线索。为了缩小这一差距,我们在本文中介绍了一种新的对抗攻击,即弹屏评论(BSC)攻击,它使用BSC攻击视频识别模型。具体而言,对抗BSC生成与强化学习(RL)框架,其中环境被设置为目标模型和代理的作用,选择的位置和透明度的每个BSC。通过不断查询目标模型和接收反馈,代理逐渐调整其选择策略,以实现高愚弄率与非重叠BSC。由于BSC可以被视为一种有意义的补丁,将其添加到干净的视频中不会影响人们对视频内容的理解,也不会引起人们的怀疑。我们进行了大量的实验,以验证所提出的方法的有效性。在UCF-101和HMDB-51数据集上,我们的BSC攻击方法在攻击三种主流的视频识别模型时都能达到约90%的欺骗率,而只遮挡了视频中\textless 8%的区域。我们的代码可在https://github.com/kay-ck/BSC-attack上获得。
2022-01-11 cs.CV
Online Anomaly Detection over Live Social Video Streaming
RMIT University(皇家墨尔本理工大学);Data61 CSIRO(澳大利亚联邦科学与工业研究组织Data61);University of Electronic Science and Technology of China(电子科技大学)
本文提出AOVLIS框架,通过耦合长短期记忆网络CLSTM建模主讲人与观众的互动行为,结合重构误差评分和自适应优化策略,实现在线社交视频直播异常检测。
2023-12-01 cs.CV
A Comment on "Analysis of Video Image Sequences Using Point and Line Correspondences"
Institute of Computer Science, Polish Academy of Sciences(波兰科学院计算机科学研究所)
在本文中,我们想否定Wang等人提出的两个基本主张的结果:* 一条线对从两个图像中识别运动参数没有任何贡献 * 四个可追踪点不足以从两个视角恢复运动参数。我们证明了四个可追踪点足以从正交投影下的两帧中恢复运动参数,五个点足以简化将正交投影下的两标架问题的求解转化为求解一个线性方程组。
2017-04-18 cs.CV
LIVE: Leveraging Image Manipulation Priors for Instruction-based Video Editing
Nankai University(南开大学);Pengcheng Laboratory(鹏城实验室);Kuaishou Technology(快手科技);Nankai International Advanced Research Institute (SHENZHEN·FUTIAN)(南开国际先进研究院(深圳·福田))
本文提出LIVE框架,结合大规模高质量图像编辑数据和视频数据提升编辑能力,通过帧级噪声策略和两阶段训练策略,构建包含60多项挑战性任务的评估基准,实验表明方法达到SOTA。
2026-04-18 cs.CV
EditaLive! Unified Character Video Editing for Live Streaming
University of Macau(澳门大学);vivo(vivo公司);Great Bay University(大湾区大学)
EditaLive是适配直播的新型角色视频编辑框架,通过改进Wan-Animate模型,实现了低延迟、表情一致的实时角色视频编辑,达到了最优性能。
2026-08-28 cs.CV
TV-LiVE: Training-Free, Text-Guided Video Editing via Layer Informed Vitality Exploitation
KAIST AI(韩国科学技术院人工智能研究所);University of Seoul(首尔大学)
本文提出免训练文本引导框架 TV-LiVE,通过识别并利用与 RoPE 相关的关键层注入 key/value 特征,并提取新增对象掩码,实现高质量对象添加与非刚性视频编辑。
2025-06-08 cs.CV
Live Video Captioning
本文提出实时视频字幕生成(LVC)新范式,结合可变形变换器与时间滤波在线生成字幕,并设计新评估指标,在ActivityNet Captions上超越离线方法。
2025-05-26 cs.CV
Hallo-Live: Real-Time Streaming Joint Audio-Video Avatar Generation with Asynchronous Dual-Stream and Human-Centric Preference Distillation
Shanghai Innovation Institute(上海创新研究院);Fudan University(复旦大学);University of Science and Technology of China(中国科学技术大学);Nanjing University(南京大学);Baidu(百度)
本文提出Hallo-Live框架,通过异步双流扩散与人类中心偏好蒸馏实现高保真实时音频视频虚拟形象生成,达到高吞吐量与低延迟,优于现有模型。
2026-04-26 cs.CV cs.MM cs.SD
LIVE: Long-horizon Interactive Video World Modeling
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Loop Area Institute(深圳河套学院);Microsoft Research(微软研究院);The University of Hong Kong(香港大学);Voyager Research, Didi Chuxing Project(Voyager研究,滴滴出行项目)
LIVE通过循环一致性目标限制误差累积,无需教师蒸馏,实现长时距交互视频世界建模,取得最优性能。
2026-02-03 cs.CV
GOAL: A Challenging Knowledge-grounded Video Captioning Benchmark for Real-time Soccer Commentary Generation
Tsinghua University(清华大学);Biendata;Tencent(腾讯)
针对现有视频字幕模型难以生成知识驱动的细粒度领域解说的问题,本文提出包含超8900个足球视频片段的GOAL基准,设定知识驱动视频字幕新任务,通过适配现有方法的实验揭示了该任务的难点与研究方向。
2023-10-05 cs.CL cs.CV cs.LG
Toward Accessible and Safe Live Streaming Using Distributed Content Filtering with MoQ
Baylor University(贝勒大学)
本文扩展 Media over QUIC Transport 协议,通过分布式实时内容分析仅过滤违规视频片段,在低延迟下支持安全可访问的一对多直播。
2025-05-13 cs.CV cs.DC cs.MM
Visko Orbis 1.0: A Live Model for Real-Time Interactive Long Video Generation
Visko Orbis 1.0是一款实时交互式长视频生成模型,支持多类型生成任务与实时提示词切换,靠有界多尺度记忆实现长视频生成无明显漂移,在对比测试中获最优偏好与稳定性评分。
2026-09-10 cs.CV
Towards Live Video Analytics with On-Drone Deeper-yet-Compatible Compression
Purdue University(普渡大学)
在这项工作中,我们提出了DCC(Deeper-yet-Compatible Compression),这是一种基于现有编解码器的实时无人机边缘辅助视频分析技术。DCC解决了一个重要的技术问题,将流视频从无人机压缩到边缘,而不会牺牲在边缘执行的视频分析任务的准确性和及时性。DCC的灵感来自于这样一个事实,即并非流视频中的每一位都对视频分析具有同等价值,这为传统的分析无关视频编解码技术开辟了新的压缩空间。我们利用无人机特定的上下文和中间提示从目标检测追求自适应保真度需要保持分析质量。我们已经在一个车辆检测的示范应用中原型化了DCC,并在代表性场景中验证了其效率。DCC的传输量比基线方法减少了9.5倍,比最先进的方法减少了19-683%,检测精度相当。
2021-11-10 cs.CV cs.NI
Recognition of Indian Sign Language in Live Video
Don Bosco University(顿博斯科大学)
手语识别已成为计算机视觉的重要研究领域之一。研究人员面临的困难是,迹象的实例随运动和外观而变化。因此,在本文中,提出了一种新的方法来识别各种字母的印度手语的连续视频序列的迹象已被认为是。该系统包括三个阶段:预处理阶段,特征提取和分类。预处理阶段包括肤色滤波、直方图匹配。在特征提取阶段,综合考虑特征值和特征向量,最后利用特征值加权欧氏距离进行识别。它处理徒手,从而允许用户以自然的方式与系统交互。我们考虑了24个不同的字母在视频序列,并取得了96.25%的成功率。
2013-06-06 cs.CV
Online Misinformation Detection in Live Streaming Videos
Singapore Management University(新加坡管理大学)
本文提出直播视频在线错误信息检测(MDLS)这一新任务,形式化定义问题并分析其重要性与挑战,同时给出构建 AI 挑战的路径和潜在解决方案。
2025-03-16 cs.CL cs.CV