Continually Improving Extractive QA via Human Feedback
Cornell University(康奈尔大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本研究设计部署迭代方法,通过人类用户反馈持续改进抽取式QA系统,经数千次用户交互实验验证,该方法在不同数据模式下均有效,且在领域适配方面潜力显著。
2023-11-03 cs.AI cs.CL cs.LG
VF-Eval: Evaluating Multimodal LLMs for Generating Feedback on AIGC Videos
School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences(中国科学院大学先进交叉学科学院);National University of Singapore(新加坡国立大学);Zhejiang University(浙江大学);Yale University(耶鲁大学)
提出VF-Eval基准,通过四项任务评估MLLMs对AIGC视频的反馈能力,发现前沿模型表现有限,并验证对齐人类反馈可改进视频生成。
2025-05-29 cs.AI cs.CL cs.CV
Improving Video Diffusion Transformer Training by Multi-Feature Fusion and Alignment from Self-Supervised Vision Encoders
提出Align4Gen,通过多特征融合与对齐自监督视觉编码器特征,改进视频扩散Transformer训练,提升视频生成质量。
2025-09-11 cs.AI cs.CV
InstructVideo: Instructing Video Diffusion Models with Human Feedback
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团);Tsinghua University(清华大学);Singapore University of Technology and Design(新加坡科技设计大学);Nanyang Technological University(南洋理工大学);University of Cambridge(剑桥大学)
InstructVideo通过奖励微调将人类反馈融入视频扩散模型,采用部分DDIM推断和分段稀疏采样降低微调成本,并复用图像奖励模型提升生成视频质量,兼顾效率与泛化。
2023-12-19 cs.AI cs.CV cs.LG
Adaptive Video Understanding Agent: Enhancing efficiency with dynamic frame sampling and feedback-driven reasoning
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon AGI(亚马逊AGI)
本文提出基于 LLM 的自适应视频理解智能体,利用查询自适应动态帧采样与自反思反馈推理,在多个基准上提升性能并减少采样帧数。
2024-10-26 cs.AI cs.CV
InstanceCap: Improving Text-to-Video Generation via Instance-aware Structured Caption
Nanjing University(南京大学);ByteDance(字节跳动);Nankai University(南开大学)
针对现有视频字幕细节不足、存在幻觉等影响文本到视频生成质量的问题,研究提出实例感知结构化字幕框架InstanceCap,构建InstanceVid数据集,实验证明其性能优于以往模型,提升了字幕与视频的保真度并减少幻觉。
2024-12-12 cs.AI cs.CV
Koala-36M: A Large-scale Video Dataset Improving Consistency between Fine-grained Conditions and Video Content
Shenzhen University(深圳大学);Tsinghua University(清华大学);Kuaishou Technology(快手科技)
为解决现有视频数据集在时间分割、字幕和质量过滤上的局限,本文提出大规模高质量数据集 Koala-36M,通过线性分类器优化时间分割、提供200词结构化字幕并开发VTSS评分筛选高质量视频,有效提升了细粒度条件与视频内容的一致性。
2025-04-26 cs.AI cs.CV
Reg-DPO: SFT-Regularized Direct Preference Optimization with GT-Pair for Improving Video Generation
本文提出Reg-DPO方法,通过GT-Pair自动构建偏好对并将SFT损失正则化引入DPO,结合FSDP与内存优化技术,在I2V和T2V任务上显著提升视频生成质量与训练稳定性。
2025-11-10 cs.AI cs.CV
Improving Video Generation for Multi-functional Applications
ETH Zurich(苏黎世联邦理工学院)
在本文中,我们的目标是改进最先进的视频生成对抗网络(GANs),以期实现多功能应用。我们改进的视频GAN模型不分离前景和背景,也不分离动态和静态模式,而是学习联合生成整个视频片段。因此,我们的模型可以被训练来生成-并从-一组广泛的视频中学习,没有任何限制。这是通过设计一个强大的单流视频生成架构,扩展了最先进的Wasserstein GAN框架,允许更好的收敛。实验结果表明,我们改进的视频GAN模型在多个具有挑战性的数据集上的性能优于现有的视频生成模型。此外,我们证明了我们的模型的优越性,成功地将其扩展到三个具有挑战性的问题:视频着色,视频修复和未来预测。据我们所知,这是第一个使用GANs对视频片段进行着色和修补的工作。
2018-03-14 cs.CV
Synthesizing Audio from Silent Video using Sequence to Sequence Modeling
Milwaukee School of Engineering(密尔沃基工程学院)
本文提出基于序列到序列模型和3D VQ-VAE从无声视频合成音频的方法,以提升声音多样性并应用于CCTV分析、无声电影修复等场景。
2024-04-25 cs.AI cs.CV cs.LG
Leveraging Motion Priors in Videos for Improving Human Segmentation
National Tsing Hua University(国立清华大学);Umbo Computer Vision(Umbo计算机视觉公司)
尽管基于深度学习的语义分割取得了许多进展,但在现实世界中经常会遇到由于分布不匹配而导致的性能下降。最近,一些领域自适应和主动学习方法已经被提出来减轻性能下降。然而,很少注意利用在大多数相机系统中自然捕获的视频中的信息。在这项工作中,我们建议利用“运动先验”的视频,以改善人类分割在弱监督主动学习设置。通过使用视频中的光流来提取运动信息,我们可以提取潜在地对应于人段的候选前景运动段(称为运动先验)。我们建议学习一个基于记忆网络的策略模型,通过强化学习来选择强候选片段(称为强运动先验)。选择的段具有高精度,并直接用于微调模型。在新收集的监控摄像机数据集和公开可用的UrbanStreet数据集中,我们提出的方法提高了跨多个场景和模态的人体分割的性能(即,RGB到红外(IR))。最后但并非最不重要的是,我们的方法是经验上的补充,现有的领域自适应方法,使额外的性能增益是通过结合我们的弱监督主动学习方法与领域自适应方法。
2018-07-30 cs.CV cs.LG
OnlineVPO: Align Video Diffusion Model with Online Video-Centric Preference Optimization
The University of Hong Kong(香港大学);ByteDance Project Page(字节跳动项目)
OnlineVPO通过改进反馈源和调节方法,提出一种针对视频扩散模型的高效偏好学习框架,提升视频生成质量与可扩展性。
2025-12-31 cs.CV
When Cultures Move: Measuring and Improving Multicultural Text-to-Video Generation
Santa Clara University(圣克拉拉大学)
提出MAVEN多智能体提示优化框架,通过并行或串行分解提示为人物、动作、地点维度,提升单文化和跨文化文本到视频生成的文化保真度,并构建包含243个文化提示和972个视频的基准进行评估。
2026-07-21 cs.AI cs.CV
IsoVRBench: Video Reward Modeling Without Human Feedback
University of Washington(华盛顿大学);Meta Superintelligence Labs(元超级智能实验室)
研究人员构建含8000对的IsoVRBench基准,用其训练的IsoVRM奖励模型及IsoWan生成器,在相关任务上表现优于人类数据训练的模型,且数据可随生成器发展扩展。
2026-10-14 cs.AI cs.CV
Seeing is Improving: Visual Feedback for Iterative Text Layout Refinement
University of Science and Technology of China(中国科学技术大学);Shenzhen University(深圳大学)
本文提出VFLM模型,通过视觉反馈迭代优化文本布局,提升生成质量,实验表明其优于现有方法。
2026-03-23 cs.AI cs.CV
Vivid4D: Improving 4D Reconstruction from Monocular Video by Video Inpainting
Zhejiang University(浙江大学);ByteDance(字节跳动)
针对单目视频4D重建的视角限制问题,Vivid4D结合几何与生成先验,将视角增强转化为视频修复任务,通过单目深度先验变形视角并训练修复模型,有效提升4D场景重建效果。
2025-04-18 cs.CV
CamPilot: Improving Camera Control in Video Diffusion Model with Efficient Camera Reward Feedback
HKUST(GZ)(香港科技大学(广州));HKUST(香港科技大学);Kling Team, Kuaishou Technology(快手科技 Kling 团队)
CamPilot通过高效的3D解码器和奖励机制提升视频扩散模型的相机控制能力
2026-01-22 cs.CV
UniCtrl: Improving the Spatiotemporal Consistency of Text-to-Video Diffusion Models via Training-Free Unified Attention Control
University of Michigan(密歇根大学);University of Virginia(弗吉尼亚大学)
UniCtrl是一种免训练的即插即用方法,通过跨帧自注意力控制、运动注入和时空同步,提升文本到视频扩散模型的时空一致性和运动多样性。
2024-11-10 cs.CV
RLGF: Reinforcement Learning with Geometric Feedback for Autonomous Driving Video Generation
SKL-IOTSC, Computer and Information Science, University of Macau(澳门大学计算机与信息科学学院);Li Auto Inc(利汽车公司)
针对自动驾驶视频生成中的几何畸变问题,提出RLGF方法,利用潜在空间感知奖励和分层几何奖励优化扩散模型,显著降低几何误差并提升3D检测性能。
2025-10-24 cs.CV
Aligning Anime Video Generation with Human Feedback
Fudan University(复旦大学);Bilibili Inc(哔哩哔哩公司)
针对动漫视频生成中的运动失真和闪烁问题,本文构建了首个含3万标注样本的多维奖励数据集,提出AnimeReward奖励模型和GAPO优化方法,有效提升生成视频与人类偏好的对齐质量。
2025-06-24 cs.CV
Learning via social awareness: Improving a deep generative sketching model with facial feedback
Massachusetts Institute of Technology(麻省理工学院);Google Brain(谷歌大脑)
在对通用人工智能(AI)的探索中,研究人员已经探索开发损失函数,在没有外部奖励的情况下充当内在激励因素。本文认为,这样的研究忽略了一个重要的和有用的内在动机:社会互动。我们认为,让人工智能智能体意识到来自人类的隐性社会反馈,可以更快地学习更通用和有用的表示,并可能影响人工智能的安全性。我们以面部表情反应的形式收集社会反馈,这些反馈来自Sketch RNN,这是一种基于LSTM的变分自编码器(VAE),旨在生成草图。我们使用潜在约束GAN(LC-GAN)从一小群观众的面部反馈中学习,通过优化模型来生成草图,它预测将导致更积极的面部表情。我们在多个独立的评估中表明,用面部反馈训练的模型产生了更高评价的草图,并诱导了更积极的面部表情。因此,我们建立了隐式社会反馈可以提高深度学习模型的输出。
2018-08-27 cs.CV cs.HC cs.LG
Verbs in Action: Improving verb understanding in video-language models
University of Oxford(牛津大学);Google Research(谷歌研究院)
本文提出动词聚焦对比(VFC)框架,通过利用大语言模型生成困难负样本并施加细粒度动词短语对齐损失,显著提升了基于CLIP的视频-语言模型在动词理解相关任务上的零样本性能。
2023-04-13 cs.AI cs.CL cs.CV
VISTA: A Test-Time Self-Improving Video Generation Agent
Google(谷歌)
VISTA是一个多智能体系统,通过迭代优化提示词在测试时自我改进视频生成,实验显示其质量与用户意图对齐持续提升,胜率达60%。
2025-10-17 cs.CV
Improving a Neural Semantic Parser by Counterfactual Learning from Human Bandit Feedback
Heidelberg University(海德堡大学)
来自人类强盗反馈的反事实学习描述了一种场景,其中记录用户对历史系统输出质量的反馈并用于改进目标系统。我们展示了如何将这种学习框架应用于神经语义解析。从机器学习的角度来看,关键的挑战在于对估计器进行适当的重新加权,以避免反事实学习中的已知退化,同时仍然适用于随机梯度优化。为了与人类用户进行实验,我们设计了一个易于使用的界面来收集人类对语义解析的反馈。我们的工作是第一个表明,语义解析器可以显着提高从记录的人类反馈数据的反事实学习。
2018-11-30 cs.CL cs.LG stat.ML
T2V-Turbo: Breaking the Quality Bottleneck of Video Consistency Model with Mixed Reward Feedback
UC Santa Barbara(加州大学圣巴巴拉分校);Google(谷歌公司);University of Waterloo(滑铁卢大学)
本文提出T2V-Turbo,通过将混合可微奖励模型的反馈集成到预训练T2V模型的一致性蒸馏过程中,打破了视频一致性模型的质量瓶颈,在实现4步快速生成的同时显著提升了视频质量。
2024-10-11 cs.CV
TwoStreamVAN: Improving Motion Modeling in Video Generation
Boston University(波士顿大学);University of California Berkeley(加州大学伯克利分校)
视频生成是一个固有的挑战性任务,因为它需要建模逼真的时间动态以及空间内容。现有方法在单个生成器网络中纠缠运动和内容创建这两个本质上不同的任务,但这种方法难以同时生成合理的运动和内容。为了改进视频生成任务中的运动建模,我们提出了一种双流模型,将运动生成与内容生成分开,称为双流变分对抗网络(TwoStreamVAN)。给定动作标签和噪声向量,我们的模型能够创建清晰和一致的运动,从而产生逼真的视频。其核心思想是逐步生成和融合多尺度运动与其相应的空间内容。我们的模型在标准的Weizmann人类动作,MUG面部表情和VoxCeleb数据集以及我们具有挑战性和复杂运动的各种人类动作的新数据集上显着优于现有方法。我们的代码可在https://github.com/sunxm2357/TwoStreamVAN/上获得。
2020-01-10 cs.CV
Smart-Insertion-V: Photorealistic Video Insertion via a Closed-Loop Feedback Dual-Stream Framework
提出一种端到端双流框架Smart-Insertion-V,通过闭环反馈机制和双世界视角旋转位置编码解决参考对象与源视频风格域差异大的问题,实现无需掩码的逼真视频对象插入。
2026-10-08 cs.CV
G-UBS: Towards Robust Understanding of Implicit Feedback via Group-Aware User Behavior Simulation
G-UBS通过群体意识用户行为模拟方法,利用群体档案引导强化学习,提升隐式反馈理解的鲁棒性和深度。
2025-11-24 cs.IR cs.LG cs.MA
TweedieMix: Improving Multi-Concept Fusion for Diffusion-based Image/Video Generation
KRAFTON;Kim Jaechul Graduate School of AI, KAIST(KAIST金哉澈人工智能研究生院)
提出TweedieMix方法,通过两阶段采样策略在推理阶段组合定制扩散模型,有效融合多个性化概念,提升图像与视频生成保真度。
2025-03-04 cs.CV
Improving Generative Adversarial Networks for Video Super-Resolution
本研究针对视频超分辨率任务,从单图像超分辨率GAN基础模型出发探索改进技术,发现时间平滑、LSTM层和时间损失函数效果最佳,整合后PSNR和SSIM较基线分别提升11.97%和8%,为优化现有SOTA模型提供了方向。
2024-06-24 cs.CV eess.IV
OD-VAE: An Omni-dimensional Video Compressor for Improving Latent Video Diffusion Model
Peking University(北京大学);Rabbitpre Intelligence(睿兔智联科技);Peng Cheng Laboratory(鹏城实验室)
针对现有二维图像VAE缺乏时间压缩的问题,提出可同时进行时空压缩的OD-VAE,并通过四种变体、尾部初始化和任意长视频推理策略,在保证重建质量的同时提升LVDM生成效率。
2024-09-09 cs.CV eess.IV
EffiPair: Improving the Efficiency of LLM-generated Code with Differential Execution Feedback
Columbia University(哥伦比亚大学)
本文提出EffiPair框架,通过相对对比反馈机制在测试时迭代优化代码效率,减少性能反馈开销,实验证明其在代码效率提升方面优于传统方法。
2026-09-29 cs.AI cs.CL cs.LG
CoCoCo: Improving Text-Guided Video Inpainting for Better Consistency, Controllability and Compatibility
The Chinese University of Hong Kong(香港中文大学);International Digital Economy Academy (IDEA)(国际数字经济学院);The University of Hong Kong(香港大学);Tsinghua University(清华大学)
本文提出CoCoCo模型,通过运动捕获模块、实例感知区域选择和个性化模型注入,解决文本引导视频修复中的一致性、可控性和兼容性问题,实验证明其生成高质量视频。
2024-03-18 cs.CV
Mask Forcing: Improving Autoregressive Video Diffusion Distillation via Dual-Noise Masking Rollout
HKUST(GZ)(香港科技大学(广州));HKUST(香港科技大学);LIGHTSPEED;UCSD(加利福尼亚大学圣地亚哥分校);CUHK(SZ)(香港中文大学(深圳));NUS(新加坡国立大学)
针对自回归视频扩散蒸馏中的模式坍缩问题,提出双噪声掩码展开策略,通过随机掩码注入干净信号扰动学生自展开,提升多种蒸馏方法的视觉质量。
2026-09-09 cs.CV
Improving the Physics of Video Generation with VJEPA-2 Reward Signal
FAIR, Meta Superintelligence Labs(FAIR、Meta超智能实验室);University of Oxford(牛津大学);Mila - Québec AI Institute(魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);Columbia University(哥伦比亚大学);McGill University(麦吉尔大学);Canada CIFAR AI Chair(加拿大CIFAR人工智能 chair)
本报告提出将自监督视频世界模型VJEPA-2作为奖励信号,与视频生成模型MAGI-1结合,以提升生成视频的物理合理性,在PhysicsIQ基准上实现约6%的改进。
2025-10-22 cs.CV cs.GR
GigaVideo-1: Advancing Video Generation via Automatic Feedback with 4 GPU-Hours Fine-Tuning
GigaAI(极佳科技);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);School of Computer Science, Sichuan University(四川大学计算机学院)
本研究提出高效微调框架GigaVideo-1,通过提示驱动数据引擎和奖励引导训练策略的自动反馈机制,仅用4 GPU小时微调就在VBench-2.0基准17个维度上平均提升约4%的视频生成性能,无需人工标注。
2025-06-12 cs.CV
MAF: Multi-Aspect Feedback for Improving Reasoning in Large Language Models
University of California, Santa Barbara(加州大学圣巴巴拉分校)
本文提出 Multi-Aspect Feedback 迭代精炼框架,通过集成多个专注特定错误类别的反馈模块(含冻结LM和外部工具),有效解决LM推理链中的多种错误,在数学推理和逻辑蕴含任务上分别实现高达20%和18%的相对提升。
2023-10-19 cs.AI cs.CL
TrajCFG: Token-Wise Classifier-Free Guidance via Denoising Trajectory Feedback
Kuaishou Technology(快手科技);Renmin University of China(中国人民大学)
TrajCFG是一种无需训练的流匹配模型引导方法,通过复用标准CFG预测,在多模态生成任务上提升了多个主干网络的性能,尤其在文本到视频生成中VBench总得分提升0.30-0.75分。
2026-10-23 cs.CV
Mimir: Improving Video Diffusion Models for Precise Text Understanding
Ant Group(蚂蚁集团);Tsinghua University(清华大学)
针对视频扩散模型文本理解有限的问题,提出Mimir框架,通过token融合器协调文本编码器与大语言模型(LLMs)输出,利用LLMs优势提升文本理解,生成高质量视频,尤其在短字幕和动态变化场景表现出色。
2024-12-04 cs.CV
VA-Judger: Reward Modeling from Human Preference Feedback for Joint Video-Audio Generation
Shanghai Innovation Institution(上海创新研究院);Fudan University(复旦大学);Yinwang Intelligent Technology Co., Ltd(音网智能科技有限公司)
本研究针对联合视频-音频生成的奖励信号问题,构建了VAPref-10K数据集与VA-Judger-Bench基准,提出思维链全奖励模型VA-Judger,其在预测人类偏好及提升生成质量上均优于基线方法。
2026-09-29 cs.CV
Characterizing and Improving Stability in Neural Style Transfer
Stanford University(斯坦福大学)
图像风格转换的最新进展集中在提高风格化图像的质量和方法的速度上。然而,实时方法非常不稳定,导致应用于视频时出现可见闪烁。在这项工作中,我们的特点是这些方法的不稳定性,通过检查的解决方案集的风格转移目标。我们表明,Gram矩阵表示风格的轨迹是负相关的方法的稳定性。然后,我们提出了一种用于实时视频风格传输的递归卷积网络,该网络包含时间一致性损失,并克服了先前方法的不稳定性。我们的网络可以应用于任何分辨率,在测试时不需要光流,并实时生成高质量,时间一致的风格化视频。
2017-05-05 cs.CV
Playmate2: Training-Free Multi-Character Audio-Driven Animation via Diffusion Transformer with Reward Feedback
Project lead & Corresponding Author(项目负责人及通讯作者)
针对音频驱动视频生成中唇形同步、长视频时间连贯性及多角色动画的挑战,提出基于扩散Transformer的框架,结合LoRA训练策略、位置偏移推理及Mask-CFG免训练方法,实现任意长度多角色逼真说话视频生成且性能超越现有方法。
2025-11-18 cs.CV
Improving Sequential Query Recommendation with Immediate User Feedback
School of Computing Science, University of Glasgow(格拉斯哥大学计算科学学院)
本文提出将多臂老虎机框架与Transformer因果语言模型结合,使序列查询推荐能够利用即时用户反馈,实验表明其每轮遗憾显著优于现有方法。
2024-07-03 cs.IR cs.LG stat.ML
The Potential of Using Vision Videos for CrowdRE: Video Comments as a Source of Feedback
TIB – Leibniz Information Centre for Science and Technology(TIB——莱布尼茨科学技术信息中心);Leibniz University Hannover(汉诺威莱布尼茨大学)
建立愿景视频是为了征求反馈和激发需求工程(RE)实践中的讨论,例如焦点小组。不同的研究人员通过在社交媒体平台上使用视觉视频来激励将这些好处转移到基于人群的RE(CrowdRE)中。然而,到目前为止,很少有研究详细探讨将视觉视频用于CrowdRE的潜力。在本文中,我们分析和评估这种潜力,特别是,专注于视频评论作为反馈的来源。在一个案例研究中,我们分析了4505条来自YouTube的视觉视频评论。我们发现,这段视频在四天内从2660名观众那里征集了2770条评论。这是该视频四年来收到的所有评论的50%以上。尽管这些评论中只有一小部分与RE相关,但相关评论涉及用户反馈的典型意图和主题,例如功能请求或问题报告。除了典型的用户反馈类别,我们还发现了300多条关于安全的评论,这在以前的用户反馈分析中没有出现。在自动分析中,我们比较了三种机器学习算法对视频评论分类的性能。尽管存在某些差异,但算法对视频评论进行了很好的分类。基于这些发现,我们得出结论,使用视觉视频的CrowdRE有很大的潜力。尽管案例研究是初步的,但我们乐观地认为,愿景视频可以激励利益相关者积极参与人群,并征求大量视频评论作为宝贵的反馈来源。
2021-08-04 cs.AI cs.LG cs.SE
Improving ProtoNet for Few-Shot Video Object Recognition: Winner of ORBIT Challenge 2022
Huawei(华为);McMaster University(麦克马斯特大学);University of Manitoba(曼尼托巴大学)
在这项工作中,我们提出了ORBIT Few-Shot视频对象识别挑战赛2022的获奖解决方案。建立在ProtoNet基线,我们的方法的性能提高了三个有效的技术。这些技术包括嵌入自适应、视频片段统一采样和无效帧检测。此外,我们重新构建和重新实现了官方代码库,以鼓励模块化,兼容性和提高性能。我们的实现加速了训练和测试中的数据加载。
2022-10-01 cs.CV cs.LG
VideoAgent: Self-Improving Video Generation
University of Waterloo(滑铁卢大学);Georgia Institute of Technology(佐治亚理工学院);Stanford University(斯坦福大学);Google Deepmind(谷歌DeepMind);New York University(纽约大学)
针对视频生成用于机器人控制时存在幻觉内容和物理不真实的问题,提出VideoAgent,通过自我条件一致性优化视频规划并利用环境反馈自我改进,在模拟实验中大幅提升任务成功率,为视频生成锚定物理世界提供有效工具。
2025-02-09 cs.AI cs.LG
Learning from Observations Using a Single Video Demonstration and Human Feedback
University of Maryland Baltimore County(马里兰大学巴尔的摩县分校);US Army Research Laboratory(美国陆军研究实验室)
在本文中,我们提出了一种方法,从视频演示中学习,通过使用人的反馈,构建一个标准的代理表示和演示的视觉表示之间的映射。通过这种方式,我们利用了这两种表示的优点,即,我们使用标准状态表示来学习策略,但是能够使用视频演示来指定预期的行为。我们训练一个自主智能体使用一个单一的视频演示,并使用人的反馈(使用数值相似性评级)映射的标准表示与神经网络的视觉表示。我们展示了我们的方法的有效性,通过教一个料斗代理在MuJoCo执行后空翻使用一个单一的视频演示生成的MuJoCo以及从一个真实世界的YouTube视频的人执行后空翻。此外,我们表明,我们的方法可以转移到新的任务,如跳跃,很少有人的反馈。
2019-09-29 cs.LG stat.ML
Stealing Creator's Workflow: A Creator-Inspired Agentic Framework with Iterative Feedback Loop for Improved Scientific Short-form Generation
University of Minnesota(明尼苏达大学)
针对科学论文生成短视频的难题,提出多LLM智能体框架SciTalk,借鉴创作者工作流并引入迭代反馈机制,显著提升了生成内容的准确性与吸引力。
2025-04-26 cs.AI cs.CL cs.LG
Feedback Recurrent Autoencoder for Video Compression
Qualcomm AI Research, Qualcomm Technologies Netherlands B.V.(高通人工智能研究院,高通技术荷兰有限公司);Qualcomm AI Research, Qualcomm Technologies, Inc.(高通人工智能研究院,高通技术公司);University of Oxford(牛津大学)
深度生成建模的最新进展使得能够对高维数据分布进行有效建模,并为解决数据压缩问题开辟了新的视野。具体而言,基于自动编码器的学习图像或视频压缩解决方案正在成为传统方法的强有力竞争者。在这项工作中,我们提出了一个新的网络架构,共同的和良好的研究组件的基础上,学习视频压缩在低延迟模式下运行。我们的方法在高分辨率UVG数据集上产生最先进的MS-SSIM/速率性能,在流媒体应用的感兴趣的速率范围内,在学习的视频压缩方法和经典的视频压缩方法(H.265和H.264)中。此外,我们提供了一个现有的方法,通过其底层的概率图形模型的镜头进行分析。最后,我们指出了在实证评估中观察到的时间一致性和色偏问题,并提出了缓解这些问题的方向。
2020-04-09 cs.CV cs.LG stat.ML
VidLanKD: Improving Language Understanding via Video-Distilled Knowledge Transfer
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
由于视觉感知可以提供丰富的信息,超越文本描述的世界理解,有越来越多的兴趣,利用视觉基础的语言学习。最近,通过使用文本到图像检索模型的预测作为语言模型监督的标签,语音化(Tan和Bansal,2020)引起了人们的关注。尽管它的成功,该方法遭受的近似误差使用有限的图像标签和缺乏词汇多样性的一个小的图像-文本数据集。为了克服这些局限性,我们提出了VidLanKD,视频语言知识蒸馏方法,提高语言理解。我们在视频-文本数据集上训练多模态教师模型,然后将其知识转移到具有文本数据集的学生语言模型。为了避免近似误差,我们建议使用不同的知识蒸馏目标。此外,使用大规模的视频文本数据集有助于学习多样化和更丰富的词汇。在我们的实验中,VidLanKD在几个下游语言理解任务(包括GLUE、SQuAD和SWAG)上实现了比纯文本语言模型和语音化模型一致的改进。我们还通过评估GLUE诊断,PIQA和TRACIE数据集来展示我们模型的改进的世界知识,物理推理和时间推理能力。最后,我们提出了全面的消融研究,以及可视化的学习文本到视频接地结果,我们的教师和学生语言模型。我们的代码和模型可在https://github.com/zinengtang/VidLanKD上获得
2021-10-19 cs.AI cs.CL cs.CV
Improving Video Question Answering through query-based frame selection
Indian Institute of Technology, Bombay(印度理工学院孟买分校);Indian Institute of Technology, Mandi(印度理工学院曼迪分校)
通过基于查询的帧选择方法提升视频问答的准确性,利用子模ularity互信息函数选择重要帧,实验表明在多动作视频任务中准确率提升达4%。
2026-01-12 cs.CV cs.LG
Improving Transfer Learning with a Dual Image and Video Transformer for Multi-label Movie Trailer Genre Classification
Instituto de Investigaciones en Matemáticas Aplicadas y en Sistemas, Universidad Nacional Autónoma de México(墨西哥国立自治大学应用数学与系统研究所)
在本文中,我们研究了ImageNet空间和Kinetics时空表示到多标签电影预告片类型分类(MTGC)的可移植性。特别是,我们对在ImageNet和Kinetics上预训练的ConvNet和Transformer模型到Trailers 12 k的可移植性进行了广泛的评估,Trailers 12 k是一个新的手动策划的电影预告片数据集,由12,000个标记有10种不同类型和相关元数据的视频组成。我们分析了可能影响可传输性的不同方面,例如帧速率、输入视频扩展和时空建模。为了减少ImageNet/Kinetics和Trailers 12 k之间的时空结构差距,我们提出了双图像和视频Transformer架构(DIViTA),它执行镜头检测,以便将预告片分割成高度相关的片段,为预训练的骨干提供更有凝聚力的输入,并提高可移植性(ImageNet增加1.83%,Kinetics增加3.75%)。我们的研究结果表明,在ImageNet或Kinetics上学习的表示相对而言可以转移到Trailers 12 k。此外,两个数据集都提供了互补的信息,可以结合起来提高分类性能(与前一个预训练相比,提高了2.91%)。有趣的是,使用轻量级ConvNets作为预训练的骨干,与顶级Transformer相比,分类性能仅下降3.46%,同时仅需要其参数的11.82%和FLOPS的0.81%。
2023-03-29 cs.CV cs.LG
VTC: Improving Video-Text Retrieval with User Comments
Unitary Ltd.(Unitary有限公司);University of Amsterdam(阿姆斯特丹大学);University of Oxford(牛津大学)
多模态检索是推荐、搜索等应用中的一个重要问题。当前的基准测试甚至数据集通常是手动构建的,并且大多由干净的样本组成,其中所有模态都与内容密切相关。因此,目前的视频文本检索文献主要集中在视频标题或音频转录,而忽略了用户的意见,因为用户往往倾向于讨论的主题,只有模糊的视频相关。尽管在线用户评论无处不在,但目前还没有包含评论的多模态表示学习数据集。在本文中,我们a)介绍了一个新的视频,标题和评论数据集; b)提出了一种基于注意力的机制,允许模型从有时不相关的数据(如评论)中学习; c)通过使用评论,我们的方法能够更好地学习,更情境化,图像,视频和音频表示的表示。项目页面:https://unitaryai.github.io/vtc-paper。
2022-10-19 cs.CL cs.CV cs.IR
Towards Exploiting Implicit Human Feedback for Improving RDF2vec Embeddings
University of Mannheim(曼海姆大学)
RDF2vec是一种用于从RDF知识图谱创建向量空间嵌入的技术,即,将图中的每个实体表示为向量。它首先通过在图上执行随机游走来创建节点序列。在第二步中,这些序列由word2vec算法处理,以创建实际的嵌入。在本文中,我们探讨了使用外部边缘权重引导随机游动。作为边缘权重,维基百科中页面之间的转移概率被用作边缘重要性的人类反馈的代理。我们表明,在某些情况下,RDF2vec利用这些转移概率可以优于RDF2vec的基础上随机游走,以及使用图的内部边缘权重。
2020-04-09 cs.AI cs.CL cs.LG