Deriving Latent Social Impulses to Determine Longevous Videos
在线视频网站每天都会收到来自世界各地用户的大量视频。如何为观众提供有价值的推荐，无论是视频网站还是相关的第三方，如搜索引擎，都是一项重要的任务。以前的工作对视频的观看次数进行了大量的分析，这些分析衡量了视频在受欢迎程度方面的价值。然而，一个网络视频的长久价值，即长寿，隐藏在一段视频通过时间积累“热度”的历史背后。一般来说，一个长时间的视频往往会不断引起社会的关注。本文以领先的视频网站Youtube为研究对象，提出了一种量化视频寿命的评分机制。评估视频的寿命不仅可以改进视频推荐系统，还可以帮助我们发现具有更大广告价值的视频，以及调整视频网站的存储策略以缩短其响应时间。为了准确地量化寿命，我们引入了潜在的社会冲动的概念，以及如何使用它们来衡量视频的寿命。为了获得潜在的社会冲动，我们把视频网站看作是一个数字信号过滤器，并把这个任务描述为一个凸最小化问题。所提出的寿命计算是基于派生的社会冲动。不幸的是，获得社交冲动所需的信息并不总是公开的，这使得第三方无法直接评估每个视频的寿命。为了解决这个问题，我们制定了一个半监督学习任务，使用已知的寿命分数的视频预测未知的寿命分数。我们提出了一个高斯随机马尔可夫模型与循环信念传播来解决这个问题。在Youtube上进行的实验表明，与基线相比，该方法显著提高了预测结果。
2013-12-26 cs.MM cs.SI
Tag2Risk: Harnessing Social Music Tags for Characterizing Depression Risk
International Institute of Information Technology, Hyderabad（印度海得拉巴国际信息技术学院）；University of Jyväskylä（于韦斯屈莱大学）
音乐偏好被认为是自我的一面镜子。在这个大数据时代，在线音乐流媒体服务使我们能够捕捉生态上有效的音乐收听行为，并提供丰富的信息来源来识别几个用户特定的方面。研究表明，音乐参与是内部状态的间接表征，包括内化的抑郁症和抑郁症。目前的研究旨在揭示有抑郁风险的个体的模式和趋势，因为它表现在自然发生的音乐听行为中。获得了Last.fm用户（N=541）的心理健康评分、音乐参与度和收听历史。分析与每个听众最受欢迎的曲目相关联的社交标签，以挖掘与用户相关联的情绪/情感和流派。结果显示，社会标签中流行的抑郁症风险的用户主要是与描绘悲伤的情绪与流派标签代表新迷幻，前卫，dream-pop.这项研究将开辟途径，一个基于MIR的方法来表征和预测抑郁症的风险，可以帮助早期检测，并提供相应的音乐推荐设计的基础。
2020-07-26 cs.IR cs.MM cs.SD
3MASSIV: Multilingual, Multimodal and Multi-Aspect dataset of Social Media Short Videos
University of Maryland, College Park（马里兰大学帕克分校）；ShareChat
我们提出了3MASSIV，这是一个多语言，多模态和多方面的数据集，它包含了从短视频社交媒体平台Moj中提取的各种短视频。3MASSIV包含5万个短视频（平均时长20秒）和10万个11种不同语言的未标记视频，捕捉流行的短视频趋势，如恶作剧，失败，浪漫，喜剧，通过独特的视听格式表达，如自拍视频，反应视频，假唱，自唱歌曲，3MASSIV通过为这些独特的视频注释概念、情感状态、媒体类型和音频语言，为多模态和多语言语义理解提供了机会。我们对3MASSIV进行了全面的分析，并强调了我们数据集与其他具有强大基线的当代流行数据集相比的多样性和独特性。我们还展示了3MASSIV中的社交媒体内容在本质上是动态和时间的，可以用于语义理解任务和跨语言分析。
2022-03-28 cs.AI cs.CV cs.MM
Characterizing Generalized Rate-Distortion Performance of Video Coding: An Eigen Analysis Approach
率失真（RD）理论是有损数据压缩的核心。在这里，我们的目标是对压缩视频的视觉质量与其编码简档（例如，比特率和空间分辨率）。首先通过分析GRD函数的数学性质，定义了GRD函数的理论泛函空间$\mathcal{W}$，证明了$\mathcal{W}$是Hilbert空间中的凸集，从而启发了GRD函数的计算模型，以及从稀疏测量估计模型参数的方法.为了证明我们的想法的可行性，我们收集了一个大规模的数据库，现实世界的GRD功能，这变成生活在一个低维子空间的$\mathcal{W}$。结合GRD重建框架和学习的低维空间，我们创建了一个低参数的本征GRD方法，以准确地估计源视频内容的GRD功能，从只有几个查询。在数据库上的实验结果表明，学习GRD方法显着优于国家的最先进的经验RD估计方法的准确性和效率。最后，我们证明了该模型在视频编解码器比较的承诺。
2020-04-13 cs.MM eess.IV
Social Context-aware GCN for Video Character Search via Scene-prior Enhancement
针对复杂场景下视频角色搜索效果不佳的问题，提出场景先验增强框架 SoCoSearch，融合多模态线索生成社交上下文图，并利用社交上下文感知 GCN 实现特征传递，有效提升了角色搜索的鲁棒性。
2023-05-21 cs.MM
Micro-video Tagging via Jointly Modeling Social Influence and Tag Relation
Shandong University（山东大学）；National University of Singapore（新加坡国立大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Kuaishou Technology（快手科技）
在过去的十年里，微视频在各种用户生成的内容平台上激增。据统计，约有85.7%的微视频缺乏注释。在本文中，我们专注于标注微视频的标签。现有的方法大多集中在对视频内容的分析上，忽略了用户的社会影响力和标签关系。同时，现有的标签关系构建方法要么性能不足，要么标签覆盖率低。为了联合建模社会影响力和标签关系，我们将微视频标签表示为构建异构网络中的链接预测问题。具体地，以半监督的方式构造标签关系（由标签本体表示）。然后，我们结合标签关系，视频标签注释，和用户跟随关系来构建网络。然后，通过行为传播建模和视觉和语言知识聚合，得到更好的视频和标签表示。最后，在该视频标签网络中计算每个微视频与所有候选标签之间的语义相似度。在三个垂直行业的工业数据集上进行的大量实验验证了我们的模型与几个最先进的基线相比的优越性。
2023-03-15 cs.CV cs.MM
Content-Based Spam Filtering on Video Sharing Social Networks
在这项工作中，我们关注的是视频共享社交网络中的垃圾邮件的检测。具体来说，我们调查多少视觉内容为基础的分析可以帮助检测视频中的垃圾邮件。这是一项非常具有挑战性的任务，因为涉及高级语义概念;社交网络的各种性质，阻止使用受约束的先验信息;而且，最重要的是，垃圾邮件的上下文依赖性。对社交网络的内容过滤是一项日益迫切的任务：由于其受欢迎程度，滥用的数量也趋于增加，这使用户群感到厌烦，并扰乱了他们的服务。我们系统地评估了几种处理视觉信息的方法：使用静态和动态（motionaware）功能，有或没有考虑上下文，有或没有潜在语义分析（LSA）。我们的实验表明，LSA是有帮助的，但考虑到上下文是至关重要的。整个方案效果良好，说明了该方案的可行性。
2011-04-28 cs.CV cs.MM
FakeSV: A Multimodal Benchmark with Rich Social Context for Fake News Detection on Short Video Platforms
短视频平台成为新闻分享的重要渠道，也成为假新闻滋生的新温床。为了缓解这个问题，假新闻视频检测的研究最近受到了很多关注。现有的工作面临两个障碍：缺乏全面和大规模的数据集和充分利用多模态信息。因此，在本文中，我们构建了中国最大的关于假新闻的短视频数据集FakeSV，它同时包括新闻内容，用户评论和发布者简介。为了了解假新闻视频的特征，我们从不同角度对FakeSV进行了探索性分析。此外，我们提供了一个新的多模态检测模型SV-FEND，它利用跨模态相关性来选择最具信息量的特征，并利用社会背景信息进行检测。大量的实验评估所提出的方法的优越性，并提供详细的比较不同的方法和模式，为今后的工作。
2022-12-02 cs.MM
Restoration of User Videos Shared on Social Media
Shenzhen University（深圳大学）；The Hong Kong Polytechnic University（香港理工大学）；Peng Cheng Laboratory（鹏城实验室）；Shenzhen Institute for Artificial Intelligence and Robotics for Society（深圳人工智能与社会机器人研究院）
在社交媒体平台上分享的用户视频通常会受到未知专有处理过程造成的降级，这意味着它们的视觉质量比原始视频差。本文提出了一种新的通用视频恢复框架，用于恢复社交媒体平台上共享的用户视频。与大多数执行端到端映射的基于深度学习的视频恢复方法相比，其中特征提取大多被视为黑盒，在这个意义上，特征扮演的角色通常是未知的，我们的新方法，称为通过自适应退化感测（VOTES）的视频恢复，引入了退化特征图（DFM）的概念，以显式地指导视频恢复过程。具体来说，对于每个视频帧，我们首先自适应地估计其DFM提取代表恢复其不同区域的难度的特征。然后，我们将DFM馈送到卷积神经网络（CNN）以计算分层退化特征，从而调制端到端视频恢复骨干网络，从而将更多的注意力明确地集中在可能更难以恢复的区域，这反过来又会提高恢复性能。我们将解释的VOTES框架的设计原理，并提出了广泛的实验结果表明，新的VOTES方法优于各种国家的最先进的技术在定量和定性。此外，我们还提供了一个大规模的真实世界数据库，其中包含在不同社交媒体平台上共享的用户视频。代码和数据集可在https://github.com/luohongming/VOTES.git上获得
2022-08-26 cs.CV cs.MM
Quality of Service (QoS): Measurements of Video Streaming
如今，视频流在社交云上不断增长，最终用户总是希望在朋友之间分享高清（HD）视频。大多数视频是通过智能手机和其他高清设备录制的，短时间视频的文件大小很大。大文件的视频需要高带宽上传和下载在互联网上，也需要更多的时间加载在网页上播放。因此，避免这个问题的社会云压缩视频在上传过程中流畅播放和快速加载的网页。压缩降低了视频质量，这也降低了最终用户的体验质量。在本文中，我们测量不同的标准视频文件格式的社交云的QoS，他们从彼此不同的分辨率，音频/视频比特率和存储大小。
2020-08-27 cs.MM cs.PF
Towards SocialVR: Evaluating a Novel Technology for Watching Videos Together
社交VR使人们能够与其他人实时进行远距离互动。它允许远程人员（通常表示为化身）在加入共享虚拟环境中进行通信和执行活动，扩展了Facebook和Netflix等传统社交平台的功能。本文探讨了一个轻量级和低成本的社交VR平台（SocialVR）提供的优点和缺点，其中用户被几个摄像头捕获并实时重建。特别是，本文贡献了（1）社交VR体验实验协议的设计和评估;（2）这种新型媒体体验的生产工作流程报告;以及（3）最终用户（N=15对）和专业人士（N=25）的实验结果，以评估SocialVR平台的潜力。问卷调查和半结构化访谈的结果显示，最终用户对SocialVR平台提供的体验给予了积极评价，这使他们能够轻松地感知情绪和沟通。最终用户认为SocialVR的照片般逼真的体验类似于面对面的场景，并赞赏这种新的创造性媒体。从商业角度来看，专业人士证实了这种通信媒介的潜力，并鼓励进一步研究该平台在商业领域的应用
2021-04-11 cs.MM
Enhancing User Experience for Multi-Screen Social TV Streaming over Wireless Networks
最近，多屏云社交电视被发明出来，将电视转化为社交体验。在社交电视上观看同一内容的人可能来自不同的地点，同时通过文本、图像、音频和视频自由地相互互动。这种至关重要的虚拟客厅体验将社交方面添加到现有的性能指标中。在本文中，我们将社交电视用户体验解析为三个元素（即，用户间延迟、视频体验质量（QoE）和资源效率），并提供联合分析框架以增强用户体验。具体来说，我们提出了一个基于云的最优播放速率分配方案，以最大限度地提高整体QoE，同时上限用户间延迟。实验结果表明，该算法在用户间时延和视频质量之间取得了接近最优的折衷，即使在非常快的无线信道衰落下也表现出了弹性性能。
2014-04-11 cs.MM
Mining the Social Fabric: Unveiling Communities for Fake News Detection in Short Videos
提出DugFND方法，通过构建时间感知异构图并建模上传者与事件双社区模式，结合重建预训练增强现有分类器，显著提升了短视频虚假新闻检测性能。
2025-08-15 cs.MM
A Latent Social Approach to YouTube Popularity Prediction
当前关于信息中心网络的工作假设最近最少/频繁使用（LRFU）方案下的高速缓存策略的频谱作为事实标准，这是由于这种策略的容易实现和更容易分析。在本文中，我们预测的流行分布的YouTube视频在校园网络。我们探索了两种广泛的方法来预测网络中视频的流行度：基于网络中聚合行为的共识方法，以及基于隐式网络上信息扩散的社会方法。我们在一个简单的缓存框架下通过根据我们预测的分布挑选k个最受欢迎的视频并计算缓存的命中率来衡量我们的方法的性能。我们首先将视频到达间隔时间（基于无标度网络中相同消息的两个接收者之间的传输时间的幂律分布）结合到基线（LRFU），然后结合信息扩散模型，推断出潜在的社交图，控制网络中视频的扩散。我们应用潜在的社会网络推理技术来学习网络中用户之间的共享概率，并应用从数学流行病学中借来的病毒传播模型来估计视频在未来被访问的次数。我们的方法比基线提高了14%的命中率。
2013-08-06 cs.MM cs.NI cs.SI
A Dataset and Benchmarks for Multimedia Social Analysis
University of California, Berkeley（加州大学伯克利分校）
我们提出了一个新的公开数据集，其目标是通过在同一背景下提供视觉和语言数据来推进多模态学习。这是通过从社交媒体网站获取数据来实现的，该社交媒体网站具有包含多个配对图像/视频和文本的帖子，以及包含图像/视频和/或文本的评论树。通过总共67.7万个帖子、290万个帖子图像、48.8万个帖子视频、140万个评论图像、460万个评论视频和9690万个评论，来自不同模态的数据可以联合用于提高各种任务的性能，例如图像描述、图像分类、下一帧预测、情感分析和语言建模。我们为我们的数据集提供了广泛的统计数据。最后，我们使用预先训练的模型和几个完全连接的网络为其中一个回归任务提供了基线性能分析。
2020-06-05 cs.CL cs.CV cs.MM
