arXiv 2009.111292020-09-23cs.MMcs.CLcs.IRcs.LG

TV程序多模态内容向量的余弦相似性

Cosine Similarity of Multimodal Content Vectors for TV Programmes

University College London（伦敦大学学院）；Queen Mary University of London（伦敦玛丽女王大学）；British Broadcasting Company（英国广播公司）

Saba Nazir, Taner Cagali, Chris Newell, Mehrnoosh Sadrzadeh

备注：: 3 pages, 1 figure, Machine Learning for Media Discovery (ML4MD) Workshop at ICML 2020

摘要：

多模态信息来源于多种来源：视听文件、文本描述和元数据。我们展示了如何使用向量来表示每个单独源编码的内容，如何通过中期和后期融合技术将向量结合起来，以及如何计算内容之间的语义相似性。我们的矢量表示是从频谱特征和音频词包（用于音频）、LSI主题和Doc2vec嵌入（用于字幕）以及分类特征（用于元数据）构建的。我们实现我们的模型在BBC电视节目的数据集上，并评估融合的表示，以提供建议。后期融合的相似度矩阵显着提高了推荐的精度和多样性。

英文摘要：

Multimodal information originates from a variety of sources: audiovisual files, textual descriptions, and metadata. We show how one can represent the content encoded by each individual source using vectors, how to combine the vectors via middle and late fusion techniques, and how to compute the semantic similarities between the contents. Our vectorial representations are built from spectral features and Bags of Audio Words, for audio, LSI topics and Doc2vec embeddings for subtitles, and the categorical features, for metadata. We implement our model on a dataset of BBC TV programmes and evaluate the fused representations to provide recommendations. The late fused similarity matrices significantly improve the precision and diversity of recommendations.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。