Hierarchical Information Quadtree: Efficient Spatial Temporal Image Search for Multimedia Stream
在诸如照片共享网站和社交网络应用的许多新兴应用中，包含时间戳和地理信息的大量多媒体数据正以前所未有的规模产生。由于其重要性，大量的工作集中在有效地计算各种空间图像查询。在本文中，我们研究了时空图像查询，考虑了三个重要的约束条件，包括时间新近度，空间邻近度和视觉相关性的搜索。提出了一种新的索引结构，即层次信息四叉树（\hiq），以有效地插入/删除时空图像，具有高到达率。在\hiq的基础上，提出了一种有效的时空图像查询算法.我们通过大量的实验与真实的空间数据库清楚地证明了我们的方法的效率。
2018-08-15 cs.IR cs.MM
Scalable Locality-Sensitive Hashing for Similarity Search in High-Dimensional, Large-Scale Multimedia Datasets
相似性搜索对于许多数据库应用至关重要，包括日益流行的基于内容的多媒体检索（CBMR）在线服务。这些服务，包括图像搜索引擎，必须处理大量的数据，同时保持较低的响应时间。因此，可扩展性是必不可少的相似性搜索在Web规模的应用程序，但大多数现有的方法是顺序和目标共享内存的机器。在这里，我们解决了这些问题，一个分布式的，高效的，可扩展的索引基于局部敏感哈希（LSH）。LSH是最有效和最流行的相似性搜索技术之一，但其不良的引用局部性使其实现具有挑战性的问题。我们的解决方案是基于一个广泛的异步并行化，具有许多优化，包括分层并行化解耦索引和数据存储，本地感知的数据分区策略，以减少消息传递，和多探测，以限制内存使用。建议的并行化达到了90%的效率，在分布式系统约800个CPU核心。特别是，原始的本地感知数据分区将交换的消息数量减少了30%。我们的并行LSH使用最大的公共数据集进行相似性搜索（据我们所知），从Web图像中提取$10^9$ 128-d SIFT描述符。这比以前的LSH并行化可以处理的数据集大两个数量级。
2013-10-15 cs.DB cs.DC cs.IR
A language independent web data extraction using vision based page segmentation algorithm
Web使用挖掘是从服务器日志即用户历史中提取有用信息的过程。Web使用挖掘是一个发现用户在互联网上寻找什么的过程。有些用户可能只查看文本数据，而有些用户可能对多媒体数据感兴趣。人们可以通过复制数据并将其粘贴到相关文档中来检索数据。但是，这是繁琐和耗时的，以及困难的数据时，要检索的是大量的。由于复杂的结构化网页，从网页中提取结构化数据是一个具有挑战性的问题。以前他们都是用网页依赖的程序设计语言;主要问题是分析html源代码。在早期，它们被认为是脚本，如java脚本和html文件中的级联样式。与现有的仅通过分析标签结构来推断网页结构的规律性的解决方案不同。为了克服这个问题，我们正在使用一种新的算法，称为VIPS算法，即独立语言。该方法主要利用网页的视觉特征来实现网页数据抽取。
2013-10-24 cs.IR
Realization of Semantic Atom Blog
网络博客是一个信息发布和共享的协作平台。博客中所积累的信息，内在地包含着知识。知识共享的群体具有无形的价值主张。博客被视为互联网上可用的多媒体信息资源。在博客中，信息以文本、图像、音频和视频的形式呈指数级增长。Atom博客中包含的多媒体信息不具有软件进程所需的功能，因此Atom博客内容可以通过Internet访问，处理和重用。通过在Atom博客领域中探索OWL知识建模、语义标注和语义分类技术来解决这个缺点。通过采用这些技术，可以在Internet上创建和部署未来的Atom博客。
2009-12-20 cs.IR
Content-based Video Indexing and Retrieval Using Corr-LDA
Carnegie Mellon University（卡内基梅隆大学）；Technicolor（特艺集团）；NITK Surathkal（苏拉特卡尔国家技术学院）；NIT Tiruchirappalli（蒂鲁吉拉伯利国家技术学院）
现有的基于Web的多媒体共享网站上的视频索引和检索方法是基于用户提供的稀疏标记。本文提出了一种非常具体的方式搜索视频剪辑，基于视频的内容。我们提出了我们的工作基于内容的视频索引和检索使用的对应潜在狄利克雷分配（corr-LDA）概率框架。这是一个模型，提供了自动注释的视频在数据库中的文本描述符，并带来了额外的好处，利用视频和文本的内容之间的语义关系。我们使用corr-LDA提供的概念级匹配来建立文本和多媒体之间的对应关系，以提高准确性检索内容的目标。在我们的实验中，我们只使用单个录音的音频分量，并将我们的结果与基于SVM的方法进行比较。
2019-11-19 cs.CV cs.IR
Can Small Museums Develop Compelling, Educational and Accessible Web Resources? The Case of Accademia Carrara
由于缺乏预算、能力、人员和时间，小型博物馆往往无法为其永久收藏或临时展览开发引人注目、教育性和可访问的网络资源。为了证明投资于这些类型的资源即使对小型机构也可以非常富有成效，我们将以意大利北部贝加莫的Accademia Carrara博物馆为例，该博物馆目前正在举办保罗·纪尧姆收藏的塞尚和雷诺阿杰作的临时展览，开发了一系列多媒体应用程序，包括一个内容丰富的网站和教育材料[www.cezannerenoir.it]。
2005-08-13 cs.CY cs.DL cs.IR
Visual Concept Ontology for Image Annotations
尽管基于内容的数据管理得到了发展，但基于文本的检索仍然是许多领域多媒体检索的主要手段。因此，文本元数据的自动创建是增加多媒体对象的可查找性的重要工具。基于搜索的注释工具试图通过利用web数据来提供内容描述性关键字，这些数据很容易获得，但非结构化和嘈杂。这些数据需要在语义资源的帮助下进行分析，这些语义资源提供了关于给定领域中对象和关系的知识。在本文中，我们专注于通用图像注释的任务，并提出了VCO，一个新的本体的视觉概念开发的图像注释框架的一部分。本体与WordNet词汇数据库链接，因此注释工具可以轻松地集成来自这两个资源的信息。
2014-11-28 cs.DL cs.IR
Semantic Annotation and Search for Educational Resources Supporting Distance Learning
多媒体教育资源在教育中发挥着重要作用，特别是在远程学习环境中。随着多媒体网络的快速发展，大量的教育文章视频资源越来越多地由几个不同的组织创建。探索、共享、重用和链接这些教育资源以获得更好的电子学习体验至关重要。目前，大多数视频资源都是以孤立的方式进行注释的，这意味着它们缺乏语义连接。因此，高度要求提供用于注释这些视频资源的设施。这些设施创建视频资源之间的语义连接，并允许他们的元数据被全球理解。本文采用关联数据技术，介绍了一个视频注释和浏览平台，该平台包括两个在线工具：Notitia和Sansu-Wolke。Notitia使用户能够使用Linked Data云中定义的词汇表对视频资源进行语义注释。Sansu-Wolke允许用户浏览语义链接的教育视频资源，增强了来自不同在线资源的Web信息。在原型开发中，平台利用现有的视频资源进行教育文章的制作。初步的开发结果表明了应用关联数据技术在可重用性、可伸缩性和可扩展性方面的优势
2014-03-01 cs.CY cs.DL cs.IR
Machine Readable Web APIs with Schema.org Action Annotations
由四个主要搜索引擎领导的schema.org计划策划了一个用于描述网络内容的词汇表。网络上语义标注的数量正在增加，主要是由于这些搜索引擎提供的工业激励。注释不仅被搜索引擎使用，而且还被其他自动化代理（如智能个人助理（IPA））使用。然而，仅仅注释数据还不足以让自动代理充分发挥其潜力。Web API还应该被注释以自动化服务消费，这样IPA就可以完成预订酒店房间或购买活动门票等任务。虽然在语义Web服务领域已经有了大量的努力，但这些方法在学术界之外并没有得到太多的采用，主要是由于缺乏具体的激励措施和陡峭的学习曲线。在本文中，我们提出了一个轻量级的，自下而上的方法，基于schema.org的行动来注释Web API。我们分析schema.org词汇表的范围内的轻量级语义Web服务的文献，并提出必要的扩展。我们表明，schema.org行动可能是一个合适的词汇表Web API的描述。我们通过注释住宿服务提供商的现有Web API来展示我们的工作。此外，我们简要地演示了如何动态地使用这些API，例如，由对话系统。
2018-05-14 cs.IR
Hypermedia Learning Objects System - On the Way to a Semantic Educational Web
虽然电子学习系统在日常教育中变得越来越流行，但可用的应用程序缺乏以高级方式构建、注释和管理其内容的机会。一般的努力，以改善这些赤字的倡议，定义丰富的Meta数据集和语义Web层。介绍了一个在线学习系统Hylos。Hylos基于蜂窝式电子学习对象（ELO）信息模型，该模型封装了符合LOM标准的Meta数据。内容管理在此语义Meta数据级别上提供，并允许可变的、动态适应的访问结构。上下文感知的多功能链接允许根据学习者和教学需求进行系统导航，从而探索语义网的功能。Hylos是建立在更通用的多媒体信息库（MIR）和MIR自适应上下文链接环境（MIRaCLE），其链接扩展。MIR是一个支持XML、Corba和JNDI标准的开放系统。Hylos受益于可管理的信息结构、复杂的访问逻辑和高级创作工具，如负责半手动创建Meta数据的ELO编辑器和类似内容编辑的WYSIWYG。
2004-07-31 cs.IR cs.LG
Evidence from web-based dietary search patterns to the role of B12 deficiency in chronic pain
严重的维生素B12缺乏症是一种已知的疾病原因，但低或中等水平的B12在神经病变和其他神经精神症状的发展中的作用以及吃肉和B12水平的关系尚不清楚。在这里，我们使用来自850万美国人样本的与食物相关的互联网搜索模式作为B12摄入量的代理，并将这些搜索与B12缺乏可能影响的互联网搜索相关联。食物相关的搜索模式与已知的消费和食物相关的搜索高度相关（斯皮尔曼0.69）。B12缺乏的意识与富含B12的食物的消费量增加以及B12补充剂的查询有关。与对照组相比，神经系统疾病相关术语的搜索与B12缺乏食物的搜索相关。流行的药物，那些具有较少的适应症，和那些主要用于治疗疼痛的药物与使用食物中的B12含量预测神经性疼痛查询的能力更强相关。我们的研究结果为使用互联网搜索模式来调查大量人群的健康问题提供了证据，并表明低B12摄入量可能与比目前认识到的更广泛的神经系统疾病相关。
2017-08-08 cs.IR q-bio.TO
E-commerce Webpage Recommendation Scheme Base on Semantic Mining and Neural Networks
University of Science and Technology of China（中国科学技术大学）；Arizona State University（亚利桑那州立大学）；The University of Chicago（芝加哥大学）；Georgia Institute of Technology（佐治亚理工学院）；University of California San Diego（加利福尼亚大学圣迭戈分校）
针对电商网页推荐方案难以满足网购用户需求的问题，提出结合语义网挖掘与BP神经网络的推荐方案，提取5类日志特征训练网络实现优先级排序，经图书销售网页实验验证可快速准确识别用户所需网页。
2024-09-11 cs.AI cs.IR
Predicting Knowledge Gain for MOOC Video Consumption
近年来，使用搜索引擎的网络非正式学习以及MOOC平台上的结构化学习变得非常流行。由于大量可用的学习资源，智能检索和推荐方法是必不可少的-对于MOOC视频也是如此。然而，关于预测（潜在的）知识增益的自动评估的内容还没有解决以前的工作。在本文中，我们研究了在MOOC视频观看量使用1）涵盖幻灯片和语音内容的多模态特征，以及2）描述视频内容的各种基于文本的特征后，我们是否可以预测学习成功。在一个全面的实验环境中，我们测试了四种不同的分类器和各种特征子集组合。我们进行了详细的特征重要性分析，以了解哪种模态最有利于知识获取预测。
2022-12-13 cs.HC cs.IR
A Data-Driven Approach for Tag Refinement and Localization in Web Videos
Università degli Studi di Firenze（佛罗伦萨大学）；Stanford University（斯坦福大学）；Università degli Studi di Modena e Reggio Emilia（摩德纳-雷焦艾米利亚大学）
随着基于web的服务和社交网络在其用户中普及了标记功能，视觉内容的标记正变得越来越普遍。这些用户生成的标签用于简化媒体集的浏览和探索，例如使用标签云，或检索多媒体内容。然而，并非所有媒体都被用户标记。使用当前的系统很容易标记一张照片，甚至标记照片的一部分，比如一张脸，在Flickr和Facebook这样的网站上也很常见。另一方面，标记视频序列更复杂且耗时，使得用户仅标记视频的整体内容。在本文中，我们提出了一种自动视频注释的方法，增加了原来由用户提供的标签的数量，并将它们暂时定位，将标签与关键帧相关联。我们的方法利用了嵌入在用户生成的标签和网络资源中的集体知识，以及上传到YouTube和Flickr等社交网站的关键帧和图像的视觉相似性，以及Google和Bing等网络资源。给定一个关键帧，我们的方法能够从这些视觉源中动态选择与该测试样本最相关的训练样本，并继续在类似图像中传输标签。与现有的视频标记方法，需要训练分类器为每个标签相比，我们的系统具有很少的参数，易于实现，可以处理一个开放的词汇场景。我们在DUT-WEBV（一个大型的网络视频数据集）上展示了标签细化和本地化的方法，并展示了最先进的结果。
2015-05-28 cs.CV cs.IR cs.MM
GR2RSS: Publishing Linked Open Commerce Data as RSS and Atom Feeds
Universität der Bundeswehr München（慕尼黑联邦国防军大学）
对于Web开发人员来说，在Web页面中集成链接开放数据（LOD）内容是一项具有挑战性的任务，有时甚至是乏味的任务。与此同时，大多数用于博客、内容管理系统（CMS）和商店应用程序的软件包都支持使用提要格式，即RSS和Atom。在这份技术报告中，我们展示了一个在线工具，它从SPARQL端点获取电子商务数据，并将获得的结果聚合为RSS或Atom提要。我们的方法结合了（1）现有提要格式的流行性和广泛的工具支持，（2）对构建在常见Web词汇表（如schema.org、GoodRelations、FOAF、VCard和WGS 84）上的结构化数据的查询精度，以及（3）通常以RDF集成来自大量Web站点和其他数据源的内容的容易性。
2015-09-01 cs.AI cs.IR
Large-scale Sustainable Search on Unconventional Computing Hardware
自从互联网出现以来，量化网页的相对重要性是搜索引擎方法的核心。根据一种算法，PageRank，全球网络结构由Google矩阵表示，其主要特征向量分量为网页分配数值以进行排名。在不断增长的网页数量上找到这样一个占主导地位的特征向量成为一个计算密集型的任务，与摩尔定律不相容。我们证明，特殊用途的光学机器，如网络的光学参量振荡器，激光器，增益耗散凝聚，可能有助于加速可靠的重建现实生活中的网络图的主要特征向量。我们讨论了使用这种非传统的硬件在大型Google矩阵上模拟PageRank算法的可行性。我们提供替代排名的基础上最小化的自旋哈密顿。我们的估计表明，特殊用途的光学机器可以提供显着的改进，在经典的计算架构的功耗。
2021-04-06 cond-mat.dis-nn cs.ET cs.IR
