Can we assess research using open scientific knowledge graphs? A case study within the Italian National Scientific Qualification
对开放的科学知识图谱的需求不断增加。虽然有大量的开放获取文章和免费出版物索引,但仍然有很少的免费知识图谱暴露引文网络,而且它们的覆盖范围通常是部分的。因此,大多数基于引用计数的评估过程依赖于商业引用数据库。由于开放引用倡议(I4OC,https://i4oc.org)和开放摘要倡议(I4OA,https://i4oa.org),情况正在发生变化,其目标是推动学术出版商开放参考文献列表和其他文章元数据。本文研究了两个科学知识图谱中开放书目元数据和开放引文的增长,OpenCitations的COCI和Crossref,并对意大利国家科学资格(NSQ)进行了实验,该国家大学教授资格认证过程使用商业索引的数据。我们仅使用这些开放数据模拟了这一过程,并探讨了与官方结果的相似性和差异。实验结果表明,目前在两个科学知识图谱中可用的开放书目元数据和开放引用数据的数量还不足以获得与使用商业数据库提供的结果类似的结果。
2021-05-18 cs.DL
Geospatial Metadata Improves Discoverability by Connecting Datasets Across Scientific Disciplines
Institute for Quantitative Social Science, Harvard University(哈佛大学定量社会科学研究所);Center for Geographic Analysis, Harvard University(哈佛大学地理分析中心)
本研究利用哈佛Dataverse数据,通过地理空间元数据丰富化,将跨学科数据集连接比例从58.5%提升至63.2%,证明地理元数据比关键词更可靠地促进跨学科互操作性。
2026-09-17 cs.AI cs.DL
On the Communication of Scientific Results: The Full-Metadata Format
在本文中,我们介绍了一种科学的格式,基于文本的数据文件,它有利于存储和通信的表格数据集。所谓的全元数据格式建立在广泛使用的INI标准之上,并基于四个原则:可读的自文档,灵活的结构,故障安全兼容性和可搜索性。因此,解释表格数据所需的所有元数据都存储在同一个文件中,从而可以自动生成可供发布的表格和图表,并可以对数据文件集合进行语义搜索。在三个综合实例的基础上介绍了全元数据格式。附录中给出了完整的格式和语法。
2009-04-08 cs.DL cs.IR physics.comp-ph
Recommending Scientific Videos based on Metadata Enrichment using Linked Open Data
网络中可用视频的数量已经显著增加,不仅用于娱乐等,而且以有效的方式传达教育或科学信息。有几个门户网站提供后一种视频材料。其中之一是莱布尼茨科学技术信息中心(TIB)的TIB AV门户网站,该网站提供科学和教育视频内容。与其他视频门户网站不同的是,利用自动视听分析(视觉概念分类、光学字符识别、语音识别)来增强元数据信息和语义搜索。在本文中,我们建议进一步利用和丰富自动生成的信息,将其链接到德国国家图书馆的综合权威文件(GND)。该信息用于导出用于比较两个视频的相似性的度量,其用作推荐语义相似的视频的基础。用户研究表明,所提出的方法的可行性。
2019-04-03 cs.DL cs.IR
SetGo: Metadata Readiness for Scientific AI Datasets
Oak Ridge National Laboratory(橡树岭国家实验室)
研究针对科学AI数据集元数据就绪性评估工具缺失的问题,提出开源工具SetGo,能从六个维度评估修复元数据,揭示通用工具未发现的缺陷,提升公平性分数,还可集成大语言模型支持自动化工作流程。
2026-07-28 cs.AI cs.DL
The Effect of Metadata on Scientific Literature Tagging: A Cross-Field Cross-Model Study
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本研究跨19个领域和3种多标签分类器系统评估了元数据对科学文献标注的影响,发现会议/期刊等元数据普遍提升标注性能,并揭示了计算机科学与生物医学以外领域的独特影响模式。
2023-02-07 cs.CL cs.DL cs.LG
Digital Library Technology for Locating and Accessing Scientific Data
在本文中,我们描述了我们的努力,使科学数据到数字图书馆。这就要求扩展标准WWW,以及元数据标准远远超出都柏林核心的扩展。我们的系统展示了这项技术用于天文学的真实科学数据。
1999-02-07 cs.DL
SMAuC -- The Scientific Multi-Authorship Corpus
Bauhaus-Universität Weimar(魏玛包豪斯大学);Leipzig University(莱比锡大学)
针对科学出版物作者身份分析缺乏大规模数据集的问题,构建了包含逾300万篇论文、超500万作者的元数据丰富语料库SMAuC,旨在推动该领域研究。
2023-05-10 cs.CL cs.DL
Online Scientific Data Curation, Publication, and Archiving
科学项目是数据发布者。当前和未来科学数据的规模和复杂性改变了出版过程的性质。出版物正在成为项目的一个主要组成部分。至少,项目必须保存它收集的短暂数据。派生数据可以从元数据重建,但元数据是短暂的。从长远来看,项目应该期望一些存档来保存数据。我们观察到,公开的科学数据需要永远可用?这导致版本的数据金字塔和数据膨胀,其中导出的数据量爆炸。作为一个例子,本文介绍了斯隆数字巡天(SDSS)的数据发布,数据访问,管理和保存策略。
2002-08-07 cs.DL
Knowledge engineering for open science: Building and deploying knowledge bases for metadata standards
针对开放科学中FAIR数据的标准化元数据需求,CEDAR开发技术将元数据标准编码为模板,可用于多场景元数据管理与智能系统部署,推动开放科学发展。
2025-07-30 cs.DL
A novel framework for assessing metadata quality in epidemiological and public health research settings
元数据在流行病学和公共卫生研究中至关重要。然而,由于缺乏生物医学元数据质量框架,以及对质量差的元数据的影响认识有限,数据分析存在问题。在这项研究中,我们创建并评估了一个新的框架来评估流行病学和公共卫生研究数据集的元数据质量。我们进行了文献回顾和调查的利益相关者,以提高我们对生物医学元数据质量评估的理解。该审查确定了11项研究和9个质量维度;其中没有一项专门针对生物医学元数据。96人完成了调查;在提交数据的人中,大多数人只是有时评估元数据质量,8人根本没有评估。我们的框架有四个部分:a)一般信息; b)工具和技术; c)可用性; d)管理和策展。我们使用三个测试用例评估了该框架,并寻求专家反馈。该框架可以系统地、鲁棒地评估生物医学元数据的质量。
2016-08-22 cs.DL
Perceptual and technical barriers in sharing and formatting metadata accompanying omics studies
本研究探讨了阻碍组学研究中元数据共享与格式化的感知和技术障碍,分析了标准缺失、隐私法律等问题,并提出了推进标准化、加强教育和改善基础设施等解决方案,以提升研究的可靠性与影响力。
2023-11-22 cs.DL
FOXDEN: FAIR Services for AI-Ready Scientific Datasets
Cornell High Energy Synchrotron Source, Cornell University(康奈尔高能同步辐射光源,康奈尔大学);National High Magnetic Field Laboratory(国家高磁场实验室)
该研究介绍了FOXDEN这一基于FAIR原则的网络基础设施,可对科学数据集添加元数据与溯源记录并分配DOI,已在两处机构部署,将为未来智能体科学工作流提供基础。
2026-09-07 cs.DL
A Workflow for GLAM Metadata Crosswalk
本文提出一种可复制的元数据交叉映射工作流,以临时展览数字孪生为案例,结合RML技术与领域专家问卷互动,将表格数据系统转换为RDF以增强关联开放数据。
2024-05-03 cs.DL
LaTeX, metadata, and publishing workflows
本文探讨了如何利用 LaTeX 类和 BibTeX 样式在文章生命周期中管理元数据,提出一种新 LaTeX 样式文件实现元数据一次指定、全程复用,以简化出版工作流并降低成本。
2023-04-09 cs.DL
The role of metadata in reproducible computational research
可再现计算研究(RCR)是计算机分析科学方法的基石,将原始数据转换为已发表的结果。除了在研究完整性方面的作用外,RCR还能够显著加速评估和重用。这种对FAIR原则的潜在和广泛支持激发了人们对支持RCR的元数据标准的兴趣。元数据为原始数据和方法提供了背景和出处,对于发现和验证至关重要。尽管与科学数据有这种共同的联系,但很少有研究明确描述元数据和RCR之间的关系。本文使用功能内容分析来确定元数据标准,这些标准支持跨由输入数据、工具、笔记本、管道和发布组成的分析堆栈的RCR功能。我们的文章提供了背景,探索差距,并发现嵌入性和方法权重的组件趋势,我们从中获得对未来工作的建议。
2021-04-19 cs.DL cs.SE
DatAasee -- A Metadata-Lake as Metadata Catalog for a Virtual Data-Lake
University and State Library of Münster, University of Münster(明斯特大学州立图书馆,明斯特大学)
本文提出一种基于数据湖的元数据湖架构,用于管理分布式数据源的元数据,并展示了一个概念验证实现及其评估。
2026-05-07 cs.DB cs.DL cs.IR
Specimens as research objects: reconciliation across distributed repositories to enable metadata propagation
植物标本在全球标本库网络中作为长期可参考的研究对象共享。多个标本是从一个共享的现场采集事件生成的;生成的标本然后在单独的存储库中单独管理,并独立地增加研究和管理元数据,这些元数据可以传播给它们的副本同行。建立一个用于元数据传播的数据衍生网络,将能够对目前分散、不相连和独立管理的密切相关的标本进行协调。在对来自292个独立标本库的19,827,998个标本记录的聚合数据集进行数据采掘后,36%或7,102,710个标本被评估为参与重复关系,允许在这些关系的参与者之间传播元数据,总计:93,044种类型引用,1,121,865种地理参考,1,097,168种图像和2,191,179种科学名称确定。这些结果使网络的创建,以确定哪些存储库可以合作。一些类别的注释(特别是那些关于科学名称的确定)代表科学工作的单位:适当的管理,这一数据将允许个人研究人员的学术信誉的积累:在这一领域的潜在的进一步工作进行了讨论。
2018-09-20 cs.DL cs.SI
Codex Mutabilis: Preserving The Reasons For Changes In Scientific Names
Flickr Foundation(Flickr基金会)
针对分类学中物种名称变更原因记录不足的问题,提出Codex Mutabilis数字期刊模型,通过完整文本理由、持久标识符和存档基础设施来记录ICZN规定的名称变更。
2026-06-26 cs.DL
Representing provenance and track changes of cultural heritage metadata in RDF: a survey of existing approaches
本文综述 RDF 中文化遗产元数据来源表示与变更追踪方法,评估 RDF Reification、Named Graphs、RDF*、PROV-O 等模型,并指出选型对可信数据管理的重要性。
2025-07-27 cs.DL
A Comprehensive Approach to Ensuring Quality in Spreadsheet-Based Metadata
针对电子表格元数据合规性与质量难保障、现有工具学习成本高且定制化不足的问题,提出含可定制模板、受控术语支持和交互式Web纠错工具的端到端方案,并已在生物医学联盟部署用于实验元数据管理。
2023-12-14 cs.DL
Modeling community standards for metadata as templates makes data FAIR
确定数据集是否是可查找的、可访问的、可互操作的和可重用的(FAIR)是具有挑战性的,因为FAIR指导原则涉及关于用于注释数据集的元数据的高度特殊的标准。具体地说,FAIR原则要求元数据是“丰富的”,并遵守“领域相关的”社区标准。科学界应该能够为编码这些"丰富的"学科特定元素的元数据定义自己的机器可操作模板。我们已经探讨了这种基于模板的方法在两个软件系统的上下文中。一个系统是CEDAR数据库,调查人员使用它来编写新的元数据。另一个是FAIRware数据库,它评估存档数据集的元数据是否符合社区标准。当元数据模板成为管理在线数据集的工具生态系统的核心要素时,就会产生效益-这既是因为这些模板可作为社区参考资料,说明公平数据的构成,也是因为这些模板以一种可在各种软件应用程序中分发的形式体现了这一观点,以协助数据管理和数据共享。
2022-10-14 cs.DL
Metadata Enrichment of Multi-Disciplinary Digital Library: A Semantic-based Approach
Université de Lyon(里昂大学);Lyon 2(里昂第二大学);CNRS(法国国家科学研究中心);CESI EXIA/LINEACT;UJM-Saint-Etienne(圣艾蒂安大学);Lyon 1(里昂第一大学)
在科学数字图书馆中,来自不同研究社区的一些论文即使具有语义相似的主题,也可以用社区相关的关键字来描述。在任何信息检索系统中,没有用足够的关键字变化标记的文章索引都很差,这限制了科学学科之间潜在的富有成效的交流。在本文中,我们介绍了一种新的实验设计的管道多标签语义为基础的标记开发的开放存取元数据数字图书馆。该方法首先从标准的科学分类和主题标记的文章样本中学习,以找到语义相关的文章,并相应地丰富其元数据。我们提出的管道旨在使研究人员能够接触到来自不同学科的文章,这些学科往往使用不同的术语。它允许检索语义相关的文章给定一个有限的已知变化的搜索条件。除了实现的准确性是高于一个扩展的查询为基础的方法,使用从语义网络中提取的主题同义词集,我们的实验还显示了更高的计算可扩展性与其他可比技术。我们从科学数字图书馆的开放获取元数据中提取了一个新的基准,并将其与实验代码一起发布,以便进一步研究该主题。
2018-06-21 cs.AI cs.CL cs.DL
Comparison of Feature Learning Methods for Metadata Extraction from PDF Scholarly Documents
Fraunhofer Institute for Applied Information Technology FIT(弗劳恩霍夫应用信息技术研究所FIT);University Hospital of Cologne(科隆大学医院);University of Koblenz(科布伦茨大学);Soochow University(苏州大学)
本文比较NLP、CV与多模态特征学习方法在高模板差异PDF学术文档元数据提取中的准确性和效率,为后续研究提供依据。
2025-01-09 cs.CL cs.DL cs.IR
Author Once, Publish Everywhere: Portable Metadata Authoring with the CEDAR Embeddable Editor
为提升研究元数据质量与标准采用率,研究人员开发了轻量可互操作的CEDAR可嵌入编辑器CEE,无需定制UI即可嵌入第三方平台,支持标准元数据编写,已成功集成于多个通用科学数据存储库。
2025-07-16 cs.DL cs.HC
MexPub: Deep Transfer Learning for Metadata Extraction from German Publications
University of Koblenz-Landau(科布伦茨-兰道大学)
从科学论文中提取元数据可以被认为是NLP中解决的问题,因为最先进的方法具有很高的准确性。然而,这并不适用于德国的科学出版物,它们有各种各样的风格和布局。与大多数遵循标准和简单布局的英语科学出版物相比,德语出版物中元数据的顺序、内容、位置和大小在出版物之间差异很大。这种多样性使得传统的NLP方法无法准确地从这些出版物中提取元数据。在本文中,我们提出了一种方法,提取元数据的PDF文档与不同的布局和风格,通过查看文件作为一个图像。我们使用Mask R-CNN,它在COCO数据集上训练,并与PubLayNet数据集进行了微调,PubLayNet数据集由大约20万个PDF快照组成,具有五个基本类(例如文本,图等)。我们在我们提出的由约30 K文章快照组成的合成数据集上对模型进行了微调,以提取九种模式(即作者,标题等)。我们的合成数据集使用德语和英语两种语言的内容以及从德国出版物中获得的有限的具有挑战性的模板生成。我们的方法实现了$90\%$左右的平均准确度,这验证了它能够从具有挑战性模板的各种PDF文档中准确提取元数据。
2021-06-04 cs.CL cs.CV cs.DL
CiteCheck: Retrieval-Grounded Detection of LLM Citation Hallucinations in Scientific Text
School of Computing Science, Simon Fraser University(西蒙·弗雷泽大学计算科学学院)
提出CiteCheck框架,通过从外部学术来源检索候选出版物、使用结构化LLM验证器比较引用与候选信息,并将验证器得分映射为精确、次要和主要三个标签,以检测LLM生成的引用幻觉,在物理基准上达到88.7 macro-F1和88.9%准确率。
2026-10-06 cs.AI cs.DL
An approach based on Open Research Knowledge Graph for Knowledge Acquisition from scientific papers
University of Yaounde I(雅温得第一大学);Universidad Autonoma de Tamaulipas(塔毛利帕斯自治大学)
本研究针对科学论文人工知识获取繁琐的问题,提出基于Open Research Knowledge Graph(ORKG)的计算机辅助知识获取方法,用于整理本体学习相关论文、组织提取的关键洞见,已在多个研究问题和领域应用。
2023-08-23 cs.AI cs.DL
Using Felis to Represent the Semantics and Metadata of Astronomical Data Catalogs
Vera C. Rubin天文台团队开发数据描述语言及工具集Felis,以Pydantic模型和YAML格式定义天文数据星表语义与元数据,提供Python库和命令行工具,为RSP的IVOA TAP服务填充元数据表,并介绍其现有功能与未来规划。
2024-12-12 astro-ph.IM cs.DL
FAIR GPT: A virtual consultant for research data management in ChatGPT
University Library(大学图书馆);University of Mannheim(曼海姆大学)
本研究推出 ChatGPT 中的首个研究数据管理虚拟顾问 FAIR GPT,它借助外部 API 减少幻觉,为用户提供 FAIR 原则合规指导及文档、许可证选择等支持。
2024-09-20 cs.AI cs.DL cs.IR
The 'Big Three' of Scientific Information: A comparative bibliometric review of Web of Science, Scopus, and OpenAlex
Universidad de Granada(格拉纳达大学)
本文比较了Web of Science、Scopus和OpenAlex三个科学信息数据库,分析了它们的覆盖范围、元数据质量和功能特性,为研究评估提供依据。
2026-01-29 cs.DL cs.IR
MEDFORD in a Box: Improvements and Future Directions for a Metadata Description Language
Tufts University(塔夫茨大学);University of Rhode Island(罗德岛大学)
MIAB通过改进的解析器和可视化工具,简化元数据生成,提升研究可重复性。
2026-01-21 cs.DL cs.IR
3D Data Long-Term Preservation in Cultural Heritage
PRISMA srl(PRISMA有限公司);PIN scrl(PIN合作有限公司)
本报告系统梳理文化遗产3D数字数据长期保存的技术过时、元数据、标准互操作性等挑战,并提出基于DMP、FAIR原则和公共存储库的综合管理策略。
2024-10-02 cs.CG cs.CL cs.DL
MDEmic in a use case for microscopy metadata harmonization: Facilitating FAIR principles in practical application with metadata annotation tools
虽然FAIR原则在科学界得到广泛接受,但为确保FAIR研究数据在实践中的使用而进行适当的元数据编辑和传输的工作却远远落后。一方面,它在很大程度上取决于有效支持研究数据管理这一步骤的工具的可用性。另一方面,这取决于关于元数据可解释性的现有标准。在这里,我们介绍了一个工具,MDEMic,用于编辑元数据的显微成像数据在一个简单和舒适的方式,提供了高度的灵活性,在元数据集的调整。许多应用显微技术的研究人员都非常需要这种功能。MDEMic已经成为图像数据库OMERO的标准安装包的一部分,即OMERO.mde。该数据库有助于组织和可视化显微图像数据,并跟踪其进一步处理和与其他数据集的联系。出于这个原因,许多成像核心设施向其用户提供OMERO。我们提出了一个用例场景OMERO.mde的定制应用程序的成像数据的机构OMERO为基础的膜染料数据库,这需要特定的实验元数据。与图像数据资源IDR等公共图像数据存储库类似,该数据库有助于图像数据存储,包括丰富的元数据,从而实现数据挖掘和重用,这是FAIR原则的主要目标之一。
2021-07-28 cs.DL q-bio.QM
TweetPap: A Dataset to Study the Social Media Discourse of Scientific Papers
如今,研究人员已经转向Twitter等平台,传播有关他们的想法和经验证据的信息。最近的研究表明,社交媒体会影响论文的科学影响力。然而,这些研究仅利用推文计数来代表Twitter活动。在本文中,我们提出了TweetPap,一个大规模的数据集,引入引用/推文的时间信息和推文的元数据来量化和理解社会媒体上的科学论文的话语。该数据集可在https://github.com/lingo-iitgn/TweetPap上公开获取
2021-06-14 cs.DL cs.SI
ERMrest: an entity-relationship data storage service for web-based, data-oriented collaboration
科学发现越来越依赖于科学家获取、整理、整合、分析和共享大量不同数据集的能力。虽然细节因领域而异,但这些数据通常由各种数字资产(例如图像文件,序列数据或模拟输出)组成,这些数字资产以复杂的关系和上下文组织,这些关系和上下文可能会在调查过程中演变。此外,发现通常是协作的,使得数据及其组织上下文的共享是高度期望的。用于管理文件或资产元数据的常见系统隐藏其固有的关系结构,而传统的关系数据库系统不扩展到科学调查中常见的分布式协作环境。为了解决这些问题,我们引入了ERMrest,一个协作的数据管理服务,它允许一般的实体关系建模的RESTful访问方法操纵的元数据。我们提出的设计标准,架构和服务的实现,以及描述一个生态系统的工具和服务,我们已经创建的元数据集成到一个端到端的科学数据生存周期。ERMrest已部署到多个科研社区和项目的数百名用户。我们提出了两个有代表性的用例:一个国际联盟和一个早期的多学科研究项目。
2016-10-19 cs.DB cs.DC cs.DL
The Software Observatory: aggregating and analysing software metadata for trend computation and FAIR assessment
Barcelona Supercomputing Center(巴塞罗那超级计算中心);University of Barcelona(巴塞罗那大学)
本文介绍OpenEBench的软件观测站,一个聚合软件元数据的Web门户,用于分析趋势、评估FAIR性并提供改进指导,以促进研究软件的最佳实践。
2025-10-07 cs.DL cs.SE q-bio.OT
Enabling Data Discovery through Virtual Internet Repositories
Mercury是一个联合的元数据收集、搜索和检索工具,基于开放源代码和橡树岭国家实验室开发的软件。它最初是为NASA开发的,水星开发联盟现在包括来自NASA,USGS和DOE的资金。2007年开发了一个主要的新版Mercury。这个新版本在搜索速度方面提供了数量级的改进,支持额外的元数据格式,与谷歌地图集成进行空间查询,支持RSS交付搜索结果,以及其他功能。Mercury为不同数据管理系统中的信息提供了单一门户。它从分布在世界各地的项目服务器收集元数据和关键数据,并建立一个集中的索引。Mercury搜索界面允许用户在这些元数据源中进行简单的实地空间和时间搜索。这种具有分布式数据源的集中式元数据存储库为用户提供了极快的搜索结果,同时允许数据提供商公布其数据的可用性,并保持对该数据的完全控制和所有权。
2010-10-19 cs.DL cs.IR
Using Artificial Intuition in Distinct, Minimalist Classification of Scientific Abstracts for Management of Technology Portfolios
Information Sciences Institute, Viterbi School of Engineering, University of Southern California(信息科学研究所,工程学院,南加州大学);Sol Price School of Public Policy, University of Southern California(索尔价格公共政策学院,南加州大学)
本文提出利用大型语言模型生成元数据的人工直觉方法,对科学摘要进行独特极简分类,并在中美基金摘要上验证了其在技术组合管理中的可行性。
2025-09-05 cs.AI cs.DL cs.LG
Evolution of the "long tail" concept for scientific data
本文综述了“长尾”科学数据概念自2007年引入以来的演变,探讨其术语多样性及在数据管理中的实用性,连接LIS与学科背景,以指导有效的数据管理实践。
2024-12-17 cs.DL cs.SI
STEREO: Scientific Text Reuse in Open Access Publications
Leipzig University(莱比锡大学);Bauhaus-Universität Weimar(魏玛包豪斯大学)
我们提出了Webis-STEREO-21数据集,这是一个开放获取出版物中科学文本重用的大规模集合。它包含了超过9100万个重复使用的文本段落,这些段落来自420万种独特的开放获取出版物。我们的数据集高度覆盖了科学学科和各种重用,以及全面的元数据来描述每个案例,解决了以前科学写作中最突出的缺点。Webis-STEREO-21允许解决来自不同科学背景的广泛研究问题,促进对这一现象的定性和定量分析,以及首次基于科学出版物中文本重复使用的基本比率。
2022-12-13 cs.CL cs.DL cs.IR
Towards Defect Phase Diagrams: From Research Data Management to Automated Workflows
Institute of Physical Metallurgy and Materials Physics, RWTH Aachen University(亚琛工业大学物理冶金与材料物理研究所);Faculty of Georesources and Materials Engineering, RWTH Aachen University(亚琛大学地质资源与材料工程学院)
本文提出了一种综合的RDM基础设施,通过无缝连接实验、数据和分析,实现跨机构的缺陷相图构建。
2025-11-03 cond-mat.mtrl-sci cs.DB cs.DL
FAIR Data Pipeline: provenance-driven data management for traceable scientific workflows
为了解和防止疾病传播而进行的现代流行病学分析关键取决于数据的获取和使用。快速变化的数据,例如在疾病爆发期间发生变化的数据流,尤其具有挑战性。由于数据在使用时被不精确地识别,数据管理进一步复杂化。公众对这种分析所产生的政策决定的信任很容易受到损害,而且往往很低,如果在没有附带证据的情况下声称“遵循科学”,就会引起怀疑。通过开放软件追溯这些决定的来源,以获得原始数据,将澄清这一证据,提高决策过程的透明度。在这里,我们展示了在COVID-19大流行期间开发的可查找、可解释、可互操作和可重用(FAIR)数据管道,该管道允许在分析消耗数据时轻松注释数据,同时通过分析源代码追溯科学输出的出处到数据源。这种工具为公众和科学家同行提供了一种机制,使他们能够更好地评估对科学证据的信任,同时使科学家能够支持政策制定者公开证明他们的决定是正确的。我们认为,应该在面向政策的研究的所有领域推广使用这样的工具。
2022-05-04 cs.DL q-bio.QM
Looking at a digital research data archive - Visual interfaces to EASY
在本文中,我们探讨了可视化的结构收集的数字研究数据档案的元数据存放的数据集。我们研究了不同科学领域的数据集分布;不同领域的主要存放者(个人和机构)的作用,以及存放数据集的主要访问选择。我们认为,集合的元数据的可视化分析可以用于多种方式:通知档案馆的结构和增长的集合,以促进收藏策略,并检查元数据的一致性。我们结合视觉分析和视觉增强浏览引入了一套基于网络的,交互式的可视化界面的档案馆的收藏。我们将讨论如何基于文本的搜索结合视觉增强浏览增强数据访问,导航和重用。
2012-04-14 cs.DL physics.soc-ph
PyRDM: A Python-based library for automating the management and online publication of scientific software and data
科学软件的结果的可重新计算性和可再现性需要访问源代码和所有相关的输入和输出数据。然而,这些资源的完整集合通常不伴随着期刊文章中发表的关键发现,从而使更广泛的科学界难以或不可能验证结果的正确性或对其进行进一步的研究。本文介绍了一个新的基于Python的库PyRDM,其功能旨在通过在线自动化共享软件和数据的过程,可引用的存储库,如Figshare。该库被集成到开源计算流体动力学软件包Fluidity的工作流程中,以演示其使用的示例。
2014-08-21 cs.CE cs.DL cs.MS
Paying down metadata debt: learning the representation of concepts using topic models
J. P. Morgan AI Research(摩根大通人工智能研究院)
我们引入了一个称为元数据债的数据管理问题,以识别数据概念及其逻辑表示之间的映射。我们描述了如何使用基于低秩矩阵分解的半监督主题模型来学习这种映射,该模型考虑了缺失和噪声标签,再加上稀疏惩罚以提高本地化和可解释性。我们引入了一个规范转换的方法,使我们能够构建明确的主题和概念标签之间的关联,从而赋予主题的意义。我们还展示了如何使用这个主题模型进行半监督学习任务,例如从已知标签中推断,评估现有标签中可能的错误,以及预测缺失的特征。我们展示了这个主题模型在Kaggle.com的25,000多个数据集上预测主题标签的结果,展示了学习语义有意义特征的能力。
2020-10-09 cs.AI cs.DL cs.LG