Pirus: A Web-based File Hosting Service with Object Oriented Logic in Cloud Computing
在本文中，一个新的基于Web的文件托管服务与面向对象的逻辑在云计算称为Pirus的开发。该服务将由比雷埃夫斯大学的学术界使用，使用户能够远程存储和访问他们的个人文件，而不会危及安全。它还为管理员提供了管理用户和角色的能力。目标是提供全面的业务服务，使用最先进的编程技术，以实现现有功能的可扩展性和未来发展。使用.NET Framework、C#程序设计语言、CSS和jQuery、MSSQL等技术进行数据库托管，以及支持虚拟化和云计算，将大大提高兼容性、代码重用、可靠性，并减少维护成本和资源。该服务在受控环境中安装和测试，以确定所需的功能以及提供的可靠性和安全性，并取得了圆满成功。所使用和支持的技术使今后能够进行升级和扩大服务的工作。硬件和软件方面的变化和改进，以便将服务转换为SaaS（软件即服务）云应用程序是一个合乎逻辑的步骤，以便有效地向更广泛的社区提供服务。通过进一步开发提供的改进和增加的功能将利用用户体验。
2014-10-18 cs.DC cs.SE
Parallel Data Object Creation: Towards Scalable Metadata Management in High-Performance I/O Library
针对高层I/O库集体创建数据对象开销大的问题，本文提出基于PnetCDF的新文件头格式，支持独立创建，在4096进程下创建568万个对象时提速达582倍。
2025-06-18 cs.DC
Objcache: An Elastic Filesystem over External Persistent Storage for Container Clusters
本文提出objcache，一个基于外部存储的弹性文件系统，通过Raft日志事务协议和一致性哈希管理分布式状态，支持缩容至零，将模型服务启动速度提升98.9%。
2023-09-04 cs.DC
Building A High Performance Parallel File System Using Grid Datafarm and ROOT I/O
在大型强子对撞机实验中预见到的PB级数据量要求在全球范围的分布式计算中仔细考虑持久化设计和系统设计。HENP数据分析的事件并行性使我们能够在数据处理阶段、数据管理阶段和数据传输阶段保持并行性的同时，最大限度地利用高性能集群计算和网络。FADS/ Goofy是Geant 4的多功能检测器模拟框架，其模块化架构使您可以轻松选择Objectivity/DB和ROOT I/O等持久性技术的插件设施。该框架的设计自然与网格数据农场（Gfarm）的并行文件系统。FADS/Goofy被证明可以使用512 CPU的PC集群生成10^6个Geant 4模拟的Atlas Mockup事件。使用Gfarm文件系统复制ROOT I/O文件中的数据。直方图信息是从分布式ROOT文件中收集的。在数据复制过程中，在美国和日本的七个参与PC集群中，PC集群之间的数据传送率已被证明超过2.3 Gbps。
2003-06-14 cs.DC
Navigating the Landscape of Distributed File Systems: Architectures, Implementations, and Considerations
本文综述分布式文件系统的架构、分类、设计挑战与NFS、AFS、GFS、HDFS、CephFS等实现，为构建高效稳定安全的DFS提供参考。
2024-03-23 cs.AR cs.DC
Optimization policy for file replica placement in fog domains
针对雾域文件可用性与放置难题，提出基于复杂加权网络、中心性和图分区的多副本放置策略，实验显示其延迟更低、网络增量更小且可用性接近 FogStore。
2024-06-14 cs.DC
Fragmented ARES: Dynamic Storage for Large Objects
数据可用性是分布式存储系统中最重要的功能之一，通过数据复制成为可能。在数据快速生成的今天，开发高效、可扩展、可靠的存储系统已成为高性能计算面临的主要挑战之一。在这项工作中，我们开发了一个动态的，强大的和强一致的分布式存储实现适合处理大型对象（如文件）。我们这样做是通过集成一个自适应，可重新配置，原子存储框架，称为ARES，与分布式文件系统，称为COBFS，它依赖于块碎片技术来处理大型对象。随着ARES的加入，我们还可以使用擦除编码算法来进一步分割数据，并可能提高副本服务器的存储效率和操作延迟。为了测试我们成果的实用性，我们对Emulab和AWS EC2测试平台进行了深入的实验评估，说明了我们方法的好处以及其他有趣的权衡。
2022-01-31 cs.DC
CkIO: Parallel File Input for Over-Decomposed Task-Based Systems
针对计算科学与工程领域过度分解任务型系统的并行输入性能问题，提出CkIO库，通过分离数据消费者与文件读取器任务分解，支持参数配置及计算与输入重叠，提升并行输入性能。
2024-11-28 cs.DC
Exploring DAOS Interfaces and Performance
本文探讨了利用NVM设备的DAOS对象存储的多种I/O接口，通过基准测试分析其性能，并与同类系统比较，展示了其在高性能I/O上的潜力与灵活性。
2024-09-27 cs.DC
Pangolin: A Fault-Tolerant Persistent Memory Programming Library
非易失性主存储器（NVMM）允许程序员构建复杂的、持久的、基于指针的数据结构，其可以提供相对于管理持久状态的常规方法的实质性性能增益。该编程模型将文件系统从提高性能的关键路线中移除，但是它也将这些数据结构置于基于文件系统的容错机制（例如，基于块的校验和或擦除编码）。如果没有容错能力，使用NVMM保存关键数据的吸引力将大大降低。本文介绍了Pangolin，一个为NVMM设计的容错持久对象库。Pangolin使用校验和、奇偶校验和微缓冲的组合来保护应用程序的对象免受软件错误引起的媒体错误和损坏。它为任何大小的对象提供这些保护，并支持自动在线检测数据损坏和恢复。所需的存储开销很小（对于GB大小的NVMM池，为1%）。Pangolin提供了更强的保护，需要数量级更少的存储开销，并实现了与当前最先进的容错持久对象库相当的性能。
2019-07-25 cs.DC
Enabling Object Storage via shims for Grid Middleware
对象存储模型已迅速成为大多数商业上成功的大容量存储基础设施的基础，支持所谓的“云”存储，如Amazon S3，但也是大多数并行分布式存储系统实现的基础。对象存储设计中的许多假设与网格存储元素设计中的概念相似，但不完全相同，尽管在SE之上对“POSIX类”文件系统结构的要求使得分离看起来更大。由于现代对象存储提供了许多大多数网格SE所不具备的功能（块级条带化、并行访问、自动文件修复等），我们可以很容易地通过网格工具的插件和扩展来为典型的对象存储提供接口，实验可以很好地使数据模型适应它们，这是很有趣的。我们目前的评估，和首次部署的经验，（例如）Xrootd-Ceph接口的直接对象存储访问，作为一个计划的一部分，在GridPP \cite{GridPP}在RAL托管。此外，我们还讨论了在格拉斯哥为目前流行的{ \it Ceph}并行分布式文件系统的GSP 2访问层开发插件的权衡和经验。
2015-10-30 cs.DC hep-ex physics.comp-ph
Filtered Vector Search in a Disaggregated Lakehouse: Composing Table-Format Pruning with Per-File ANN
IBM Research（IBM研究院）
本文提出在基于Apache Iceberg和Parquet的湖仓中，通过组合现有文件剪枝与逐文件IVF索引实现过滤向量搜索，在特定条件下可使ANN搜索速度提升数十倍。
2026-08-07 cs.DB cs.DC cs.ET
Review of Replication Schemes for Unstructured P2P Networks
为了提高非结构化P2P系统性能，人们希望最大限度地减少必须探测的对等体数量，以缩短搜索时间。解决这个问题的一个方法是采用一个复制方案，它提供了高命中率的目标文件。复制还可以提供负载均衡，并在大量用户访问文件时减少访问延迟。本文简要介绍了各种复制方案，已出现在文献中，并重点介绍了一种新的复制技术，称为Q-复制，以提高非结构化P2P网络中的对象的可用性。Q-复制技术通过广泛采用Q-学习概念，基于对象流行度和站点选择逻辑将对象自主复制到合适的站点。
2009-12-29 cs.DC cs.NI
Auditing Lustre file system
本项目旨在基于CentOS探索Lustre分布式文件系统的审计功能，通过结合Kerberos与SELinux等安全特性并开发直观的图形界面，实现对大规模数据存储与访问的安全监控、日志分析与合规管理。
2023-05-22 cs.CR cs.DC
Demystifying Object-based Big Data Storage Systems
本文综述了不同知名存储服务提供商提供的大数据存储架构，将其分为DFS、CFS、云存储、归档存储和OSS五个部分，并详细揭示了各组织提供的系统架构视图。
2024-06-01 cs.DB cs.DC
The Vera C. Rubin Observatory Data Butler and Pipeline Execution System
鲁宾天文台的数据管家旨在让数据文件的位置和文件格式从编写科学管道算法的人那里抽象出来。Butler与工作流图构建器一起工作，以允许从算法任务构建管道。这些管道可以使用对象存储和多节点集群大规模执行，或者使用本地文件系统在笔记本电脑上执行。巴特勒和管道系统现在在鲁宾建设和早期运营期间的日常使用。
2022-06-29 astro-ph.IM cs.DC
Metadata Extraction from Raw Astroparticle Data of TAIGA Experiment
今天，运行中的TAIGA（用于宇宙射线和伽马天文学的Tunka高级仪器）实验不断产生和积累大量原始天体粒子数据。为了向科学界提供这些数据，应当对这些数据进行详细描述并正式定性。元数据的使用使得有可能通过统一的接口按时间和设备搜索和汇总数字对象（例如事件和运行）以访问它们。元数据的重要部分隐藏在文件夹/文件名和包头中。这种元数据应该从二进制文件中提取出来，转换成统一形式的数字对象，并加载到目录中。为了解决这一挑战，我们开发了一个概念的元数据提取器，可以扩展的设施特定的提取模块。它的目的是自动收集描述元数据从原始数据文件的所有TAIGA格式。
2019-07-14 astro-ph.IM cs.DC
DAOS as HPC Storage, a view from Numerical Weather Prediction
对象存储解决方案有可能解决POSIX文件系统在某些I/O工作负载方面长期存在的性能问题，新的存储技术为数据密集型用例提供了有前途的性能特征。在这项工作中，我们提出了一个初步评估英特尔的分布式异步对象存储（DAOS），一个新兴的高性能对象存储，与非易失性存储器，并评估其潜在的使用HPC存储。我们证明了DAOS可以提供所需的性能，在大多数情况下，带宽随着额外的DAOS服务器节点而线性扩展，尽管配置和应用程序设计中的选择会影响可实现的带宽。我们描述了一个新的I/O基准和相关的指标，从应用程序派生的工作负载，解决对象存储性能。
2023-02-27 cs.DC
Exploring Scientific Application Performance Using Large Scale Object Storage
大型科学应用中的主要性能和可扩展性瓶颈之一是对超级计算机I/O系统的并行读取和写入。并行文件系统的使用和POSIX的一致性要求，所有传统的HPC并行I/O接口坚持，对科学应用程序的可伸缩性造成限制。对象存储是云计算中广泛使用的存储技术，并且更频繁地被提议用于HPC工作负载，以解决和改进科学应用中I/O的当前可扩展性和性能。虽然对象存储是一项很有前途的技术，但目前还不清楚科学应用将如何使用对象存储以及主要的性能优势是什么。这项工作通过模拟传统科学应用程序使用的对象存储并评估潜在的性能优势来解决这些问题。我们表明，科学应用程序可以受益于大规模使用对象存储。
2018-07-06 cs.DC
Exploring Novel Data Storage Approaches for Large-Scale Numerical Weather Prediction
The University of Edinburgh（爱丁堡大学）
本文评估了DAOS和Ceph在HPC和AI应用中的性能，发现DAOS在可扩展性和灵活性上优于Ceph和Lustre，为大规模I/O提供了新的解决方案。
2026-02-19 cs.DB cs.DC
DisTRaC: Accelerating High Performance Compute Processing for Temporary Data Storage
高性能计算（HPC）集群通常会在代码执行过程中生成中间文件，并且消息传递并不总是能够为这些集群作业提供数据。在这些情况下，I/O返回到中央分布式存储以允许跨节点数据共享。这些系统通常具有高性能，其特点是每TB成本高，对工作负载类型（如调整为小型或大型文件I/O）敏感。但是，计算节点通常具有大量RAM，因此在处理系统寿命或可靠性不那么重要的中间文件时，可以使用本地RAM磁盘来获得性能优势。在本文中，我们将展示如何通过创建一个可以与对象存储系统Ceph交互的RAM块，以及创建一个部署工具来有效地在HPC基础设施上部署Ceph来解决这个问题。这项工作导致了一个系统，比中央高性能分布式存储系统在钻石减少I/O开销和处理时间Savu，层析成像数据处理应用程序，分别由81.04%和8.32%。
2022-12-06 cs.DC cs.OS
Tiered cloud storage via two-stage, latency-aware bidding
在云存储中，数字数据存储在逻辑存储池中，由云服务提供商（CSP）管理的异构物理存储介质和计算基础设施提供支持。为了平衡服务性能和成本之间的权衡，CSP通常采用不同的存储层，例如冷存储和热存储。将数据存储在热存储中会导致高存储成本，但提供低访问延迟，而冷存储能够廉价地存储大量数据，从而提供更低的成本和更高的延迟。在本文中，我们解决了一个主要的挑战，面临的CSP利用这种分层存储架构-如何最大限度地提高其整体利润超过各种存储层，提供不同的特点，以及文件放置和访问请求调度政策。为此，我们提出了一个计划，CSP提供了一个两阶段的拍卖过程（a）请求存储容量，和（b）请求访问延迟的要求。我们的两阶段招标方案提供了一个混合存储和访问优化框架，其目标是最大限度地提高CSP的总净利润在四个方面：文件接受决策，接受的文件，文件访问决策和访问请求调度政策的位置。所提出的优化是一个混合整数非线性规划，很难解决。我们提出了一个有效的启发式放松整数优化，并解决由此产生的非线性随机规划。该算法在不同的情况下，并与不同的存储系统参数进行评估，并通过比较所提出的方法与其他利润最大化模型有见地的数值结果报告。在某些模拟场景中，与其他方案相比，我们看到我们提出的方法的利润增加了60%以上。
2017-11-02 cs.DC cs.GT cs.NI
