https://blog.perillaroc.wang/tags/cloud/Recent content in Cloud on 风中飞舞Hugozh-cnThu, 10 Sep 2026 21:19:51 +0800https://blog.perillaroc.wang/post/2021/05/2021-05-20-paper-abernathey-2020-cloud-native-repositories/Sun, 23 May 2021 12:31:00 +0800https://blog.perillaroc.wang/post/2021/05/2021-05-20-paper-abernathey-2020-cloud-native-repositories/<p><strong>Cloud-Native Repositories for Big Scientific Data</strong></p> <blockquote><p>R. P. Abernathey et al., &ldquo;Cloud-Native Repositories for Big Scientific Data,&rdquo; in Computing in Science &amp; Engineering, vol. 23, no. 2, pp. 26-35, 1 March-April 2021, doi: 10.1109/MCSE.2021.3059437.</p> </blockquote><p>一篇介绍云原生数据存储的文章，发表于 Computing in Science &amp; Engineering。</p> <h2 id="正文">正文</h2> <h3 id="摘要">摘要</h3> <p>传统上，科学数据是通过从数据服务器下载到本地计算机来分发的。 随着科学数据集向 PB 级发展，这种工作方式受到了限制。</p> <p>本文定义的“云原生数据存储库”相对于传统数据存储库具有多个优势：</p> <ul> <li>性能</li> <li>可靠性</li> <li>成本效益</li> <li>协作</li> <li>可再现性</li> <li>创造力</li> <li>下游影响</li> <li>访问和包含 (access &amp; inclusion)</li> </ul> <p><strong>最佳实践</strong></p> <p>这些目标激发了一组针对云原生数据存储库的最佳实践：</p> <ul> <li>分析就绪数据 (analysis-ready data)，云优化格式 (cloud-optimized formats)。统称 ARCO</li> <li>与数据邻近计算 (data-proximate computing) 的松散耦合</li> </ul> <p>Pangeo 项目通过使用开源科学 Python 工具开发了这些原则的原型实现。 通过提供 ARCO 数据目录以及按需、可扩展的分布式计算，Pangeo 使用户能够以超过 10 GB/s 的速率处理大数据。</p>