NWPC高性能计算机环境介绍:数据管理

目录

本文是《NWPC高性能计算机环境介绍》系列文章的一部分。

业务系统数据存储

业务系统数据存储分为不同的级别,如下图所示。

业务系统数据存储级别

数值预报业务系统在HPC上运行,因此数据会保存在HPC上,包括运行目录、临时归档目录和归档目录。

但因为数值预报数据量太大,HPC上无法保存长时间序列的数据,因此数据也会保存到二级存储中。

对于需要使用实时数据的用户来说,建议使用HPC上的归档数据(archive),能保证数据路径一直有效。

归档目录结构

每个业务系统的归档目录结构都相似,如下图所示。

归档目录结构,不同系统的目录仅有细微差别

数据种类

常见的数据种类如下:

  • Obs:观测数据
  • An:同化
  • Fcst:模式积分输出
  • Prod-graph:图形产品
  • Prod-grib:GRIB数据产品
  • Vrfy:检验产品

二级存储

因为各种各样不可描述的原因,目前我们仅能使用HPC访问二级存储。

使用特定的账户登陆dt.piop.nmic.cn,访问如下已挂载的目录:

  • /sstorage1
  • /sstorage2

二级存储已挂载到HPC上的存储空间

我们正在努力推动二级存储对所有HPC账户开放。后续也许会有更方便的访问方式。

查找业务系统数据文件路径工具

数值预报中心开发的nwpc_data_client工具可以用于查找业务系统数据文件路径。

该工具是一个开源项目,感兴趣可以访问项目网址。

https://github.com/nwpc-oper/nwpc-data-client

使用下面的命令查找2019年8月28日00时次0时效的GRAPES GFS模式原始分辨率GRIB2数据文件路径。

/g1/u/nwp_pd/nwpc_data_client/bin/nwpc_data_client \
	local \
    --config-dir=/g1/u/nwp_pd/nwpc_data_client/config/local \
    --data-type=grapes_gfs_gmf/grib2/orig \
    2019082800 0h

命令返回如下的文件路径

/g1/COMMONDATA/OPER/NWPC/GRAPES_GFS_GMF/Prod-grib/2019082721/ORIG/gmf.gra.2019082800000.grb2