NWPC高性能计算机环境介绍：数据管理
目录
本文是 NWPC高性能计算机环境介绍 系列文章的一部分。
业务系统数据存储
业务系统数据存储分为不同的级别，如下图所示。
业务系统数据存储级别
数值预报业务系统在 HPC 上运行，因此数据会保存在 HPC 上，包括运行目录、临时归档目录和归档目录。
但因为数值预报数据量太大，HPC 上无法保存长时间序列的数据，因此数据也会保存到二级存储中。
对于需要使用实时数据的用户来说，建议使用 HPC 上的归档数据 (archive)，能保证数据路径一直有效。
归档目录结构
每个业务系统的归档目录结构都相似，如下图所示。
归档目录结构，不同系统的目录仅有细微差别
数据种类
常见的数据种类如下：
- Obs：观测数据
- An：同化
- Fcst：模式积分输出
- Prod-graph：图形产品
- Prod-grib：GRIB数据产品
- Vrfy：检验产品
二级存储
因为各种各样不可描述的原因，目前我们仅能使用HPC访问二级存储。
使用特定的账户登陆 dt.piop.nmic.cn，访问如下已挂载的目录：
- /sstorage1
- /sstorage2
二级存储已挂载到HPC上的存储空间
我们正在努力推动二级存储对所有 HPC 账户开放。 后续也许会有更方便的访问方式。
查找业务系统数据文件路径工具
NWPC 开发的 nwpc_data_client 工具可以用于查找业务系统数据文件路径。
该工具是一个开源项目，感兴趣可以访问项目网址。
https://github.com/nwpc-oper/nwpc-data-client
使用下面的命令查找 2019 年 8 月 28 日 00 时次 0 时效的 GRAPES GFS 模式原始分辨率 GRIB2 数据文件路径。
/g1/u/nwp_pd/nwpc_data_client/bin/nwpc_data_client \
local \
--config-dir=/g1/u/nwp_pd/nwpc_data_client/config/local \
--data-type=grapes_gfs_gmf/grib2/orig \
2019082800 0h
命令返回如下的文件路径
/g1/COMMONDATA/OPER/NWPC/GRAPES_GFS_GMF/Prod-grib/2019082721/ORIG/gmf.gra.2019082800000.grb2
参考
NWPC高性能计算机环境介绍 系列文章
