NWPC高性能计算机环境介绍：高性能计算机概况

September 03, 2019 (最后修改: May 18, 2022)

meteorology/hpc

本文是 NWPC高性能计算机环境介绍系列文章的一部分。

高性能计算机系统

CMA 新一代高性能计算机PI-曙光系统由两套互为备份的子系统构成。有如下的特点：

通用 Intel CPU 处理器
Cluster 架构
计算资源独立
存储资源共享

高性能计算机的架构如下图所示。

CMA-PI 架构，图片来自《曙光高性能计算机用户使用简介-201805》

从图中可以看到，高性能计算机内部使用高速计算机网络连接，仅前后处理节点 (串行节点) 和管理登陆节点与 CMA 局域网连接，计算节点和并行存储与外界隔离，保障整个 HPC 系统的安全性。

右下角的试验子系统包含 GPU 和众核节点，不过遗憾的是直到PI-曙光投入应用一年半后的现在，我依然没有访问该子系统的权限，所以本介绍不包括该试验子系统。

2022 补充：试验子系统已对 NWPC 开放，2021 年 NWPC 举办的机器学习培训已使用该子系统

子系统配置

两个子系统的配置如下图所示，可以看到两个子系统配置几乎完全一样，除了子系统 2 采用更高级的液冷刀片服务器。所以数值预报业务系统部署在子系统 2。两个子系统的存储节点可以被所有节点共享访问，所以位于子系统 1 的用户也可以访问数值预报业务系统生成的数据。

CMA-PI 两个子系统的配置

节点配置

硬件配置

CPU：2 颗 Intel Xeon Gold 6142 处理器，16 核，主频 2.6GHz
内存：12 通道 DDR4 2666 内存（一般节点 192GB / 大内存节点 384GB）
通讯网络：100Gb/s InfiniBand EDR 高速网络
存储：Parastor 300 并行存储系统

软件配置

操作系统：RedHat Enterprise Linux Server V7.4
编译器：Intel、PGI、GNU编译器
调试器：Totalview

总体性能

两个子系统的总体性能指标如下

计算能力：8,189.5 TFLOPS
存储能力：23,088 TB
CPU总核数：98,432
内存总量：690,432 GB
节点数量：3,076
硬盘数量：4,200
机柜数量：78

从 TOP 500 列表中可以很明显地看到各个气象中心的 HPC 性能。下表是 2019 年 7 月 TOP 100 中部分气象中心 HPC 的排名。从表中可以看到，CMA 排在 88 位，ECMWF 排在 49 位，NCAR 排在 40 位。虽然 HPC 排名不能简单地等同各中心在数值预报业务模式方面的实力，但至少从一个侧面反映该中心的包括业务和科研在内的总体计算能力。

2019 年 7 月 TOP 100 中部分气象中心 HPC 排名

如果我们对比下最近 5 年的 TOP500 排名，就能更容易看到各个中心 HPC 的发展情况。

2014 年 CMA 引进 IBM-HPC，排名冲到 TOP 100 以内，随后排名呈指数下跌，直到 2017 年 11 月跌出 TOP 500 名单。直到 2018 年部署曙光-PI，2018 年 6 月排名才再一次进入前 100 名。也正是因为有了性能更高的 HPC，我们的数值预报业务系统才取得明显的进步，包括：

从三维变分同化升级为四维变分同化
区域 3km 模式从中国东部范围扩大到整个中国范围
建立有 31 个成员的 GRAPES 集合预报模式
区域台风模式从 12km 升级到 9km，同时扩大预报范围并提高垂直层次
…

只有性能更高的 HPC 才能在有效时间内运行计算量更大的高分辨率数值预报模式系统。

表格中 ECMWF 和 NCEP 的 HPC 排名也会逐年下掉，但从未跌出过 TOP 100。这是一个值得思考的问题：为什么我们上一代 HPC 的 TOP 500 排名下降的这么快？感兴趣的同志可以准备开始八卦一下了。

CMA 与 ECMWF 对比

上面的表格是 CMA 和 ECMWF 高性能计算机集群的性能对比，可以看到，除了峰值计算能力大体相当外，其他指标均有较大差异。值得关注的是 ECMWF 除了提供 20PB 的高性能存储外，还提供 72PB 的一般存储。而对于 CMA 来说，虽然各种项目已各种不同的名义购买各种存储设备，但目前还没有明确的挂载到 HPC 上所有用户都可以使用的一般存储。

ECMWF 的硬件基础设施如下图所示。