NWPC高性能计算机环境介绍:高性能计算机概况

目录

本文是 NWPC高性能计算机环境介绍 系列文章的一部分。

高性能计算机系统

CMA 新一代高性能计算机PI-曙光系统由两套互为备份的子系统构成。有如下的特点:

  • 通用 Intel CPU 处理器
  • Cluster 架构
  • 计算资源独立
  • 存储资源共享

高性能计算机的架构如下图所示。

CMA-PI 架构,图片来自《曙光高性能计算机用户使用简介-201805》

从图中可以看到,高性能计算机内部使用高速计算机网络连接,仅前后处理节点 (串行节点) 和管理登陆节点与 CMA 局域网连接,计算节点和并行存储与外界隔离,保障整个 HPC 系统的安全性。

右下角的试验子系统包含 GPU 和众核节点,不过遗憾的是直到PI-曙光投入应用一年半后的现在,我依然没有访问该子系统的权限,所以本介绍不包括该试验子系统。

2022 补充:试验子系统已对 NWPC 开放,2021 年 NWPC 举办的机器学习培训已使用该子系统

子系统配置

两个子系统的配置如下图所示,可以看到两个子系统配置几乎完全一样,除了子系统 2 采用更高级的液冷刀片服务器。 所以数值预报业务系统部署在子系统 2。 两个子系统的存储节点可以被所有节点共享访问,所以位于子系统 1 的用户也可以访问数值预报业务系统生成的数据。

CMA-PI 两个子系统的配置

节点配置

硬件配置

  • CPU:2 颗 Intel Xeon Gold 6142 处理器,16 核,主频 2.6GHz
  • 内存:12 通道 DDR4 2666 内存(一般节点 192GB / 大内存节点 384GB)
  • 通讯网络:100Gb/s InfiniBand EDR 高速网络
  • 存储:Parastor 300 并行存储系统

软件配置

  • 操作系统:RedHat Enterprise Linux Server V7.4
  • 编译器:Intel、PGI、GNU编译器
  • 调试器:Totalview

总体性能

两个子系统的总体性能指标如下

  • 计算能力:8,189.5 TFLOPS
  • 存储能力:23,088 TB
  • CPU总核数:98,432
  • 内存总量:690,432 GB
  • 节点数量:3,076
  • 硬盘数量:4,200
  • 机柜数量:78

从 TOP 500 列表中可以很明显地看到各个气象中心的 HPC 性能。 下表是 2019 年 7 月 TOP 100 中部分气象中心 HPC 的排名。 从表中可以看到,CMA 排在 88 位,ECMWF 排在 49 位,NCAR 排在 40 位。 虽然 HPC 排名不能简单地等同各中心在数值预报业务模式方面的实力,但至少从一个侧面反映该中心的包括业务和科研在内的总体计算能力。

2019 年 7 月 TOP 100 中部分气象中心 HPC 排名

如果我们对比下最近 5 年的 TOP500 排名,就能更容易看到各个中心 HPC 的发展情况。

2014 年 CMA 引进 IBM-HPC,排名冲到 TOP 100 以内,随后排名呈指数下跌,直到 2017 年 11 月跌出 TOP 500 名单。 直到 2018 年部署曙光-PI,2018 年 6 月排名才再一次进入前 100 名。 也正是因为有了性能更高的 HPC,我们的数值预报业务系统才取得明显的进步,包括:

  • 从三维变分同化升级为四维变分同化
  • 区域 3km 模式从中国东部范围扩大到整个中国范围
  • 建立有 31 个成员的 GRAPES 集合预报模式
  • 区域台风模式从 12km 升级到 9km,同时扩大预报范围并提高垂直层次

只有性能更高的 HPC 才能在有效时间内运行计算量更大的高分辨率数值预报模式系统。

表格中 ECMWF 和 NCEP 的 HPC 排名也会逐年下掉,但从未跌出过 TOP 100。 这是一个值得思考的问题:为什么我们上一代 HPC 的 TOP 500 排名下降的这么快? 感兴趣的同志可以准备开始八卦一下了。

CMA 与 ECMWF 对比

上面的表格是 CMA 和 ECMWF 高性能计算机集群的性能对比,可以看到,除了峰值计算能力大体相当外,其他指标均有较大差异。 值得关注的是 ECMWF 除了提供 20PB 的高性能存储外,还提供 72PB 的一般存储。 而对于 CMA 来说,虽然各种项目已各种不同的名义购买各种存储设备,但目前还没有明确的挂载到 HPC 上所有用户都可以使用的一般存储。

ECMWF 的硬件基础设施如下图所示。

ECMWF 的硬件基础设施,图片来自 ECMWF

CMA 硬件基础设施与 ECMWF 最大的区别在于我们现在没有数据管理系统 (Data Handling System, DHS)。 ECMWF 的 DHS 目前管理超过 210PB 的数据。 好在今年已经启用面向数值预报的二级存储,据说有 8PB。后续还有更多的资金投入到二级存储中。

2022 年补充:已有 15PB 左右的二级存储可以通过 HPC 的特定登陆节点 (dt.piop.nmic.cn) 访问,CMA-PI 上 cmafs 工具用于从二级存储下载数据到本地目录。

不过 ECMWF 正在建设新的位于意大利的数据中心,将于 2020 年投入使用,为 2025 年全球集合预报提升到 5km 提供计算能力。 暂时还没有听说 CMA 下一台 HPC 的计划,一旦该数据中心投入业务应用,CMA 的高性能计算机能力将进一步落后于国际同行。

2022 年补充:CMA 正在开展下一代 HPC 采购工作,预计峰值计算能力超过 28 PFlops

参考

NWPC高性能计算机环境介绍 系列文章

汇总

高性能计算机概况

系统登录

文件系统

应用软件

作业管理

数据管理