NWPC高性能计算机环境介绍:高性能计算机概况

目录

本文是《NWPC高性能计算机环境介绍》系列文章的一部分。

高性能计算机系统

CMA新一代高性能计算机PI-曙光系统由两套互为备份的子系统构成。有如下的特点:

  • 通用Intel CPU处理器
  • Cluster架构
  • 计算资源独立
  • 存储资源共享

高性能计算机的架构如下图所示(摘自《曙光高性能计算机用户使用简介-201805》)。

从图中可以看到,高性能计算机内部使用高速计算机网络连接,仅前后处理节点和管理登陆节点与CMA局域网连接,计算节点和并行存储与外界隔离,保障整个HPC系统的安全性。

右下角的试验子系统包含GPU和众核节点,不过遗憾的是直到PI-曙光投入应用一年半后的现在,我依然没有访问该子系统的权限,所以本介绍不包括该试验子系统。

子系统配置

两个子系统的配置如下图所示,可以看到两个子系统配置几乎完全一样,除了子系统2采用更高级的液冷刀片服务器。所以数值预报业务系统部署在子系统2。两个子系统的存储节点可以被所有节点共享访问,所以位于子系统1的用户也可以访问数值预报业务系统生成的数据。

子系统2
子系统2
计算节点
计算节点
前后处理节点
前后处理节点
登陆节点
登陆节点
管理节点
管理节点
存储节点
存储节点
域名
域名
1504
1504
24
24
10
10
8
8
66
66
pird.nmic.cn
pird.nmic.cn



[Not supported by viewer]
子系统1
子系统1
计算节点
计算节点
前后处理节点
前后处理节点
登陆节点
登陆节点
管理节点
管理节点
存储节点
存储节点
域名
域名
1504
1504
24
24
10
10
8
8
66
66
pird.nmic.cn
pird.nmic.cn



[Not supported by viewer]

节点配置

硬件配置

  • CPU:2颗Intel Xeon Gold 6142处理器,16核,主频2.6GHz
  • 内存:12通道 DDR4 2666内存(一般节点192GB/大内存节点384GB)
  • 通讯网络:100Gb/s InfiniBand EDR高速网络
  • 存储:Parastor 300并行存储系统

软件配置

  • 操作系统:RedHat Enterprise Linux Server V7.4
  • 编译器:Intel、PGI、GNU编译器
  • 调试器:Totalview

总体性能

两个子系统的总体性能指标如下

  • 计算能力:8,189.5 TFLOPS
  • 存储能力:23,088 TB
  • CPU总核数:98,432
  • 内存总量:690,432 GB
  • 节点数量:3,076
  • 硬盘数量:4,200
  • 机柜数量:78

从TOP 500列表中可以很明显地看到各个气象中心的HPC性能。下表是2019年7月TOP 100中部分气象中心HPC的排名。 从表中可以看到,CMA排在88位,ECMWF排在49位,NCAR排在40位。 虽然HPC排名不能简单地等同各中心在数值预报业务模式方面的实力,但至少从一个侧面反映该中心的包括业务和科研在内的总体计算能力。

如果我们对比下最近5年的TOP500排名,就能更容易看到各个中心HPC的发展情况。

2014年CMA引进IBM-HPC,排名冲到TOP 100以内,随后排名呈指数下跌,直到2017年11月跌出TOP 500名单。 直到2018年部署曙光-PI,2018年6月排名才再一次进入前100名。 也正是因为有了性能更高的HPC,我们的数值预报业务系统才取得明显的进步,包括:

  • 从三维变分同化升级为四维变分同化
  • 3km区域模式从中国东部范围扩大到整个中国范围
  • 建立有31个成员的GRAPES集合预报模式
  • 区域台风模式从12km升级到9km,同时扩大预报范围并提高垂直层次

只有性能更高的HPC才能在有效时间内运行计算量更大的高分辨率数值预报模式系统。

表格中ECMWF和NCEP的HPC排名也会逐年下掉,但从未跌出过TOP 100。这是一个值得思考的问题:为什么我们上一代HPC的TOP 500排名下降的这么快?感兴趣的同志可以准备开始八卦一下了。

CMA与ECMWF对比

上面的表格是CMA和ECMWF高性能计算机集群的性能对比,可以看到,除了峰值计算能力大体相当外,其他指标均有较大差异。 值得关注的是ECMWF除了提供20PB的高性能存储外,还提供72PB的一般存储。 而对于CMA来说,虽然各种项目已各种不同的名义购买各种存储设备,但目前还没有明确的挂载到HPC上所有用户都可以使用的一般存储。

ECMWF的硬件基础设施如下图所示。CMA硬件基础设施与ECMWF最大的区别在于我们现在没有数据管理系统(Data Handling System)。ECMWF的DHS目前管理超过210PB的数据。 好在今年已经启用面向数值预报的二级存储,据说有8PB。后续还有更多的资金投入到二级存储中。

不过ECMWF正在建设新的位于意大利的数据中心,将于2020年投入使用,为2025年全球集合预报提升到5km提供计算能力。暂时还没有听说CMA下一台HPC的计划,一旦该数据中心投入业务应用,CMA的高性能计算机能力将进一步落后于国际同行。