2024年工作总结

January 23, 2025 (最后修改: January 23, 2025)

thoughts

本文来自 2024 年 12 月 18 日个人工作汇报做的 PPT。

系统建设

2024 年共新建 12 套系统，更新 4 套系统，合作新建 3 套系统。下图展示了在国家级超算平台 4 个子系统中我负责维护和参与维护的系统，将近 20 套，当然部分系统实际上是同一套代码的多次部署。

图国家级气象超算平台 4 个子系统中负责/参与维护的系统

在系统建设方面的年度热词是“一周”，下面我介绍三项被要求在一周内完成的任务。

TYM V4 流程建设

7月15日-19日-26日

第一项任务是为 CMA-TYM V4.0 版本新建运行流程。

一共新建 2 套系统，更新 1 套系统。分别是：

TYM V4 + NCEP GFS (with POST)，完成 3 个月实时运行
TYM V4 + CMA-GFS (with POST)，完成 2024 年度台风回算
TYM V3.3 + CMA-GFS (GRIB2 驱动)，完成 XX 演练

图 CMA-TYM V3.3 系统的两个配置，NCEP-GFS驱动 / CMA-GFS 驱动

这项工作的核心任务是为基于 CMA-MESO V6.0 开发的 CMA-TYM V4.0 系统创建运行流程。

因为 TYM V3.3 和 TYM V4.0 区别较大，重新实现了 ecFlow 运行流程，一套流程代码支持多种背景场配置（NCEP / CMA / NCEP + CMA）
从主流程中剥离台风产品，实现模式积分与产品制作的完全分离
通过目录映射的方式，实现 TYM V3.3 后处理程序对接 TYM V4.0 输出数据

图 CMA-TYM V4.4 模式子系统 ecFlow 截图

图 CMA-TYM V4.0 模式运行目录 (V4.0) 与后处理运行目录 (V3.3) 的对应关系

TYM V4 回算

12月9日-13日-20日

第二个被要求在一周内完成的工作是使用 CMA-GFS 驱动的 TYM V4 版本完成 2024 年台风回算，共计 45 天。

注：总结后的12月19日新增计算16天，回算总天数增加到 61 天

在这项工作中，实现从天擎和二级存储获取 CMA-GFS 的 GRIB2 数据，并将天擎检索 CMA-GFS 数据的功能更新到 Python 工具库中。

针对回算任务对运行流程进行优化。业务系统通常在每天的固定时间运行特定的时次，而回算任务则不需要限制启动时间。当前 TYM V4 的运行流程支持按需添加启动时间限制条件，但尚未实现控制一天内各个时次的运行方式。该项工作的远景目标是同一套流程代码支持多种运行场景。

ecFlow 能否完全替代运行脚本？

图使用 CMADaaS 的 getNafpByTime 接口模拟实现 CMA-GFS 基础 GRIB2 文件检索。功能已更新到 nuwe-cmadaas-py 工具库

图 CMA-TYM V4 回算流程。在 HPC2023-SC2 子系统搭建，包括模式子系统和后处理子系统两个 ecFlow 流程，跳过了 06 和 18 两个时次。

MCV 流程建设

10月28日-11月1日

第三项被要求在一周完成的工作是在 HPC2023-SC3 超算新建 MCV 实时运行系统，并实现 HPC2023-SC3 与 HPC2023-SC1 超算的互传。该系统的运行结果已在评估室的检验诊断平台中得到应用。

图 MCV 实时系统的 ecFlow 截图，系统配置为 50 公里分辨率，使用 NCEP-GFS 冷启动，一天预报一个时次（12时次），一次预报 10 天。

图使用 cedarkit-maps 绘制 MCV 预报结果

年度工作“故障”典型案例

注：本节因为汇报时间问题没有列到最终的 PPT 中

我在开展上述三项被要求在一周内完成的工作期间都不同程度的造成了工作“故障”：

TYM V4流程建设 + 新超算切换
- 切换新超算时没有打开上传开关，导致部分图片没有及时上传网站
MCV运行流程建设 + 项目验收材料 + 两份PPT撰写
- 删掉做好的PPT，导致重头再来
TYM V4回算 + GFS V4.2测试 + 各类年终总结材料撰写
- 在科研分区使用业务队列，抢占了科研用户的任务，影响其他用户按计划完成年度任务

系统部署技术

在构建业务系统运行流程的同时我也开展系统部署技术研发。

重构流程代码，拆分超算环境、部署等配置文件。同一个超算环境可以使用相同的配置文件 (machine)，每个部署可以编写新的配置文件 (config + deploy)。新部署系统只需要新增代码，而不需要修改代码。

图重构流程代码

未来方向是参考 MCV 设计，将配置从流程项目中拆分成独立的项目。

其他工作

台风报文检索程序BUG修复

和部门同事一起修复台风报文检索程序的 BUG。

图台风报文示例，1-5行是异常数据，7-10行是修复程序后的数据。

修复前的台风报文检索程序无论是名称与编号，还是台风位置和强度都有问题。

一共找到两处BUG：

天擎原始数据 BABJ 包含 CMA-GFS 和 CMA-TYM 的台风预报信息。在程序中增加检索条件，仅使用台海中心发布的台风报文数据。
检索程序台风名称字符串重新赋值前没有置空。赋值前强制置空字符串。

修改程序后，重新检索 2021 年至今的台风报文，并重算了 TYM 部分时次。

远景目标是增强工具软件的规范化，包括

版本管理：不同业务中使用同一套程序代码，始终保持使用最新版本的程序
自动测试：方便快速验证修改是否正确
文档：程序代码之外的说明，方便开发人员快速了解程序代码

集合预报升级资源测算

与部门同事一起参与结合预报升级资源测算。经测算发现 GEPS 和 REPS 积分任务不能同时运行。集合室最终决定 REPS V3.0 系统运行 06 和 18 两个时次。

图简易资源测算表格。GEPS 48节点1小时，共需 1488 节点。REPS 64节点1小时20分钟，共需 960 节点。

软件开发

开发 cedarkit 工具套件，为模式数据分析提供便捷使用的工具。基于 Python 开源项目开发，并开源发布。

今年公开发 4 个工具：

cemc-oper/cedarkit-comp：气象数据计算
cemc-oper/cedarkit-maps：基础绘图包，提供底层绘图功能
cemc-oper/cedar-graph：预定义图片
cemc-oper/cemc-plots-kit：绘图接口，与业务数据对接

图基于 Python 开源社区实现 cedarkit 工具套件

提高绘图速度

为加快绘图速度，开发自动区域裁剪和数据采样功能。经过测试发现，无论是区域裁剪还是数据采样，都能有效提高绘图速度。

图不同方法绘图时间对比。(a) GFS、TYM绘制中国区域。(b) MESO 1KM 绘制中国区域。(c) MESO 1KM 绘制东北区域

应用场景

工具套件提供 Python API 和命令行接口，适用多种应用场景。

快速绘图函数 (quick_plot) 能够自动读取超算平台的业务数据并绘制相应图形，下面代码使用 CMA-MESO 数据绘制最优抬升指数 + 风场图形。

from cedar_graph.quickplot import quick_plot

quick_plot(
    plot_type="cn.bli_wind.default",
    system_name="CMA-MESO",
    start_time="2024073000",
    forecast_time="24h",
    wind_level=700,
)

支持命令行绘制单张图片。

python -m cemc_plots_kit draw \
  --system-name cma_gfs \
  --plot-type t_2m \
  --start-time 2024111300 \
  --forecast-time 24h \
  --work-dir .

支持命令行批量绘图。

配置文件：

runtime:
  base_work_dir: .

source:
  data_dir: /g3/COMMONDATA/CEMC/GFS_GMF/Prod-grib/{start_time_label}/ORIG

system_name: CMA-GFS

time:
  start_time: 2024111300
  forecast_time: 48h
  forecast_interval: 6h

plots:
  height_500_mslp: on
  rain_24h: on

命令行：

python -m cemc_plots_kit task --task-file ./task.yaml

图 cedar-graph 绘图示例

工具软件规范化

在开发软件的同时也注重工具软件的规范化。包括以下三项工作：

实现可以在气象超算平台上运行的测试用例，覆盖全部绘图种类。

图多种模式数据的测试用例

编写可以自动生成的在线文档，提供所有绘图的代码，自动生成绘图结果。

图使用 Jupyter Book 生成的文档

基于开源生态系统构建版本自动化发布流程，支持通过 pip 自动在线安装。

图使用 GitHub Actions 实现在 PYPI 发布

项目工作

信息化系统工程项目《数值预报支撑子系统》完成项目验收。

参与多个工程项目的材料撰写（海洋三期、短临、生态等等）。

其他工作

文档

参与业务运行手册撰写，完成TYM、GFS/MESO后处理等章节
参与《数值预报业务系统气象业务软件统筹实施方案大纲》撰写
2024招聘笔试备选题目一道

培训

10月16-18日，参加科级管理骨干素质培训班

报告

2024.3.28，业务室技术分享《cedarkit-maps工具库介绍》
2024.7.18，青年学习小组分享《学习总书记全国科技大会讲话精神》

下一步工作计划

绘图工具库应用到业务系统中
开发工作流调度软件
完善工具软件文档

感谢大家一年来对我的支持和帮助，谢谢！