论文阅读：ECMWF研究到业务转化R2O流程

meteorology/paper, meteorology/devops
目录

The ECMWF research to operations (R20) process

BUIZZA R, ANDERSSON E, FORBES R, et al., 2017. The ECMWF research to operations (R20) process[Z/OL]//ECMWF Technical Memoranda. ECMWF. https://www.ecmwf.int/node/17549. DOI:10.21957/m3r9bvg6x.

本文翻译自 ECMWF 技术文档 806，发布于 2017 年 7 月。主要介绍 ECMWF 研究到业务转化流程的主要阶段和活动。

注：以下“正文”章节内容使用 ChatGPT 和 DeepSeek 翻译自论文，并根据笔者个人理解有所删改整合。

以下名为“译注”的章节均为笔者添加，阐述笔者对某章节的个人理解。

正文

摘要

欧洲中期天气预报中心（ECMWF）业务的关键环节之一是“研究到业务” (Research-to-Operations, R2O) 流程，用于升级 IFS 周期 (IFS cycle，即用于预报生产的软件)。 R2O 流程始于一个战略性的 10 年愿景，并最终落实到 IFS 周期的实施。 该流程包括一系列行动，可以概括为六项活动：

  • 规划
  • 开发
  • 测试
  • 评估
  • 沟通
  • 实施

R2O 流程涉及计算客观指标以评估模式性能，并与所有关键利益相关者进行沟通。

本文重点介绍了 ECMWF R2O 流程的主要阶段和活动。

  • 第1节：概述 R2O 流程的六项核心活动
  • 第2节：讨论规划和开发活动，强调它们的三个主要时间跨度
  • 第3节：回顾 R2O 流程中采取的沟通步骤，以确保所有关键利益相关方获得充分信息
  • 第4节：分析 R2O 流程的最后阶段 (最后的8-10个月)，即 IFS 周期的最终实施
  • 第5节：讨论评估和诊断活动，并介绍用于评估预报性能的标准，包括关键评分指标及其他衡量标准，并据此决定 IFS 周期是否准备就绪
  • 第6节：讨论在整个过程中如何考虑用户的需求
  • 第7节：介绍对 R2O 流程进行审查和改进的持续性工作
  • 第8节：总结

原文注：综合预报系统 (The Integrated Forecasting System, IFS) 用于生成 ECMWF 的预报，其中包括 ECMWF 使用的地球系统主要软件及相关脚本，以及用于预报生产 (包括同化和预报) 的业务流程配置。

1. ECMWF R2O流程的6项活动

图 1 展示了一个框架示意图，该框架基于六项关键活动，用于理解和审查 R2O 流程：

  1. 规划 Planning
  2. 开发 Development
  3. 测试 Testing
  4. 实施 (进入业务) Implementation (into operation)
  5. 评估 (和诊断) Evaluation (and disgnostics)
  6. 沟通 (Communication)

图 1 ECMWF R2O 流程包括六项关键活动：规划、开发、测试、实施、评估和沟通。规划、开发、测试和实施以循环和顺序的方式依次进行，而评估和沟通活动贯穿整个R2O流程，以支持其他活动，确保决策基于客观标准，并实现有效沟通。

译注：图片来自原文，下同

规划 始于高层次的战略讨论，确定实现战略目标所需的主要开发领域。 在此阶段，将分析人力资源和计算资源的可用性，并将其纳入考虑。

规划之后是 IFS 的变更 开发 和 测试。 这两项活动紧密相关，变更首先以模块化方式进行测试，然后逐步合并：

  1. 单独开发的功能在相关配置中进行独立测试
  2. 开发的功能被合并，并在更接近业务套件 (operational suite) 的配置中进行测试
  3. 所有被接受实施的开发内容被合并到新的 IFS 周期中，并在研发实验中进行测试
  4. 一旦在研究部门 (Research Department, RD) 完成评估和最终确认，新的 IFS 周期将移交至预报部门 (Forecast Department, FD)

在最后阶段，新 IFS 周期的性能将与业务套件 (operation suite, o-suite) 进行比较，并评估计划的模式变更对业务产品的影响。

原文注：术语 “operation suite”（o-suite）涵盖数据获取、观测质量控制与筛选、分析 (包括集合数据同化 (EDA)、高分辨率四维变分分析 (4D-Var) 以及海洋集合分析 (ORAS5))，预报 (包括高分辨率单一预报、最长 46 天的耦合集合预报 (ENS) 以及最长 13 个月的季节集合预报 (S4))，以及再预报 (适用于 ENS 和 S4)。

如果测试结果总体被判定为正面，接下来将进入 实施 阶段。

评估 和 诊断 是用于客观衡量计划变更是否带来改进或退化的关键活动。 这些活动在开发和测试阶段均会进行，并用于日常监测预报性能。 在日常监测中，它们有助于识别预报中的缺陷，促使开展进一步调查，为未来的模式变更提供反馈。 此阶段的一个关键方面是选择用于评估性能的指标，包括跟踪多年来模式变更的影响，并比较测试阶段模式升级的影响。

沟通 活动支持其他活动，确保所有关键利益相关方都能获得充分的信息支持。

2. 规划和开发活动的三个主要时间跨度：长期战略、中期和短期

可以将规划与开发活动划分为三个主要时间跨度，这些时间跨度也体现在向 ECMWF 委员会提交的规划和进展报告中：

  • 长期战略规划：涉及可能需要多年甚至长达 10 年时间并需要大量资源的开发工作；这些内容在高层 10 年战略中进行讨论，并在 4 年计划中进一步详细阐述
  • 中期规划：涵盖 1 至 4 年时间尺度的开发工作；这些内容在 4 年计划中进行讨论
  • 短期规划：包括较小的开发工作，或长期和/或中期工作的收尾阶段；也可能包括为解决预报系统中的特定问题而启动的评估和诊断过程 (可能是对用户反馈的回应)；还可能包括因计算环境和/或软件库变化而引发的适应性调整

具体示例：

  • 长期战略规划与开发活动：将 ECMWF 开发的大气/陆面模型与 NEMO 联盟 (the Nuclueus of the European Modeling of the Ocean Consortium) 开发的动力海洋模式耦合，其中还包括一个交互式海冰模式 (LIM，Louvain-la-Neuve Sea Ice Model)。 这项工作需要较长的规划阶段，获取 ECMWF 尚未具备的相关专业知识，并实施海洋和海冰模式组件。 它包括将两个模式与大气的耦合、对 ECMWF 软件基础设施的重大调整、大量测试和评估，并最终实施。
  • 中期战略规划与开发活动：升级 ECMWF 的微物理方案，引入了五种水凝物方案。 此项开发涉及对 ECMWF 现有模式的重大改进，需要一定资源，并经过几年的开发和测试。
  • 短期规划与开发活动：最近对 ENS (集合预报系统) 中用于模拟模式不确定性的随机方案配置的更改。 这一修改需求是在测试新模式周期时通过评估和诊断活动发现的。 相较于前述两个案例，这项工作所需的资源和测试量相对较少，因此得以快速规划和实施，从问题发现到变更实施大约用了 1 年时间

图 2 展示长期、中期和短期开发之间联系的示意图，这些内容分别在 10 年战略、4 年规划和 1 年详细计划中向各委员会汇报。

这三个开发阶段与 ECMWF 向委员会提交的文件之间存在联系：10 年战略、4 年计划和 1 年详细计划（图2）。

  • 10 年战略：长期开发首先以较为概括的方式在战略规划阶段被提出，并在 10 年战略的制定过程中进一步具体化。 10 年战略每 5 年向委员会提交一次，每 5 年进行一次审查，以确保在两个连续战略周期之间工作的平稳和有效过渡。
  • 4 年计划：对战略规划进行得到细化，并涵盖长期和中期开发任务。 每年向委员会提交一次，连续 4 年计划之间的重叠确保了工作的连续性和平稳推进。 值得注意的是，该文件还会讨论主要工作领域的进展，以便委员会能够跟踪前几年提出的开发内容及其进展情况。
  • 1 年详细计划：定义得更加详细，明确标识了截止日期和里程碑，并具有可追溯性。 主要讨论短期开发任务，通常与前几年 4 年计划中提出的中期开发相关。 还包括为解决在评估和诊断业务系统性能时发现的 (已知) 问题所需的开发工作。

原文注：ECMWF 设有多个咨询委员会，以提供外部意见和建议，其中包括 科学咨询委员会 (Scientific Advisory Committee, SAC) 和 技术咨询委员会 (Technical Advisory Committee, TAC)。

3. R2O流程中的沟通活动

委员会定期了解计划和工作进展：

  • 10 年战略 每5年更新一次，并向委员会提交
  • 4 年活动计划 每年提交给委员会，并在部分内容上进行年度更新
  • 1 年详细活动计划 每年向委员会提交

委员会对 ECMWF 的计划和进展进行评论和审查，并要求 ECMWF 报告被认为相关且重要的具体问题。

  • 科学咨询委员会 (SAC) 特别主题报告，ECMWF 报告 SAC 决定的特定领域的进展与未来计划
  • 技术咨询委员会 (TAC) 模式性能报告，讨论业务系统的性能、成员国的检验以及最新变更对预报性能的影响

外部沟通

  • 公开的同行评审学术文献
  • ECMWF 出版物，如 Newletter 和 Technical Memoranda

ECMWF 网站相关信息：

译注：已更新到最新网址

内部沟通

一系列会议和活动，包括：

  • 非正式和正式的 Team / Section 会议
  • 专题会议 (例如由领导 IFS 变更开发的人员主持的研讨会)
  • 计划和进展报告会议，在 Section 级别 (每 4-8 周一次) 和 Department 级别 (每 3-6 个月一次) 举行
  • 跨部门季度评估与诊断 (Quarterly Evaluation and Diagnostic, QED) 会议
  • 高级管理团队 (Senior Management Team, SMT：包括主任、副主任和首席科学家) 月度会议，以及扩展 SMT (SMT 加 Head of Sections) 季度会议
  • SMT 年度计划会议

开发模式变更和升级的科学家/专家会通过非正式和正式的 Team / Section 会议讨论计划、展示进展并审查工作。

Team Leaders 和 Head of Sections 定期向相关 Director 和 SMT 更新工作进展 (特别是 SMT 每月审查进展，并跟踪计划实施是否按时完成)。

Department 每 3 至 6 个月召开一次会议，讨论和审查进展，并制定 1 年和 4 年计划。

内部沟通还依赖于基于网络的工具和共享网页。

实施工作组

每个 IFS 周期的实施由 实施工作组 (Implementation Working Group, IWG) 管理。 该小组包括参与 R2O 流程的关键人员。 通常在研究部门开始将所有代码变更合并到公共存储库前约 2 个月召开第一次会议，讨论下一个周期应包含的变更内容，审查进展，评估性能，并管理实施过程。 IWG 的工作方式在第 4 节中讨论，其中详细介绍了 R2O 流程的最后阶段 (最后 8-10 个月)。

与用户的沟通

模式变更 (过去和即将到来的) 也会在会议期间向用户传达，特别是在年度 ECMWF 预报用户大会 (User of the ECMWF Forecast, UEF) 和成员国访问期间。 相关信息也会在 ECMWF 网站上报告。

开发和研究成果以及有趣的研究通过同行评审文献和内部出版物 (研讨会和研讨会论文集、技术备忘录和通讯文章) 传达给科学界。

4. 面向实施的R2O流程最后阶段

现在假设规划活动已经完成，开发和第一轮测试也已经完成。 同时假设第一轮实验的评估表明，下一轮计划中的变更可能会带来改进，并且沟通活动也按预期完成。 我们现在已经进入了 R2O 流程的最后阶段，这一阶段通常需要 8 到 12 个月时间，具体包括以下步骤：

  • 逐步测试所有新开发内容，以便更容易识别相互作用，定位问题的根源并制定解决方案；
  • 首先在低分辨率下进行彻底实验，以便在测试中包含更多独立案例，然后在全分辨率下进行实验；
  • 使用明确且客观的指标评估和诊断性能；
  • 确保沟通按预期进行。

确定 IWG 成员：R2O 流程最后阶段的第一步

  • 共同主持：研究部门 (RD) 的一名人员，过去两年中，此人是 ECMWF 的两名首席科学家之一
  • 共同主持：预报部门 (FD) 的一名人员，过去两年中，此人是 Head of Production Section 的负责人
  • 研究部门 Head of Sections
  • 预报部门 Head of Production
  • 参与新 IFS 周期准备和移交的 RD 和 FD 关键人员

IWG 会议出席人员

  • 部分参加：根据每次会议的议程确定，不会让所有人因不必要的会议而负担过重
  • 广泛参加：分析新实验套件 (e-suite) 的整体评估并做出关键决策时。确保所有所需的专业知识都在场，以促进讨论并帮助解释结果

原文注：e-suite (experimental suite，试验套件) 是与 o-suite (operational suite，业务套件) 对应的预报生产系统，但它基于新的 IFS 周期

IWG 与管理层关系

  • IWG 负责管理实施过程，向管理层提供建议，判断新的 IFS 周期是否准备好实施，并提出实施日期
  • 管理层根据 IWG 的建议决定是否按建议进行

具体而言，IWG 的任务包括：

  • 控制实验：启动基于当前业务周期的控制实验，作为测试阶段的参考，用于评估每个提议变更的影响
  • 功能审查：审查所有计划的 IFS 变更，这些变更通常作为前一个 IFS 周期的分支，并评估是否有足够证据表明它们已准备好合并到新周期中，以及这些变更是否对业务生产所需的计算资源有影响
  • 代码集成：决定哪些分支已准备好实施到 e-suite 中，以及如何逐步合并它们
  • 测试：定义测试的时间段，通常是过去的两个暖季和冷季，并启动测试活动
  • 试验套件：确定 IFS 周期的最终内容，并建立 e-suite 的内容；开始将 e-suite 作为 RD 实验运行，并与参考进行比较；确定可能的实施日期
  • 移交：在运行大量案例后，评估 RD e-suite 是否按预期运行，并确定周期是否准备好移交至 FD，以便他们可以开始与 o-suite 并行运行
  • 平行试验：启动 e-suite 和 o-suite 的并行实时测试，包括产品生成；向成员国提供 e-suite 数据的访问权限
  • 评估诊断：指派 FD 预报评估团队进行独立于开发人员的进一步评估和诊断
  • 用户影响：评估用户影响（技术和气象方面），并确定和协调支持软件和气象应用软件的修改开发，以完全支持新周期并帮助用户适应变更
  • 版本冻结：冻结新的 IFS 周期；确认和/或修订实施日期，并提前足够时间通知用户
  • 业务切换：将新的 IFS 周期实施到业务中（即关闭业务周期，并将 e-suite 标记为 o-suite）
  • 交流材料：在上述所有阶段中，协调内部和外部的沟通材料准备，确保所有利益相关方了解进展

定期会议频次：最初大约每月一次，然后根据工作进展和实施日期的临近程度增加频率。

IFS 周期报告

  • 制作时间点：IFS 周期被冻结后
  • IWG 准备的内部文件，总结了周期的关键内容及其对预报性能的预期影响
  • FD 分析人员在比较 e-suite 和 o-suite 时的参考，以评估基于并行运行的 e-suite 和 o-suite 的结果是否与早期的 RD 实验一致（一致性被视为新软件从 RD 到 FD 移交按预期工作的证据）
  • 用于准备外部沟通文件和网页，向用户宣布计划的 IFS 周期变更

计算资源

由于 ECMWF 旨在及时发布预报，因此特别注意确保 IFS 周期的变更不会导致产品发布的延迟。 这是 IWG 在决定哪些提议的变更可以实施时首先审查的问题之一。

示例

  • 时间：2017 年 4 月初，45r1 IWG 第一次会议（43r3 之后的周期，计划于 2018 年初实施）
  • 主题：在高分辨率预报模式中耦合动力海洋模式 NEMO 的可能性
  • 前期研究：早期测试表明，这一变更带来了改进，但需要增加计算资源
  • 会议决定：进一步评估具体需要多少额外资源，并探讨是否可以通过更改系统的某些部分（例如 I/O，输入/输出软件组件）来弥补这些资源需求
  • 后续：结果将被审查，并决定是否可以将此变更包含在此次模式升级中，或者是否需要更多实质性工作以使其可行

示例：IFS周期43r3的R2O流程

图 3 由 43r3 IWG 于 2016 年 7 月制定的 R2O 过程最后阶段的甘特图，适用于 IFS 周期 43r3，该周期最终于 2017 年 7 月 11 日实施，比原计划有所推迟。菱形标记表示关键决策点。

图 3 展示了 IFS 周期 43r3 中上述所有任务和活动如何相互关联，以及 43r3 IWG 开始工作时为每项任务分配的时间及关键决策的制定时间。

实施延迟

与 2016 年 7 月制定的计划相比，实施最终延迟了约 3 个月 (2017 年 7 月 11 日而非2017 年 4 月 14 日)。 这一延迟是由于 2016 年 12 月和 2017 年 1 月在 RD e-suite 测试阶段发现的问题所致。 这些问题需要对已经合并的部分模式变更进行修订，并进一步实验。 这些问题在业务实施之前被发现并解决，这使我们相信 R2O 流程正在按预期运行。

流程改进的关键领域之一是尽早进行更多的测试和评估，这样问题更容易被发现和修复，而不是在大量合并完成后在后期才发现。

最后阶段持续时间

IFS 周期 43r3 的示例表明，R2O 流程的最后阶段从参考控制实验可用 (2016 年 8 月 22 日) 到实施 (2017 年 7 月 11 日) 大约花费了 11 个月。 对于之前的 IFS 周期 43r1，R2O 流程的最后阶段大约花费了 12 个月。 对于即将实施的下一个周期 45r1，我们的目标是进一步缩短这一时间。

5. 评估和诊断阶段应用的指标与决策标准

客观评分/指标

  • 作用：用于评估潜在模式变更的预期影响和监测预报系统的性能。评分/指标指数的突然变化用于标记潜在问题
  • 应用：在不同阶段应用不同的粒度级别，仅在 R2O 流程的最后阶段进行全面评估
  • 种类：包括理事会批准用于监控 ECMWF 预报性能的 6 个主要评分（其中 4 个为补充评分）
  • 获取：指标的时间序列可在 ECMWF 网站上获取，并每年定期向委员会报告

译注：可以访问 ECMWF 网站浏览评分图形

评分卡

评分卡用于总结 e-suite 和 o-suite 的性能，并识别需要特别关注的变量和/或区域。

图 4 和图 5 展示了两个评分卡的示例，用于评估 IFS Cycle 43r3 的性能（这些评分卡帮助决定该周期是否准备好投入业务实施，并被纳入 43r3 IWG 编写的描述 43r3 周期的内部文件中）。

图 4 单一高分辨率（Tco1279L137）预报的评分卡。该评分卡通过合并夏季和冬季实验的 43r3实验数据构建。对于误差 (ccaf和rmsef)：向上的绿色三角形表示 43r3 的均方根误差 (RMS误差) 比 43r1 (业务版本) 更低 (得分更好)，且在 99.7% (实心) 或95% (非实心) 的统计显著性水平上显著；向下的红色三角形表示相反情况。对于活跃度 (sdaf)：洋红色表示 43r3 比 43r1 更活跃，蓝色表示 43r3 比 43r1 更不活跃。

图 5 适用于 43r3 中期/月度集合预报 (ENS) 的评分卡示例。它显示了 43r3 与 43r1 实验之间排序概率技能评分的差异。正差异 (深蓝色或青色) 表示43r3表现更优，而负差异 (红色或黄色) 表示43r3性能下降。

译注：可以访问 ECMWF 网站浏览在线版评分卡，例如

个例分析

平均评分通过 e-suite 和 o-suite 的特定案例研究进行天气学评估支持。 案例研究用于更好地理解平均评分中看到的特征，和/或调查与模式变更相关的“潜在”影响，这些影响可能在平均评分中看不到，例如，因为变更仅影响罕见事件，难以收集足够大的样本。 通过应用诊断工具（例如识别模式偏差和随机误差成分）也有助于解释平均评分中看到的特征。

人员监控

在 R2O 流程的最后阶段，监测业务预报性能的分析人员还负责查看 e-suite 的性能。 在最终并行运行期间，分析人员还可以访问 e-suite 和 o-suite 生成的全部产品，并在每日报告中评论两者之间的差异 (无论是正面还是负面)。 在 RD 和 FD e-suite 结束时，通常有大约 1 年的干净 e-suite 与 o-suite 预报数据用于数据同化 (包括集合数据同化 EDA 和高分辨率分析) 以及高分辨率预报，以及大约 100 个中范围/月度集合 (ENS) 案例。

决策

如果结果被认为是令人信服、稳健且基于足够大的样本案例，IWG 将向管理层建议是否实施新周期，并提出实施日期。 一旦管理层决定是否继续并确认实施日期，用户将被告知。 确保用户在业务变更前有足够的准备时间：

  • 小变更：至少提前 4 周，不需要用户进行大量工作即可继续使用数据
  • 重大升级：至少提前 3 个月，例如分辨率更改

除非出现任何不可预见的问题，新的 IFS 周期将在计划的实施日期替换业务周期，e-suite 将停止运行。

6. 用户需求与R2O流程

新需求

用户可能会提出需要在新的 IFS 周期中解决的问题。 例如，他们可能要求生成新的模式参数 (例如，几年前他们要求对风场的后处理结果也生成 100 米高度风场，以用于风电场应用)； 或者他们可能要求调整数据分发时间表。

所有请求都会被考虑，并对那些被认为适合实施的请求进行更详细的分析。 技术咨询委员会 (TAC) 在这些请求的优先级排序方面发挥积极作用。 如果这些请求需要对模式进行更改，则需要将其纳入 R2O 流程：

  • 少量工作：直接交给相关领域的科学家，并要求他们在准备新模式周期时考虑这些请求
  • 大量工作：例如涉及到整个业务套件组织方式的调整，这些请求将在 4 年计划和 1 年详细计划的规划阶段讨论。 如果被接受，所需的工作将被纳入 4 年或 1 年详细计划中，并按照常规流程推进

模式问题

此外，用户可能会发现业务预报中的错误和问题。对此，问题会被立即讨论：

  • 如果错误严重且存在快速解决方案：例如明确是由某个“BUG”引起的，则解决方案会在多个案例中进行测试。如果干净和并行实验表明修复能带来更好的结果，则会实施该修复
  • 如果没有快速解决方案，或者并行实验的结果不一致：研究部门 (RD) 会讨论是否有可能在即将到来的 IFS 周期中解决该问题。如果有可能，则按照上述流程推进工作，并将变更纳入下一个可用或合适的周期中。如果不可能，则将讨论转移至规划阶段

OpenIFS 项目

使用 ECMWF 模式的科学家也可以影响模式升级，例如参与 OpenIFS 项目的科学家。 该项目为研究机构提供了 ECMWF IFS 某些组件的易于使用版本：IFS 预报能力 (无数据同化)、单柱模式 (SCM) 版本以及相关的软件和文档支持。 OpenIFS 在 ECMWF 设有一个技术支持团队，但详细科学支持的资源有限。 该项目于几年前成立，旨在增加 IFS 的外部学术用户数量，从而加强 ECMWF 与学术机构之间的合作，使 ECMWF 能够更轻松地将外部的新开发成果集成到 IFS 中。 这种反馈的一个例子是在最近的 IFS 周期中加入了允许模式以单精度运行的更改：这项工作是与牛津大学合作使用 OpenIFS 模式版本完成的。

7. R2O流程的持续审查活动，包括IDEA项目

R2O 流程，特别是其最后阶段 (最后8-10个月的工作)，最近已经过修订，并仍在持续审查。 这一过程得益于内部项目 IFS Development and Evaluation (IDEA) 项目的创建，该项目于 2016 年启动，旨在改进 IFS 周期的交付流程。 IDEA 项目是一项跨部门活动，分为三个主题：开发与测试、评估与诊断、沟通。 其职责是全面审视 IFS 周期开发过程，识别并实施改进措施，以确保我们能够高效地进行研究，并有效地将其转化为业务应用。 项目涉及许多不同方面，其中一些已经实施，另一些仍在进行中。

一些关键成果包括：

  • 提高计算资源利用效率：确定了用于数据同化和预报的降低分辨率测试套件配置，现已在 RD 的开发测试中广泛使用，并指定了相关的控制实验方案。 这不仅提供了相关的评估结果，还提高了超级计算机的吞吐量并减少了存档数据量。
  • 明确合并个人贡献的流程：确保在早期发现任何潜在的相互影响，并在团队/部门内进行适当测试。 一旦准备就绪，这些经过测试的预合并贡献将由 IFS 部门进行系统性合并和测试，从而确保科学和技术变更的可追溯性，以便在出现意外结果或相互作用时能够快速定位问题。
  • 引入 JIRA 软件项目管理工具：这一重大改进在 43r3 周期中实施，为 IFS 提供了一个集中存储所有开发信息的平台。 JIRA 是一流的软件开发管理系统，可以系统地记录从漏洞修复到重大科学改进的所有开发信息，并提供透明、可搜索的数据库。 每次代码变更都在系统中记录，包括变更内容、相互作用、已执行的测试和评估以及其他详细信息（如对 R2O 流程其他部分的依赖）。 例如，IFS 代码变更中新增的输出参数可以在 JIRA 中与成员国用户请求关联，还可以与数据治理关联，确保信息传递至 FD 及外部用户，作为新的业务产品。 JIRA 的引入有助于项目管理和版本交付，改善 ECMWF 内部及成员国、合作国和外部合作机构之间的沟通，并实现 IFS 相关文档的集中管理和优化。
  • 早期技术测试：建议在 R2O 流程早期进行更多技术测试。 随着配置集的增加，需要确保一个配置的变更不会导致另一个配置出现问题。 如果在早期进行测试，可以比在后期合并过程中更快地诊断和修复问题。 这可以通过创建标准、快速运行的技术测试并明确验收标准来实现。 长期来看，这些测试可以自动化，为 IFS 研发流程向 持续集成 (CI) 模式转变奠定基础。 CI 是一种标准的软件开发模式，通过频繁测试 (例如每日) 将各个分支持续合并到一个聚合开发分支中。 这种模式可以显著缩短反馈周期，使科学和技术问题能够在早期阶段被识别并解决，而不会在长时间独立开发后才暴露。
  • 改进沟通流程：例如，让 FD 更早参与 IFS 周期会议，并加强跨部门之间的评估结果交流。
  • 改进文档流程：涵盖多个层面，包括代码开发人员的测试程序，将 IFS 科学文档的更新更紧密地与 IFS 周期流程相结合，为用户提供更全面的业务输出参数文档。

这些只是最近针对 R2O 流程的部分活动，旨在促进沟通并为高效流程提供工具和环境。 在确保 IFS 升级快速实现新创新的同时，还需要平衡仔细测试和管理影响，以确保为用户提供稳健且成功的实施。

IDEA 项目预计将在 2017 年结束，届时将完成两个 IFS 周期的实施。 未来计划在每个周期后继续审查 R2O 流程，借鉴经验教训，并识别需要进一步改进的领域，如软件基础设施、测试框架、合并与测试策略、评估指标、诊断工具和沟通机制等。

8. 总结

本文件重点介绍了 ECMWF R2O 流程的关键阶段，并讨论了其一些关键方面的组织方式：

  • 第1节：描述 ECMWF R2O 流程的六项主要活动：规划、开发、测试、实施 (进入业务)、评估（和诊断）以及沟通
  • 第2节：讨论规划与开发活动，如何规划长期、中期和短期开发，以及它们之间的相互联系。讨论规划如何传达给 ECMWF 委员会
  • 第3节：回顾在从规划到业务实施等其他 5 项活动期间进行的沟通活动
  • 第4节：重点介绍 R2O 流程最后 8-10 个月的关键阶段。 讨论这些阶段如何由一个工作组管理，并展示了这些阶段的时间安排，特别是 IFS 周期 43r3 的时间表 (2017 年 7 月 11 日实施)
  • 第5节：简要回顾用于评估拟议模式变更的性能和评估指标
  • 第6节：展示如何在 R2O 流程中考虑用户请求
  • 第7节：讨论 ECMWF 正在进行的一些内部活动，包括 IDEA 项目，这些活动正在继续审查 R2O 流程，并探索进一步简化和改进的可能性

拥有清晰、稳健且高效的 R2O 流程是 ECMWF 取得进展的关键，继续评估和审查 R2O 流程以识别未来进一步改进的机会非常重要。

注：正文部分到此结束，以下部分为译者添加

以下部分正在撰写中，有待后续更新

讨论

测试

所有的流程都以测试为首要前提

平行试验提供服务

MESO 1KM系统

通知用户

新HPC切换

参考