视界：推动数值预报进步的科技之人工智能和机器学习

meteorology/view, meteorology/ml
目录

本文翻译自《WMO Open Consultative Platform White Paper #1 - Future of weather and climate forecasting》中 3.2.4 Innovation through artificial intelligence and machine learning 章节

本文翻译自 WMO “天气气候预报未来” 白皮书的 3.2.4 章节。 底稿来自 Google 翻译。

通过人工智能和机器学习进行创新

正文

大数据广泛存在于当今生活的各个领域，为收集和处理观测数据（包括大量非常规数据）的新方法带来期望。 这为大力开展新的预报方法和应用带来了巨大的潜力。 在过去几年中，已经出现了基于 AI 和 ML 的预报，在这种发展趋势中，拥有良好 IT 资源的私营气象公司尤其引起了人们的兴趣。 这些新方法的研究和可操作性将在未来十年内加速发展，以前所未有的使用规模为服务提供新机会。 这些发展中有趣的一部分是通过众包 (crowdsourcing) 和非正式合作使公民科学和社区参与其中。 这些发展包括以下内容：

对于过去受不可克服的数据处理挑战所限制的任务，人工智能方法提供了巨大的潜力。 新处理器技术和 AI 方法的结合，允许用于商业应用的大型并行数据处理，实现了天气和气候预测应用。

AI 方法 (这里主要是 ML) 最大的潜力之一就是观测数据的预处理和预报模式输出的后处理。 在这些领域中，需要处理大量的异构数据，以识别数据质量，复杂的多元观测误差结构，识别因果关系模式以诊断模式误差的来源并提取可用于广泛应用的信息。 一些基于 AI 的系统已经显示出与非常短期的有限区域模式相比有竞争力的结果，并且在季节尺度上展示了一定的能力。 长期的历史观测数据记录，再分析和业务预报的可用性为从现有数据中学习以及推导智能分析方法以供业务使用提供了巨大的资源。 机器学习方法也为加速预报系统提供了机会，特别是在可以利用新数据源并将其与传统数据结合或对物理原理没有清晰了解的地方。

机器学习的另一个巨大潜力在于合并不同的数据集，例如天气和社会经济数据，例如空中交通管理/来自机场的运行数据。 机器学习技术的使用可以在提高服务的准确性和自动化方面取得进步，包括在业务预报，决策支持，雷达活动，卫星应用，超本地预报 (hyperlocal forecasting)，基于影响的预测以及对预报员的态势感知方面。 ML 提供了使常规功能自动化的机会，从而使员工能够承担其他更大的增值任务。 机器学习基础科学的进步将不断需要由国家气象水文部门 (National Meteorological and Hydrological Services, NMHS) 和私营部门转化为新产品和新服务。

在意识到 ML 方法的潜力的同时，由于自由度高，系统的非线性以及应用诸如守恒等约束的困难，用神经网络替换整个基于物理学的预报模型是不现实的。 适当的，保守的 EOF 分解可能提供解决某些缺点的途径。 但是，ML/AI 不可能消除对良好的基于物理和动力学的模式的需求。 人们认为，现有数据归档的太小，无法训练像今天的业务系统一样能力的 ML 预报模型，尤其是在罕见天气事件中。 这样的模型也无法探索未来的气候，可能与当今的气候有很大的不同。 良好的无缝 NEWP (numerical Earth system and weather-to-climate prediction, NEWP)/气候变化预测系统的优势不可低估，应继续努力减少其中的系统误差，从而为天气和气候变化研究开发基于物理过程的表示。

ML 的潜在重大突破

ML 的使用将在未来十年内在“经典”模式，数据同化和后处理算法的整个范围内取得重大进展。 它可以应用于天气预报过程的每个步骤。 进步包括：

  • ML 可以提高观测系统的利用率，允许对维护活动进行预先计划，改善质量控制并智能地填补缺失数据
  • ML 可以通过提供更好的压缩率来提高将复杂观测系统中的信息输入到模式数据同化中的能力，这将显着提高正演算子 (forward operator) 的精度和速度
  • ML 可以帮助建模和估计数据同化中的观测误差
  • ML 可以允许合并其他更复杂的次网格物理参数，或在更高分辨率模型 (如大涡流仿真模型 large-eddy simulation models) 提供的数据上训练次网格参数化
  • ML 可以用于数值变量的后处理，从而可以纳入非线性相关性
  • ML 可以通过将模式输出与进一步观测结果或统计相关数据相结合来帮助估计影响

各种各样的开源 ML 框架 (例如 TensorFlow 和 PyTorch)，以及著名的编程语言 (如 Python 或 C++) 一起支持 ML 应用程序的开发。 因此，随着专用加速器的出现，有可能解决大规模的问题。 云基础架构可轻松访问加速器硬件。 如果可以容易地获得气象数据，则中小型企业可以开发成功的应用程序，特别是当它们汇集不同学科的专业知识时。

讨论

最近刚发布气象科技创新工作方案中将新一代信息技术特指为人工智能技术，要加强在气象领域的融合应用。 所以还在犹豫么，赶紧加入到人工智能/机器学习领域吧。

参考

报告网址：

https://library.wmo.int/index.php?lvl=notice_display&id=21856