视界:机器学习会替代现有的天气预报模式么?
声明
本文正文内容翻译自ECMWF官网中Peter Dueben的文章《Will machine learning replace conventional weather prediction models?》,版权归原作者所有。翻译底稿来自Google翻译。
正文
作者是研讨会Machine Learning for Weather and Climate Modelling的组织者之一。该研讨会于9月第一周在牛津的 Corpus Christi College 召开。为期四天的 workshop 讨论未来如何使用机器学习技术来改善天气和和气候模式。
什么是机器学习
一般来说,机器学习工具用于开发计算机模型,能够从大量“输入”和“输出”数据对中表示一个复杂的“系统”。 “系统”可能是一个观察一幅图片(输入)并理解图片的内容(输出)的人;可能是一个考虑棋盘上所有棋子位置(输入)并决定下一步(输出)的棋手;或者一名估算自行车位置和速度(输入)并决定是否超车(输出)的司机 如果有足够数量的输入/输出对用于训练,及其学习可以用来开发数值工具,用来模仿由相当复杂的系统所作的决策。
机器学习该如何用到数值天气预报中
在数值天气预报的整个流程中,机器学习由很多潜在的应用领域。 在这里,“系统”可以是一种在数据同化过程中选择和纠正观测数据的工具; 可以是一种用于将显示世界中观测数据投影到模式中可以使用的变量; 或者是数值预报模式的一部分——例如给定表面温度、云形状和太阳辐射条件下预测大气热效应的辐射方案。 也可以是一种用于天气预报模式输出数据后处理的工具,例如在预报结果中发现极端天气事件或者对特定位置的预报进行偏差订正。
实际上,研讨会的报告涵盖了天气和气候模式工作流中的许多应用领域。 了解哪些已经成功使用机器学习工具的领域,以及那些需要更多工作才能使及其学习变得与常规模式一样好的领域,的确令人鼓舞。
使用机器学习对于在天气和气候模式并不是全新的方法。 可以说机器学习已经成为许多研究领域的标准方法,例如计算两个预报变量的相关性。 也可以说,数据同化过程(在ECMWF中用于生成数值天气预报的初始场)可以被视为机器学习应用。 但是,新工具的开发(例如具有大量自由度的深度神经网络)使我们能够使用比传统应用领域复杂得多的机器学习系统。 此外,借助现在的计算基础架构,我们可以存储并处理更多的输入输出数据对,这使得机器学习工具比过去更加强大。
实际上,机器学习在很大程度上影响着未来超级计算机的发展。 这意味着天气和气候模式社区将需要在不久的将来学习如何有效利用针对特定应用优化的硬件(需要以非常低的数值精度使用密集线性代数)。
进展和挑战
在研讨会上,来自世界各地的100多位科学家通过讲座,海报展示和分组讨论,讨论了天气和气候模式中机器学习的进展和挑战。 研讨会汇集了来自气象和地球科学,计算,应用数学和统计学的研究人员,以及来自大学,天气和气候研究中心以及行业的科学家。 ECMWF的四名工作人员参加了研讨会,并进行了三场演讲。
这些贡献再次表明,机器学习非常强大,并且机器学习应用的范围在过去几年中已显著增加。 实际上,由于研究进展惊人,目前很难及时了解最新动态,这正是研讨会如此重要和及时的原因之一。
在研讨会期间,我们还讨论了天气和气候模式领域使用机器学习工具时遇到的许多挑战,这些挑战需要社区解决。 例如,很难利用有关物理系统的现有知识来改进机器学习工具,因为此类工具会从数据中学习并作为一个“黑匣子”应用使用。 因此,这些工具很难表现出保护性,如果使用新的输入(训练过程中未使用的数据集),则存在数据训练的模型失败的风险。 在超级计算机上运行时,将机器学习软件与传统模型链接起来也具有挑战性。
机器学习工具学习的“系统”也可能是现实世界中的“天气”。 该工具将使用特定时间的大气状态(输入)来预测稍后时间的状态(输出)。 一旦经过训练,这种工具就可以用来预测未来,并可以与传统天气预报模式相同的方式实际产生天气预报。 研讨会上有一些贡献试图做到这一点(包括作者自己的论文)。
机器学习在数值天气预报中的所有可能应用中,可以将这一应用视为最具挑战性的应用。 到研讨会结束时,在回顾并讨论了各种各样的可能性和之后,与会人员之间仍未就这种机器学习模型是否能够在将来的某个时候击败传统的天气预报模式达成共识。 意见范围从:“肯定是”到“我会赌我的房子反对”。作者尚不知道这是否将成为可能,它当然需要在天气和气候科学以及深度学习和计算机科学领域进行很多非常具有挑战性(因此很有趣)的研究。 作者期待贡献!
致谢
研讨会的科学组织由Matthew Chantry,Hannah Christensen,ECMWF研究员Tim Palmer(均来自牛津大学)和作者本人完成。 我们已经从Philippa Towler那里获得了对整个组织的重要支持。 这次会议之所以成为可能,要归功于亚马逊, the Copernicus Atmosphere Monitoring Service(CAMS),the Copernicus Climate Change Service (C3S),ESiWACE Centre of Excellence,NVIDIA ,the Office of Naval Research 和 Vulcan 的财务支持。
背景
翻译这篇文章的初衷来源于最近考虑开始学习机器学习。
同事说对于我们科现在的工作职责和任务来说,学习机器学习没有实际的用处。 在学习新技术的时候,应该首先思考是否在工作中能用到,否则无法应用就相当于白费时间。
我之前也是同样的想法,所以一直以来都谨慎地看待随着深度学习而重新流行起来的机器学习领域。 不过,随着九月份参加大气科学基础知识培训班和近期对单位未来发展的关注,我意识到如果还是只局限于目前的工作职责,将会极大限制未来的发展空间。所以应该跟随行业的潮流,将自己的眼界放宽到整个行业,并时刻谨记没有什么工作是一成不变的。
翻译这篇文章主要是给我自己关于机器学习与数值天气预报相关联的概念,坚定自己学习机器学习的信心。 同时也希望本文能给一些处境与我一样的同行一些启发。