视界:ECMWF在线-社区、协作和赋权

目录

Helen Setchell, Sylvie Lamy-Thépaut, Andrew Brady. ECMWF online – community, collaboration and empowerment. ECMWF Newsletter Number 167 - Spring 2021, 2021.4. https://www.ecmwf.int/en/newsletter/167/computing/ecmwf-online-community-collaboration-and-empowerment

以下正文部分翻译自 ECMWF Newsletter Number 167 的文章《ECMWF online – community, collaboration and empowerment》。 翻译底稿来自 Google 翻译。

正文

网络使全球合作,可以促进数值天气预报的发展,并使我们能够分发我们的产品。 我们致力于不断开发和完善 ECMWF web,这是我们与世界相连的在线界面。 目的是支持 ECMWF 战略,并响应技术以及用户的行为和需求变化。 通过构建有用且可用的 ECMWF web,我们为授权用户的在线社区提供了协作和分享知识的场所。 通过用户友好和直观的在线界面,他们可以有效地自助使用 ECMWF 产品和服务。

自从我们在 ECMWF 中对 Web 开发的最近更新 (Setchell,2018) 以来,我们已经对 Web 中那些带来最大价值和最常使用的领域进行了重大更新。 我们已经通过新的经过改进的图表浏览器免费提供了使用开放许可证 (CC-BY-4.0) 协议的实时图表,并且改善了交互式在线图表 ecCharts 的性能。 将来,用户还可以期望看到按需绘制的观测统计数据。

对于那些想尝试数据的人,我们创建了新的在线 “集线器 (hubs)”。 我们还开始开发新的数据浏览器,以使我们的数据更易于发现,选择和使用。

我们通过新闻,博客,社交媒体,出版物,员工资料,在线活动,eLearning 课程,支持门户,文档和论坛,提供更多在线参与和知识分享的机会,从而发展了利益相关者和用户的在线社区。

所有这些发展都依赖于技术。 我们一直渴望使用即将到来的 ECMWF 数据中心迁移到博洛尼亚来显着改善 ECMWF 网站的性能,并开发用户帐户和配置文件服务来帮助管理用户与 ECMWF 之间的关系。

有关这些进展的更多详细信息,请参见下面的内容。

图表

图表仍然是 ECMWF 网站中访问量最大和使用最多的部分之一。 它们使用户能够通过单击按钮来可视化实时预报数据。

开放图表

作为开放数据路线图的一部分,ECMWF 于 2020 年 10 月向公众开放了其网络预报图表;所有图表均可依据 CC BY 4.0 许可条款 (带有一些其他使用条款) 免费获得。 这是启动全新的图表浏览器应用程序的机会。 这个新的应用程序使用户可以更轻松地浏览并在社交媒体上分享图表。 我们还计划发布一个小部件,使任何人都可以在其网站上嵌入实时 ECMWF 图表。

最近,我们在图表中添加了气象图工具提示,以帮助用户发现此应用程序的丰富功能之一 (请参见图1)。 我们立即看到使用量有所增加,从而提高了用户对预测不确定性的理解。 该应用程序是在现代 Kubernetes 基础设施上启动的 (请参见Brady,2019),以确保我们为增加流量做好了准备。 这是以这种方式部署的第一个预报 Web 应用程序。 包括 ecCharts 和数据服务应用程序在内的其他应用程序将很快跟进,使它们具有很高的性能,并准备好迁移到博洛尼亚。

图 1,图片来自原网页:某些开放图表可以点击,提供对 ENSgram (一种集合预报气象图) 和其他基于点的产品的访问,例如该位置的垂直剖面和极端预报指数/累积分布函数 (EFI/CDF)。 1 月底引入了工具提示以突出显示此功能,从而导致其使用量立即增加。

ecCharts:交互在线图表

ecCharts 的开发仍在继续,去年推出了用于地图查看器的完善开源软件,推广了图块的使用以提高缓存的性能,并将矢量图块用于静态图层。 Web Map Service (WMS) 通过 OGC WMS 标准提供对所有 ecCharts 层的访问。 该服务在会员国和合作国中越来越受欢迎,不断请求新的层,并在可能的情况下将其添加到系统中。

迁移到 Kubernetes 环境以及持续的集成和部署方法将提高性能以及我们为用户发布新功能的速度。 在接下来的三年中,还将研究在 ecCharts 中提供归档数据访问的可能性。

按需绘图

通过按需绘图的 Web 界面,而不是当前每天或每周更新的静态监视页面,将可以改善内外部用户对观测监视统计信息的访问。 新工具将使用 ecCharts 的概念和技术元素,并将减少存储大量静态文件的需求。

译者注:动态生成图表,仅保留统计数据。目前 NWPC 检验网站已采用该技术路线。

数据和研究

我们将继续使我们的数据更具可发现性,可访问性和共享性。 多年来,随着需求的发展,我们为数据构建了多个用户界面,每个用户界面都有其自己的功能集。 最近,包括一个用于客户许可查询的界面和一个用于修改产品发布请求的界面,目的是创建一套自助服务工具。 我们现在正在启动一个项目,以合理化这多个界面,并探索将它们整合到一个统一的 ECMWF 数据门户中。 我们希望这将极大地帮助用户快速找到,选择和访问适合其目的的最佳数据。

为了使我们的数据集更易于引用和共享,并改善搜索引擎对它们的索引方式,我们已开始为数据记录分配数字对象标识符 (Digital Object Identifiers, DOIs) 和标准化的元数据,并在链接到出版物时将研究实验数据开放访问。 研究人员现在能够跟踪期刊引文到一个简单的界面,使他们能够下载数据并复现结果 (图 2)。

图 2,图片来自原网页:最近发表的研究实验的示例,包括通过 ECMWF Web API 下载数据所需的脚本的示例。

The Integrated Forecasting System hub (IFShub) 将提供一组基于 Web 的更高级别的界面,用于设置 IFS 实验,监视进度并获得初步的图形和统计信息以查看结果,在本新闻通讯的另一篇文章中将进行更详细的介绍。 IFShub 的设计将考虑到 IFS,OpenIFS,科研和业务需求,允许从远程 Web 浏览器控制流程,并使用气象档案和检索系统 (Meteorological Archival and Retrieval System, MARS) 从数据档案中检索结果。

用户将能够在 ECMWF 托管的 JupyterHub 上创建,共享和执行 Jupyter 笔记本,Jupyter 笔记本是在科研社区中广泛使用的基于 Web 的交互式环境。 这将允许用户将说明性文本与笔记本中的处理和可视化结合起来,对于培训也非常有用。 然后,用户将能够通过笔记本电脑上的浏览器在 ECMWF 计算资源上执行这些笔记本。

新的系统计费单元 (System Billing Unit, SBU) 应用程序将使会员国和合作国用户更好地了解其对高性能计算工具 (HPCF) 的使用情况。 它还将使管理员能够在项目之间重新分配资源,并负责计算资源的管理。

社区,知识共享和支持

作为气象界的领先组织,ECMWF 使用网络技术来建立和加强我们的社区并增进知识。

我们提供员工资料 (https://www.ecmwf.int/en/about/who-we-are/staff-profiles) 帮助他人找到 ECMWF 合作者,并提供在线出版物资料库 (https//www.ecmwf.int/en/publications),使用 Digital Object Identifiers (DOI) 和Open Researcher and Contributors IDs (ORCID) 将 ECMWF 员工及其出版物与更广泛的社区联系起来。 我们还提供博客和论坛,以促进对话和活跃的社交媒体形象。 我们旨在继续在这些领域开展活动,以建立社区并提供更多合作机会。 在未来的几年中,我们将特别着眼于建立到提供第三方活动的网站的更流畅,有效的链接。

对于考虑加入 ECMWF 员工社区的人们,我们将在 2021 年实施一个新的招聘门户。 这将使我们的招聘和选拔流程更加高效,并为那些希望加入 ECMWF 的人们提供更好的入职体验,从而使其“hit the ground running”。

知识共享

为了确保用户拥有充分利用 ECMWF 产品和服务所需的知识,我们将学习内容整合到了 eLearning 门户中。 这是涵盖各种主题的在线培训的绝佳选择 (图3)。 它对所有人开放,到目前为止,已有近一千名用户注册了 31 个可用课程中的一个或多个。 用户可以在自己的时间上课,并通过门户网站管理自己的学习。 我们还使用该平台开设了两个完全虚拟的课程。

图 3,图片来自原网页:ECMWF eLearning 课程的用户视图,在 https://www.ecmwf.int/en/learning/education-material/elearning-online-resources 上显示了所有可用的课程以及评分和您的进度。

现在,通过专用的事件管理平台管理研讨会和培训活动,该平台与我们的网站集成在一起,以提供无缝的用户体验。 这使用户可以进行自我注册,演讲者可以上传和管理自己的资料 (包括最新的演示文稿更新),从而增强了用户的能力并为活动主持人 ECMWF 带来了效率提升。 我们对 Vimeo 的使用使我们能够轻松地记录事件并共享记录,以确保在世界各地,任何时间任何人都可以使用在这些事件中传授的知识。

将来,我们希望利用在大流行 (this pandemic) 中汲取的经验教训,增加虚拟讲习班,研讨会和培训课程。

支持门户,聊天机器人和文档

随着 ECMWF 以自己方式变得更加开放,我们将看到用户数量的增加。 因此,我们必须对支持服务进行现代化改造,确保用户可以自助解决我们文档中已包含的答案。

在 2021 年初,我们启动了新的在线支持门户,以帮助将用户定向到他们所需的文档。 如果用户需要提出查询,那么门户网站为用户提供了一个跟踪其打开查询的界面,并提高了我们处理这些查询的效率 (图4)。

图 4,图片来自原网页:新的支持门户网站,使用户可以轻松搜索所有 ECMWF 文档,或遵循指向感兴趣主题的引导路径,并在需要时提出请求 (https://confluence.ecmwf.int/site/support)

作为 the ECMWF Summer of Weather Code 2020 的一部分,我们能够为 ECMWF 网络创建聊天机器人或“虚拟助手”的原型。 2021年,我们将在 Copernicus Climate Data Store (CDS) 上开展一项试点,目的是在证明它能成功帮助用户的情况下,将其在 ECMWF 网站上实施。 这个想法是为简单的常见问题提供即时答案,而用户无需离开他们所在的网页。 将来,我们将利用 AI 技术和使用数据来查看聊天机器人是否可以开始回答更复杂的查询。

支持有效的自助服务系统 (例如统一支持门户和聊天机器人) 是查看,合理化和标准化我们的用户文档的主要动力。 我们正在分析用户提出的各种问题以及如何使用我们的文档,以消除对查询的需求 (通过改进 Web 界面) 或改善文档提供的答案。

您与我们的关系

为了更好地了解和管理我们与用户社区的关系和互动,从而提供更好的服务,我们正在统一系统之间以及组织之间的用户身份,并对中心的身份和访问管理 (Identity and Access Management, IAM) 系统进行全面改造。

在 2020 年 1 月,我们迈出了第一步,使我们的 Web 登录系统合理化并实施了 Single Sign On (SSO)。 我们将继续在整个 ECMWF 网站上推出此功能,以便即使用户访问 ECMWF 网站的多个区域,用户也只需登录或退出一次。 将来,我们将研究联合登录的使用;这可能会允许用户使用第三方凭据登录。

在整个 2020 年,我们一直在后台准备更新我们的用户管理系统。 该产品将于 2021 年下半年投入生产环境,使我们能够进一步提高可用性以及我们如何确定和授权 ECMWF 服务用户的访问权限。 我们即将推出的功能包括多因素身份验证以及改进的委托管理和自助用户管理。 目的是在不降低可用性的情况下提高安全性。

我们正在寻找一种使用户能够查看与我们之间关系的摘要的界面:他们自己的私人资料页面。 目的是安全地显示我们存档的任何个人详细信息,并提供访问喜爱的图形产品,MARS 和 Web API 请求队列,open support tickets,喜爱的用户文档页面,邮件列表成员资格,卫星警报,MARS 活动,HPCF 活动和使用情况等。 其中一些已经存在,例如图表面板和 Web API 队列,而某些正在开发中。

网站性能

最大限度地利用网络技术是共享我们的知识并向全球提供 ECMWF 产品和服务访问的关键。 我们面临的持续挑战之一是跟上技术的进步和颠覆。 我们的目标是始终选择合适的技术来满足需求,并为我们的用户提供快速,简便,可靠,安全且现代的在线交互。

在 BOND 计划 (the migration of the HPCF to Bologna) 和市场的部分推动下,ECMWF 借此机会现代化和重塑了我们提供基于 Web 的关键服务的方式,以确保它们为 ECMWF 和我们用户提供可持续的良好价值。 在某些情况下,这意味着从传统的内部系统 (in-house systems) 迁移到高可用性和得到良好支持的云托管系统 (cloud-hosted systems)。 另外,这意味着寻求具有必要专注点和专业知识的合作伙伴,以帮助我们更有效,更高效地提供此类服务。

就像现实世界中只有一个 ECMWF 一样,即使在跨多个不断变化的技术和网站进行交付的情况下,也始终只会有一个 ECMWF 网络。

征求反馈

ECMWF 将继续发展其对网络技术的使用,以实施其战略并满足用户的行为和需求,重点放在可带来最高价值并确保我们的网络性能卓越的领域:

  • 图表
  • 数据
  • 文档
  • 在线支持

如果您对 ECMWF “web of websites” 有任何反馈意见,我们总是希望收到您的来信。 您可以通过访问我们的在线帮助页面进行联系,该页面可以从 ECMWF 网站的任何位置进行访问。

进一步阅读

Brady, A., 2019: ECMWF adopts new application platform, ECMWF Newsletter No. 161, 17–18.

Setchell, H., 2018: ECMWF improves web user experience, ECMWF Newsletter No. 156, 16.

讨论

以下仅代表笔者写本文时的个人观点,不排除未来有改变

Web 网站是共享信息的最佳方式。只要有浏览器,任何联网设备都可以访问在线网站。 Web 网站依赖的 HTTP 协议也是最容易使用的信息交换途径。

文中介绍了四个方面的进展,下面笔者对前三个方面分别进行简要的讨论。

绘图

我们的网站 (及合作网站) 也提供大量的预绘制图片,涵盖几乎所有的业务系统。 图片主要使用 NCL、GrADS 等工具绘制,受存储空间限制,仅支持查看最近的预报结果。 与 ECMWF 的早期策略不同,从一开始,我们放到互联网上的所有图片产品都可以公开浏览,没有任何权限限制。

对于 ecChart 类似的交互式在线绘图工具,我们也通过包括工程项目、部门间合作等多种方式积极开展开发工作。 新版 NWPC 官网可能会上线基于 Web GIS 引擎的图形产品浏览工具。 同时也正在开发面向内网(或互联网?)的产品服务网站,提供数据下载和图片产品浏览。

下面列出笔者目前已知的一些展示图片产品的网站(未必全面),更多网站会在后续进行更新。

公开网站包括

  • NWPC 官网:http://nwpc.nmc.cn/sites/main/index.htm
  • NMC 数值预报栏目:http://www.nmc.cn/publish/nwpc/grapes_gfs/nh/500hPa-hgt.htm
  • WMC-BJ 网站天气模式栏目:http://www.wmc-bj.net/publish/Weather-Models/GRAPES_GFS_new/1a.html

内部网站包括

  • 天气业务内网数值预报栏目:http://10.1.64.146/npt/product/show/38656/56434

虽然我在绘图方面不是专业人士,但我对推动部门开发基于 Python 的绘图工具包非常感兴趣,尝试替换现有的 NCL 和 GrADS 绘图脚本,并致力于提供一套同时能用于业务和研发的绘图工具包。

数据

数据服务是我一直感兴趣并始终在寻找合适切入点的领域。 公开范围的数据服务不属于部门的职责范围,所以对我来说,本文介绍的 ECMWF 数据服务的经验只能应用在单位内部的研发支撑方面,包括

  • 为数据检索接口提供 Web 界面
  • 使用 HTTP 协议传输数据
  • 数据平台与模式中试平台对接
  • 提供支持远程访问的 Jupyter Notebook 环境,为数据分析提供方便的运行环境

文档

帮助文档非常重要,但撰写帮助文档却不是一件容易的事情。 到目前为止,我依然没能为自己开发的任何项目撰写一篇完整的文档。 而工具被他人使用的关键条件之一就是要提供配套文档。 例如 nmc-dev/meteva 项目提供非常详尽的 文档,可以当成检验的入门参考材料。

撰写文档需要花费大量时间,在连开发新功能的时间都比较紧迫的当前,显然文档不会成为首要目标。 如果工具仅自己使用或者仅在单位内部使用,那似乎就更没有必要撰写文档了。

不过,如果有信心将开发的工具推广给更多的用户,我认为文档还是软件项目不可获取的组成部分。 在申请今年的青年基金专项任务时,我也将撰写 nwpc-oper/nwpc-data 的文档作为目标之一写入任务书,敦促自己向同行学习,尝试从使用者的角度撰写工具说明文档。

参考

原文:

https://www.ecmwf.int/en/newsletter/167/computing/ecmwf-online-community-collaboration-and-empowerment