Azure HBv2虚拟机ec云存储架构lipse 80000内核用于MPI HPC

文档 虚拟云 浏览

小编:HPC优化的虚拟机现已提供azurehbv2系列虚拟机(VMs)现在在美国中南部地区普遍可用。HBv2 VMs也将很快在西欧、美国东部、美国西部2、美国中北部、日本东部上市。HBv2 VMs为各种真实世界

Azure HBv2虚拟机eclipse 80000内核用于MPI HPC

HPC优化的虚拟机现已提供azurehbv2系列虚拟机(VMs)现在在美国中南部地区普遍可用。HBv2 VMs也将很快在西欧、美国东部、美国西部2、美国中北部、日本东部上市。HBv2 VMs为各种真实世界的高性能计算(HPC)工作负载(如CFD、显式有限元分析、地震处理、储层建模、渲染和天气模拟)提供超级计算机级的性能、消息传递接口(MPI)可扩展性和成本效率。azurehbv2虚拟机是公共云中第一个拥有Mellanox每秒200千兆位HDR InfiniBand的虚拟机。Azure上的HDR InfiniBand提供了低至1.5微秒的延迟,每虚拟机每秒超过2亿条消息,以及先进的网络计算引擎,如MPI集合的硬件卸载和自适应路由,以在最大规模的HPC工作负载上获得更高的性能。hbv2vm使用标准mellanoxofed驱动程序,支持所有RDMA动词和MPI变体。每个HBv2虚拟机都有120个AMD EPYC™ 7002系列CPU核心,时钟频率高达3.3GHz,480GB RAM,480MB三级缓存,无同步多线程(SMT)。HBv2虚拟机提供高达340 GB/秒的内存带宽,比同类x86替代方案多45-50%,比目前大多数HPC客户在其数据中心拥有的速度快3倍。一个HBv2虚拟机能够处理多达4个双精度teraFLOPS和多达8个单精度teraFLOPS。一年和三年的保留实例、现收现付和HBv2虚拟机的现货定价现在可用于Linux和Windows部署。有关五年保留实例的信息,请与Azure代表联系。临界天气预报的破坏性速度数值天气预报(NWP)和模拟一直是HPC最有益的使用案例之一。利用数值天气预报技术,科学家可以更好地了解和预测我们的大气行为,而大气的变化反过来又推动着从协调航空运输、全球货物运输、确保业务连续性以及在最恶劣天气下做好重大灾害准备等方方面面的进步。微软认识到这一领域对科学和社会的重要性,这就是为什么Azure分享美国国家海洋和大气管理局(NOAA)全球预报系统(GFS)生成的每小时天气预报数据,作为Azure开放数据集计划的一部分。Cormac Garvey是HPC Azure全球团队的成员,在世界上最强大的超级计算机上支持天气模拟团队有着丰富的经验。今天,他出版了一本在hbv2vms上运行广泛使用的天气研究和预报(WRF)版本4模拟套件的指南。Cormac使用了371M网格点模拟飓风玛丽亚,这是2017年袭击加勒比海的5级风暴,分辨率为1公里。之所以选择这个模型,不仅是因为它是HBv2-VMs的一个严格的基准,而且因为快速准确地模拟危险风暴是气象学界最重要的功能之一。图1:WRF从1加速到672azurehbv2虚拟机。节点(虚拟机)平行过程平均时间(s)每时间步长缩放比例效率加速(基于虚拟机)112018.51100%122408.9104%2.0844804.37106%4.2489602.21105%8.38161920年1.16100%15.96323840个0.58100%31.91647680个0.3193%59.7112815360个0.131110%141.3025623040个0.08288%225.7351246080个0.045679%405.9264057600个0.039374%470.9967280640个0.038472%482.03图2:azurehbv2vms上WRF的缩放和配置数据。注意:对于某些扩展点,使用30mpi列组和每个列组4个线程可以获得最佳性能,而在其他一些情况下,90mpi列组是最佳的。所有测试都是用openmpi4.0.2运行的。azurehbv2vms执行了"Maria"模拟,具有最多128个vm(15360个并行进程)的超线性可伸缩性。从扩展到本练习中测试的最大规模672个虚拟机(80640个并行进程)的改进继续进行,其中单个虚拟机的速度提高了482倍。在512个节点(vm)上,我们观察到性能提高了约2.2倍,相比于2016年首次跻身20强最快计算机的领先超级计算机。提高缩放效率的选通因子?371M网格点模型,即使是已知最大的WRF模型之一,在如此极端的并行处理水平下也太小了。这为领先的天气预报组织打开了大门,可以利用Azure来构建和运行更高分辨率的模型,这些模型具有更高的数值精度和对这些复杂天气现象更现实的理解。访问Cormac在Azure技术社区上的博客文章,了解如何在我们的H系列虚拟机家族(包括HBv2)上运行WRF。基于超现实CFD的更好、更安全的产品设计计算流体力学(CFD)是许多Azure客户的模拟驱动业务的核心。客户的一个常见要求是在尽可能保持成本不变的情况下,将其能力"提高10倍"。特别是,客户通常会寻求通过在更高分辨率下模拟模型来显著提高模型精度的方法。考虑到许多客户已经用每个作业大约500-1000个并行进程来解决CFD问题,这是一项艰巨的任务,意味着至少要线性扩展到5000-10000个并行进程。去年,Azure实现了这些目标之一,它成为第一个将CFD应用程序扩展到10000多个并行进程的公共云。随着HBv2虚拟机的发布,Azure的CFD功能再次提高。Jon Shelley也是Azure全球HPC团队的成员之一,他与西门子合作验证了其有史以来最大的CFD模拟,这是一款以著名的勒芒24小时比赛命名的跑车的10亿单元模型,网格分辨率比Azure去年测试的高10倍。Jon出版了一本在HBv2虚拟机上大规模运行Simcenter STAR-CCM+的指南。图3:Simcenter STAR-CCM+从1到640 Azure HBv2虚拟机的扩展效率节点(虚拟机)平行过程解算器运行时间缩放效率加速(基于虚拟机)8928337.71100%1161856年164.79102.5%2.05323712个82.07102.9%4.11647424个41.02102.9%8.2312814848个20.94100.8%16.1325629696个12.0287.8%28.1032037120个9.5788.2%35.2938444544个7.11798.9%47.4551259392个6.41782.2%52.6364057600个5.0383.9%67.14图4:azurehbv2虚拟机上STAR-CCM+的缩放和配置数据注意:给定的缩放点可以在每个虚拟机上实现90、112、116或120个并行进程时获得最佳性能。下面的绘图数据显示了最佳性能数据。所有测试都是用HPC-X MPI-ver运行的。2.50美元。azurehbv2再一次以线性效率执行了这个具有挑战性的问题,在128个vm中有超过15000个并行进程。从那时起,高扩展效率继续保持,在44000多个并行进程中达到接近99%的峰值。在最大规模的640个虚拟机和57600个并行进程中,HBv2提供了84%的扩展效率。这是有史以来使用Simcenter STAR-CCM+进行的最大规模CFD模拟之一,现在可以由Azure客户复制。访问Jon在Azure技术社区网站上的博客文章,了解如何在我们的H系列虚拟机系列(包括HBv2)上运行Simcenter STAR-CCM+。极限高性能计算机I/O符合成本效益云上越来越多的场景是按需HPC级并行文件系统。其基本原理是直截了当的;如果客户需要执行大量计算,则该客户通常还需要将大量数据移入和移出这些计算资源。抓住了吗?与传统的本地HPC文件系统设备进行简单的成本比较可能是不利的,这取决于环境。然而,在Azure HBv2 VMs中,NVMeDirect技术可以与超低延迟RDMA功能相结合,以提供按需"突发缓冲区"并行文件系统,而不需要额外的成本,只需为计算目的配置HBv2虚拟机。BeeGFS就是这样一种文件系统,在入门级和极端规模的用户中拥有快速增长的用户群。BeeOND文件系统甚至被用于新的HPC+AI混合超级计算机"tsubame3.0"的生产中下面是一个在352hbv2vm上创建的示例BeeOND文件系统的概要,它提供308tb的可用、高性能的名称

当前网址:http://www.vmchk.com//keji/1588.html

 
你可能喜欢的: