EMR on EC2使用Spot

本节我们将配置在EMR on EC2上使用Spot + managed scaling

进入EMR页面,先从已有EMR集群的配置中克隆一个新的EMR集群:

image-20231029201454269

不要选include steps:

image-20231029201519483

进入到编辑配置的页面:

image-20231029201618126

选择Instance Fleets。为Core节点添加两种类型,在控制台上最多添加5种机器类型,如果使用CLI,最多能添加30种机器类型:

image-20231029201730336

Instance fleets相比于Instance groups,每个节点组中可以配置多种机器类型(后者只能配置一种)。特别是Spot的最佳实践是选择多种机器,所以适合使用Instance fleets

为Task节点添加5种机器类型:

image-20231029201929373

选择Use EMR-managed sacaling, 设置Task节点使用Spot实例:

image-20231029202116260

选择使用Allocation Strategy,这里选择使用 Price Capacity Optimized allocation strategy

image-20231029202207110

最后点击创建集群。

观察Managed Scaling效果

在新创建的集群,进入Instances页面。一开始在创建集群节点:

image-20231029202501693

经过几分钟后,能看到Task节点组在Shrinking instance fleet,因为此时上面没有负载运行:

image-20231029203110421

最后缩到0个capacity:

image-20231029203855946