本节我们将配置在EMR on EC2
上使用Spot + managed scaling
进入EMR页面,先从已有EMR集群的配置中克隆一个新的EMR集群:
不要选include steps
:
进入到编辑配置的页面:
选择Instance Fleets
。为Core节点添加两种类型,在控制台上最多添加5种机器类型,如果使用CLI,最多能添加30种机器类型:
Instance fleets
相比于Instance groups
,每个节点组中可以配置多种机器类型(后者只能配置一种)。特别是Spot的最佳实践是选择多种机器,所以适合使用Instance fleets
为Task节点添加5种机器类型:
选择Use EMR-managed sacaling
, 设置Task节点使用Spot实例:
选择使用Allocation Strategy
,这里选择使用 Price Capacity Optimized allocation strategy
:
最后点击创建集群。
在新创建的集群,进入Instances
页面。一开始在创建集群节点:
经过几分钟后,能看到Task节点组在Shrinking instance fleet
,因为此时上面没有负载运行:
最后缩到0个capacity: