监控和日志 II

在本节中我们将启用 EKS 日志记录并在 CloudWatch 中查看日志

因为Log数据摄取和存储成本，默认情况下，EKS 控制平面的 CloudWatch 日志未启用。EKS有以下5种类型的日志

  • api
  • audit
  • authenticator
  • controllerManager
  • scheduler

参考： https://docs.aws.amazon.com/eks/latest/userguide/control-plane-logs.html

从 AWS 控制台进入 Amazon EKS。选择Observability，然后选择管理日志记录：

image-20240620105411025

启用Audit和Scheduler，然后选择保存更改： image-20240620105458019

运行一个作业：

aws emr-containers start-job-run \
--virtual-cluster-id ${EMR_EKS_CLUSTER_ID} \
--name spark-pi \
--execution-role-arn ${EMR_EKS_EXECUTION_ARN} \
--release-label emr-6.2.0-latest \
--job-driver '{
    "sparkSubmitJobDriver": {
        "entryPoint": "s3://aws-data-analytics-workshops/emr-eks-workshop/scripts/pi.py",
        "sparkSubmitParameters": "--conf spark.executor.instances=2 --conf spark.executor.memory=2G --conf spark.executor.cores=2 --conf spark.driver.cores=1"
        }
    }'

进入 CloudWatch对应EKS集群的日志组：

image-20240620105737799通选择其中一个日志流来探索日志。

image-20240620105807422