Hive的监控

之前的章节,创建hive-serverless application时,已经指定了S3和CloudWatch Log目录:

image-20231221091418152

我们也已运行过Job,现在前往指定的S3存储桶来检查日志

日志数据将发送到以下 Amazon S3 位置:

Driver Logs /logs/applications/«application-id»/jobs/«job-id»/HIVE_DRIVER/(hive.log.gz/stderr.gz/stdout.gz)
Tez Task Logs /logs/applications/«application-id»/jobs/«job-id»/TEZ_TASK/

例如:

image-20231221152203043查看HIVE_DRIVER的 stdout.gz:

image-20231221152257340

image-20231221152325103

Hive Tez UI

在 EMR Serverless 控制台上,单击 Hive application下的其中一项job,然后单击 Hive Tez UI:

image-20231221152507166

看到 Hive Tez UI:

image-20231221152554785

在 Hive Tez UI 上,可以导航并查看作业的各种指标和详细信息:

image-20231221152634144

image-20231221152718516