После создания ведра Amazon S3, my_bucket
, я создал кластер Elastic Map Reduce через cli:
aws emr create-cluster --name "Тестирование кустов" --ami-версия 3.3 --applications Name = Hive --use-default-role -instance-type m3.xlarge -instance-count 3 --steps Тип = Hive, Name= "Программа улья", Args = [- d, INPUT = s3://my_bucket/input,-d.OUTPUT=s3://my_bucket/вход, D-ЛИЭС = s3://my_bucket/serde_libs]
Заметьте, что я не указал файл hive
*. q. После создания кластера S3 и EMR я запишусь в поле EMR, а затем запустим hive
в интерактивном режиме.
Примечание. Я предполагаю, что есть поле EMR, на которое я могу войти.
Однако, когда я запустил aws emr describe-cluster --cluster-id XYZ
, я увидел эту ошибку в выходе:
"State": "TERMINATED_WITH_ERRORS",
"StateChangeReason": {
"Message": "EMR service role arn:aws:iam::xyz:role/EMR_DefaultRole
is invalid",
"Code": "VALIDATION_ERROR"
}
Что может вызвать эту ошибку? Нужно ли мне открывать разрешения на вебе S3 для кластера EMR для доступа к нему?