使用 AWS CLI 管理 EMR

Amazon EMR (Elastic MapReduce) 是一种托管的大数据处理服务，使用户能够在云上便捷、快速地运行和管理大规模数据分析和处理任务。

创建 EMR 集群

1. 创建默认 IAM 角色：

   aws emr create-default-roles
   

2. 查询 EMR 版本：

   aws emr list-release-labels
   

3. 创建 EMR 集群：

   aws emr create-cluster \
       --name "MyEMRCluster" \
       --release-label 'emr-7.3.0' \
       --applications 'Name=Hadoop' \
       --ec2-attributes KeyName='my-ssh-key' \
       --instance-type 'm5.xlarge' \
       --instance-count 3 \
       --use-default-roles
   

   查询集群状态，等 Status 变为 WAITING 了之后进行下一步：

   aws emr list-clusters
   

提交 MapReduce 作业

1. 查询集群 ID：

   CLUSTER_ID=$(aws emr list-clusters --query 'Clusters[0].Id' --output text)
   

2. 提交 MapReduce 作业：

   aws emr add-steps \
       --cluster-id $CLUSTER_ID \
       --steps 'Type=CUSTOM_JAR,Name=WordCount,ActionOnFailure=CONTINUE,Jar=s3://your-bucket-name/your-jar-file.jar,Args=[arg1,arg2,...]'
   

删除 EMR 集群

1. 删除集群：

aws emr terminate-clusters --cluster-ids $CLUSTER_ID

2. 检查集群：

aws emr list-clusters