Comment créer un cluster Hadoop avec Amazon EMR
L'utilisateur a besoin des outils comme Hadoop pour stocker, gérer et analyser les mégadonnées de données à grande échelle et il est difficile de les gérer sur site. Stocker et gérer autant de données peuvent être effectuées en les distribuant sur plusieurs ordinateurs. Amazon fournit le service EMR pour gérer ces clusters sur le cloud sans se soucier du déploiement, des dépenses et des problèmes de consommation de temps.
Commençons par créer un cluster Hadoop avec Amazon EMR.
Créer un cluster Hadoop avec Amazon EMR
Pour créer un cluster Hadoop avec Amazon EMR, dirigez-vous vers le tableau de bord EMR et cliquez sur le "Créer un cluster" bouton:
Tapez le nom du nom du cluster et sélectionnez les applications pour le cluster EMR:
Configurez les paramètres matériels et de sécurité en faisant défiler la page, puis en cliquant sur le «Créer un cluster”Bouton pour terminer le processus:
Après cela, dirigez-vous vers le tableau de bord EC2 depuis la plate-forme AWS pour valider les instances créées par le cluster EMR:
Clique sur le "Groupes de sécurité»Page du panneau de gauche et développez le«Actions"Onglet pour cliquer sur"Modifier les règles entrantes”Bouton après avoir sélectionné le groupe de sécurité Master EMR:
Ajoutez une règle entrante pour sélectionner un port SSH qui peut être accessible à partir de n'importe où sur Internet, puis cliquez sur le "Économiser des règles" bouton:
Répétez à nouveau l'étape précédente avec le groupe de sécurité des esclaves EMR en modifiant les règles entrantes:
Sélectionnez le port SSH qui accédera à partir de n'importe où, puis cliquez sur le "Économiser des règles" bouton:
Une fois le cluster EMR créé, cliquez simplement sur le «Activer une connexion SSH" lien:
Après cela, commencez "Mastic»Et suivez les instructions fournies par la plate-forme:
Une fois toutes les étapes terminées sur le mastic, cliquez simplement sur le «Ouvrir" bouton:
L'utilisateur est connecté au cluster Hadoop avec Amazon EMR:
Vous avez réussi à créer et à connecter au cluster Hadoop en utilisant EMR.
Conclusion
Pour créer un cluster Amazon EMR, dirigez-vous vers le tableau de bord EMR et cliquez sur le "Créer un cluster" bouton. Configurez les paramètres du cluster EMR en tapant le nom et en sélectionnant l'application Hadoop pour le cluster. Après cela, modifiez les règles entrantes des groupes de sécurité créés par le cluster EMR, puis utilisez Putty pour se connecter au cluster.