Commencer avec AWS EMR
Commençons par le service Amazon EMR.
Commencer avec AWS EMR
Amazon EMR est un service de gestion des données qui utilise divers cadres pour l'analyse des mégadonnées en créant des clusters à l'aide d'instances Amazon EC2 et son flux de travail a été expliqué ci-dessous:
Planifier et configurer: Pour créer un cluster EMR, l'utilisateur doit planifier le stockage requis pour gérer les mégadonnées, puis choisir les cadres pour analyser les mégadonnées.
Gérer: La gestion du cluster peut être effectuée en s'y connectant, puis en soumettant les données sur le cluster pour vérifier les résultats avant de mettre fin au cluster:
Nettoyer: Cette étape consiste à mettre fin au cluster et à ses ressources et elle est importante car les grappes inactives peuvent coûter cher à l'utilisateur:
Nœud dans EMR
Un cluster EMR est une combinaison d'instances EC2 et chaque instance est appelée nœud et ses types sont expliqués ci-dessous:
Nœud maître: C'est le nœud principal ou le nœud de leader qui est responsable de la gestion de toutes les ressources du cluster.
Nœud de base: Il héberge les données du système de fichiers distribuées Hadoop (HDFS) et exécute les tâches du nœud principal et le nœud principal gère les tâches du nœud de base.
Nœud de tâche: Ces nœuds n'hébergent pas de données, mais ils exécutent des tâches pour les nœuds précédents et c'est un nœud d'assistance, ce qui signifie qu'il n'est pas obligatoire de créer lors du lancement du cluster EMR:
Créer un cluster EMR
Pour créer un cluster sur le service EMR de l'AWS, rendez-vous dans le tableau de bord EMR en recherchant le service à partir de la console Amazon:
Sur cette page, sélectionnez "Groupes"Dans le panneau de gauche et cliquez sur"Créer un cluster" bouton:
Sur la page de création de cluster, cliquez sur le «Aller aux options avancées" lien:
Configuration logicielle: Sur la page des paramètres d'avance, l'utilisateur peut choisir divers cadres de traitement de données open source et le service offre également la création de plusieurs nœuds sur l'instance EC2:
Configuration matérielle: Sur cette page, l'utilisateur peut configurer les ressources requises pour le cluster EMR qui est disponible sur le cloud:
Nœuds et instances en grappe: Cette section offre à l'utilisateur de configurer les types de nœuds qui créeront les instances EC2 ayant des ressources configurées:
Sécurité: Sur la dernière page, sélectionnez le fichier de paire de clés privés EC2 qui peut être créé sur la page de paire de clés dans le tableau de bord EC2 pour se connecter aux nœuds:
Le cluster EMR sera affiché sur sa page:
Vous avez réussi à créer un cluster EMR sur AWS.
Conclusion
Le service AWS EMR est utilisé pour créer des clusters pour planifier le stockage pour les mégadonnées à utiliser à l'aide du système de fichiers distribué. Chaque cluster est créé avec plusieurs nœuds (instances EC2) qui y sont fixés, ce qui peut créer et se connecter à la machine virtuelle vide sur le cloud. Ces clusters peuvent être utilisés pour gérer les mégadonnées sur le cloud sans aucune ressource utilisée à partir de votre système.