Comment utiliser AWS Glue
Lorsque les utilisateurs créent des travaux et des robots ETL dans la colle AWS, ils doivent spécifier et déclarer l'emplacement cible pour les données et la source de données, respectivement. Cela signifie que la colle AWS ne peut pas être utilisée seule, mais l'utilisateur doit stocker des données dans des services de stockage comme les seaux S3, puis rendre ces données accessibles pour le service AWS Glue. Les utilisateurs peuvent également créer des bases de données, des tables, des schémas, des connexions, etc., dans la colle aws.
Cet article expliquera le processus d'utilisation de la colle AWS en étapes faciles.
Comment utiliser AWS Glue?
Pour comprendre l'utilisation de la colle AWS, d'abord, connectez-vous à la console AWS, puis recherchez la colle AWS dans les services AWS.
Sur la toute première interface de la colle Aws, il y aura un menu sur le côté gauche qui contiendra la liste de toutes les tâches possibles qui peuvent être effectuées à l'aide de la colle AWS, comme des robots, des bases de données, des tables, des schémas, etc.
Si nous cliquons sur le bouton «Démarrer», l'interface suivante affichera trois tâches différentes, je.e., Afficher les travaux, afficher la surveillance et afficher les connecteurs.
Pour créer des travaux dans AWS Glue, l'utilisateur doit d'abord configurer le travail en fonction des détails, comme l'emplacement des seaux S3, des objets, des dossiers et des clusters AWS. Donc, pour utiliser AWS Glue. Il est nécessaire de stocker certains fichiers sur le service de stockage S3 de AWS.
Créer un seau S3
Tout d'abord, visitez le service «Amazon S3» d'AWS et créez un nouveau seau S3 là-bas.
Créer des dossiers dans un godet
Après avoir créé un nouveau seau S3 dans Amazon S3, créez un dossier en ouvrant les détails du seau, puis en cliquant sur "Créer un dossier".
Fournissez simplement un nom au dossier:
De cette façon, le dossier est créé.
Maintenant, créez un autre dossier dans le seau.
Télécharger des objets
Maintenant, accédez à "Objets" et cliquez sur le bouton "Télécharger". Parcourez les fichiers du système qui sont censés être téléchargés dans le seau Amazon S3 nouvellement créé.
Le message de réussite en haut de l'interface vérifie que les objets sélectionnés dans le système sont téléchargés avec succès sur le seau AWS S3.
Colle AWS ouverte
Après avoir téléchargé des objets et ajouté des dossiers dans le seau S3, l'utilisateur peut effectuer des tâches sur la colle AWS. Recherchez et ouvrez le service AWS Glue à partir des services d'AWS.
Créer un robot
Il y aura un menu sur le côté gauche contenant les noms de toutes les tâches effectuées sur AWS Glue. Sélectionnez l'option «Crawlers» dans le menu donné et créez un robot.
Tapez un nom pour le robot.
Sélectionnez le seau nouvellement créé comme chemin S3 du robot afin que cet robot puisse accéder à ce seau:
Déclarez la base de données cible en sélectionnant l'une des bases de données créées dans la colle AWS ou en créant une nouvelle base de données, puis sélectionnez cela:
Après avoir configuré tout ce qui est nécessaire pour créer un robot, cliquez sur le bouton «Créer Crawler»:
Après la création du Crawler, cliquez sur le bouton "Exécuter Crawler" pour rendre le Crawler actif:
Créer un travail ETL
Sélectionnez l'option «Jobs» dans le menu de gauche:
C'était tout sur la façon d'utiliser la colle AWS.
Conclusion
AWS Glue est un service AWS sans serveur qui tire les données d'autres services AWS comme les seaux S3. Il peut y avoir des clusters, des bases de données, des emplois, etc., créé dans la colle AWS. L'une des tâches majeures de la colle AWS est de créer des emplois ETL. Après avoir stocké certains fichiers sur AWS Storage Services, les travaux ETL peuvent être créés en configurant les détails du travail de manière à pouvoir accéder aux fichiers.