Comment créer un travail de fonctionnement par lots S3

Une opération par lots est une tâche ou un travail effectué par un système automatiquement avec une interface humaine minimale. L'opération peut être planifiée, ce qui signifie qu'elle s'exécutera toujours de la même manière de routine ou invoquée par un appel de fonction. De plus, une opération par lots nous permet d'effectuer la même tâche sur un grand nombre d'objets au lieu de le faire sur chaque objet un par un. Cela le rend très rentable et économe en temps pour le serveur.

AWS nous permet de créer des opérations par lots pour nos seaux S3 pour traiter les données à grande échelle. Il gère et suit également les tâches de fonctionnement par lots et maintient les rapports ayant des détails sur l'achèvement du travail. Les choses sont beaucoup plus faciles à gérer car il s'agit d'un service sans serveur par AWS. Voyons comment créer un travail de fonctionnement par lots pour notre seau S3.

Création de fonctions de lot S3 à l'aide de la console

Maintenant, nous verrons comment créer un travail de fonctionnement par lots S3. Alors, connectez-vous à votre compte AWS et créez un seau S3.

Pour créer un travail de fonctionnement par lots, nous avons besoin d'un fichier manifeste des données dont nous avons besoin pour gérer en utilisant ce travail. Pour générer le manifeste, accédez à la section de gestion de votre seau S3 à l'aide de la barre de menu supérieure.

Dans la section de gestion, faites glisser vers les configurations d'inventaire et cliquez sur Créer des configurations d'inventaire.

Dans la section Créer, vous devez donner un nom pour votre configuration d'inventaire.

Ensuite, vous devez sélectionner le chemin de destination où vous souhaitez stocker vos rapports d'inventaire. Vous devez également joindre la politique pour accorder l'autorisation de mettre des données dans le seau S3.

Vous pouvez également modifier le format du fichier manifeste si vous le souhaitez. Ici, nous allons avec CSV car nous souhaitons l'utiliser dans une opération par lots.

L'utilisateur peut spécifier le type d'informations qu'il veut dans son rapport manifeste et sur quels objets. AWS fournit plusieurs options, telles que le type d'objet, la classe de stockage, l'intégrité des données et le verrouillage des objets.

Maintenant, cliquez simplement sur le bouton Créer dans le coin du bouton droit, et vous obtiendrez votre configuration d'inventaire pour votre seau S3. Le rapport manifeste sera généré en 48 heures et stocké dans le seau de destination.

Ensuite, nous allons créer un travail de lot S3. Cliquez simplement sur les opérations par lots dans le panneau de menu droit de la section S3 pour ouvrir la console de fonctionnement par lots.

Ici, nous devons créer un travail spécifique pour une tâche particulière que nous voulons effectuer sur nos objets dans le seau S3. Alors, cliquez sur Créer un travail pour commencer à construire votre premier travail de fonctionnement S3 Batch.

Pour la création d'emplois, nous avons d'abord besoin d'un manifeste qui fournit les détails des objets stockés dans le seau. Vous pouvez créer un manifeste dans JSON ou CSV à partir de la section de gestion de votre seau S3, mais cela prendra un certain temps pour générer le rapport. Nous cliquez donc sur Créer un manifeste à l'aide de la configuration de la réplication S3.

Choisissez le seau source pour lequel vous allez créer ce travail. Le seau peut également appartenir à un autre compte AWS.

Vous pouvez également enregistrer le manifeste, qui sera enfin créé pour cette opération par lots. Vous devez fournir la destination où elle sera enregistrée.

Maintenant, nous pouvons choisir l'opération que nous voulons que notre opération par lots fonctionne. AWS fournit plusieurs opérations comme des objets copy, invoquer les fonctions lambda, supprimer des balises et bien d'autres. Cependant, un manifeste créé à l'aide de la configuration de réplication S3 permet uniquement.

Ensuite, vous pouvez fournir la description de l'opération par lots et définir le niveau de priorité en fonction des nombres; Une valeur élevée signifie une priorité plus élevée.

Si vous souhaitez obtenir un rapport d'achèvement de l'emploi, vérifiez l'option Générer le rapport d'achèvement et fournissez l'emplacement où il sera stocké.

Pour les autorisations, vous devez avoir un rôle IAM avec une stratégie d'opérations par lots S3 que vous pouvez facilement créer pour les opérations par lots dans la section IAM.

Enfin, passez en revue tous les paramètres et cliquez sur Créer un travail pour terminer le processus.

Une fois créé, il apparaîtra dans la section Jobs. Il peut prendre un certain temps pour être prêt sur les opérations que vous avez sélectionnées pour le travail. Après cela, vous pouvez l'exécuter comme vous le souhaitez.

Nous avons donc réussi à créer un travail de fonctionnement S3 en utilisant la console AWS.

Création d'un fonctionnement par lots S3 à l'aide de la CLI

Maintenant, voyons comment configurer un travail de fonctionnement par lots S3 à l'aide de l'interface de ligne de commande AWS. Pour cela, configurez les informations d'identification AWS CLI sur votre machine. Visitez le blog suivant pour configurer les informations d'identification AWS CLI.

https: // linuxhint.com / Configure-aws-Cli-Credentials /

Après avoir configuré les informations d'identification AWS CLI, créez un seau S3 en utilisant la commande suivante dans le terminal:

$: AWS S3API Create-Bucket - Bucket --région

Ensuite, vous devez créer l'opération par lots que vous souhaitez effectuer sur vos objets. Alors, créez un document JSON, définissez l'opération que vous souhaitez et fournissez les attributs requis de ladite opération. Voici un exemple de l'opération de marquage d'objet S3:

Ensuite, si vous souhaitez générer le rapport d'achèvement de votre travail par lots, vous devez fournir la destination pour stocker ce fichier de rapport. Le format JSON par défaut pour cela est le suivant:

"Seau": "",
"Format": "report_csv_20180820",
"Activé": true | FAUX,
"Préfixe": "",
"ReportScope": "Alltasks | Failstasksonly"

Ensuite, vous devez fournir le fichier manifeste contenant les métadonnées de tous les objets stockés dans votre seau S3 sur lequel vous souhaitez effectuer l'opération de lot. Vous devez créer un autre fichier JSON avec les attributs suivants:

"Spec":
"Format": "S3BatchOperations_CSV_20180820"
"Fields": ["Bucket", "Key"]
,
"Emplacement":
"Objectarn": "",
"ObjectVersionId": "",
"Etag": ""

Enfin, nous pouvons créer notre opération par lots en utilisant la commande suivante:

$: AWS S3Control Create-Job
--identifiant de compte
--confirmation requise
--Fichier de fonctionnement:
--Fichier de rapport: //
--Fichier manifeste: //--arn

Nous avons donc réussi à créer un travail de fonctionnement par lots en utilisant AWS CLI.

Conclusion:

Le fonctionnement du lot S3 est un outil très utile à utiliser lorsque vous souhaitez gérer un grand nombre d'objets. Les travaux par lots peuvent souvent être difficiles et complexes à mettre en place pour la première fois. Mais ils peuvent facilement réduire votre effort, votre coût et votre temps. Ils sont utilisés pour exécuter des algorithmes complexes, des tâches répétitives, des jointures de table dans les bases de données SQL, invoquer une fonction lambda et appeler une API REST. Vous avez juste besoin de fournir la liste des objets dans votre seau S3 sur lequel vous souhaitez effectuer la tâche, et le processus sera effectué chaque fois que l'opération de lot est déclenchée. Les exemples courants d'opérations par lots incluent le marquage d'objets S3, la récupération de données spécifiques du glacier S3, le transfert de données d'un seau S3 à un autre, générant des relevés bancaires, traitement des rapports analytiques et prévisions, des notifications d'exécution des commandes et un système de synchronisation par e-mail. Nous espérons que vous avez trouvé cet article utile. Consultez les autres articles sur les conseils pour plus de conseils et de tutoriels.