Installez Apache Spark sur Windows Top 10

Tout en travaillant avec des données de programmation, il est généralement assez difficile pour les développeurs Web de traiter une si grande quantité de données. Parallèlement à cela, vous avez parfois tendance à travailler sur différents langages de programmation simultanément pour concevoir votre système. Dans de telles situations, vous devrez peut-être passer par une immense quantité de code et la traiter. Par conséquent, nous avons besoin d'un système pour traiter notre charge de travail sans passer par l'ensemble du processus de l'ensemble du système. Apache Spark nous offre la possibilité de travailler avec de nombreuses langues à la fois, comme Java, R, Python et Scala. En outre, il cache le traitement complexe et nous permet de travailler avec moins de codes. Ce guide vous aidera à installer le requin Apache sur Windows 11.

Installer Java:

À partir du lancement de votre navigateur le plus utilisé, téléchargez et installez la dernière version de Java. Pour cela, recherchez le site officiel «Java» et route vers sa page de téléchargement. À partir de la page ci-dessous, téléchargez la dernière version Java en fonction de vos spécifications système.

Exécutez le fichier «JRE» téléchargé à l'aide de l'option «Exécuter en tant qu'administrateur». Après avoir exécuté ce fichier «JRE» téléchargé, vous serez présenté avec une nouvelle fenêtre ci-dessous. Vous devez consentir au contrat de licence de Java pour l'installer. Alors, appuyez sur le bouton «Installer» pour continuer.

La configuration de l'installation de Java commencera à l'installer sur notre système d'exploitation Windows 11.

Une fois l'installation de Java terminée, appuyez sur le bouton «Fermer» pour fermer la fenêtre.

Lors de la vérification de la version de Java dans l'invite de commande, vous verrez la version de Java installée sur notre système dans la première ligne de la sortie de commande «-vursion».

Installez Python:

Il est temps d'installer la dernière version de Python sur notre système d'exploitation Windows 11. Sans Python, notre étincelle Apache pourrait ne pas fonctionner. Par conséquent, allez sur le site officiel de Python à l'aide de votre navigateur et naviguez vers sa page de téléchargement. On vous montrera la dernière version de Python. Appuyez sur le lien recommandé pour le télécharger sur votre système, je.E, Windows 11.

Exécutez le fichier EXE «Python» téléchargé et attendez qu'il commence la progression de l'installation.

La fenêtre d'installation de Python apparaîtrait, nous montrant les informations concernant son installation. Vous devez utiliser l'option «Installer maintenant» à partir des options disponibles. Ne marquez pas le «Ajouter Python 3.Box à cocher 20 à la trajectoire ». L'installation serait lancée après cela.

Après un certain temps, le Python sera installé avec succès, et vous pouvez fermer la fenêtre d'installation illustrée ci-dessous en utilisant le bouton «Fermer» en bas à droite.

En utilisant la commande de version pour Python sur l'invite de commande, vous verrez la version installée de Python, je.e., Python 3.dix.6.

Télécharger Spark:

Après les installations réussies de Java et Python, notre système est maintenant prêt à installer Spark. Pour cela, téléchargez-le d'abord sur son site officiel. Assurez-vous de sélectionner la dernière version et l'option «Pré-construction pour Apache Hadoop 3.3 et alter ”à partir de la liste déroulante et clic unique sur le fichier« TGZ »devant la troisième ligne, je.e., «Télécharger Spark».

Vous serez redirigé vers une autre page où vous pouvez sélectionner le fichier miroir pour Spark conformément à votre choix. Nous vous recommandons d'utiliser le premier lien fourni dans l'image ci-dessous.

Maintenant que le fichier Spark «TGZ» a été téléchargé, il est temps de l'utiliser pour l'installation.

Vérifiez le fichier Spark:

Pour vérifier la fiabilité de votre logiciel téléchargé, vous devez utiliser la commande Certutil affichée. Il garantira l'intégrité du fichier en utilisant sa somme de contrôle à partir de l'option «Tamis» à la ligne 4 de la page de téléchargement. Vous devez fournir le chemin de votre fichier dans cette commande avec l'option «-hashfile». La sortie affiche sa somme de contrôle avec le message d'achèvement réussi pour cette commande. Vous pouvez le confirmer en visitant la page de téléchargement.

Installez Apache Spark:

Après cela, vous devez créer un nouveau dossier pour une étincelle dans votre dossier racine où vous avez tendance à installer le système d'exploitation et d'autres également, je.e., Drive «C». Alors, utilisez l'instruction «Mkdir» pour créer un dossier «Spark» à l'intérieur.

Maintenant, ouvrez votre lecteur C et naviguez dans le dossier «Spark». Vous devez extraire le fichier zip "Spark" téléchargé à l'intérieur comme indiqué dans l'image.

Ajouter Winutils.Fichier EXE:

Ouvrez la page GitHub à l'aide du «chemin» de l'image ci-dessous et appuyez sur «WinUtils.exe". Un autre écran apparaîtrait, et vous devez frapper le bouton «Télécharger» pour l'obtenir.

Vous devez créer le dossier «Hadoop» dans le lecteur «C» et créer un dossier «bac» à l'intérieur via la requête MKDIR.

Placer les «WinUtils téléchargés.Fichier exe "dans le dossier" Hadoop \ bin "nouvellement créé.

Configurer les variables d'environnement pour Spark:

Il est temps d'ajouter Spark, Hadoop et Java à nos variables environnementales. Alors, recherchez le mot-clé «Environnement» dans la barre de recherche et appuyez sur l'outil «Modifier l'outil des variables d'environnement système» qui vient d'apparaître sur votre écran.

La fenêtre nommée «Propriétés du système» s'ouvrira sur votre écran. À partir de sa section ci-dessous, appuyez sur le bouton «Variables d'environnement…» pour continuer.

Vous pouvez voir toutes vos variables système répertoriées là-bas. Appuyez sur le bouton «nouveau» pour générer un environnement frais mutable pour «Spark» d'abord.

Une boîte de dialogue avec «Modifier la variable utilisateur» apparaîtra dans un instant et vous devez nommer une variable «Spark_Home» avec le chemin du dossier Spark comme valeur variable, je.e., «C: \ Spark \ Spark-3.3.0-bin-hadoop3 ”. Cliquer sur le bouton «OK» définira une nouvelle variable d'environnement dans un système.

Vous verrez une variable nommée «Spark_Home» dans la section Variables utilisateur. Appuyez sur la variable nommée "Path" et écrasez le bouton "Modifier".

Une «variable d'édition d'environnement» sera ouverte. Appuyez sur le "nouveau" bouton pour ajouter le chemin de la variable. Envisagez d'utiliser le nom de variable% spark_home% »avec le dossier« \ bin ».

De même, créez une nouvelle variable pour «Hadoop».

Ensuite, créez également une nouvelle variable pour "Java" et appuyez sur "OK".

De la même manière, appuyez sur la variable «chemin» et ajoutez un chemin pour les variables «java» et «hadoop» que nous venons de créer i.e. Utilisation des noms de variables "% Hadoop_Home%" et "% java_home%" avec le dossier "\ bin" comme affiché dans l'écran ci-dessous.

Maintenant, lancez votre application «CMD» en tant que «administrateur» via l'utilisation du choix «Exécuter en tant qu'administrateur». Ajoutez le chemin de commande ci-dessous dans sa zone de requête avec le «Sparkshell» pour voir si l'étincelle est configurée avec succès ou non. Une nouvelle fenêtre de flux d'informations sera ouverte et vous devez utiliser le bouton «Autoriser» pour donner accès. Si votre invite de commande affiche le logo de conception «Spark» avec sa version installée, alors l'étincelle est entièrement configurée et prête à l'emploi.

C: \ Spark \ Spark-3.3.0-bin-hadoop3 \ bin \ Sparkshell

Ouvrez votre navigateur préféré et entrez le chemin «LocalHost: 4040 / Jobs /». L'interface utilisateur Web d'Apache Spark apparaîtra, affichant le résumé de vos événements système.

Conclusion:

Après avoir parcouru ce guide, vous pourrez utiliser Apache Spark sur votre système d'exploitation Windows 11 car nous avons implémenté chaque bit de la configuration nécessaire pour configurer Apache Spark. Pour vous assurer que votre Apache Spark fonctionne bien à la fin, vous ne devez pas laisser une seule étape mentionnée ci-dessus dans le guide, en commençant par l'installation de Java, Python, Spark, ajoutant les Wintutils.Fichier EXE, et la partie la plus importante de la définition des variables d'environnement.