Ce n'est pas une nouvelle que Google est le plus grand moteur de recherche au monde. Beaucoup de gens iront un mile supplémentaire pour que leur contenu soit très bien sur Google avant tout autre moteur de recherche. À la suite de cela, Google a beaucoup de résultats de qualité pour chaque recherche et avec des algorithmes de classement excellents, vous pouvez vous attendre à obtenir le meilleur des résultats de recherche sur Google.

Cela a une implication. Son implication est qu'il existe de nombreuses données utiles sur Google et qui nécessite la nécessité de gratter ces données d'or. Les données grattées peuvent être utilisées pour l'analyse des données de qualité et la découverte de merveilleuses informations. Il peut également être important pour obtenir d'excellentes informations de recherche dans une tentative.

En parlant de grattage, cela peut être fait avec des outils tiers. Cela peut également être fait avec une bibliothèque Python connue sous le nom de Scrapy. Scrapy est évalué pour être l'un des meilleurs outils de grattage et peut être utilisé pour gratter presque toutes les pages Web. Vous pouvez en savoir plus sur la bibliothèque de scroty.

Cependant, quelles que soient les forces de cette merveilleuse bibliothèque. Le gratter les données sur Google pourrait être une tâche difficile. Google descend dur sur toutes les tentatives de grattage Web, garantissant que les scripts de grattage ne font même pas autant de demandes de score. Cela rend les scripts de grattage Web de tiers et de web personnel inutiles.

Google donne la possibilité de gratter les informations. Cependant, tout le grattage qui serait fait doit se passer d'une interface de programmation d'application (API).

Juste au cas où vous ne savez pas déjà ce qu'est une interface de programmation d'application, il n'y a rien à craindre car je vais fournir une brève explication. Par définition, une API est un ensemble de fonctions et de procédures qui permettent la création d'applications qui accèdent aux fonctionnalités ou aux données d'un système d'exploitation, d'une application ou d'un autre service. Fondamentalement, une API vous permet d'accéder au résultat final des processus sans avoir à être impliqué dans ces processus. Par exemple, une API de température vous fournirait les valeurs Celsius / Fahrenheit d'un endroit sans que vous ayez à y aller avec un thermomètre pour effectuer les mesures vous-même.

L'apport dans la portée de la grattage des informations de Google, l'API que nous utiliserions nous permet d'accéder aux informations nécessaires sans avoir à écrire de script pour gratter la page de résultats d'une recherche Google. Grâce à l'API, nous pouvons simplement avoir accès au résultat final (après que Google ait fait le «grattage» à leur fin) sans écrire de code pour gratter les pages Web.

Alors que Google possède beaucoup d'API à des fins différentes, nous allons utiliser l'API JSON Rechercher personnalisée dans les fins de cet article. Plus d'informations sur cette API peuvent être trouvées ici.

Cette API nous permet de faire 100 requêtes de recherche par jour gratuitement, avec des plans de prix disponibles pour faire plus de requêtes si nécessaire.

Création d'un moteur de recherche personnalisé

Afin de pouvoir utiliser l'API JSON Rechercher personnalisé, nous aurions besoin d'un ID de moteur de recherche personnalisé. Cependant, nous devions d'abord créer un moteur de recherche personnalisé qui peut être fait ici.

Lorsque vous visitez la page du moteur de recherche personnalisé, cliquez sur le bouton «Ajouter» pour créer un nouveau moteur de recherche.

Dans la case «Sites to Search», mettez simplement «www.linuxhint.com »et dans la case« Nom du moteur de recherche », mettez tout nom descriptif de votre choix (Google serait préférable).

Maintenant, cliquez sur «Créer» pour créer le moteur de recherche personnalisé et cliquez sur le bouton «Panneau de configuration» dans la page pour confirmer le succès de la création.

Vous verriez une section «ID de moteur de recherche» et un ID en dessous, c'est-à-dire l'ID dont nous aurions besoin pour l'API et nous nous référerions plus tard dans ce tutoriel. L'ID du moteur de recherche doit être maintenu privé.

Avant de partir, rappelez-vous que nous avons mis «www.Linuhint.com »plus tôt. Avec ce paramètre, nous n'obtiendrions que les résultats du site seuls. Si vous souhaitez obtenir les résultats normaux de la recherche Web totale, cliquez sur «Configuration» dans le menu à gauche, puis cliquez sur l'onglet «Basics». Accédez à la section «Recherchez l'intégralité du Web» et basculez cette fonctionnalité sur.

Création d'une clé API

Après avoir créé un moteur de recherche personnalisé et obtenu son identifiant, ensuite serait de créer une clé API. La clé API permet d'accéder au service API, et il doit être maintenu en sécurité après la création, tout comme l'ID de moteur de recherche.

Pour créer une clé API, visitez le site et cliquez sur le bouton «Obtenez une clé».

Créez un nouveau projet et donnez-lui un nom descriptif. En cliquant sur «Suivant», vous auriez la clé API générée.

Sur la page suivante, nous aurions différentes options de configuration qui ne sont pas nécessaires pour ce tutoriel, vous cliquez donc simplement sur le bouton «Enregistrer» et nous sommes prêts à aller.

Accéder à l'API

Nous avons bien réussi à obtenir l'ID de recherche personnalisé et la clé API. Ensuite, nous allons utiliser l'API.

Bien que vous puissiez accéder à l'API avec d'autres langages de programmation, nous allons le faire avec Python.

Pour pouvoir accéder à l'API avec Python, vous devez installer le client Google API pour Python. Ceci peut être installé à l'aide du package PIP Installation avec la commande ci-dessous:

PIP installe Google-api-python-Client

Après l'installation avec succès, vous pouvez désormais importer la bibliothèque dans notre code.

La majeure partie de ce qui sera fait serait par la fonction ci-dessous:

de googleapiclient.Discovery Import Build
my_api_key = "Votre clé API"
my_cse_id = "Votre ID CSE"
def google_search (search_term, api_key, cse_id, ** kwargs):
Service = build ("CustomSearch", "V1", DeveloerKey = API_KEY)
res = service.CSE ().list (q = search_term, cx = cse_id, ** kwargs).exécuter()
Retour Res

Dans la fonction ci-dessus, le my_api_key et my_cse_id Les variables doivent être remplacées par la clé API et l'ID de moteur de recherche respectivement en tant que valeurs de chaîne.

Tout ce qui doit être fait maintenant est d'appeler la fonction passant dans le terme de recherche, la clé API et l'ID CSE.

result = google_search ("café", my_api_key, my_cse_id)
Imprimer (résultat)

L'appel de fonction ci-dessus rechercherait le mot-clé «café» et attribuerait la valeur renvoyée au résultat variable, qui est ensuite imprimée. Un objet JSON est renvoyé par l'API de recherche personnalisée, donc tout autre analyse de l'objet résultant nécessiterait un peu de connaissance de JSON.

Cela peut être vu à partir d'un échantillon du résultat vu ci-dessous:

L'objet JSON renvoyé ci-dessus est très similaire au résultat de la recherche Google:

Résumé

Strucing Google pour plus d'informations ne vaut pas vraiment le stress. L'API de recherche personnalisée facilite la vie pour tout le monde, car la seule difficulté consiste à analyser l'objet JSON pour les informations nécessaires. Pour rappel, n'oubliez pas de conserver votre ID de moteur de recherche personnalisé et vos valeurs de clé API privées.