Comment tokenize une chaîne en javascript

Pour résoudre le problème de la tokenisation des chaînes, certaines langues offrent des cours spéciaux. Dans JavaScript, aucune classe ou fonction dédiée ne prend en charge les problèmes de chaîne de tokenisage. Cependant, nous avons un mécanisme efficace sous forme d'expressions régulières. Par conséquent, utilisez des expressions régulières avec une méthode prédéfinie JavaScript pour analyser les cordes en jetons pour la tokenisation.

Cet article illustrera la procédure de tokenisation JavaScript String.

Comment tokenize une chaîne en javascript?

Pour tokensize une chaîne en javascript, utilisez la méthode intégrée JavaScript nommée «diviser()" méthode. La méthode JavaScript Split () divise une chaîne en un tableau de sous-chaînes. La chaîne d'origine n'est pas modifiée. Il nécessite deux paramètres facultatifs qui indiquent comment la méthode doit agir.

Comment tokenize une chaîne en utilisant la méthode Split ()?

Suivez la syntaxe ci-dessous de la méthode Split () pour le tokenisage d'une chaîne en javascript:

chaîne.Split (séparateur, limite);

• • Ici le "séparateur«Est un caractère alphanumérique ou non alphanumérique, comme un espace ou un motif regex, est utilisé comme paramètre de séparateur pour spécifier où diviser la chaîne.
  • "limite«Est un entier qui indique le nombre de fentes.
  • La méthode est invoquée sur une variable qui a une valeur de chaîne à l'aide de la notation DOT.
  • Il renvoie un tableau de sous-chaînes basées sur les arguments, et si aucun paramètre n'est passé dans la méthode, il renverra la chaîne entière.

Exemple 1

Dans l'exemple suivant, créez d'abord une variable "Str»Et stockez une chaîne dedans:

var str = "Linuxhint est le meilleur site Web pour les compétences d'apprentissage";

Maintenant, divisez la chaîne en jetons en utilisant le «diviser()»Méthode en passant ("" ") comme argument. L'espace indique que la chaîne sera divisée à mesure que l'espace se produit:

var strtoken = str.diviser(" ");

Enfin, imprimez les jetons sur la console en utilisant le «console.enregistrer()" méthode:

console.journal (strtoken);

La sortie affiche un tableau de sous-chaînes basées sur le séparateur "espace"(""):

La méthode Split () prend également le «motif regex«En tant que séparateur au lieu d'un personnage spécifique comme argument:

var strtoken = str.Split (/ \ W + /);

Ici, en schéma regex, les barres baisses avant (/ /) indique le début et la fin d'un modèle, tandis que le (\ W) est le métacharacter qui correspond à tous les caractères alphanumériques A-Z, A-Z, 0-9 sans espaces blancs. Alors que (+) indique plusieurs correspondances.

Sortir

Si vous souhaitez obtenir des jetons d'une longueur spécifique d'une chaîne, suivez la section donnée.

Exemple 2

Maintenant, tokenize une chaîne de longueur trois d'une chaîne. Pour ce faire, utilisez le «filtre()«Méthode avec le«diviser()" méthode:

var strtoken = str.diviser(" ").filtre (fonction (jeton)
token de retour.longueur == 3;
);

Imprimez les jetons résultants sur la console:

console.journal (strtoken);

La sortie indique que seules les sous-chaînes de longueur 3 sont renvoyées de la chaîne:

Conclusion

Pour tokeniser une chaîne en javascript, vous pouvez utiliser le «diviser()" méthode. La méthode Split () divise la chaîne en fonction de son entrée "séparateur". Il peut diviser une chaîne en un certain nombre de chaînes plus petites en fonction des arguments. Si la méthode ne reçoit aucun paramètre, la chaîne entière sera imprimée. Si vous souhaitez obtenir des jetons d'une longueur spécifique à partir d'une chaîne, utilisez le «filtre()”Méthode avec la méthode Split (). Dans cet article, le processus de tokenisage d'une chaîne en javascript est illustré d'exemples.