Fonctions bitwise à pyspark
Fonction bitwiseor ()
Cette fonction effectue le bit ou l'opération sur deux colonnes dans Pyspark DataFrame.
Opération:
1 bitwiseor 1 => 1
1 bitwiseor 0 => 1
0 Bitwiseor 1 => 1
0 bitwiseor 0 => 0
Syntaxe:
Il peut être utilisé avec la méthode SELECT () pour afficher le fonctionnement du bit.
dataframe_obj.SELECT (DATAFRAME_OBJ.colonne1.bitwiseor (dataframe_obj.colonne2))
Où le dataframe_obj est le pyspark dataframe et que la colonne représente les noms de colonne (colonne1, colonne2).
Exemple:
Nous avons un DataFrame avec 4 lignes et 5 colonnes - [«Subject_id», «Name», «Age», «M1», «M2»]. Maintenant, nous appliquons la fonction bitwiseand () sur les colonnes M1 et M2.
Importer Pyspark
de Pyspark.SQL IMPORT SPARKSESSE
Spark_App = Sparkcession.constructeur.nom de l'application('_').getorCreate ()
étudiants = [(4, «sravan», 23,0,0),
(4, «Chandana», 23,0,1),
(46, «Mounika», 22,1,0),
(4, «Deepika», 21,1,1),
]]
dataframe_obj = spark_app.CreatedataFrame (étudiants, [«sujet_id», «nom», «âge», «m1», «m2»])
dataframe_obj.montrer()
#Perform Bitwise et fonctionnement sur les colonnes M1 et M2
dataframe_obj.SELECT (DATAFRAME_OBJ.M1.bitwiseand (dataframe_obj.M2)).montrer()
Sortir:
Fonction bitwiseand ()
Cette fonction effectue le bit et l'opération sur deux colonnes dans Pyspark DataFrame.
Opération:
1 bitwise et 1 => 1
1 bitwise et 0 => 0
0 bitwise et 1 => 0
0 bitwiseand 0 => 0
Syntaxe:
Il peut être utilisé avec la méthode SELECT () pour afficher le fonctionnement du bit.
dataframe_obj.SELECT (DATAFRAME_OBJ.colonne1.bitwiseand (dataframe_obj.colonne2))
Où le dataframe_obj est le pyspark dataframe et que la colonne représente les noms de colonne (colonne1, colonne2).
Exemple:
Nous avons un DataFrame avec 4 lignes et 5 colonnes - [«Subject_id», «Name», «Age», «M1», «M2»]. Maintenant, nous appliquons la fonction bitwiseand () sur les colonnes M1 et M2.
Importer Pyspark
de Pyspark.SQL IMPORT SPARKSESSE
Spark_App = Sparkcession.constructeur.nom de l'application('_').getorCreate ()
étudiants = [(4, «sravan», 23,0,0),
(4, «Chandana», 23,0,1),
(46, «Mounika», 22,1,0),
(4, «Deepika», 21,1,1),
]]
dataframe_obj = spark_app.CreatedataFrame (étudiants, [«sujet_id», «nom», «âge», «m1», «m2»])
dataframe_obj.montrer()
#Perform Bitwise et fonctionnement sur les colonnes M1 et M2
dataframe_obj.SELECT (DATAFRAME_OBJ.M1.bitwiseand (dataframe_obj.M2)).montrer()
Sortir:
Fonction bitwisexor ()
Cette fonction effectue l'opération XOR sur deux sur deux colonnes dans Pyspark DataFrame.
Opération:
1 bitwisexor 1 => 0
1 bitwisexor 0 => 1
0 bitwisexor 1 => 1
0 bitwisexor 0 => 0
Syntaxe:
Il peut être utilisé avec la méthode SELECT () pour afficher le fonctionnement du bit.
dataframe_obj.SELECT (DATAFRAME_OBJ.colonne1.bitwisexor (dataframe_obj.colonne2))
Où le dataframe_obj est le pyspark dataframe et que la colonne représente les noms de colonne (colonne1, colonne2).
Exemple:
Nous avons un DataFrame avec 4 lignes et 5 colonnes - [«Subject_id», «Name», «Age», «M1», «M2»]. Maintenant, nous appliquons la fonction bitwisexor () sur les colonnes M1 et M2.
Importer Pyspark
de Pyspark.SQL IMPORT SPARKSESSE
Spark_App = Sparkcession.constructeur.nom de l'application('_').getorCreate ()
étudiants = [(4, «sravan», 23,0,0),
(4, «Chandana», 23,0,1),
(46, «Mounika», 22,1,0),
(4, «Deepika», 21,1,1),
]]
dataframe_obj = spark_app.CreatedataFrame (étudiants, [«sujet_id», «nom», «âge», «m1», «m2»])
dataframe_obj.montrer()
#Perform Bitwise-xor Operation sur les colonnes M1 et M2
dataframe_obj.SELECT (DATAFRAME_OBJ.M1.bitwisexor (dataframe_obj.M2)).montrer()
Sortir:
Conclusion
Dans ce tutoriel Pyspark, nous avons appris à effectuer les opérations bitwise sur Pyspark DataFrame. Bitwiseor renvoie 1 si l'une des valeurs des colonnes Pyspark DataFrame est 1 dans une ligne. Bitwisexor renvoie 1 si les valeurs en deux colonnes sont différentes; Sinon, il renvoie 0. Et bitwiseand renvoie 1 si les valeurs en deux colonnes sont 1; Sinon, il renvoie 0.