Conversia PySpark DataFrame în JSON

Subiect de conținut:

• PySpark DataFrame la JSON Folosind To_json() cu ToPandas()
• PySpark DataFrame la JSON folosind ToJSON()
• PySpark DataFrame la JSON folosind Write.json()

Să luăm în considerare un simplu PySpark DataFrame în toate exemplele și să îl convertim în JSON folosind funcțiile menționate.

Modul necesar:

Instalați biblioteca PySpark în mediul dvs. dacă nu este încă instalată. Puteți consulta următoarea comandă pentru ao instala:

PySpark DataFrame la JSON Folosind To_json() cu ToPandas()

Metoda to_json() este disponibilă în modulul Pandas care convertește Pandas DataFrame în JSON. Putem folosi această metodă dacă ne convertim PySpark DataFrame în Pandas DataFrame. Pentru a converti PySpark DataFrame în Pandas DataFrame, se folosește metoda toPandas(). Să vedem sintaxa lui to_json() împreună cu parametrii săi.

Sintaxă:

1. Orient este folosit pentru a afișa JSON convertit ca format dorit. Este nevoie de „înregistrări”, „tabel”, „valori”, „coloane”, „index”, „divizat”.
2. Indexul este folosit pentru a include/elimina indexul din șirul JSON convertit. Dacă este setat la „True”, indicii sunt afișați. În caz contrar, indicii nu vor fi afișați dacă orientul este „divizat” sau „tabel”.

Exemplul 1: Orientați ca „Înregistrări”

Creați un PySpark DataFrame „skills_df” cu 3 rânduri și 4 coloane. Convertiți acest DataFrame în JSON specificând parametrul orient ca „înregistrări”.

Ieșire:

Putem vedea că PySpark DataFrame este convertit în matricea JSON cu un dicționar de valori. Aici, cheile reprezintă numele coloanei, iar valoarea reprezintă valoarea rândului/celulei din PySpark DataFrame.

Exemplul 2: Orientați ca „Split”

Formatul JSON care este returnat de orientarea „divizată” include numele coloanelor care au o listă de coloane, o listă de index și o listă de date. Următorul este formatul orientului „divizat”.

Ieșire:

Exemplul 3: Orientați ca „Index”

Aici, fiecare rând din PySpark DataFrame este retras sub forma unui dicționar cu cheia ca nume de coloană. Pentru fiecare dicționar, poziția indexului este specificată ca o cheie.

Ieșire:

Exemplul 4: Orientați ca „Coloane”

Coloanele sunt cheia pentru fiecare înregistrare. Fiecare coloană conține un dicționar care preia valorile coloanei cu numere de index.

Ieșire:

Exemplul 5: Orientează-te ca „valori”

Dacă aveți nevoie doar de valorile în JSON, puteți alege orientarea „valori”. Afișează fiecare rând dintr-o listă. În cele din urmă, toate listele sunt stocate într-o listă. Acest JSON este de tipul listă imbricată.

Ieșire:

Exemplul 6: Orientați ca „Tabel”

Orientul „tabel” returnează JSON care include schema cu numele câmpurilor împreună cu tipurile de date coloane, indexul ca cheie primară și versiunea Pandas. Numele coloanelor cu valori sunt afișate ca „date”.

Ieșire:

Exemplul 7: Cu Parametrul Index

În primul rând, trecem parametrul index setându-l la „True”. Veți vedea pentru fiecare valoare de coloană că poziția indexului este returnată ca o cheie într-un dicționar.

În a doua ieșire, numai numele coloanelor („coloane”) și înregistrările („date”) sunt returnate fără pozițiile indexului, deoarece indexul este setat la „False”.

Ieșire:

PySpark DataFrame la JSON folosind ToJSON()

Metoda toJSON() este utilizată pentru a converti PySpark DataFrame într-un obiect JSON. Practic, returnează un șir JSON care este înconjurat de o listă. The [‘{coloană:valoare,…}’,…. ] este formatul care este returnat de această funcție. Aici, fiecare rând din PySpark DataFrame este returnat ca un dicționar cu numele coloanei drept cheie.

Sintaxă:

Este posibil să se transmită parametri precum indexul, etichetele coloanelor și tipul de date.

Exemplu:

Creați un PySpark DataFrame „skills_df” cu 5 rânduri și 4 coloane. Convertiți acest DataFrame în JSON folosind metoda toJSON().

Ieșire:

Există 5 rânduri în PySpark DataFrame. Toate aceste 5 rânduri sunt returnate ca un dicționar de șiruri care sunt separate prin virgulă.

PySpark DataFrame la JSON folosind Write.json()

Metoda write.json() este disponibilă în PySpark, care scrie/salvează PySpark DataFrame într-un fișier JSON. Ia numele/calea fișierului ca parametru. Practic, returnează JSON în mai multe fișiere (fișiere partiționate). Pentru a le îmbina pe toate într-un singur fișier, putem folosi metoda coalesce().

Sintaxă:

1. Modul Adăugare - dataframe_object.write.mode(‘append’).json(‘nume_fișier’)
2. Modul de suprascriere - dataframe_object.write.mode(‘suprascriere’).json(‘nume_fișier’)

Este posibil să adăugați/suprascrieți JSON existent. Folosind write.mode(), putem adăuga datele trecând „append” sau suprascriem datele JSON existente prin trecerea „overwrite” acestei funcții.

Exemplul 1:

Creați un PySpark DataFrame „skills_df” cu 3 rânduri și 4 coloane. Scrieți acest DataFrame în JSON.

Fișier JSON:

Putem vedea că folderul skills_data include datele JSON partiționate.

Să deschidem fișierul JSON. Putem vedea că toate rândurile din PySpark DataFrame sunt convertite în JSON.

Există 5 rânduri în PySpark DataFrame. Toate aceste 5 rânduri sunt returnate ca un dicționar de șiruri care sunt separate prin virgulă.

Exemplul 2:

Creați un „skills2_df” PySpark DataFrame cu un rând. Adăugați un rând la fișierul JSON anterior specificând modul ca „adăugați”.

Fișier JSON:

Putem vedea fișierele JSON partiționate. Primul fișier conține primele înregistrări DataFrame, iar al doilea fișier deține a doua înregistrare DataFrame.

Concluzie

Există trei moduri diferite de a converti PySpark DataFrame în JSON. În primul rând, am discutat despre metoda to_json() care se convertește în JSON prin conversia PySpark DataFrame în Pandas DataFrame cu diferite exemple, luând în considerare diferiți parametri. Apoi, am folosit metoda toJSON(). În cele din urmă, am învățat cum să folosim funcția write.json() pentru a scrie PySpark DataFrame în JSON. Adăugarea și suprascrierea sunt posibile cu această funcție.