Le data scientist est souvent amené à travailler avec beaucoup de bases de données et avec une grande variété de fichiers.
Par exemple, ici on a une arborescence de fichiers :La première chose à faire est de comprendre les liens entre ces données. Souvent les personnes du métier pensent connaître leur système d’information, mais ce n’est pas toujours le cas. Cette phase de compréhension de la structure du SI est importante. Dans le cas qui nous préoccupe, disons que le métier vous aide et vous donne les clefs des jointures entre les tables. Il vous donne des détails sur chacun des fichiers :
Souvent il y a des abréviations dans les noms de fichiers, ou les noms de colonnes. Je vous conseille très fortement d’en demander la signification : elles peuvent ne pas vouloir dire la même chose pour vous et pour votre client. Remplacer les abréviations par des noms en clair simplifie beaucoup la compréhension des données.À partir de ce descriptif vous allez avoir besoin de charger la donnée et d’en comprendre le contenu, pour vérifier aussi les dires de votre client.
Afin d’obtenir les mêmes résultats que dans le livre, ouvrez le tag « comprendre_la_donnee » du repo Git :
$git checkout tags/comprendre_la_donnee
On crée une session Spark :
from pySpark.sql import SparkSession
Spark = SparkSession.builder.getOrCreate()
On commence par visualiser la donnée pour comprendre ce que contiennent les bases.
Les données réelles ne sont jamais vraiment propres…