TraiteurDeDonnees
Traite et transforme des jeux de données.
Utilisation
TraiteurDeDonnees(
source,
format="csv",
verbeux=False,
)Une classe polyvalente de traitement de données qui prend en charge plusieurs formats d’entrée et des pipelines de transformation configurables.
Paramètres
source: str-
Chemin vers la source de données.
format: str = "csv"-
Format d’entrée (csv, json, parquet).
verbeux: bool = False-
Afficher la progression dans le journal.
Voir aussi
- transformer() Applique une transformation d’échelle aux données.
- valider() Valide un enregistrement par rapport au schéma.
Exemples
>>> proc = TraiteurDeDonnees("donnees.csv", format="csv")
>>> proc.executer(){‘statut’: ‘ok’, ‘lignes’: 0}
RemarqueAjouté dans la version 0.1.0
Méthodes
| Name | Description |
|---|---|
| executer() | Exécute le pipeline de traitement. |
| reinitialiser() | Réinitialise l’état du processeur. |
executer()
Exécute le pipeline de traitement.
Utilisation
executer()Retourne
dict-
Résultats du traitement avec le statut et le nombre de lignes.
reinitialiser()
Réinitialise l’état du processeur.
Utilisation
reinitialiser()Efface toutes les données en cache et remet les compteurs internes à leurs valeurs initiales.