|
|
Vue d'ensemble sur le process de pipeline
|
|
|
=========================================
|
|
|
|
|
|
Quels data pipelines mettre en place ?
|
|
|
|
|
|
Qu'est-ce qu'un pipeline de données
|
|
|
------------------------------------
|
|
|
|
|
|
.. glossary::
|
|
|
|
|
|
pipeline de données
|
|
|
|
|
|
Un pipeline de données est une méthode dans laquelle les données brutes
|
|
|
sont ingérées à partir de diverses sources de données, puis transférées
|
|
|
vers un magasin de données, un entrepôt de données, pour ensuite
|
|
|
les analyser.
|
|
|
|
|
|
Les données sont stockées ne circulent dans un :term:`référentiel de données`,
|
|
|
elles subissent généralement un traitement de l'information.
|
|
|
Cette opération inclut les transformations de données, telles que le filtrage,
|
|
|
le masquage et les agrégations, qui garantissent une intégration
|
|
|
et une standardisation adéquates des données.
|
|
|
Ceci est particulièrement important lorsque la destination du fichier
|
|
|
est une base de données relationnelle.
|
|
|
Ce type de référentiel de données a un schéma défini qui nécessite un *alignement*,
|
|
|
c'est-à-dire qu'il faut faire correspondre les colonnes et les types de données
|
|
|
afin de mettre à jour les données existantes avec de nouvelles données.
|
|
|
|
|
|
|
|
|
Le référentiel de données
|
|
|
--------------------------------
|
|
|
|
|
|
.. glossary::
|
|
|
|
|
|
source de données
|
|
|
|
|
|
Une source de données peut être l'endroit où les données ont été créées ou celui où les informations physiques ont été numérisées. Cependant, même les données les plus élaborées peuvent être considérées comme des sources, tant qu'un autre processus y accède et les utilise. Concrètement, une source de données peut être une base de données, un fichier plat, des mesures provenant directement d'appareils physiques, des données obtenues par web scraping ou l'une des nombreux services de données statiques et de données en streaming qui abondent sur Internet.
|
|
|
|
|
|
référentiel de données
|
|
|
|
|
|
Le référentiel contient la totalité des données brutes collectées. Une collection, (Data Collection, data catalog,
|
|
|
data lakes, etc).
|
|
|
|
|
|
|
|
|
Il s'agit de charger des catalogues de données.
|
|
|
|
|
|
Les catalogues
|
|
|
----------------
|
|
|
|
|
|
`intake <https://intake.readthedocs.io/en/latest/index.html>`_
|
|
|
|
|
|
.. glossary::
|
|
|
|
|
|
Catalogue
|
|
|
|
|
|
Un catalogue est un inventaire de sources de données.
|
|
|
An inventory of entries, each of which corresponds to a specific Data-set.
|
|
|
|
|
|
Catalog file
|
|
|
|
|
|
A YAML specification file which contains a list of named entries describing how to load data sources.
|
|
|
|
|
|
Data-set
|
|
|
|
|
|
A specific assemblage of data. The type of data (tabular, multi-dimensional or something else) and the format (file type, data service type) are all attributes of the data-set. In addition, in the context of Intake, data-sets are usually entries within a Catalog with additional descriptive text and metadata and a specification of how to load the data.
|
|
|
|
|
|
|
|
|
.. rubric:: Exemple de catalogue
|
|
|
|
|
|
|
|
|
.. code-block:: yaml
|
|
|
|
|
|
sources:
|
|
|
states:
|
|
|
description: Bourbon Charles Ier
|
|
|
driver: xml
|
|
|
args:
|
|
|
urlpath: '{{ CATALOG_DIR }}/Bourbon/5-Charles-Ier/charles_ier_*.xml'
|
|
|
metadata:
|
|
|
origin_url: '{{ ORIGIN_URL }}/charles_ier_*.xml'
|
|
|
|
|
|
Le chargement du catalogue XML doit pouvoirse faire par du code de haut niveau
|
|
|
de la manière suivante :
|
|
|
|
|
|
.. code-block:: python
|
|
|
|
|
|
cat = intake.open_catalog('bourbon.yml')
|
|
|
list(cat)
|
|
|
['Bourbon', 'CharlesIer']
|
|
|
|
|
|
|
|
|
Il faut pouvoir charger un catalogue en deux lignes
|
|
|
|
|
|
.. code-block:: python
|
|
|
|
|
|
cat = intake.load_catalog('catalog.yml')
|
|
|
data = cat.data_source().read()
|
|
|
|
|
|
Comment ce genre de librairie fonctionne :
|
|
|
Il suffit de lui renseigner un pattern :
|
|
|
|
|
|
.. code-block:: python
|
|
|
|
|
|
>>> reverse_format('data_{year}_{month}_{day}.csv', 'data_2014_01_03.csv')
|
|
|
{'year': '2014', 'month': '01', 'day': '03'}
|
|
|
|
|
|
Et intake charge les fichiers en fonction de ces patterns.
|
|
|
|
|
|
La **T**\ ransformation des données
|
|
|
------------------------------------
|
|
|
|
|
|
- **Transformer ces données** (validations de typage, validation de schéma de
|
|
|
structure de données, etc), typiquement avec des librairies comme `pydantic <https://docs.pydantic.dev/latest/>`_
|
|
|
|
|
|
.. glossary::
|
|
|
|
|
|
transformation des données
|
|
|
|
|
|
La transformation des données consiste à convertir les données d’un format source dans un format cible. Cela peut inclure un nettoyage des données par une modification des types de données, une suppression des données invalides ou des doublons, une agrégation des données, un enrichissement des données ou d’autres transformations.
|
|
|
|
|
|
La visualisation des pipelines
|
|
|
----------------------------------
|
|
|
|
|
|
Utiliser l'outil fournit avec kedro, lancer la commande::
|
|
|
|
|
|
kedro viz
|
|
|
|
|
|
On obtient une interface de ce type :
|
|
|
|
|
|
.. image:: img/kedro-viz.png
|
|
|
|
|
|
|
|
|
|