Présentation des logiciels ETC : Extract Transform Load
ETL est un acronyme qui désigne les termes “Extract Transform Load”. Il s’agit d’un type logiciel permettant de collecter des données en provenance de sources multiples pour ensuite les convertir dans un format adapté à une Data Warehouse (entrepôt de données) et à les y transférer.
Ces logiciels existent depuis de nombreuses années, mais ils ont bien évolué et répondent dorénavant aux nouveaux besoins liés à l’essor du Cloud, des SaaS et du Big Data.
Un logiciel ETL va permettre d’extraire des données brutes depuis une base de donnée, pour ensuite les restructurer, et enfin les charger dans une Data Warehouse.
Désormais, les ETL doivent permettre l’ingestion en temps réel, l’enrichissement de données, et la prise en charge de milliards de transactions. Ils prennent aussi en charge les données structurées ou non structurées en provenance de sources sur site ou sur le Cloud. De même, ces plateformes doivent désormais être scalables, flexibles, résistantes aux pannes, et sécurisées.
Schéma représentatif de l’ETL: qu’est ce que c’est ?
- Les premiers ETL ont fait leur apparition dans les grandes entreprises à partir des années 1970. Les grandes organisations ont donc commencé à incorporer et à stocker des données de différentes types en provenance de multiples sources.
- Dans les années 1980, lors de l’essor des Data Warehouses, la majorité des entrepôts de données n’étaient compatibles qu’avec un ETL spécifique. Les entreprises devaient donc en utiliser un grand nombre.
- Au fil du temps, le nombre de sources et de types de données a augmenté au même titre que le nombre de vendeurs ETL. Ceci a donc favorisé la baisse des prix sur le marché, jusqu’à ce que les solutions soient accessibles pour la plupart des entreprises. Ainsi, ces outils ont contribué à la naissance des entreprises data driven.
ETL : comment ça marche ?
Le fonctionnement de la plateforme ETL se décompose en trois phases. La phase d’Extraction (Extract) consiste à collecter les données en provenance d’une ou plusieurs sources.
La phase de transformation (Transform) consiste à reformater et à transformer les données. Enfin, la phase de chargement (Load) consiste à transférer les données transformées vers la Data Warehouse, le Data Store ou la base de données ciblée.
ETL : à quoi ça sert?
Les ETL ont de multiples cas d’usage. Leur première utilité est de transformer les données pour les transférer vers les Data Warehouses, mais ils peuvent aussi être utilisés pour transférer des données en provenance de systèmes anciens vers des systèmes modernes dont le format de données sont différents.
A l’ère du Big Data, de l’internet des objets, des réseaux sociaux, des vidéos ou de l’Open Data, les ETL s’adaptent aussi aux nouveaux types de sources de données. De même, les outils modernes permettent de transférer des données directement vers la plateforme Hadoop. Certaines solutions modernes proposent aussi une approche self-service, des outils dédiée à la Data Quality, ou encore une prise en charge des métadonnées.
