Astrakhan met en place une offre de formation d’introduction au Data Engineering pour donner un aperçu des fondamentaux de ce sujet. Après une partie de définition du domaine et des compétences requises, les différents types de système de stockage de données et leurs usages seront présentés. Nous explorerons aussi l’étape de traitement de données, que ce soit en batch ou en streaming. La construction et la surveillance de pipelines de données représenteront aussi une partie importante de la formation.
La formation possède l’avantage d’être illustrée d’exemples en code dans un langage parmi les plus utilisés pour chaque partie ; notamment en Spark pour le traitement de données, SQL en lien avec le stockage de données et Airflow pour la construction de pipelines.
Avec ce schéma, nous pouvons voir les différentes étapes d’une analyse de données actuellement. Le Data Engineer s’occupe à la fois de tout ce qui est collecte (Collection), intégration (Integration) et traitement (Processing) des données. Il a aussi un rôle de mise en place de pipelines pour les étapes d’analyse et de visualisation de données réalisées par les Data Scientist.
Cette formation sera bientôt disponible sur une durée de deux jours. N’hésitez pas à nous contacter pour la programmer !
François Rivard
CEO et Fondateur d’Astrakhan
[button-icon theme= »primary » label= »Contacter François » title= » » link= »mailto:francois.rivard@astrakhan.fr » target= »_blank » icon= »fa-envelope-square » icon_position= »center »]
