Formation : Spark Avancé

Machine Learning et industrialisation des flux analytiques

Spark Avancé

Machine Learning et industrialisation des flux analytiques

4 / 5

Framework de calcul distribué, Spark permet d'effectuer des traitements et des analyses complexes en big data. Vous avez déjà utilisé Spark, nous vous proposons ici d’approfondir vos analyses avec du machine learning et de découvrir le MLOps pour le déploiement et l’industrialisation des modèles analytiques.

INTER

INTRA

SUR MESURE

Cours pratique en présentiel ou à distance
Disponible en anglais, à la demande

Réf. SPN

3j - 21h00

Prix : 2330 € H.T.

Pauses-café et
déjeuners offerts

Dates, lieux et inscription

Télécharger le programme

Partager cette formation

Description
Programme
Financement
Dates

Objectifs pédagogiques

À l’issue de la formation, le participant sera en mesure de :

	Apprendre l’analyse avancée des données avec Spark
	Effectuer des traitements de machine learning (ML) avec Spark
	Comprendre Docker et son utilité dans le cadre de l'industrialisation des flux analytiques
	Détailler et mettre en œuvre les étapes du cycle analytique avec Spark
	Apprendre l’industrialisation du flux d’analyse
	Découvrir le MLOps

Public concerné

Professionnels qui souhaitent utiliser Spark pour faire de l’analytique en mode batch ainsi qu'en temps réel.

Prérequis

Connaissances des API Spark, notamment RDD et DataFrame. Connaissances des algorithmes d’apprentissage supervisés et non supervisés. Maîtrise d’un des langages suivants : Scala, Python.

Vérifiez que vous avez les prérequis nécessaires pour profiter pleinement de cette formation en faisant ce test.

Méthodes et moyens pédagogiques

Travaux pratiques

Alternance de théorie et de travaux pratiques. 60?% d'exercices pour un meilleur approfondissement. Des retours d'expérience concrets.

Modalités d'évaluation

Le formateur évalue la progression pédagogique du participant tout au long de la formation au moyen de QCM, mises en situation, travaux pratiques…

Le participant complète également un test de positionnement en amont et en aval pour valider les compétences acquises.

Programme de la formation

1
Introduction

Rappels sur l'API Spark.
Concepts de Docker et son utilité dans les analyses de données.
Les conteneurs Docker.

Travaux pratiques

Prise en main de l'environnement de travail, création des conteneurs Docker.

2
Le cycle analytique avec Spark

Ingestion de données.
Exploration.
Préparation des données.
Apprentissage.
Industrialisation.

Echanges

Présentation de cas concrets et échanges autour des différentes étapes du cycle.

3
Ingestion des données.

Le chargement de données.
Traitements batch.
Traitements en streaming.
Les formats de données : images, binaires, structurés, Graph…

Travaux pratiques

Chargement de données à partir de diverses sources.

4
Exploration des données

Statistiques descriptives.
Identifier les cas aberrants, les données vides.
Identifier les valeurs invalides et autres anomalies.

Travaux pratiques

Identifier les anomalies dans un jeu de données.

5
Préparation et feature engineering (processus de transformation de données)

Nettoyage des données.
Pipelines.
Transformer les valeurs numériques, catégoriques, binaires et texte.
Création de nouvelles features.
Réduction de dimensions.
Vectorisation.

Travaux pratiques

Préparer les données pour effectuer des analyses.

6
Cycle de vie du ML avec MLflow

Cycle de vie d'un projet de machine learning.
Présentation de la plateforme open source MLflow.
Les composants principaux de MLflow : Tracking, Models et Projects.
Paramètres, métriques, balises et artefacts.

Travaux pratiques

Création et utilisation d’un projet de machine learning.

7
Machine learning

MLlib la bibliothèque d'apprentissage automatique de Spark et les algorithmes disponibles.
Diviser un jeu de données.
Configurer un modèle et l’exécuter.
Interprétation et validation de résultats d’apprentissage.
Introduction à Spark Streaming.

Travaux pratiques

Mise en œuvre du machine learning.

8
Études de cas

Effectuer des recommandations.
Faire des prévisions de vente.
Analyse sémantique.
Computer vision avec Spark et PyTorch.
Analyse temps réel avec Spark et Kafka.

Etude de cas

Effectuer les différentes études de cas proposées.

Solutions de financement

Plusieurs solutions existent pour financer votre formation et dépendent de votre situation professionnelle.
Découvrez-les sur notre page Comment financer sa formation ou contactez votre conseiller formation.

Avis clients

4 / 5

Les avis clients sont issus des évaluations de fin de formation. La note est calculée à partir de l’ensemble des évaluations datant de moins de 12 mois. Seules celles avec un commentaire textuel sont affichées.

AMIRA T.

09/10/24

5 / 5

Bonne formation, complète et répond à mes attentes.

ALI YASMINA A.

09/10/24

5 / 5

Le contenu est globalement intéressant et couvre l’objectif de la formation. La pédagogie est efficace et permet de bien assimiler les différents concepts. dans l’ensemble, je suis satisfaite.

Horaires

les cours ont lieu de 9h à 12h30 et de 14h à 17h30.
Les participants sont accueillis à partir de 8h45. Les pauses et déjeuners sont offerts.

Pour les stages pratiques de 4 ou 5 jours, quelle que soit la modalité, les sessions se terminent à 16h le dernier jour.

Dates et lieux

Sélectionnez votre lieu ou optez pour la classe à distance puis choisissez votre date.

Classe à distance

Dernières places

Date garantie en présentiel ou à distance

Session garantie

PARTICIPANTS
Futurs managers et responsables d’équipe souhaitant structurer leur pratique managériale

PRÉREQUIS
Aucun

COMPÉTENCES DU FORMATEUR
Les experts qui animent la formation sont des spécialistes des matières abordées. Ils ont été validés par nos équipes pédagogiques tant sur le plan des connaissances métiers que sur celui de la pédagogie, et ce pour chaque cours qu’ils enseignent. Ils ont au minimum cinq à dix années d’expérience dans leur domaine et occupent ou ont occupé des postes à responsabilité en entreprise.

MODALITÉS D’ÉVALUATION
Le formateur évalue la progression pédagogique du participant tout au long de la formation au moyen de QCM, mises en situation, travaux pratiques… Le participant complète également un test de positionnement en amont et en aval pour valider les compétences acquises.

MOYENS PÉDAGOGIQUES ET TECHNIQUES
• Les moyens pédagogiques et les méthodes d’enseignement utilisés sont principalement : aides audiovisuelles, documentation et support de cours, exercices pratiques d’application et corrigés des exercices pour les stages pratiques, études de cas ou présentation de cas réels pour les séminaires de formation. • À l’issue de chaque stage ou séminaire, ORSYS fournit aux participants un questionnaire d’évaluation du cours qui est ensuite analysé par nos équipes pédagogiques. • Une feuille d’émargement par demi-journée de présence est fournie en fin de formation ainsi qu’une attestation de fin de formation si le stagiaire a bien assisté à la totalité de la session.

MODALITÉS ET DÉLAIS D’ACCÈS
L’inscription doit être finalisée 24 heures avant le début de la formation.

ACCESSIBILITÉ AUX PERSONNES HANDICAPÉES
Pour toute question ou besoin relatif à l’accessibilité, vous pouvez joindre notre équipe PSH par e-mail à l'adresse psh-accueil@orsys.fr.

Formation : Spark Avancé

Spark Avancé

1 Introduction

2 Le cycle analytique avec Spark

3 Ingestion des données.

4 Exploration des données

5 Préparation et feature engineering (processus de transformation de données)

6 Cycle de vie du ML avec MLflow

7 Machine learning

8 Études de cas

1
Introduction

2
Le cycle analytique avec Spark

3
Ingestion des données.

4
Exploration des données

5
Préparation et feature engineering (processus de transformation de données)

6
Cycle de vie du ML avec MLflow

7
Machine learning

8
Études de cas