> Formations > Technologies numériques > Langages et développement > Python > Formation Python HPC super calculateur > Formations > Technologies numériques > Formation Python HPC super calculateur

Formation : Python HPC super calculateur

Python HPC super calculateur




Python est devenu en quelques années le langage de programmation privilégié de toutes les disciplines scientifiques. Bien qu’il soit interprété, ses librairies scientifiques sont particulièrement performantes car écrites dans des langages compilés, comme C/Cython et très bien parallélisées. Aujourd’hui la lenteur du langage n’est plus un frein et il fonctionne sur les plus puissants des supercalculateurs de la planète. Nous vous proposons d’apprendre les concepts de la programmation parallèle appliquée au HPC au travers des meilleures librairies Python utilisables sur ces environnements.


INTER
INTRA
SUR MESURE

Cours pratique en présentiel ou à distance
Disponible en anglais, à la demande

Réf. PYC
  5j - 35h00
Prix : 3030 € H.T.
Pauses-café et
déjeuners offerts




Python est devenu en quelques années le langage de programmation privilégié de toutes les disciplines scientifiques. Bien qu’il soit interprété, ses librairies scientifiques sont particulièrement performantes car écrites dans des langages compilés, comme C/Cython et très bien parallélisées. Aujourd’hui la lenteur du langage n’est plus un frein et il fonctionne sur les plus puissants des supercalculateurs de la planète. Nous vous proposons d’apprendre les concepts de la programmation parallèle appliquée au HPC au travers des meilleures librairies Python utilisables sur ces environnements.


Objectifs pédagogiques
À l’issue de la formation, le participant sera en mesure de :
Posséder une bonne compréhension des concepts des supercalculateurs et de leur programmation
Connaître les librairies Python adaptées au calcul sur HPC
Développer des algorithmes sur supercalculateur avec les librairies MPI4Py, Dask, Xarray, Dask+Scikit-Learn, PyTorch…
Exécuter des workflows avec Prefect
Visualiser des données volumineuses avec DataShader

Public concerné
Ingénieurs, développeurs, chercheurs, data scientistes, data analystes et toute personne ayant de forts besoins en capacité de calculs avec Python.

Prérequis
Pratique du langage Python, connaissance des librairies numpy et pandas.
Vérifiez que vous avez les prérequis nécessaires pour profiter pleinement de cette formation en faisant  ce test.

Méthodes et moyens pédagogiques
Méthodes pédagogiques
Les travaux pratiques seront réalisés sur un supercalculateur (type Exaion).

Modalités d'évaluation
Le formateur évalue la progression pédagogique du participant tout au long de la formation au moyen de QCM, mises en situation, travaux pratiques…
Le participant complète également un test de positionnement en amont et en aval pour valider les compétences acquises.

Programme de la formation

1
Découvrir les supercalculateurs

  • Rétrospective du tout premier supercalculateur au plus puissant d’aujourd’hui.
  • Qu'est-ce qu’un supercalculateur ?
  • Principes et caractéristiques fondamentales : capacités de calcul, capacité réseau et capacité de stockage.
  • Les différents classements : Top500, Green500, io500.
  • Comment se programme un supercalculateur : les ordonnanceurs/gestionnaires de ressources : SLURM, PBS, ...
  • Présentation du supercalculateur Exaion sur lequel nous travaillerons.
Travaux pratiques
Prise en main du supercalculateur Exaion : connexion, installation d’un environnement virtuel et exécution de premiers jobs avec Slurm.

2
Programmation MPI

  • Présentation rapide des bases du calcul parallèle avec Python : multithreading, multiprocessing, GIL.
  • Les concepts MPI et les différentes librairies disponibles.
  • Les différentes primitives : send/receive, scatter/gather, broadcast/reduce, pools de process...
Travaux pratiques
Implémentation de différentes problématiques mettant en œuvre les principales primitives : traitement d’un lot d’images, calcul des décimales de PI...

3
Programmation MPI, les applications

  • Présentation d'exemples d’applications MPI.
Travaux pratiques
Poursuite des travaux pratiques mettant en œuvre les principales primitives.

4
Dask et son écosystème

  • Prise en main de dask : les concepts de base, dask array et dataframe.
  • Les autres composants de dask : delayed, futures et bags.
  • Dask sur HPC : Scheduler et workers, créer un cluster dask : Cluster MPI/Slurm...
  • Panorama des différentes librairies de l’écosystème Dask.
  • Manipuler des fichiers NetCDF avec XArray.
Travaux pratiques
Analyse de séries temporelles et climatiques, classifications et régressions avec Dask+Scikit-Learn, visualisation de données cartographiques.

5
Dask et les données volumineuses

  • Visualiser des données volumineuses avec DataShader et Xarray.
  • Créer des pipelines/workflows avec Prefect.
  • DaskML : déployer vos algorithmes de machine learning sur HPC.
Travaux pratiques
Poursuite des travaux pratiques sur les analyses et les visualisations de données.

6
Calculer sur GPU

  • Les concepts du calcul sur GPU avec Python : matériels, librairies.
  • Fonctionnement d’un GPU.
  • Dask sur GPU : Créer un cluster CUDA.
  • Machine-learning avec PyTorchLightning et RapidsAI.
Travaux pratiques
Mise en œuvre de base avec les librairies PyCuda et Cupy. Manipulation de dataframes avec Dask-CUDF. Machine learning appliqué sur plusieurs nœuds de calculs et plusieurs GPU.


Solutions de financement
Plusieurs solutions existent pour financer votre formation et dépendent de votre situation professionnelle.
Découvrez-les sur notre page Comment financer sa formation ou contactez votre conseiller formation.

Avis clients
4,4 / 5
Les avis clients sont issus des évaluations de fin de formation. La note est calculée à partir de l’ensemble des évaluations datant de moins de 12 mois. Seules celles avec un commentaire textuel sont affichées.
MYRIAM O.
10/03/25
4 / 5

Formateur très disponible et répondant bien à nos attentes pour nos applications.
CHARLES C.
10/03/25
4 / 5

Formateur très compétent montrant une grande expérience et capable de prendre le recul nécessaire afin de trouver une solution technique et/ou algorithmique.Un petit manque de préparation/test par rapport à la solution HPC utilisée, ce qui a pris un temps notable sur la formation. Mais ce n’était pas que de son fait.Formateur qui a tendance à dévier du programme pour ajouter du contexte, qui visiblement le passionne. Peut être gènant mais c’est son charme.



Horaires
les cours ont lieu de 9h à 12h30 et de 14h à 17h30.
Les participants sont accueillis à partir de 8h45. Les pauses et déjeuners sont offerts.
Pour les stages pratiques de 4 ou 5 jours, quelle que soit la modalité, les sessions se terminent à 16h le dernier jour.

Dates et lieux
Sélectionnez votre lieu ou optez pour la classe à distance puis choisissez votre date.
Classe à distance

Dernières places
Date garantie en présentiel ou à distance
Session garantie




PARTICIPANTS
Futurs managers et responsables d’équipe souhaitant structurer leur pratique managériale

PRÉREQUIS
Aucun

COMPÉTENCES DU FORMATEUR
Les experts qui animent la formation sont des spécialistes des matières abordées. Ils ont été validés par nos équipes pédagogiques tant sur le plan des connaissances métiers que sur celui de la pédagogie, et ce pour chaque cours qu’ils enseignent. Ils ont au minimum cinq à dix années d’expérience dans leur domaine et occupent ou ont occupé des postes à responsabilité en entreprise.

MODALITÉS D’ÉVALUATION
Le formateur évalue la progression pédagogique du participant tout au long de la formation au moyen de QCM, mises en situation, travaux pratiques… Le participant complète également un test de positionnement en amont et en aval pour valider les compétences acquises.

MOYENS PÉDAGOGIQUES ET TECHNIQUES
• Les moyens pédagogiques et les méthodes d’enseignement utilisés sont principalement : aides audiovisuelles, documentation et support de cours, exercices pratiques d’application et corrigés des exercices pour les stages pratiques, études de cas ou présentation de cas réels pour les séminaires de formation. • À l’issue de chaque stage ou séminaire, ORSYS fournit aux participants un questionnaire d’évaluation du cours qui est ensuite analysé par nos équipes pédagogiques. • Une feuille d’émargement par demi-journée de présence est fournie en fin de formation ainsi qu’une attestation de fin de formation si le stagiaire a bien assisté à la totalité de la session.

MODALITÉS ET DÉLAIS D’ACCÈS
L’inscription doit être finalisée 24 heures avant le début de la formation.

ACCESSIBILITÉ AUX PERSONNES HANDICAPÉES
Pour toute question ou besoin relatif à l’accessibilité, vous pouvez joindre notre équipe PSH par e-mail à l'adresse psh-accueil@orsys.fr.