MapReduce, appliquer le paradigme dans tous les langages et le transposer sous Hadoop

tutorat en option

MapReduce, appliquer le paradigme dans tous les langages et le transposer sous Hadoop

tutorat en option
Télécharger au format pdf Partager cette formation par e-mail 2

Télécharger au format pdf Partager cette formation par e-mail 2

Cette formation digitale a pour objectifs de comprendre le paradigme MapReduce, ses spécificités et ses finalités. Elle s'adresse à tous les développeurs et administrateurs système. La pédagogie s'appuie sur un auto-apprentissage séquencé par actions de l’utilisateur sur l’environnement à maîtriser. Une option de tutorat vient renforcer l'apprentissage (option non disponible actuellement).


Catalogue
Sur mesure

Formation en ligne

Réf. 4TP
  2h30
Prix : Nous contacter
Langue : FR




Cette formation digitale a pour objectifs de comprendre le paradigme MapReduce, ses spécificités et ses finalités. Elle s'adresse à tous les développeurs et administrateurs système. La pédagogie s'appuie sur un auto-apprentissage séquencé par actions de l’utilisateur sur l’environnement à maîtriser. Une option de tutorat vient renforcer l'apprentissage (option non disponible actuellement).

Objectifs pédagogiques
À l’issue de la formation, le participant sera en mesure de :
  • Connaître la théorie du paradigme MapReduce (la fonction map() et la fonction reduce())
  • Analyser des journaux Apache (access log) dans plusieurs langages (Java, Scala, Python, JavaScript, PHP et Bash)
  • Connaître les fonctionnalités MapReduce au sein de la plateforme Big Data Hadoop
  • Faire fonctionner un MapReduce codé en C++ avec Hadoop Pipes
  • Comprendre les fonctions MapReduce plus complexes
  • Combiner les fonctions MapReduce avec Sqoop, MySQL et Oozie

Public concerné
Tous les développeurs et administrateurs système.

Prérequis
Aucune connaissance particulière.

Programme de la formation

Présentation du paradigme MapReduce

  • Histoire du paradigme MapReduce
  • Principe général
  • Fonction map() en détails
  • Fonction reduce() en détails

MapReduce dans différents langages

  • Analyse des journaux d’accès : Cas d’un MapReduce simple
  • Développement de notre MapReduce en Java
  • Développement de notre MapReduce en Scala
  • Développement de notre MapReduce en Python
  • Développement de notre MapReduce en JavaScript
  • Développement de notre MapReduce en PHP
  • Développement de notre MapReduce en Bash

MapReduce dans Hadoop

  • Implémentation des MapReduce sous YARN
  • Adaptation de notre code Java pour Hadoop
  • Suivi de l’évolution du job sous Hadoop
  • Hadoop streaming : Lancement de nos autres MapReduce grâce à des exécutables
  • Hadoop Pipes : Exécution de MapReduce en C++

Exemples avancés de MapReduce

  • Compter le nombre de visiteurs uniques par page
  • Opérer une jointure de données
  • Utiliser une clé composite
  • Réaliser un tri secondaire (secondary sort)

Plus loin grâce à Hadoop

  • Compteurs
  • Journaux
  • Importation/exportation des données de MySQL grâce à Sqoop
  • Réalisation des workflows de MapReduce grâce à Oozie


Modalités pratiques
Activités digitales
Démonstrations, cours enregistrés, partages de bonnes pratiques, quiz, fiches de synthèse.
Tutorat
Un formateur dédié accompagne l’apprenant dès le début du parcours. Il échange avec lui sur ses pratiques et répond à ses interrogations lors d’un rendez-vous individuel en classe à distance. Il l’aide tout au long du parcours par email. Un forum de discussion permet aussi à l’ensemble des apprenants d’échanger et de partager leurs expériences.
Pédagogie et pratique;
Pédagogie active mixant pratique, théorie, gamification et partages. Un chef de projet coordonne les échanges et un service technique est dédié au support de l’apprenant. La formation est diffusée au format SCORM et accessible en illimité pendant 1 an.

Modalités d'évaluation
Le formateur évalue la progression pédagogique du participant tout au long de la formation au moyen de QCM, mises en situation, travaux pratiques…
Le participant complète également un test de positionnement en amont et en aval pour valider les compétence acquises.

Solutions de financement
Pour trouver la meilleure solution de financement adaptée à votre situation : contactez votre conseiller formation.
Il vous aidera à choisir parmi les solutions suivantes :
  • Le plan de développement des compétences de votre entreprise : rapprochez-vous de votre service RH.
  • Le dispositif FNE-Formation.
  • L’OPCO (opérateurs de compétences) de votre entreprise.
  • Pôle Emploi sous réserve de l’acceptation de votre dossier par votre conseiller Pôle Emploi.
  • Le plan de développement des compétences de votre entreprise : rapprochez-vous de votre service RH.
  • Le dispositif FNE-Formation.
  • L’OPCO (opérateurs de compétences) de votre entreprise.
  • Pôle Emploi sous réserve de l’acceptation de votre dossier par votre conseiller Pôle Emploi.