Présentation de l’écosystème d’Hadoop

• L'architecture Hadoop.
• Description des principaux composants de la plateforme Hadoop.
• Rappels MapReduce.
• Le système de fichiers distribué HDFS (Hadoop Distributed File System) d'Hadoop.
• Présentation de HBase, ses apports, lien avec HDFS.
• Format des données dans HBase.
• Fonctionnalités : failover automatique, sharding, interface avec des jobs MapReduce.

Architecture HBase

• Terminologie de HBase : table, région, ligne, famille de colonnes, cellules, espace de nommage...
• Les 3 composants principaux : HMaster, Region Server, Zookeeper.
• Rôle de Zookeeper.
• Le schéma des données. Les différents scénarios de schémas.

Installation

• Installation et configuration dans le fichier conf/hbase-site.xml.
• Installation en mode distribué.
• Gestion des connexions avec hbase shell.

Base utilisation : Shell

• Les différentes interfaces disponibles.
• Commandes de base, syntaxe, variables, manipulation des données : create, list, put, scan, get.
• Programmation de scripts.
• Activer/désactiver une table, effacer une table : enable/disable, drop...
• Principe des filtres. Mise en œuvre de filtres de recherche.
• Paramètres des tables.
• Les espaces de nommage.

Cluster HBase

• Rappels : préparation et configuration du cluster Hadoop, principe de fonctionnement de HDFS.
• Fonctionnement en mode distribué.
• Fonctionnement indépendant des démons (HMaster, HRegionServer, Zookeeper).
• Mise en œuvre avec HDFS dans un environnement distribué.

Développement

• Les APIs (REST, Avro, Thrift, Java, Ruby, Spark, ...).
• La surveillance des applications.
• Exemple de programmation d'un client.
• Gestion des tables.
• Map/reduce.