Deploy Me Hadoop est un script de déploiment Hadoop v2.x (V2.3 pas compris) principalement en shell.
- Télécharger Deploy-me-Hadoop
- Extraire le .zip
unzip Deploy-me-Hadoop-master
cd Deploy-me-Hadoop-master
- Modification du fichier variable.sh dans Deploy-me-Hadoop-master/script/variable.sh
Variable.sh contient les variables(logique) pour le deploiment de hadoop
- La version de hadoop que l'on veut déployer
hadoop_ver="hadoop-2.7.1"
- Le dossier JAVA_HOME qui se situe dans /usr/lib/jvm/$java_version
java_version="java-1.8.0-openjdk-i386"
- L'utilisateur
user="**"
- Le mot de passe
pass="**"
- Le dossier d'installation de hadoop
path_hadoop_install="$home_dir/Documents"
- etc ...
- Ajout ou modification du fichier host qui contient les @ip des machines ou l'on veut installer hadoop
Le fichier host doit obligatoirement avoir un namenode, un secondary namenode et 1 à n datanode
- Le # devant un @ip désigne le namenode
- Le _ devant un @ip désigne le secondary namenode
Exemple du fichier host:
192.168.1.5
192.168.1.2
_192.168.1.3
192.168.1.6
#192.168.1.1
namenode est 192.168.1.1
secondary est 192.168.1.3
datanodes sont 192.168.1.6, 192.168.1.2, 192.168.1.5
- Si besoin vous pouvez modifier les fichiers de hadoop pour avoir un autre configuration dans les dossiers
script/Fichier_de_configuration #Fichier configuration de base pour les datanodes
script/Namenode_config
script/Secondary_config
- Donner les droits pour exécuter le script run
chmod 744 ./run
- puis lancer le script run
./run