Tutoriel pour la mise en place d'un environnement Hadoop pour l'apprentissage et les tests dans VirtualBox

Avec ce tutoriel, vous pouvez configurer votre propre environnement Hadoop utilisant des machines virtuelles. Pour commencer le téléchargement et l'installation VirtualBox .

Ensuite, vous aurez besoin pour obtenir le image virtuelle centos. Une fois téléchargé créer un répertoire à la racine de votre disque dur appelé VM et décompressez le contenu des centos fichier zip dans le répertoire VM.

dans VirtualBox, vous devrez créer une nouvelle machine virtuelle. Choisir Linux à partir du type et Red Hat 64 bits de la version. Vous devez allouer de la mémoire 2048 Mo et pour le choix du disque dur utiliser un fichier sur le disque dur virtuel existant et naviguer vers le répertoire d'image CentOS dans le répertoire des machines virtuelles. Choisissez le fichier VMDK dont le nom ne se termine pas par un nombre. Une fois que vous avez fait que la machine est prête à démarrer.

Vient ensuite installer les additions invité de VirtualBox qui vous donne de meilleures performances entre autres l'amélioration. Avant d'installer Guest Additions, exécuter les commandes suivantes pour installer préparer l'installation

# yum update
# yum install gcc
# yum install kernel-devel
# yum install bzip2
# shutdown -r 00

Si vous devez retourner le curseur Fenêtres appuyez sur la touche hôte qui est le droit touche Ctrl par défaut. Choisissez des appareils dans le menu VirtualBox et choisissez Insérer Guest Additions CD Image. Suivez les instructions pour installer. Redémarrez la machine virtuelle pour que les modifications prennent effet.

 

Installation Apache BigTop

BigTop est idéal pour l'apprentissage Big Data composants tels que Hadoop. Permet de commencer l'installation.

Tout d'abord obtenir le fichier repo qui pointe vers le téléchargement de Hadoop et il est des dépendances.

wget -O /etc/yum.repos.d/bigtop.repo \
http://www.apache.org/dist/bigtop/bigtop-1.0.0/repos/centos6/bigtop.repo

Ensuite est de sélectionner et installer les composants Hadoop

yum install Hadoop  * cornac  * oozie  * HBase  * ruche  * teinte  * cochon  * Zookeeper  *

Choisissez Oui pour les invites de signature de code. Une fois que Hadoop et les composants sélectionnés est installé l'étape suivante consiste à configurer Hadoop. Une fois la configuration Hadoop sera prêt à démarrer.

Télécharger et installer java

yum install java-1.7.0-openjdk-devel.x86_64

Format du NameNode

sudo /etc/init.d/hadoop-hdfs-namenode initialisation

Démarrez les services Hadoop pour votre cluster

pour i dans Hadoop HDFS-NameNode Hadoop HDFS-DataNode ; 

faire sudo service i commence $ ;

terminé

Créer une structure sous-répertoire dans HDFS

/usr/lib/hadoop/libexec/init-hdfs.sh sudo

Démarrez les processus YARN

Service-fil Hadoop sudo-ResourceManager départ;
Service-fil Hadoop sudo-NodeManager départ

Si tout ce que nous bien vous avez maintenant une installation Hadoop de travail.

 

Laisser un commentaire