Tutoriel pour la mise en place d'un environnement Hadoop pour l'apprentissage et les tests dans VirtualBox

Avec ce tutoriel, vous pouvez configurer votre propre environnement Hadoop utilisant des machines virtuelles. Pour commencer le téléchargement et l'installation VirtualBox .

Ensuite, vous aurez besoin pour obtenir le image virtuelle centos. Une fois téléchargé créer un répertoire à la racine de votre disque dur appelé VM et décompressez le contenu des centos fichier zip dans le répertoire VM.

dans VirtualBox, vous devrez créer une nouvelle machine virtuelle. Choisir Linux à partir du type et Red Hat 64 bits de la version. Vous devez allouer de la mémoire 2048 Mo et pour le choix du disque dur utiliser un fichier sur le disque dur virtuel existant et naviguer vers le répertoire d'image CentOS dans le répertoire des machines virtuelles. Choisissez le fichier VMDK dont le nom ne se termine pas par un nombre. Une fois que vous avez fait que la machine est prête à démarrer.

Vient ensuite installer les additions invité de VirtualBox qui vous donne de meilleures performances entre autres l'amélioration. Avant d'installer Guest Additions, exécuter les commandes suivantes pour installer préparer l'installation

# yum update
# yum install gcc
# yum install kernel-devel
# yum install bzip2
# shutdown -r 00

Si vous devez retourner le curseur Fenêtres appuyez sur la touche hôte qui est le droit touche Ctrl par défaut. Choisissez des appareils dans le menu VirtualBox et choisissez Insérer Guest Additions CD Image. Suivez les instructions pour installer. Redémarrez la machine virtuelle pour que les modifications prennent effet.

 

Installation Apache BigTop

BigTop est idéal pour l'apprentissage Big Data composants tels que Hadoop. Permet de commencer l'installation.

Tout d'abord obtenir le fichier repo qui pointe vers le téléchargement de Hadoop et il est des dépendances.

wget -O /etc/yum.repos.d/bigtop.repo \
http://www.apache.org/dist/bigtop/bigtop-1.0.0/repos/centos6/bigtop.repo

Ensuite est de sélectionner et installer les composants Hadoop

yum install Hadoop  * cornac  * oozie  * HBase  * ruche  * teinte  * cochon  * Zookeeper  *

Choisissez Oui pour les invites de signature de code. Une fois que Hadoop et les composants sélectionnés est installé l'étape suivante consiste à configurer Hadoop. After the configuration Hadoop will be ready to start.

Download and install java

yum install java-1.7.0-openjdk-devel.x86_64

Format the namenode

sudo /etc/init.d/hadoop-hdfs-namenode init

Start the Hadoop services for your cluster

for i in hadoop-hdfs-namenode hadoop-hdfs-datanode ; 

do sudo service $i start ;

done

Create a sub-directory structure in HDFS

sudo /usr/lib/hadoop/libexec/init-hdfs.sh

Start the YARN daemons

sudo service hadoop-yarn-resourcemanager start;
sudo service hadoop-yarn-nodemanager start

If everything we well you now have a working Hadoop installation.

 

Laisser un commentaire