Tutorial voor het opzetten van een Hadoop-omgeving voor het leren en het testen in VirtualBox

Met deze tutorial kunt u het opzetten van uw eigen Hadoop omgeving met behulp van virtuele machines. Om begonnen te downloaden downloaden en installeren VirtualBox .

Vervolgens moet u het krijgen image centos virtual. Eenmaal gedownload maak een directory op de root van je schijf genaamd VM's en pak de inhoud van het centos zip-bestand naar VMs directory.

in VirtualBox, je nodig hebt om een ​​nieuwe virtuele machine te creëren. Kiezen Linux van type en vervolgens Red Hat 64-bit vanaf versie. Je moet 2048MB geheugen toe te wijzen en voor de harde schijf kiezen een bestaande virtuele harde schijf-bestand en ga naar de centos afbeelding directory in de VM's directory. Kies het vmdkdossier waarvan de bestandsnaam eindigt niet met een aantal. Zodra je dat gedaan hebt de machine klaar is om te starten.

Vervolgens is de VirtualBox gastaanvullingen die betere prestaties geeft onder andere verbetering installeren. Voordat u installeert gastaanvullingen, voert u de volgende installeren opdrachten voor te bereiden op de installatie

# yum update
# yum install gcc
# yum install kernel-devel
# yum install bzip2
# shutdown -r 00

Als u nodig hebt om de cursor terug naar Windows drukt u op de host-sleutel die de rechter Ctrl-toets standaard. Kies apparaten uit de menu VirtualBox en kies Invoegen gastaanvullingen CD Afbeelding. Volg de aanwijzingen om te installeren. Start de virtuele machine om de wijzigingen door te voeren.

 

Het installeren van Apache BigTop

BigTop is ideaal voor het leren Big data componenten zoals Hadoop. Laten we aan de slag met de installatie.

Allereerst heb je de repo-bestand dat verwijst naar het downloaden van Hadoop en het is afhankelijkheden.

wget -O /etc/yum.repos.d/bigtop.repo \
http://www.apache.org/dist/bigtop/bigtop-1.0.0/repos/centos6/bigtop.repo

Volgende is het selecteren en installeren van de Hadoop componenten

yum install Hadoop  * mahout  * oozie  * HBase  * bijenkorf  * tint  * varken  * dierenverzorger  *

Choose yes for the code signing prompts. Once Hadoop and the selected components is installed the next step is to configure Hadoop. After the configuration Hadoop will be ready to start.

Download and install java

yum install java-1.7.0-openjdk-devel.x86_64

Format the namenode

sudo /etc/init.d/hadoop-hdfs-namenode init

Start the Hadoop services for your cluster

for i in hadoop-hdfs-namenode hadoop-hdfs-datanode ; 

do sudo service $i start ;

done

Create a sub-directory structure in HDFS

sudo /usr/lib/hadoop/libexec/init-hdfs.sh

Start the YARN daemons

sudo service hadoop-yarn-resourcemanager start;
sudo service hadoop-yarn-nodemanager start

If everything we well you now have a working Hadoop installation.

 

laat een antwoord achter