Tutorial zum Einstellen einer Hadoop-Umgebung für das Lernen und Prüfen in VirtualBox

Veröffentlicht am von

Mit diesem Tutorial können Sie Ihre eigene Hadoop-Umgebung mit virtuellen Maschinen einrichten. Um loszulegen herunterladen und installieren VirtualBox .

Als nächstes müssen Sie die bekommen CentOS virtuelles Bild. Einmal heruntergeladen ein Verzeichnis auf dem Stammverzeichnis Ihres Laufwerks erstellen genannt VMs und entpacken Sie die Inhalte der CentOS-Datei in das Verzeichnis VMs zip.

in VirtualBox, Sie benötigen eine neue virtuelle Maschine erstellen. Choose Linux from type and then Red Hat 64-bit from version. Sie müssen 2048Mb Speicher und für die Festplatte wählen, verwenden Sie eine vorhandene virtuelle Festplattendatei und navigieren Sie zum CentOS Bildverzeichnis in den VMs Verzeichnis zuweisen. Wählen Sie die VMDK-Datei, deren Dateiname nicht mit einer Zahl enden. Sobald Sie getan haben, dass die Maschine ist bereit, bis zu starten.

Weiter ist es, die VirtualBox Guest Additions zu installieren, die Ihnen eine bessere Leistung unter anderem Verbesserung gibt. Bevor Sie Guest Additions installieren, Führen Sie die folgenden Installationsbefehle für die Installation vorzubereiten

# yum update
# yum install gcc
# yum install kernel-devel
# yum install bzip2
# shutdown -r 00

If you need to return the cursor to Windows press the host key which is the right Ctrl key by default. Wählen Sie Geräte aus dem VirtualBox-Menü und wählen Sie Einfügen Guest Additions CD Bild. Folgen Sie den Anweisungen zur Installation. Starten Sie die virtuelle Maschine, damit die Änderungen wirksam werden.

 

Installation von Apache BigTop

BigTop is ideal for learning Big Data components like Hadoop. Fangen wir mit der Installation beginnen.

Zunächst erhalten die Repo-Datei, die zum Download von Hadoop Punkte und es ist Abhängigkeiten.

wget -O /etc/yum.repos.d/bigtop.repo \
http://www.apache.org/dist/bigtop/bigtop-1.0.0/repos/centos6/bigtop.repo

Als nächstes ist die Hadoop Komponenten auszuwählen und zu installieren

yum install hadoop  * Mahout  * Oozie  * hbase  * Hive  * Farbton  * Schwein  * zookeeper  *

Wählen Sie ja für die Codesignatur Aufforderungen. Sobald Hadoop und die ausgewählten Komponenten installiert ist, ist der nächste Schritt Hadoop konfigurieren. Nach der Konfiguration wird Hadoop bereit sein, zu starten.

Herunterladen und Installieren von Java

yum install java-1.7.0-openjdk-devel.x86_64

Formatieren Sie die NameNode

sudo /etc/init.d/hadoop-hdfs-namenode init

Starten Sie die Hadoop Dienste für den Cluster

für i in Hadoop-hdfs-NameNode hadoop-hdfs-DataNode ; 

tun sudo Service $ i beginnen ;

erledigt

Erstellen Sie eine Unterverzeichnisstruktur in HDFS

sudo /usr/lib/hadoop/libexec/init-hdfs.sh

Starten Sie die GARN-Daemons

sudo Service hadoop-Garn-Resourcemanager Start;
sudo Service hadoop-Garn-NodeManager Start

Wenn alles, was wir gut haben Sie jetzt eine Arbeits Hadoop-Installation.