Tutorial zum Einstellen einer Hadoop-Umgebung für das Lernen und Prüfen in VirtualBox

Mit diesem Tutorial können Sie Ihre eigene Hadoop-Umgebung mit virtuellen Maschinen einrichten. Um loszulegen herunterladen und installieren VirtualBox .

Als nächstes müssen Sie die bekommen CentOS virtuelles Bild. Einmal heruntergeladen ein Verzeichnis auf dem Stammverzeichnis Ihres Laufwerks erstellen genannt VMs und entpacken Sie die Inhalte der CentOS-Datei in das Verzeichnis VMs zip.

in VirtualBox, Sie benötigen eine neue virtuelle Maschine erstellen. Wählen Linux von Typ und dann Red Hat 64-Bit-Version von. Sie müssen 2048Mb Speicher und für die Festplatte wählen, verwenden Sie eine vorhandene virtuelle Festplattendatei und navigieren Sie zum CentOS Bildverzeichnis in den VMs Verzeichnis zuweisen. Wählen Sie die VMDK-Datei, deren Dateiname nicht mit einer Zahl enden. Sobald Sie getan haben, dass die Maschine ist bereit, bis zu starten.

Weiter ist es, die VirtualBox Guest Additions zu installieren, die Ihnen eine bessere Leistung unter anderem Verbesserung gibt. Bevor Sie Guest Additions installieren, Führen Sie die folgenden Installationsbefehle für die Installation vorzubereiten

# yum update
# yum install gcc
# yum install kernel-devel
# yum install bzip2
# shutdown -r 00

Wenn Sie den Cursor auf zurückkehren Windows- drücken Sie den Host-Schlüssel, die die rechte Strg-Taste ist standardmäßig. Wählen Sie Geräte aus dem VirtualBox-Menü und wählen Sie Einfügen Guest Additions CD Bild. Folgen Sie den Anweisungen zur Installation. Starten Sie die virtuelle Maschine, damit die Änderungen wirksam werden.

 

Installation von Apache BigTop

BigTop ist ideal für das Lernen Große Daten Komponenten wie Hadoop. Fangen wir mit der Installation beginnen.

Zunächst erhalten die Repo-Datei, die zum Download von Hadoop Punkte und es ist Abhängigkeiten.

wget -O /etc/yum.repos.d/bigtop.repo \
http://www.apache.org/dist/bigtop/bigtop-1.0.0/repos/centos6/bigtop.repo

Als nächstes ist die Hadoop Komponenten auszuwählen und zu installieren

yum install hadoop  * Mahout  * Oozie  * hbase  * Hive  * Farbton  * Schwein  * zookeeper  *

Wählen Sie ja für die Codesignatur Aufforderungen. Sobald Hadoop und die ausgewählten Komponenten installiert ist, ist der nächste Schritt Hadoop konfigurieren. After the configuration Hadoop will be ready to start.

Download and install java

yum install java-1.7.0-openjdk-devel.x86_64

Format the namenode

sudo /etc/init.d/hadoop-hdfs-namenode init

Start the Hadoop services for your cluster

for i in hadoop-hdfs-namenode hadoop-hdfs-datanode ; 

do sudo service $i start ;

done

Create a sub-directory structure in HDFS

sudo /usr/lib/hadoop/libexec/init-hdfs.sh

Start the YARN daemons

sudo service hadoop-yarn-resourcemanager start;
sudo service hadoop-yarn-nodemanager start

If everything we well you now have a working Hadoop installation.

 

Hinterlasse eine Antwort