Tutorial per la creazione di un ambiente di Hadoop per l'apprendimento e la sperimentazione in VirtualBox

postato su da

Con questo tutorial è possibile impostare il proprio ambiente di Hadoop con macchine virtuali. Per ottenere scaricare Creare e installare VirtualBox .

Successivamente sarà necessario per ottenere il CentOS immagine virtuale. Una volta scaricato creare una directory sul principale dell'unità chiamato VM e decomprimere il contenuto dei CentOS file zip nella directory VM.

in VirtualBox, è necessario creare una nuova macchina virtuale. Scegli Linux dal tipo e poi Red Hat 64-bit dalla versione. È necessario allocare la memoria 2048Mb e per il disco rigido sceglie utilizzare un file del disco rigido virtuale esistente e navigare alla directory dell'immagine CentOS nella directory VM. Scegliere il file VMDK il cui nome non termina con un numero. Una volta che avete fatto che la macchina è pronta per l'avvio.

Successivo è quello di installare i VirtualBox Guest Additions, che ti dà la migliore prestazione tra l'altro la valorizzazione. Prima di installare Guest Additions, eseguire i seguenti comandi per installare la preparazione per l'installazione

# yum update
# yum install gcc
# yum install kernel-devel
# yum install bzip2
# shutdown -r 00

Scegli Linux dal tipo e poi Red Hat 64-bit dalla versione. Scegliere i dispositivi dal menu VirtualBox e scegliere Inserisci Guest Additions CD Immagine. Seguire le istruzioni per installare. Riavviare la macchina virtuale per le modifiche abbiano effetto.

 

Installazione di Apache BigTop

Scegli Linux dal tipo e poi Red Hat 64-bit dalla versione. Consente di iniziare con l'installazione.

In primo luogo ottenere il file repo che punta al download di Hadoop ed è dipendenze.

wget -O /etc/yum.repos.d/bigtop.repo \
http://www.apache.org/dist/bigtop/bigtop-1.0.0/repos/centos6/bigtop.repo

Successivo è quello di selezionare e installare i componenti Hadoop

yum install Hadoop  * mahout  * oozie  * HBase  * alveare  * tonalità  * maiale  * Zookeeper  *

Scegliere Sì per le richieste di firma codice. Una volta installato Hadoop e componenti selezionati il ​​passo successivo è quello di configurare Hadoop. Dopo la configurazione Hadoop sarà pronto per iniziare.

Scaricare e installare Java

yum install java-1.7.0-openjdk-devel.x86_64

Formattare il NameNode

sudo init /etc/init.d/hadoop-hdfs-namenode

Avviare i servizi per il cluster Hadoop

per i, e Hadoop-HDFS-NameNode Hadoop-HDFS-DataNode ; 

fare il servizio sudo $ comincio ;

fatto

Creare una struttura di sottodirectory in HDFS

sudo /usr/lib/hadoop/libexec/init-hdfs.sh

Avviare i demoni FILO

servizio di sudo inizio Hadoop-filo-ResourceManager;
servizio di sudo inizio Hadoop-filo-NodeManager

Se tutto ciò che bene si hanno ora una installazione Hadoop di lavoro.