Tutorial para la creación de un entorno de Hadoop para el aprendizaje y las pruebas en VirtualBox

Con este tutorial puede configurar su propio entorno Hadoop uso de máquinas virtuales. Para conseguir comenzado descarga e instalar VirtualBox .

A continuación, necesitará para obtener el imagen virtual centos. Una vez descargado crear un directorio en la raíz de la unidad llamada máquinas virtuales y descomprimir el contenido de los centos archivo zip en el directorio de las máquinas virtuales.

en VirtualBox, tendrá que crear una nueva máquina virtual. Escoger Linux del tipo y luego de Red Hat de 64 bits de la versión. Es necesario asignar memoria 2048 MB y para el disco duro decide utilizar un archivo de disco duro virtual existente y navegar al directorio de imágenes centos en el directorio de las máquinas virtuales. Elija el archivo vmdk cuyo nombre de archivo no termina con una serie. Una vez que haya hecho de que la máquina está lista para poner en marcha.

A continuación hay que instalar las Guest Additions de VirtualBox que le da un mejor rendimiento, entre otras mejoras. Antes de instalar adiciones del huésped, ejecute los siguientes comandos para instalar preparar la instalación

# yum update
# yum install gcc
# yum install kernel-devel
# yum install bzip2
# shutdown -r 00

Si es necesario devolver el cursor Ventanas pulse la tecla de acogida, que es el derecho tecla Ctrl de forma predeterminada. Elija dispositivos del menú de VirtualBox y seleccione Insertar imagen Adiciones CD huéspedes. Siga las instrucciones para instalar. Reiniciar la máquina virtual para que los cambios surtan efecto.

 

Instalación de Apache BigTop

BigTop es ideal para el aprendizaje Big Data componentes como Hadoop. Vamos a empezar con la instalación.

En primer lugar obtener el archivo repo que apunta a la descarga de Hadoop y sus dependencias.

wget -O /etc/yum.repos.d/bigtop.repo \
http://www.apache.org/dist/bigtop/bigtop-1.0.0/repos/centos6/bigtop.repo

A continuación hay que seleccionar e instalar los componentes de Hadoop

yum install hadoop  * mahout  * oozie  * hbase  * colmena  * tonalidad  * cerdo  * cuidador del zoológico  *

Elija sí para las peticiones de firma de código. Una vez que se ha instalado Hadoop y los componentes seleccionados del siguiente paso consiste en configurar Hadoop. Después de la configuración Hadoop estará listo para comenzar.

Descargar e instalar Java

yum install java-1.7.0-OpenJDK-devel.x86_64

Formatear la NameNode

sudo init /etc/init.d/hadoop-hdfs-namenode

Iniciar los servicios de Hadoop para el clúster

para i, y Hadoop-hdfs-NameNode Hadoop-hdfs-DataNode ; 

hacer el servicio sudo $ i start ;

hecho

Crear una estructura de subdirectorio en HDFS

sudo /usr/lib/hadoop/libexec/init-hdfs.sh

Iniciar los demonios DE HILO

sudo service inicio hadoop-hilo-ResourceManager;
sudo service inicio hadoop-hilo-NodeManager

Si bien todo lo que ahora tiene una instalación de trabajo Hadoop.

 

Deja una Respuesta