Tutorial para a criação de um ambiente Hadoop para a aprendizagem e testes em VirtualBox

postado em por

Com este tutorial, você pode configurar seu próprio ambiente Hadoop usando máquinas virtuais. Para obter transferência iniciado e instale VirtualBox .

Em seguida, você vai precisar de ter o imagem virtual centos. Uma vez baixado criar um diretório na raiz da sua unidade de chamada VMs e descompacte o conteúdo dos centos arquivo zip para o diretório VMs.

em VirtualBox, você precisará criar uma nova máquina virtual. Choose Linux from type and then Red Hat 64-bit from version. Você precisa alocar memória 2048MB e para o disco rígido escolher usar um arquivo de disco rígido virtual existente e navegue até o diretório da imagem centos no diretório VMs. Escolha o arquivo vmdk cujo nome não termina com um número. Depois de ter feito que a máquina está pronta para o arranque.

Em seguida está a instalar os VirtualBox Adições convidado que lhe dá o melhor desempenho entre outros valorização. Antes de instalar adições de Clientes, execute os seguintes comandos de instalação para se preparar para a instalação

# yum update
# yum install gcc
# yum install kernel-devel
# yum install bzip2
# shutdown -r 00

If you need to return the cursor to Windows press the host key which is the right Ctrl key by default. Escolha dispositivos do menu VirtualBox e escolha Inserir Adições CD Guest Imagem. Siga as instruções para instalar. Reinicie a máquina virtual para que as alterações entrem em vigor.

 

Instalando Apache BigTop

BigTop is ideal for learning Big Data components like Hadoop. Vamos começar com a instalação.

Primeiro obtenha o arquivo repo que aponta para a descarga do Hadoop e é dependências.

wget -O /etc/yum.repos.d/bigtop.repo \
http://www.apache.org/dist/bigtop/bigtop-1.0.0/repos/centos6/bigtop.repo

Em seguida é selecionar e instalar os componentes do Hadoop

yum install hadoop  * mahout  * Oozie  * hbase  * hive  * matiz  * porco  * tratador  *

Escolha sim para as solicitações de assinatura de código. Uma vez Hadoop e os componentes selecionados está instalado o próximo passo é configurar o Hadoop. Após a configuração do Hadoop estará pronto para começar.

Baixe e instale o java

yum install java-1.7.0-openjdk-devel.x86_64

Formate a namenode

sudo inicialização /etc/init.d/hadoop-hdfs-namenode

Inicie os serviços do Hadoop para o cluster

para i, e Hadoop-hdfs-namenode Hadoop-hdfs-DataNode ; 

fazer o serviço sudo $ i começar ;

feito

Criar uma estrutura de sub-directório no HDFS

sudo /usr/lib/hadoop/libexec/init-hdfs.sh

Inicie os daemons FIO

serviço sudo início hadoop-fios ResourceManager;
serviço sudo início hadoop-fios NodeManager

Se tudo o que bem agora você tem uma instalação de trabalho Hadoop.