Учебник для настройки среды Hadoop для обучения и тестирования в VirtualBox

Опубликовано по

С помощью этого урока вы можете настроить свою собственную среду Hadoop с использованием виртуальных машин. Чтобы приступить к работе необходимо загрузить и установить VirtualBox .

Далее вам нужно будет получить CentOS виртуальное изображение. После загрузки создать каталог на корневом каталоге вашего диска под названием виртуальных машин и распаковать содержимое CentOS почтовый файл в каталог виртуальных машин.

В VirtualBox, вам нужно будет создать новую виртуальную машину. Выберите Linux из типа, а затем Red Hat 64-бит из версии.. Вам нужно выделить память 2048MB и для жесткого диска выбрать использовать существующий файл виртуального жесткого диска и перейдите к CentOS каталог изображений в каталоге виртуальных машин. Выберите файл VMDK, чье имя файла не заканчивается с номером. После того, как вы сделали, что машина готов к запуску.

Далее следует установить гостевых дополнений VirtualBox, который дает лучшую производительность среди другого повышения. Перед установкой гостевых дополнений, выполните следующие установки команды для подготовки к установке

# yum update
# yum install gcc
# yum install kernel-devel
# yum install bzip2
# завершение работы -r 00

Выберите Linux из типа, а затем Red Hat 64-бит из версии.. Выберите устройства из меню VirtualBox и выберите Вставить Гость дополнения CD Image. Следуйте инструкциям по установке. Перезагрузите виртуальную машину, чтобы изменения вступили в силу.

 

Установка Apache BigTop

Выберите Linux из типа, а затем Red Hat 64-бит из версии.. Позволяет начать работу с установкой.

Во-первых получить файл репо, который указывает на загрузку Hadoop, и это зависимостей.

Wget -О /etc/yum.repos.d/bigtop.repo \
HTTP://www.apache.org/dist/bigtop/bigtop-1.0.0/repos/centos6/bigtop.repo

Далее следует выбрать и установить компоненты Hadoop

ням установить Hadoop  * махаут  * oozie  * HBase  * улей  * Оттенок  * свинья  * Zookeeper  *

Выберите да для подписания кода приглашения. После установки Hadoop и выбранные компоненты следующим шагом является настройка Hadoop. После конфигурации Hadoop будет готов к запуску.

Скачать и установить Java

ням установить Java-1.7.0-OpenJDK-devel.x86_64

Форматирование NameNode

Sudo Init /etc/init.d/hadoop-hdfs-namenode

Запустите службы Hadoop для кластера

для I, и Hadoop-HDFS-NameNode Hadoop-HDFS-DataNode ; 

SUDO сделать сервис $ я начать ;

сделанный

Создание структуры подкаталог в HDFS

Sudo /usr/lib/hadoop/libexec/init-hdfs.sh

Запуск пряжу демонами

Сервис Sudo старт Hadoop-пряжи ResourceManager;
Сервис Sudo старт Hadoop-пряжи nodemanager

Если все, что мы хорошо теперь у вас есть рабочая установка Hadoop.