Підручник для настройки середовища Hadoop для навчання і тестування в VirtualBox

За допомогою цього уроку ви можете налаштувати свою власну середу Hadoop з використанням віртуальних машин. Щоб приступити до роботи необхідно завантажити та встановити VirtualBox .

Далі вам потрібно буде отримати CentOS віртуальне зображення. Після завантаження створити каталог на кореневому каталозі вашого диска під назвою віртуальних машин і розпакувати вміст CentOS поштовий файл в каталог віртуальних машин.

У VirtualBox, вам потрібно буде створити нову віртуальну машину. вибирати Linux від типу, а потім Red Hat 64-бітової версії від. Вам потрібно виділити пам'ять 2048MB і для жорсткого диска вибрати використовувати існуючий файл віртуального жорсткого диска і перейдіть до CentOS каталог зображень в каталозі віртуальних машин. Виберіть файл VMDK, чиє ім'я файлу не закінчується з номером. Після того, як ви зробили, що машина готовий до запуску.

Далі слід встановити гостьових доповнень VirtualBox, який дає кращу продуктивність серед іншого підвищення. Перед установкою гостьових доповнень, виконайте наступні установки команди для підготовки до установки

# yum update
# yum install gcc
# yum install kernel-devel
# yum install bzip2
# завершення роботи -r 00

Якщо вам необхідно повернути курсор Вікна натисніть клавішу хост, який є правою Ctrl ключ за замовчуванням. Виберіть пристрої з меню VirtualBox і виберіть Вставити Гість доповнення CD Image. Дотримуйтесь вказівок. Перезавантажте віртуальну машину, щоб зміни вступили в силу.

 

Установка Apache BigTop

Bigtop ідеально підходить для навчання Big Data компоненти, такі як Hadoop. Дозволяє почати роботу з установкою.

По-перше отримати файл репо, який вказує на завантаження Hadoop, і це залежностей.

Wget -О /etc/yum.repos.d/bigtop.repo \
HTTP://www.apache.org/dist/bigtop/bigtop-1.0.0/repos/centos6/bigtop.repo

Далі слід вибрати і встановити компоненти Hadoop

ням встановити Hadoop  * махаут  * oozie  * HBase  * вулик  * Відтінок  * свиня  * Zookeeper  *

Виберіть та для підписання коду запрошення. Після установки Hadoop і обрані компоненти наступним кроком є ​​настройка Hadoop. Після конфігурації Hadoop буде готовий до запуску.

Завантажити та встановити Java

ням встановити Java-1.7.0-OpenJDK-devel.x86_64

форматування NameNode

Sudo Init /etc/init.d/hadoop-hdfs-namenode

Запустіть служби Hadoop для кластера

для I, і Hadoop-HDFS-NameNode Hadoop-HDFS-DataNode ; 

SUDO зробити сервіс $ я почати ;

зроблено

Створення структури підкаталог в HDFS

Sudo /usr/lib/hadoop/libexec/init-hdfs.sh

Запуск пряжу демонами

Сервіс Sudo старт Hadoop-пряжі ResourceManager;
Сервіс Sudo старт Hadoop-пряжі nodemanager

Якщо все, що ми добре тепер у вас є робоча установка Hadoop.

 

Напишіть відгук