Підручник для настройки середовища Hadoop для навчання і тестування в VirtualBox

Опубліковано по

За допомогою цього уроку ви можете налаштувати свою власну середу Hadoop з використанням віртуальних машин. Щоб приступити до роботи необхідно завантажити та встановити VirtualBox .

Далі вам потрібно буде отримати CentOS віртуальне зображення. Після завантаження створити каталог на кореневому каталозі вашого диска під назвою віртуальних машин і розпакувати вміст CentOS поштовий файл в каталог віртуальних машин.

У VirtualBox, вам потрібно буде створити нову віртуальну машину. Choose Linux from type and then Red Hat 64-bit from version. Вам потрібно виділити пам'ять 2048MB і для жорсткого диска вибрати використовувати існуючий файл віртуального жорсткого диска і перейдіть до CentOS каталог зображень в каталозі віртуальних машин. Виберіть файл VMDK, чиє ім'я файлу не закінчується з номером. Після того, як ви зробили, що машина готовий до запуску.

Далі слід встановити гостьових доповнень VirtualBox, який дає кращу продуктивність серед іншого підвищення. Перед установкою гостьових доповнень, виконайте наступні установки команди для підготовки до установки

# yum update
# yum install gcc
# yum install kernel-devel
# yum install bzip2
# завершення роботи -r 00

If you need to return the cursor to Windows press the host key which is the right Ctrl key by default. Виберіть пристрої з меню VirtualBox і виберіть Вставити Гість доповнення CD Image. Дотримуйтесь вказівок. Перезавантажте віртуальну машину, щоб зміни вступили в силу.

 

Установка Apache BigTop

BigTop is ideal for learning Big Data components like Hadoop. Дозволяє почати роботу з установкою.

По-перше отримати файл репо, який вказує на завантаження Hadoop, і це залежностей.

Wget -О /etc/yum.repos.d/bigtop.repo \
HTTP://www.apache.org/dist/bigtop/bigtop-1.0.0/repos/centos6/bigtop.repo

Далі слід вибрати і встановити компоненти Hadoop

ням встановити Hadoop  * махаут  * oozie  * HBase  * вулик  * Відтінок  * свиня  * Zookeeper  *

Виберіть та для підписання коду запрошення. Після установки Hadoop і обрані компоненти наступним кроком є ​​настройка Hadoop. Після конфігурації Hadoop буде готовий до запуску.

Завантажити та встановити Java

ням встановити Java-1.7.0-OpenJDK-devel.x86_64

форматування NameNode

Sudo Init /etc/init.d/hadoop-hdfs-namenode

Запустіть служби Hadoop для кластера

для I, і Hadoop-HDFS-NameNode Hadoop-HDFS-DataNode ; 

SUDO зробити сервіс $ я почати ;

зроблено

Створення структури підкаталог в HDFS

Sudo /usr/lib/hadoop/libexec/init-hdfs.sh

Запуск пряжу демонами

Сервіс Sudo старт Hadoop-пряжі ResourceManager;
Сервіс Sudo старт Hadoop-пряжі nodemanager

Якщо все, що ми добре тепер у вас є робоча установка Hadoop.