Tutorial dla konfigurowania środowiska Hadoop do nauki i testowania w VirtualBox

W tym poradniku można skonfigurować własne środowisko Hadoop obsługa maszyn wirtualnych. Aby zacząć należy pobrać i zainstalować VirtualBox .

Dalej trzeba będzie uzyskać CentOS wirtualny wizerunek. Po pobraniu utworzyć katalog w katalogu głównym dysku o nazwie VM i rozpakuj zawartość Centosu plik zip do katalogu VM.

w VirtualBox, trzeba będzie utworzyć nową maszynę wirtualną. Wybierać Linux od typu, a następnie Red Hat 64-bitowej wersji z. Trzeba przydzielić pamięć 2048MB oraz dysk twardy do wyboru użyć istniejącego wirtualnego dysku twardego plik i przejdź do katalogu centos obrazu w katalogu VM. Wybierz plik VMDK którego nazwa pliku nie kończy się z numerem. Kiedy już to zrobisz, że urządzenie jest gotowe do uruchomienia.

Następny jest zainstalowanie Dodatkami co daje lepszą wydajność spośród innych akcesoriów. Przed zainstalowaniem Dodatków, uruchom następujące polecenia instalacji w celu przygotowania do instalacji

# yum update
# yum install gcc
# yum install kernel-devel
# yum install bzip2
# shutdown -r 00

Jeśli trzeba przywrócić kursor Okna nacisnąć klawisz gospodarza, która jest właściwym kluczem domyślnie Ctrl. Wybierz z menu urządzenia VirtualBox i wybierz Wstaw obraz CD z Dodatkami. Postępuj zgodnie z instrukcjami, aby zainstalować. Ponownie uruchomić maszynę wirtualną, aby zmiany odniosły skutek.

 

Instalacja Apache BigTop

BigTop jest idealny do nauki Big Data Składniki takie jak Hadoop. Pozwala zacząć instalację.

Najpierw pobrać plik repo co wskazuje na pobieranie Hadoop i to zależnościami.

wget -O /etc/yum.repos.d/bigtop.repo \
http://www.apache.org/dist/bigtop/bigtop-1.0.0/repos/centos6/bigtop.repo

Dalej jest, aby wybrać i zainstalować komponenty Hadoop

yum install Hadoop  * Kornak  * oozie  * HBase  * ula  * odcień  * świnia  * zookeeper  *

Wybierz Tak dla podpowiedzi kodu podpisywania. Po zainstalowaniu Hadoop i wybranych składników następnym krokiem jest skonfigurowanie Hadoop. Po skonfigurowaniu Hadoop będzie gotowy do rozpoczęcia.

Pobierz i zainstaluj Javę

yum install java-1.7.0-openjdk-devel.x86_64

Sformatuj namenode

sudo startowych /etc/init.d/hadoop-hdfs-namenode

Zacznij usługi Hadoop dla klastra

dla I i Hadoop-HDFS-namenode Hadoop-HDFS-datanode ; 

wykonać usługę sudo $ i zacząć ;

Gotowe

Utworzenie struktury podkatalogu w HDFS

sudo /usr/lib/hadoop/libexec/init-hdfs.sh

Zacznij demony przędzy

Usługa sudo startu Hadoop-przędzy ResourceManager;
Usługa sudo startu Hadoop-przędzy nodemanager

Jeśli wszystko się dobrze teraz masz działającą instalację Hadoop.

 

Dodaj komentarz