Výukový program pro nastavení prostředí Hadoop pro učení a zkoušení s VirtualBox

S tímto tutorial si můžete nastavit vlastní Hadoop prostředí pomocí virtuálních strojů. Chcete-li začít stahování a instalaci VirtualBox .

Dále budete potřebovat získat CentOS virtuální obraz. Po stažení vytvořit adresář v kořenovém adresáři disku s názvem VM a rozbalte obsah CentOS soubor zip do adresáře VM.

v VirtualBox, budete muset vytvořit nový virtuální stroj. Vybrat Linux od typu a pak Red Hat 64-bit od verze. Musíte přidělit 2048 MB paměti a na pevný disk vyberte použít existující soubor virtuálního pevného disku a přejděte na CentOS obrazu adresáře v adresáři VM. Vyberte soubor VMDK, jehož název souboru nekončí s číslem. Poté, co jste udělal, že je stroj připraven ke spuštění.

Další je nainstalovat Přídavky pro hosta VirtualBoxu, která vám dává lepší výkon kromě jiných vylepšení. Před instalací Přídavky pro hosta, spusťte následující příkazy nainstalují se připravit na instalaci

# yum update
# yum install gcc
# yum install kernel-devel
# yum install bzip2
# shutdown -r 00

Pokud se budete chtít vrátit kurzor Windows stisknutím klávesy hostitele, který je ten pravý Ctrl klíč ve výchozím nastavení. Vyberte si zařízení z nabídky VirtualBoxu a zvolte Vložit Přídavky pro hosta obraz CD. Postupujte podle pokynů k instalaci. Restartujte virtuální počítač, aby se změny projevily.

 

Instalace Apache BigTop

BigTop je ideální pro učení Big dat komponenty jako Hadoop. Umožňuje začít s instalací.

Nejprve získat soubor repo, který ukazuje na stahování Hadoop a je to závislostí.

wget -O /etc/yum.repos.d/bigtop.repo \
http://www.apache.org/dist/bigtop/bigtop-1.0.0/repos/centos6/bigtop.repo

Next je vybrat a nainstalovat součásti Hadoop

yum install Hadoop  * Mahut  * oozie  * hbase  * úl  * odstín  * prase  * zookeeper  *

Zvolte ano pro výzvy podepisování kódu. Po instalaci Hadoop a vybraných součástí je dalším krokem konfigurace Hadoop. Po konfiguraci Hadoop bude připraven ke startu.

Stáhnout a nainstalovat java

yum install java-1.7.0-OpenJDK-devel.x86_64

Formátovat namenode

sudo init /etc/init.d/hadoop-hdfs-namenode

Spuštění služby Hadoop pro cluster

pro i, a Hadoop-hdfs-namenode Hadoop-hdfs-datanode ; 

dělat sudo službu $ i start ;

Hotovo

Vytvořit strukturu sub-adresáře v HDFS

sudo /usr/lib/hadoop/libexec/init-hdfs.sh

Spuštění příze démony

sudo service začátek Hadoop-nit-ResourceManager;
sudo service začátek Hadoop-nit-nodemanager

Je-li vše dobře jsme nyní máte funkční instalací Hadoop.

 

Napsat komentář