Výukový program pro nastavení prostředí Hadoop pro učení a zkoušení s VirtualBox

Vloženo na od

S tímto tutorial si můžete nastavit vlastní Hadoop prostředí pomocí virtuálních strojů. Chcete-li začít stahování a instalaci VirtualBox .

Dále budete potřebovat získat CentOS virtuální obraz. Po stažení vytvořit adresář v kořenovém adresáři disku s názvem VM a rozbalte obsah CentOS soubor zip do adresáře VM.

v VirtualBox, budete muset vytvořit nový virtuální stroj. Choose Linux from type and then Red Hat 64-bit from version. Musíte přidělit 2048 MB paměti a na pevný disk vyberte použít existující soubor virtuálního pevného disku a přejděte na CentOS obrazu adresáře v adresáři VM. Vyberte soubor VMDK, jehož název souboru nekončí s číslem. Poté, co jste udělal, že je stroj připraven ke spuštění.

Další je nainstalovat Přídavky pro hosta VirtualBoxu, která vám dává lepší výkon kromě jiných vylepšení. Před instalací Přídavky pro hosta, spusťte následující příkazy nainstalují se připravit na instalaci

# yum update
# yum install gcc
# yum install kernel-devel
# yum install bzip2
# shutdown -r 00

If you need to return the cursor to Windows press the host key which is the right Ctrl key by default. Vyberte si zařízení z nabídky VirtualBoxu a zvolte Vložit Přídavky pro hosta obraz CD. Postupujte podle pokynů k instalaci. Restartujte virtuální počítač, aby se změny projevily.

 

Instalace Apache BigTop

BigTop is ideal for learning Big Data components like Hadoop. Umožňuje začít s instalací.

Nejprve získat soubor repo, který ukazuje na stahování Hadoop a je to závislostí.

wget -O /etc/yum.repos.d/bigtop.repo \
http://www.apache.org/dist/bigtop/bigtop-1.0.0/repos/centos6/bigtop.repo

Next je vybrat a nainstalovat součásti Hadoop

yum install Hadoop  * Mahut  * oozie  * hbase  * úl  * odstín  * prase  * zookeeper  *

Zvolte ano pro výzvy podepisování kódu. Po instalaci Hadoop a vybraných součástí je dalším krokem konfigurace Hadoop. Po konfiguraci Hadoop bude připraven ke startu.

Stáhnout a nainstalovat java

yum install java-1.7.0-OpenJDK-devel.x86_64

Formátovat namenode

sudo init /etc/init.d/hadoop-hdfs-namenode

Spuštění služby Hadoop pro cluster

pro i, a Hadoop-hdfs-namenode Hadoop-hdfs-datanode ; 

dělat sudo službu $ i start ;

Hotovo

Vytvořit strukturu sub-adresáře v HDFS

sudo /usr/lib/hadoop/libexec/init-hdfs.sh

Spuštění příze démony

sudo service začátek Hadoop-nit-ResourceManager;
sudo service začátek Hadoop-nit-nodemanager

Je-li vše dobře jsme nyní máte funkční instalací Hadoop.