Tutorial felállításának Hadoop környezet a tanuláshoz és a tesztelés VirtualBox

Ezzel bemutató beállíthatja saját Hadoop környezet segítségével virtuális gépek. A kezdéshez töltse le és telepítse VirtualBox .

Most meg kell, hogy a CentOS virtuális kép. A letöltött könyvtárat létrehozni a gyökere a hajtás úgynevezett virtuális gépek és csomagold ki a tartalmát a CentOS zip fájlt a VM könyvtár.

A VirtualBox, akkor létre kell hozni egy új virtuális gépet. Választ Linux -es típusú, majd a Red Hat a 64 bites verzióról. Meg kell kiosztani 2048 memóriát és a merevlemez válasszon egy meglévő virtuális merevlemez fájlt, és keresse meg a CentOS image könyvtárban a VM könyvtárban. Válassza ki a VMDK fájlt, amelynek a fájlnév végén nem egy szám. Miután ezt megtette, hogy a gép készen áll elindítani.

Következő, hogy telepítse a VirtualBox Guest kiegészítések amely nagyobb teljesítményt egyebek javítása. Mielőtt telepíti Guest kiegészítések, futtassa a következő parancsokat telepíteni, hogy felkészüljenek a telepítés

# yum update
# yum install gcc
# yum install kernel-devel
# yum install bzip2
# shutdown -r 00

Ha kell, hogy visszatérjen a kurzort A Windows nyomja meg a gép kulcsát, amely a jobb oldali Ctrl billentyű alapértelmezés szerint. Válasszon eszközöket a VirtualBox menüt, és válassza a Beszúrás Guest kiegészítések CD Image. Kövesse az utasításokat a telepítés. Indítsa újra a virtuális gépet, hogy a módosítások érvénybe.

 

Telepítése Apache BigTop

BigTop ideális tanulási Nagy adat komponensek, mint a Hadoop. Vágjunk bele a telepítést.

Először kap a repo fájlt, amely arra utal, hogy a letöltés Hadoop és ez függőségek.

wget -O /etc/yum.repos.d/bigtop.repo \
http://www.apache.org/dist/bigtop/bigtop-1.0.0/repos/centos6/bigtop.repo

Következő lehet kiválasztani és telepíteni a Hadoop alkatrészek

yum install Hadoop  * elefántápoló  * oozie  * hbase  * kaptár  * színárnyalat  * sertés  * állatgondozó  *

Válassza az Igen lehetőséget kódaláírásokhoz utasításokat. Miután Hadoop és a kiválasztott komponensek telepítve a következő lépés, hogy beállítsák Hadoop. After the configuration Hadoop will be ready to start.

Download and install java

yum install java-1.7.0-openjdk-devel.x86_64

Format the namenode

sudo /etc/init.d/hadoop-hdfs-namenode init

Start the Hadoop services for your cluster

for i in hadoop-hdfs-namenode hadoop-hdfs-datanode ; 

do sudo service $i start ;

done

Create a sub-directory structure in HDFS

sudo /usr/lib/hadoop/libexec/init-hdfs.sh

Start the YARN daemons

sudo service hadoop-yarn-resourcemanager start;
sudo service hadoop-yarn-nodemanager start

If everything we well you now have a working Hadoop installation.

 

Hozzászólás