Pamoka įkurti Hadoop aplinką mokymuisi ir bandymams VirtualBox

Su šia pamoka galite sukurti savo Hadoop aplinką naudojant virtualias mašinas. Kad pradėtumėte atsisiuntimą ir įdiegti VirtualBox .

Toliau, jums reikės gauti CentOS virtualus vaizdas. Kai atsisiųsti sukurti katalogą savo diską vadinamas VM šaknis ir išpakuokite į CentOS turinys zip failą į LSS kataloge.

VirtualBox, Jums reikės sukurti naują virtualią mašiną. pasirinkti "Linux" nuo rūšies ir tuometinio "Red Hat" 64 bitų versija nuo. Jums reikia skirti 2048MB atminties ir kietojo disko pasirinkti naudoti esamą virtualus kietajame diske failą ir pereiti į CentOS vaizdo katalogą, LSS kataloge. Pasirinkite vmdk failą, kurio pavadinimas nesibaigia su numeriu. Kai tai padarysite, kad mašina yra pasiruošusi pradėti.

Kitas yra įdiegti VirtualBox Guest papildymų kuri suteikia jums geresnių rezultatų, be kita didinimo. Prieš diegdami Svečių papildymų, paleisti šiuos įdiegti komandas pasirengti įrenginio

# yum update
# yum install gcc
# yum install kernel-devel
# yum install bzip2
# išjungimo-r 00

Jei reikia grįžti žymeklį į Windows paspauskite mazgo raktą, kuris yra teisingas "Ctrl" klavišą pagal nutylėjimą. Pasirinkite prietaisus iš VirtualBox meniu ir pasirinkite Įterpti Svečių Papildymai CD Image. Vykdykite nurodymus, kad įdiegti. Iš naujo paleiskite virtualų mašina pakeitimai įsigaliotų.

 

Diegimas Apache BigTop

BigTop idealiai tinka mokymosi Didelis duomenų komponentai kaip Hadoop. Leidžia pradėti su montavimo.

Pirmas gauti atpirkimo failą, kuris atkreipia dėmesį į Hadoop atsisiųsti ir tai priklausomybes.

wget -O /etc/yum.repos.d/bigtop.repo \
http://www.apache.org/dist/bigtop/bigtop-1.0.0/repos/centos6/bigtop.repo

Kitas yra pasirinkti ir įdiegti Hadoop komponentai

Yum įdiegti Hadoop  * mahout  * oozie  * hbase  * avilys  * Hue  * kiaulė  * Zookeeper  *

Pasirinkite Taip, kad kodas pasirašymo raginimų. Kai Hadoop ir parinkti komponentai yra įdiegtas kitas žingsnis yra sukonfigūruoti Hadoop. Po konfigūracijos Hadoop bus pasirengusi pradėti.

Atsisiųskite ir įdiekite Java

Yum įdiegti Java 1.7.0-openjdk-devel.x86_64

Suformuokite namenode

sudo init /etc/init.d/hadoop-hdfs-namenode

Pradėti Hadoop paslaugas savo grupės

už aš ir Hadoop-HDF-namenode Hadoop-HDF-datanode ; 

padaryti sudo tarnyba $ aš pradedu ;

padaryta

Sukurti sub-katalogų struktūrą HDF

sudo /usr/lib/hadoop/libexec/init-hdfs.sh

Pradėti verpalų demonai

sudo tarnyba Hadoop verpalai-resourcemanager pradžia;
sudo tarnyba Hadoop verpalai-nodemanager pradžia

Jei viskas, ką gerai dabar jūs turite darbo Hadoop įrengimas.

 

Palikite komentarą