Tutorial untuk menyiapkan lingkungan Hadoop untuk belajar dan pengujian di VirtualBox

Dengan tutorial ini Anda dapat mengatur lingkungan Hadoop Anda sendiri menggunakan mesin virtual. Untuk mendapatkan mulai download dan install VirtualBox .

Selanjutnya Anda akan perlu untuk mendapatkan gambar virtual CentOS. Setelah di-download membuat direktori pada root drive Anda disebut VMS dan unzip isi dari CentOS zip file ke direktori VMS.

di VirtualBox, Anda akan perlu untuk menciptakan mesin virtual baru. Memilih Linux dari jenis dan kemudian Red Hat 64-bit dari versi. Anda perlu mengalokasikan memori 2048MB dan untuk Hard Disk memilih menggunakan file virtual hard disk yang ada dan arahkan ke direktori gambar CentOS di direktori VMS. Pilih file vmdk yang nama file tidak berakhir dengan angka. Setelah Anda melakukan itu mesin siap untuk memulai.

Berikutnya adalah dengan menginstal VirtualBox Guest Additions yang memberikan kinerja yang lebih baik di antara perangkat tambahan lainnya. Sebelum Anda menginstal Guest Additions, menjalankan instalasi perintah berikut untuk mempersiapkan instalasi

# yum update
# yum install gcc
# yum install kernel-devel
# yum install bzip2
# shutdown 00

Jika Anda perlu kembali kursor ke Jendela tekan tombol host yang merupakan hak tombol Ctrl secara default. Pilih perangkat dari menu VirtualBox dan pilih Insert Guest Additions CD Image. Ikuti petunjuk untuk menginstal. Restart mesin virtual untuk perubahan berlaku.

 

Installing Apache BigTop

BigTop is ideal for learning Data besar komponen seperti Hadoop. Mari kita mulai dengan instalasi.

Pertama mendapatkan file repo yang menunjuk ke download Hadoop dan itu dependensi.

wget -O /etc/yum.repos.d/bigtop.repo \
http://www.apache.org/dist/bigtop/bigtop-1.0.0/repos/centos6/bigtop.repo

Berikutnya adalah memilih dan menginstal komponen Hadoop

yum install Hadoop  * mahout  * oozie  * HBase  * sarang  * hue  * babi  * zookeeper  *

Memilih ya untuk petunjuknya kode penandatanganan. Setelah Hadoop dan komponen yang dipilih dipasang langkah selanjutnya adalah mengkonfigurasi Hadoop. Setelah konfigurasi Hadoop akan siap untuk memulai.

Download dan install java

yum install java-1.7.0-openjdk-devel.x86_64

Format namenode yang

sudo /etc/init.d/hadoop-hdfs-namenode init

Mulai layanan Hadoop untuk cluster

untuk i di Hadoop-HDFS-namenode Hadoop-HDFS-datanode ; 

melakukan pelayanan sudo $ i mulai ;

matang

Membuat struktur sub-direktori di HDFS

sudo /usr/lib/hadoop/libexec/init-hdfs.sh

Mulai daemon BENANG

layanan sudo Hadoop-benang-ResourceManager start;
layanan sudo Hadoop-benang-nodemanager start

Jika segala sesuatu yang kita baik Anda sekarang memiliki instalasi Hadoop bekerja.

 

Tinggalkan balasan