Tutorial untuk menyiapkan lingkungan Hadoop untuk belajar dan pengujian di VirtualBox

Diposting pada oleh

Dengan tutorial ini Anda dapat mengatur lingkungan Hadoop Anda sendiri menggunakan mesin virtual. Untuk mendapatkan mulai download dan install VirtualBox .

Selanjutnya Anda akan perlu untuk mendapatkan gambar virtual CentOS. Setelah di-download membuat direktori pada root drive Anda disebut VMS dan unzip isi dari CentOS zip file ke direktori VMS.

di VirtualBox, Anda akan perlu untuk menciptakan mesin virtual baru. Choose Linux from type and then Red Hat 64-bit from version. Anda perlu mengalokasikan memori 2048MB dan untuk Hard Disk memilih menggunakan file virtual hard disk yang ada dan arahkan ke direktori gambar CentOS di direktori VMS. Pilih file vmdk yang nama file tidak berakhir dengan angka. Setelah Anda melakukan itu mesin siap untuk memulai.

Berikutnya adalah dengan menginstal VirtualBox Guest Additions yang memberikan kinerja yang lebih baik di antara perangkat tambahan lainnya. Sebelum Anda menginstal Guest Additions, menjalankan instalasi perintah berikut untuk mempersiapkan instalasi

# yum update
# yum install gcc
# yum install kernel-devel
# yum install bzip2
# shutdown 00

If you need to return the cursor to Windows press the host key which is the right Ctrl key by default. Pilih perangkat dari menu VirtualBox dan pilih Insert Guest Additions CD Image. Ikuti petunjuk untuk menginstal. Restart mesin virtual untuk perubahan berlaku.

 

Installing Apache BigTop

BigTop is ideal for learning Big Data components like Hadoop. Mari kita mulai dengan instalasi.

Pertama mendapatkan file repo yang menunjuk ke download Hadoop dan itu dependensi.

wget -O /etc/yum.repos.d/bigtop.repo \
http://www.apache.org/dist/bigtop/bigtop-1.0.0/repos/centos6/bigtop.repo

Berikutnya adalah memilih dan menginstal komponen Hadoop

yum install Hadoop  * mahout  * oozie  * HBase  * sarang  * hue  * babi  * zookeeper  *

Memilih ya untuk petunjuknya kode penandatanganan. Setelah Hadoop dan komponen yang dipilih dipasang langkah selanjutnya adalah mengkonfigurasi Hadoop. Setelah konfigurasi Hadoop akan siap untuk memulai.

Download dan install java

yum install java-1.7.0-openjdk-devel.x86_64

Format namenode yang

sudo /etc/init.d/hadoop-hdfs-namenode init

Mulai layanan Hadoop untuk cluster

untuk i di Hadoop-HDFS-namenode Hadoop-HDFS-datanode ; 

melakukan pelayanan sudo $ i mulai ;

matang

Membuat struktur sub-direktori di HDFS

sudo /usr/lib/hadoop/libexec/init-hdfs.sh

Mulai daemon BENANG

layanan sudo Hadoop-benang-ResourceManager start;
layanan sudo Hadoop-benang-nodemanager start

Jika segala sesuatu yang kita baik Anda sekarang memiliki instalasi Hadoop bekerja.