Tutorial για τη δημιουργία ενός περιβάλλοντος Hadoop για τη μάθηση και τις δοκιμές σε VirtualBox

Με αυτό το σεμινάριο μπορείτε να δημιουργήσετε το δικό σας περιβάλλον Hadoop με τη χρήση εικονικών μηχανών. Για να ξεκινήσετε να κατεβάσετε και να εγκαταστήσετε VirtualBox .

Στη συνέχεια θα πρέπει να πάρετε το CentOS εικονική εικόνα. Μετά τη λήψη δημιουργήσει έναν κατάλογο στη ρίζα της μονάδας δίσκου σας, που ονομάζεται ΣΠΣ και αποσυμπιέστε τα περιεχόμενα των centos zip αρχείο στον κατάλογο ΚΟ.

Στο VirtualBox, θα πρέπει να δημιουργήσετε μια νέα εικονική μηχανή. Επιλέγω Linux από τον τύπο και στη συνέχεια Red Hat 64-bit από την έκδοση. Θα πρέπει να εκχωρήσει μνήμη 2048Mb και για το σκληρό δίσκο επιλέξετε να χρησιμοποιήσετε ένα υπάρχον αρχείο εικονικού σκληρού δίσκου και μεταβείτε στο CentOS κατάλογο εικόνα στον κατάλογο ΚΟ. Επιλέξτε το αρχείο VMDK των οποίων το όνομα δεν τελειώνει με έναν αριθμό. Αφού έχετε κάνει ότι το μηχάνημα είναι έτοιμο να ξεκινήσει.

Επόμενο είναι να εγκαταστήσετε τα VirtualBox Guest Προσθήκες που σας δίνει την καλύτερη απόδοση μεταξύ άλλων την ενίσχυση. Πριν από την εγκατάσταση Guest Προσθήκες, εκτελέστε τις ακόλουθες εντολές εγκαταστήσετε την προετοιμασία για την εγκατάσταση

# yum update
# yum install gcc
# yum install kernel-devel
# yum install bzip2
# shutdown -r 00

Εάν χρειαστεί να επιστρέψετε το δρομέα στο Των Windows πατήστε το πλήκτρο υποδοχής που είναι το δεξί πλήκτρο Ctrl από προεπιλογή. Επιλέξτε συσκευές από το μενού VirtualBox και επιλέξτε Εισαγωγή Guest Προσθήκες CD εικόνας. Ακολουθήστε τις οδηγίες για να εγκαταστήσετε. Ξεκινήστε πάλι την εικονική μηχανή για τις αλλαγές να τεθούν σε ισχύ.

 

Εγκατάσταση Apache BigTop

BigTop είναι ιδανικό για την εκμάθηση Μεγάλα δεδομένα συστατικά όπως το Hadoop. Ας αρχίσουμε με την εγκατάσταση.

Πρώτα να πάρετε το αρχείο repo η οποία επισημαίνει τη λήψη της Hadoop και είναι εξαρτήσεις.

wget -O /etc/yum.repos.d/bigtop.repo \
http://www.apache.org/dist/bigtop/bigtop-1.0.0/repos/centos6/bigtop.repo

Επόμενο είναι να επιλέξετε και να εγκαταστήσετε τα στοιχεία Hadoop

yum install Hadoop  * οδηγός ελέφαντος  * oozie  * hbase  * κυψέλη  * απόχρωση  * χοίρων  * Zookeeper  *

Choose yes for the code signing prompts. Once Hadoop and the selected components is installed the next step is to configure Hadoop. After the configuration Hadoop will be ready to start.

Download and install java

yum install java-1.7.0-openjdk-devel.x86_64

Format the namenode

sudo /etc/init.d/hadoop-hdfs-namenode init

Start the Hadoop services for your cluster

for i in hadoop-hdfs-namenode hadoop-hdfs-datanode ; 

do sudo service $i start ;

done

Create a sub-directory structure in HDFS

sudo /usr/lib/hadoop/libexec/init-hdfs.sh

Start the YARN daemons

sudo service hadoop-yarn-resourcemanager start;
sudo service hadoop-yarn-nodemanager start

If everything we well you now have a working Hadoop installation.

 

Αφήστε μια απάντηση