กวดวิชาสำหรับการตั้งค่าสภาพแวดล้อม Hadoop สำหรับการเรียนรู้และการทดสอบใน VirtualBox

โพสต์เมื่อ โดย

กับการกวดวิชานี้คุณสามารถตั้งค่าสภาพแวดล้อม Hadoop คุณเองโดยใช้เครื่องเสมือน. เพื่อเริ่มต้นการดาวน์โหลดและติดตั้ง VirtualBox .

ถัดไปคุณจะต้องได้รับการ ภาพเสมือน CentOS. เมื่อดาวน์โหลดสร้างไดเรกทอรีบนรากของไดรฟ์ของคุณเรียกว่า VMs และ unzip เนื้อหาของ CentOS ที่ zip ไฟล์ไปยังไดเรกทอรี VMs.

ใน VirtualBox, คุณจะต้องสร้างเครื่องเสมือนใหม่. Choose Linux from type and then Red Hat 64-bit from version. คุณจำเป็นต้องจัดสรรหน่วยความจำ 2048 MB และฮาร์ดดิสก์เลือกใช้แฟ้มเสมือนฮาร์ดดิสก์ที่มีอยู่และนำทางไปยังไดเรกทอรีภาพ CentOS ในไดเรกทอรี VMs. เลือกไฟล์ VMDK ที่มีชื่อไฟล์ไม่ได้จบด้วยตัวเลข. เมื่อคุณได้กระทำว่าเครื่องพร้อมที่จะเริ่มต้นขึ้น.

ถัดไปคือการติดตั้ง VirtualBox บุคคลทั่วไปเพิ่มขึ้นซึ่งจะช่วยให้คุณประสิทธิภาพที่ดีขึ้นท่ามกลางการเพิ่มประสิทธิภาพอื่น ๆ. ก่อนที่คุณจะติดตั้งเพิ่มบุคคลทั่วไป, เรียกใช้คำสั่งติดตั้งต่อไปนี้เพื่อเตรียมความพร้อมสำหรับการติดตั้ง

# yum update
# yum install gcc
# yum install kernel-devel
# yum install bzip2
# -R ปิด 00

If you need to return the cursor to Windows press the host key which is the right Ctrl key by default. เลือกอุปกรณ์จาก VirtualBox เมนูและเลือกแทรก Guest เพิ่มซีดีภาพ. ปฏิบัติตามคำแนะนำในการติดตั้ง. รีสตาร์ทเครื่องเสมือนสำหรับการเปลี่ยนแปลงที่จะมีผลบังคับใช้.

 

การติดตั้ง Apache BigTop

BigTop is ideal for learning Big Data components like Hadoop. ให้เริ่มต้นด้วยการติดตั้ง.

ครั้งแรกที่ได้รับไฟล์ repo ซึ่งชี้ให้เห็นถึงการดาวน์โหลดของ Hadoop และก็อ้างอิง.

wget -O /etc/yum.repos.d/bigtop.repo \
ที่ http://www.apache.org/dist/bigtop/bigtop-1.0.0/repos/centos6/bigtop.repo

ถัดไปคือการเลือกและติดตั้งส่วนประกอบ Hadoop

ยำติดตั้ง Hadoop  * ควาญช้าง  * oozie  * HBase  * รัง  * เว้  * หมู  * Zookeeper  *

เลือกใช่สำหรับรหัสการลงนามแจ้ง. เมื่อ Hadoop และส่วนประกอบที่เลือกจะถูกติดตั้งขั้นตอนต่อไปคือการกำหนดค่า Hadoop. หลังจากการกำหนดค่า Hadoop จะพร้อมที่จะเริ่มต้น.

ดาวน์โหลดและติดตั้ง Java

ยำติดตั้ง Java-1.7.0-OpenJDK-devel.x86_64

รูปแบบ namenode

sudo init /etc/init.d/hadoop-hdfs-namenode

เริ่มบริการ Hadoop สำหรับคลัสเตอร์ของคุณ

สำหรับ i และ Hadoop-HDFS-namenode Hadoop-HDFS-datanode ; 

ทำบริการ sudo $ i เริ่มต้น ;

เสร็จแล้ว

สร้างโครงสร้างไดเรกทอรีย่อยใน HDFS

sudo /usr/lib/hadoop/libexec/init-hdfs.sh

เริ่มภูตเส้นด้าย

บริการ sudo เริ่มต้น Hadoop-เส้นด้าย ResourceManager;
บริการ sudo เริ่มต้น Hadoop-เส้นด้าย nodemanager

ถ้าทุกอย่างที่เราเป็นอย่างดีขณะนี้คุณมีการติดตั้ง Hadoop ทำงาน.