Hướng dẫn cho việc thiết lập một môi trường Hadoop cho việc học tập và thử nghiệm trong VirtualBox

Với hướng dẫn này, bạn có thể thiết lập môi trường Hadoop của riêng bạn sử dụng máy ảo. Để có được tải về và cài đặt bắt đầu VirtualBox .

Tiếp theo, bạn sẽ cần phải nhận được centos ảnh ảo. Sau khi tải về tạo ra một thư mục vào thư mục gốc của ổ đĩa của bạn được gọi là máy ảo và giải nén các nội dung của centos nén file vào thư mục ảo.

trong VirtualBox, bạn sẽ cần phải tạo một máy ảo mới. Chọn Linux từ loại và sau đó Red Hat 64-bit từ phiên bản. Bạn cần phải phân bổ bộ nhớ 2048MB và cho đĩa cứng chọn sử dụng một tập tin trên đĩa cứng ảo hiện và điều hướng đến thư mục ảnh centos trong thư mục ảo. Chọn file vmdk có tên tệp không kết thúc với một số. Một khi bạn đã làm điều đó máy đã sẵn sàng để bắt đầu lên.

Tiếp theo là cài đặt VirtualBox Guest Additions mang đến cho bạn hiệu suất tốt hơn giữa nâng cao khác. Trước khi bạn cài đặt Guest Additions, chạy cài đặt các lệnh sau đây để chuẩn bị cho việc cài đặt

# yum update
# yum install gcc
# yum install kernel-devel
# yum install bzip2
# shutdown -r 00

Nếu bạn cần phải trả lại con trỏ đến Cửa sổ nhấn phím máy đó là quyền phím Ctrl theo mặc định. Chọn thiết bị từ menu VirtualBox và chọn Insert Guest Additions CD Image. Thực hiện theo các hướng dẫn để cài đặt. Khởi động lại máy ảo để các thay đổi có hiệu lực.

 

Cài đặt Apache BigTop

BigTop là lý tưởng cho việc học tập Dữ liệu lớn các thành phần như Hadoop. Cho phép bắt đầu với việc cài đặt.

Đầu tiên có được các tập tin repo mà chỉ vào tải của Hadoop và nó phụ thuộc.

wget -O /etc/yum.repos.d/bigtop.repo \
http://www.apache.org/dist/bigtop/bigtop-1.0.0/repos/centos6/bigtop.repo

Tiếp theo là chọn và cài đặt các thành phần Hadoop

yum cài đặt hadoop  * quản tượng  * oozie  * HBase  * hive  * hue  * lợn  * trông giữ sở thú  *

Chọn đúng cho các hướng dẫn mã ký. Khi Hadoop và các thành phần chọn được cài đặt các bước tiếp theo là cấu hình Hadoop. Sau khi cấu hình Hadoop sẽ sẵn sàng để bắt đầu.

Tải về và cài đặt java

yum cài đặt java-1.7.0-openjdk-devel.x86_64

Định dạng namenode

sudo init /etc/init.d/hadoop-hdfs-namenode

Bắt đầu dịch vụ Hadoop cho cluster của bạn

cho tôi, và Hadoop-HDFS-namenode Hadoop-HDFS-datanode ; 

làm dịch vụ sudo $ i bắt đầu ;

làm xong

Tạo một cấu trúc thư mục con trong HDFS

sudo /usr/lib/hadoop/libexec/init-hdfs.sh

Bắt đầu daemon sợi

dịch vụ sudo đầu hadoop-sợi-ResourceManager;
dịch vụ sudo đầu hadoop-sợi-nodemanager

Nếu tất cả mọi thứ chúng tôi cũng bây giờ bạn có một cài đặt Hadoop làm việc.

 

Gửi phản hồi