教程在VirtualBox中建立在Hadoop環境中學習和測試

有了這個教程中,你可以使用虛擬機建立自己的Hadoop環境. 要開始下載和安裝 VirtualBox的 .

接下來,您將需要獲得 CentOS的虛像. 一旦下載創建您的驅動器被稱為虛擬機的根目錄並解壓縮CentOS的內容zip文件到虛擬機目錄.

在VirtualBox中, 你需要創建一個新的虛擬機. 選擇 Linux的 從類型,然後紅帽從版本64位. 您需要分配2048MB的內存和硬盤選擇使用現有的虛擬硬盤文件並導航到CentOS的圖像目錄中的虛擬機目錄. 選擇的文件名不以數字結尾的vmdk文件. 一旦你完成了機準備啟動.

接下來是安裝VirtualBox客戶添置,讓你除了其他的增強性能更好. 在安裝客戶添置, 運行以下安裝命令準備安裝

# yum update
# yum install gcc
# yum install kernel-devel
# yum install bzip2
# 執行shutdown -r 00

如果您需要將光標返回 按主機鍵默認情況下是正確的Ctrl鍵. 選擇VirtualBox的菜單設備並選擇插入客戶添置CD映像. 按照提示安裝. 重新啟動虛擬機,使更改生效.

 

安裝Apache的Bigtop

的Bigtop是理想的學習 大數據 Hadoop等組件. 讓我們開始與安裝.

首先獲得指向下載的Hadoop回購文件,它的依賴.

wget的-O /etc/yum.repos.d/bigtop.repo \
HTTP://www.apache.org/dist/bigtop/bigtop-1.0.0/repos/centos6/bigtop.repo

其次是選擇和安裝的Hadoop組件

百勝安裝Hadoop的 *象夫 * Oozie的 * HBase的 *蜂巢 *色相 *豬 *飼養員 *。

選擇是對的代碼簽名提示. 一旦安裝Hadoop和選定的組件的下一個步驟是配置Hadoop的. 配置後的Hadoop將準備開始.

下載並安裝Java

百勝安裝java-1.7.0-的OpenJDK,devel.x86_64

格式化名稱節點

須藤初始化/etc/init.d/hadoop-hdfs-namenode

為群集啟動的Hadoop服務

因為我和Hadoop的HDFS-的NameNode Hadoop的HDFS-的Datanode ; 

做須藤服務$我開始 ;

DONE

創建HDFS子目錄結構

須藤/usr/lib/hadoop/libexec/init-hdfs.sh

啟動YARN守護進程

sudo的服務Hadoop的紗線開始的ResourceManager;
sudo的服務Hadoop的紗節點管理器啟動

如果一切順利,我們現在有一個工作的Hadoop的安裝.

 

發表評論