教程在VirtualBox中建立在Hadoop环境中学习和测试

有了这个教程中,你可以使用虚拟机设置自己的Hadoop环境. 要开始下载并安装 VirtualBox的 .

接下来,您将需要获得 CentOS的虚像. 一旦下载创建你的驱动器称为虚拟机的根目录并解压缩CentOS的内容zip文件到虚拟机目录.

在VirtualBox的, 你需要创建一个新的虚拟机. 选择 Linux的 从类型,然后红帽从版本64位. 您需要分配2048MB的内存和硬盘选择使用现有的虚拟硬盘文件,然后定位到CentOS的图像目录中的虚拟机目录. 选择它的文件名不以数字结尾的vmdk文件. 一旦你完成了机准备启动.

接下来是安装VirtualBox客户添置,让你除了其他的增强性能更好. 在安装客户添置, 运行以下命令安装到准备安装

# yum update
# yum install gcc
# yum install kernel-devel
# yum install bzip2
# 执行shutdown -r 00

如果您需要将光标返回 视窗 按主机键默认情况下是正确的Ctrl键. 选择VirtualBox的菜单装置并选择插入客户添置CD映像. 按照提示安装. 重新启动虚拟机,使更改生效.

 

安装Apache的Bigtop

的Bigtop是理想的学习 大数据 Hadoop等部件. 让我们开始与安装.

首先获得一个指向下载的Hadoop回购文件,它的依赖.

wget的-O /etc/yum.repos.d/bigtop.repo \
HTTP://www.apache.org/dist/bigtop/bigtop-1.0.0/repos/centos6/bigtop.repo

其次是选择和安装的Hadoop组件

百胜安装Hadoop的 *象夫 * Oozie的 * HBase的 *蜂巢 *色相 *猪 *饲养员 *。

选择是对的代码签名提示. Once Hadoop and the selected components is installed the next step is to configure Hadoop. After the configuration Hadoop will be ready to start.

Download and install java

yum install java-1.7.0-openjdk-devel.x86_64

Format the namenode

sudo /etc/init.d/hadoop-hdfs-namenode init

Start the Hadoop services for your cluster

for i in hadoop-hdfs-namenode hadoop-hdfs-datanode ; 

do sudo service $i start ;

done

Create a sub-directory structure in HDFS

sudo /usr/lib/hadoop/libexec/init-hdfs.sh

Start the YARN daemons

sudo service hadoop-yarn-resourcemanager start;
sudo service hadoop-yarn-nodemanager start

If everything we well you now have a working Hadoop installation.

 

发表评论