Teagaisc chun timpeallacht Hadoop a bhunú le haghaidh foghlama agus tástála i VirtualBox

Postáilte ar ag

Leis an rang teagaisc seo is féidir leat do thimpeallacht Hadoop féin a bhunú ag baint úsáide as meaisíní fíorúla. Chun tús a íoslódáil agus a shuiteáil VirtualBox .

Next beidh ort a fháil ar an íomhá fíorúil centos. Nuair a bheidh sé íoslódáilte cruthaigh eolaire ar fhréamh do thiomáint ar a dtugtar VMs agus dízip inneachar an chomhaid zip centos chuig an eolaire VMs.

Sa bhosca fíorúil, beidh ort meaisín fíorúil nua a chruthú. Roghnaigh Linux ón gcineál agus ansin Red Hat 64-giotán ón leagan. Ní mór duit cuimhne 2048Mb a leithdháileadh agus don Diosca Crua roghnaigh úsáid comhad diosca crua fíorúil atá ann cheana féin agus nascleanúint go dtí an eolaire íomhánna centos san eolaire VMs. Roghnaigh an comhad vmdk nach gcríochnaíonn ainm an chomhaid le huimhir. Nuair a bheidh sé déanta agat go bhfuil an meaisín réidh le tosú.

Is é an chéad cheann eile ná na Breiseanna Aoi VirtualBox a shuiteáil a thugann feidhmíocht níos fearr duit i measc feabhsaithe eile. Sula ndéanann tú Guest Additions a shuiteáil, reáchtáil na horduithe suiteála seo a leanas chun ullmhú don suiteáil

# yum update
# yum install gcc
# yum install kernel-devel
# yum install bzip2
# múchadh -r 00

Más gá duit an cúrsóir a chur ar ais go Windows brúigh an eochair óstach arb í an eochair Ctrl ceart í de réir réamhshocraithe. Roghnaigh gléasanna ón roghchlár VirtualBox agus roghnaigh Ionsáigh Íomhá CD Add Guest Additions. Lean na leideanna a shuiteáil. Atosaigh an meaisín fíorúil le go dtiocfaidh na hathruithe i bhfeidhm.

 

Suiteáil Apache BigTop

Tá BigTop oiriúnach chun comhpháirteanna Big Data mar Hadoop a fhoghlaim. Let tús leis an tsuiteáil.

Ar dtús faigh an comhad repo a dhíríonn ar íoslódáil Hadoop agus a spleáchais.

wget -O /etc/yum.repos.d/bigtop.repo \
http://www.apache.org/dist/bigtop/bigtop-1.0.0/repos/centos6/bigtop.repo

Is é an chéad cheann eile na comhpháirteanna Hadoop a roghnú agus a shuiteáil

yum install hadoop\* mahout\* oozie\* hbase\* hive\* hue\* pig\* zookeeper\*

Roghnaigh tá do na leideanna sínithe cód. Nuair a bheidh Hadoop agus na comhpháirteanna roghnaithe suiteáilte is é an chéad chéim eile ná Hadoop a chumrú. Tar éis na cumraíochta beidh Hadoop réidh le tosú.

Íoslódáil agus a shuiteáil java

yum shuiteáil java-1.7.0-openjdk-devel.x86_64

Formáidigh an nód ainm

sudo /etc/init.d/hadoop-hdfs-namenode init

Cuir tús leis na seirbhísí Hadoop do do bhraisle

le haghaidh mé in hadoop-hdfs-namenode hadoop-hdfs-datanode ; 

tús a chur le seirbhís sudo $i ;

déanta

Cruthaigh struchtúr fo-eolaire i HDFS

sudo /usr/lib/hadoop/libexec/init-hdfs.sh

Cuir tús leis na deamhan YARN

tús le seirbhís sudo hadoop-snáth-resourcemanager;
seirbhís sudo tús hadoop-snáth-nodemanager

Má tá gach rud go maith tá suiteáil Hadoop agat anois.