您当前的位置:首页 > hadoop

基于Cloudera Manager 5和CDH5(版本5.3.3)的Hadoop集群安装

一、Cloudera Manager/CDH5auLlinux系统宝典

1、关于cloudera manager和CDH是什么,这里不做详细介绍了。有官网和百科介绍。auLlinux系统宝典

附上官网地址:cloudera managerauLlinux系统宝典

2、官网的安装指南auLlinux系统宝典

官方文档提供了三种安装方式:在线自动安装/手动安装包安装/手动使用cloudera manager管理安装auLlinux系统宝典

此处使用第三种方式安装集群。auLlinux系统宝典

二、环境规划auLlinux系统宝典

1、系统: 6.4_x86auLlinux系统宝典

  •  master:4G内存,硬盘尽量大容量
  •  slave1:2G内存,硬盘尽量大容量
  •  slave2:2G内存,硬盘尽量大容量

2、Cloudera Manager 5.3.3auLlinux系统宝典

3、CDH 5.3.3auLlinux系统宝典

安装包下载:auLlinux系统宝典

  • Cloudera Manager 5.3.3:http://archive-primary.cloudera.com/cm5/cm/5/
  • CDH 5.5.5:http://archive-primary.cloudera.com/cdh5/parcels/5.3.3/

下载软件包:auLlinux系统宝典

  • CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel
  • CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel.sha1
  • manifest.json

三、系统环境准备工作auLlinux系统宝典

  • 此次执行权限均为root用户
  • 所有的机器都必须ssh互信模式
  • 修改主机名使用hosts文件或者DNS服务器
  • 关闭iptables和selinux
  • 卸载系统自带的openjdk,安装的jdk
  • master节点安装mysql
  • 所有节点的时间必须同步(ntp服务器或其他方法)
  • 修改所有节点的内核参数

i. echo 0 > /proc/sys/vm/swappinessauLlinux系统宝典

ii.echo never > /sys/kernel/mm/_transparent_hugepage/defragauLlinux系统宝典

四、正式开始安装auLlinux系统宝典
1、cloudera manager默认的目录是在/opt下,解压到/opt目录下。auLlinux系统宝典
# tar xf cloudera-manager-el6-cm5.3.3_x86_64.tar.gz -C /opt/auLlinux系统宝典
# ls /opt/auLlinux系统宝典
cloudera  cm-5.3.3auLlinux系统宝典
#auLlinux系统宝典
# 安装mysql-connector-javaauLlinux系统宝典
# yum -y install mysql-connector-javaauLlinux系统宝典

2、初始化数据库auLlinux系统宝典
# /opt/cm-5.3.3/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p123456 --scm-host localhost scm scm scmauLlinux系统宝典
# mysql -uroot -p123456 -e "show databases;"    查看下cm数据库是否创建成功auLlinux系统宝典

3、复制数据到其他节点auLlinux系统宝典
# 修改配置文件server_host为master节点的主机名auLlinux系统宝典
# grep server_host /opt/cm-5.3.3/etc/cloudera-scm-agent/config.iniauLlinux系统宝典
server_host=masterauLlinux系统宝典
# scp -rp /opt/cm-5.3.3 slave1:/opt/auLlinux系统宝典
# scp -rp /opt/cm-5.3.3 slave2:/opt/auLlinux系统宝典
#auLlinux系统宝典
# 每个节点创建系统用户auLlinux系统宝典
# useradd --system --home=/opt/cm-5.3.3/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "cloudera scm user" cloudera-scmauLlinux系统宝典

4、数据库的配置auLlinux系统宝典
# hiveauLlinux系统宝典
# create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;auLlinux系统宝典
# active monitorauLlinux系统宝典
# create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;auLlinux系统宝典
# 授权master主机auLlinux系统宝典
# grant all on *.* to 'root'@'master' identified by 'PASSWD';auLlinux系统宝典

5、准备parcels安装包到/opt/cloudera/parcel-repo/auLlinux系统宝典
# ls /opt/cloudera/parcel-repo/auLlinux系统宝典
CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel  CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel.sha  manifest.jsonauLlinux系统宝典
# 注意:CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel.sha下载后的文件重命名的auLlinux系统宝典
#auLlinux系统宝典
# 启动master节点的server和agent脚本auLlinux系统宝典
# /opt/cm-5.3.3/etc/init.d/cloudera-scm-agent startauLlinux系统宝典
# /opt/cm-5.3.3/etc/init.d/cloudera-scm-server startauLlinux系统宝典
# server端口启动较慢auLlinux系统宝典
#auLlinux系统宝典
# 启动其他所有节点的agent脚本auLlinux系统宝典
# /opt/cm-5.3.3/etc/init.d/cloudera-scm-agent startauLlinux系统宝典

五、CDH 5安装配置auLlinux系统宝典

1、访问http://master-ip:7180端口开始安装auLlinux系统宝典

auLlinux系统宝典

登陆名:admin 密码:adminauLlinux系统宝典

2、选择一个版本进行安装,此处选择第一个免费版。然后下一步-->下一步auLlinux系统宝典

auLlinux系统宝典

3、选中所有主机:auLlinux系统宝典

4、如果配置正确,会出现如下界面auLlinux系统宝典

auLlinux系统宝典

5、然后继续下一步,由于我们已经下载了离线包,所以下载是很快就能完成的auLlinux系统宝典

auLlinux系统宝典

6、主机检测,检测主机是否符合安装要求,符合要求后会全部通过,否则请按照要求设置auLlinux系统宝典

auLlinux系统宝典

7、然后选择需要安装的软件包,可以全选或自定义,也可以选择集成了某一个组件功能的软件包来安装auLlinux系统宝典

auLlinux系统宝典

8、角色分配,此处默认,可以按需调整auLlinux系统宝典

auLlinux系统宝典

9、数据库测试:auLlinux系统宝典

auLlinux系统宝典

10、审核更改参数,可以使用默认,也可以按需更改auLlinux系统宝典

auLlinux系统宝典

11、启动正常的安装配置了,等待安装完成后再次访问主页即可。auLlinux系统宝典

auLlinux系统宝典

12、完成后的登陆界面auLlinux系统宝典

auLlinux系统宝典

由于主机性能较低,数据延迟很大,查询经常无法显示。而且由于此处的磁盘空间不足,所以有很多警告信息。到此安装已全部完成。auLlinux系统宝典

六、其他问题说明auLlinux系统宝典

oozie的web界面的开启:auLlinux系统宝典

auLlinux系统宝典

cloudera的文档中有说明配置oozie:auLlinux系统宝典

auLlinux系统宝典

安装这个操作即可:auLlinux系统宝典

# mv ext-2.2.zip /var/lib/oozie/auLlinux系统宝典

# cd /var/lib/oozieauLlinux系统宝典

# unzip ext-2.2.zipauLlinux系统宝典

刷新界面:auLlinux系统宝典

auLlinux系统宝典

hadoop2.x版本更新了一些新功能,支持HDFS的高可用等。cloudera manager管理界面可以直接操作等这一系列的功能,还是很方便的。auLlinux系统宝典

在集群里的HDFS界面的右上角有操作选项栏:auLlinux系统宝典

auLlinux系统宝典

点击后根据提示就能正常的配置了。管理界面添加移除集群中的主机也是非常方便的,具体的操作就不一一演示了。auLlinux系统宝典

七、Hadoop测试程序auLlinux系统宝典

# 计算pi值auLlinux系统宝典

# sudo -u hdfs hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 10 100auLlinux系统宝典

...auLlinux系统宝典

Job Finished in 126.439 secondsauLlinux系统宝典

Estimated value of Pi is 3.14800000000000000000auLlinux系统宝典

# 可以看到执行结果auLlinux系统宝典

可以在YARN的web界面看到详细job的信息auLlinux系统宝典

auLlinux系统宝典

还有很多测试程序可以运行测试。这里就不一一演示了。auLlinux系统宝典

另外,这种安装方式虽然快捷方便,但是不利于对整体的理解,建议还是使用下载安装包的方式安装,配置文件等都是需要手动编写的,对于理解比较深刻。auLlinux系统宝典

14.04下Hadoop2.4.1单机/伪分布式安装配置教程  auLlinux系统宝典

CentOS安装和配置Hadoop2.2.0  auLlinux系统宝典

Ubuntu 13.04上搭建Hadoop环境 auLlinux系统宝典

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置 auLlinux系统宝典

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式) auLlinux系统宝典

Ubuntu下Hadoop环境的配置 auLlinux系统宝典

单机版搭建Hadoop环境图文教程详解 auLlinux系统宝典

更多Hadoop相关信息见 专题页面 auLlinux系统宝典

下一篇:返回列表


沪ICP备10206494号-4