博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
CDH使用之CM 5.3.x安装
阅读量:6115 次
发布时间:2019-06-21

本文共 4056 字,大约阅读时间需要 13 分钟。

  hot3.png

前言:CM全称Cloudera ManagerCloudera开发公司的产品。其主要功能是对CDH集群进行监控,大大改善原生ApacheHadoop的安装、配置复杂和需要使用第三方开源的监控工具所带来的诸多问题。其中,CDHCloudera公司的开源产品,可以不依靠CM独立安装。CMfree版本,提供60天在收费版中才能使用的高级功能的免费使用期限。本文CM安装基于CentOS 6.5,各个系统版本之前可能存在细微的差别,读者请自行查阅,理论上也使用于Red Hat系统。

一、      系统准备1、 系统安装

本次采用系统版本为CentOS 6.5,系统部分相对简单,具体安装教程本文不做详细介绍,后期单独写CentOS系统的安装教程。

2、 系统配置

a) 用户创建

CM安装可以使用普通用户进行安装,系统安装过程中可以添加普通用户或者在安装使用如下命令进行添加(尖括号内添加自定义用户名称)。

创建用户

# useradd <用户名称>

修改密码

# passwd <用户名称>

b) 关闭SELinux

安装CM必须关闭SELinux,关闭方法如下:

         # vi /etc/selinux/config

将SELINUX改为disabled

         如图:

12120227_IsLy.png 

c) 关闭防火墙

CM安装简易关闭防火墙,防火墙打开可能会导致CM相关端口无法访问。关闭方法如下:

临时关闭:

  查看关闭状态

         # service iptables status

  关闭防火墙

  # serviceiptables stop

配置开机关闭防火墙:

  # vi  /etc/rc.local

  如图:

12120228_qDnw.png 

永久关闭:

  查看启动级别

# chkconfig --list iptables

          关闭所有启动级别

# chkconfig iptables off

          12120229_oA2G.png

         注:实际集群中可能存在使用以上方式关闭,防火墙仍然会自动打开的情况,需要检查集群环境中是否有防火墙检查机制。

d) SSH免key配置(非必须)

首先生成一对私钥和公钥,如下:

# ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

# ssh-copy-id <ip地址>  (ip地址是你具体要和谁免key,自己也要和自己设置免key)

e)配置sudo功能(非必须)

执行如下命令:

# visudo  

或者  #vi  /etc/sudoers

         添加如下(尖括号内添加自定义用户名称)

<user> ALL=(ALL)  NOPASSWD: ALL

3、依赖的软件服务

       CM安装需要依赖postgresql数据库(可以更改为其他数据库)和其他一些服务组件,可以在操作系统安装时进行软件的选择也可以后期安装。安装时可以下载安装包进行安装,也可以使用yum方式进行安装,需要如下组件:

yum -y install postgresql-server

yum -y install postgresql

yum -y install httpd

yum -y install perl

yum -y install bind-utils

yum -y install libxslt

yum -y install cyrus-sasl-gssapi

yum -y install redhat-lsb

yum -y install  cyrus-sasl-plain

yum -y install portmap

yum -y install fuse

yum -y install fuse-libs

yum -y install nc

yum -yinstall python-setuptools

yum -y installopenssh-clients(ssh不能使用时)

注:使用yum安装时/etc/yum.repos.d/ 目录下需要如图配置文件(没有的话自行百度)。

12120229_MV1O.png 

file:///C:/Users/WANGLI~1/AppData/Local/Temp/OICE_F1CC53DF-AFC8-4B3A-B9F7-A2FBB9833C1E.0/msohtmlclip1/01/clip_image008.png

二、      介质准备1、安装方式选择

a) tar包方式安装(本文暂不做介绍)

       b)rpm包方式安装

       本文选择rpm包方式进行安装,下载好相应的rpm包和对应的目录结构,通过httpd-Apache 方式访问本地yum源进行安装。

2CM5.3.x下载

       tar包下载地址如下:

(根据操作系统版本选择版本)

       rpm包下载地址:

         ( CentOS6.5系统选择redhat版本)

       使用yum方式安装还需要下载一个bin文件,地址如下:

         (目录名称与CM版本对应)

       rpm包下载需要保持网页中对应目录结构,放到/var/www/html/ 目录,如下:

12120230_DmJ5.png 

file:///C:/Users/WANGLI~1/AppData/Local/Temp/OICE_F1CC53DF-AFC8-4B3A-B9F7-A2FBB9833C1E.0/msohtmlclip1/01/clip_image010.png

三、      配置yum配置本地yum

在/etc/ yum.repos.d/ 下创建cloudera-manager.repo配置文件,内容如下:

[cloudera-manager]

name = Cloudera Manager, Version 5.3.2

baseurl = http://ip地址/cm5.3.2

gpgcheck = 0

注:ip地址建议使用内网ip,提高传输速度。

四、      安装CM1、服务启动

启动http服务,将repo文件的baseurl地址粘贴到浏览器以验证是否能通过http方式进行访问。

启动http 服务

# service httpd start

查看http服务状态

# service httpd status

12120230_FPW7.png 

file:///C:/Users/WANGLI~1/AppData/Local/Temp/OICE_F1CC53DF-AFC8-4B3A-B9F7-A2FBB9833C1E.0/msohtmlclip1/01/clip_image012.png

2、开始安装

          任意目录执行cloudera-manager-installer.bin 文件,按照截图连续选择Next按钮:

       12120231_8E5g.png

       12120232_NETJ.png

file:///C:/Users/WANGLI~1/AppData/Local/Temp/OICE_F1CC53DF-AFC8-4B3A-B9F7-A2FBB9833C1E.0/msohtmlclip1/01/clip_image014.png

file:///C:/Users/WANGLI~1/AppData/Local/Temp/OICE_F1CC53DF-AFC8-4B3A-B9F7-A2FBB9833C1E.0/msohtmlclip1/01/clip_image016.png

仍然继续Next,然后yes

12120232_DCBB.png 

12120235_cx63.png 

file:///C:/Users/WANGLI~1/AppData/Local/Temp/OICE_F1CC53DF-AFC8-4B3A-B9F7-A2FBB9833C1E.0/msohtmlclip1/01/clip_image018.png

file:///C:/Users/WANGLI~1/AppData/Local/Temp/OICE_F1CC53DF-AFC8-4B3A-B9F7-A2FBB9833C1E.0/msohtmlclip1/01/clip_image020.png

出现如下进度条,等待直到100%

12120235_3hzy.png 

12120236_O9A9.png 

file:///C:/Users/WANGLI~1/AppData/Local/Temp/OICE_F1CC53DF-AFC8-4B3A-B9F7-A2FBB9833C1E.0/msohtmlclip1/01/clip_image022.png

file:///C:/Users/WANGLI~1/AppData/Local/Temp/OICE_F1CC53DF-AFC8-4B3A-B9F7-A2FBB9833C1E.0/msohtmlclip1/01/clip_image024.png

最后出现如下界面,表示安装完。

12120236_lP0K.png 

file:///C:/Users/WANGLI~1/AppData/Local/Temp/OICE_F1CC53DF-AFC8-4B3A-B9F7-A2FBB9833C1E.0/msohtmlclip1/01/clip_image026.png

点击ok,浏览器访问http://ip地址:7180/进行访问,密码和用户名均为admin (登录后可以自行修改)

3、  错误定位

安装过程中可以能会出现错误提示,在安装提示框上查看对应错误日志生成目录,查看对应的错误日志即可。

无论安装是否成功,对应/etc/yum.repos.d 目录下会增加.rpmnew文件,此文件一般链接到下载CM的远程仓库地址,删除在继续重试安装。

12120236_3Ydp.png

file:///C:/Users/WANGLI~1/AppData/Local/Temp/OICE_F1CC53DF-AFC8-4B3A-B9F7-A2FBB9833C1E.0/msohtmlclip1/01/clip_image028.png

五、      安装过程注意事项

安装过程中失败常见的原因有:

1、seLinux出于打开状态,设置的disabled没有生效

2、防火墙出于打开状态

3、postgresql数据库没有安装或者服务没有启动

4、httpd服务没有打开或者配置的baseurl地址不可用

更多精彩内容请访问:

关注超人学院微信二维码:120203_d3ue_2273204.jpg

转载于:https://my.oschina.net/crxy/blog/413705

你可能感兴趣的文章
三级菜单
查看>>
Data Wrangling文摘:Non-tidy-data
查看>>
加解密算法、消息摘要、消息认证技术、数字签名与公钥证书
查看>>
while()
查看>>
常用限制input的方法
查看>>
Ext Js简单事件处理和对象作用域
查看>>
IIS7下使用urlrewriter.dll配置
查看>>
12.通过微信小程序端访问企查查(采集工商信息)
查看>>
WinXp 开机登录密码
查看>>
POJ 1001 Exponentiation
查看>>
HDU 4377 Sub Sequence[串构造]
查看>>
云时代架构阅读笔记之四
查看>>
WEB请求处理一:浏览器请求发起处理
查看>>
Lua学习笔记(8): 元表
查看>>
PHP经典算法题
查看>>
LeetCode 404 Sum of Left Leaves
查看>>
醋泡大蒜有什么功效
查看>>
hdu 5115(2014北京—dp)
查看>>
数据结构中常见的树(BST二叉搜索树、AVL平衡二叉树、RBT红黑树、B-树、B+树、B*树)...
查看>>
PHP读取日志里数据方法理解
查看>>