服务器介绍： 我用的是2核8G内存，500G硬盘的阿里云服务器共5台，系统centos6.8
10.24.240.146 cm
10.24.152.227 node01
10.25.86.238 node02
10.25.86.217 node03
10.24.41.106 node04
约定：在~目录下创建soft文件夹所有下载软件均下载在此文件夹，以便方便管理和后续的安装
若你比较懒可以直接到我的网盘下载 所有的安装包 都下载好了，地址：链接：https://pan.baidu.com/s/19rAuJhnUj17dNH9wWkw2hQ 密码：o3g1
或者你可以按如下步骤自行去网上下载
1. 提前下载各个离线安装包文件：
下载JDK1.7
官网地址：http://www.oracle.com/technetwork/java/java-archive-downloads-javase7-521261.html
由于Oracle官网限制，需要到上面网站去下载jdk-7u80-linux-x64.rpm 并上传到服务器上，不然即使下载了压缩包也无法安装
2. 在10.24.240.146（cm）节点下载CM软件包 对于比较大的包可以用”wget -bc 地址“命令后台下载 防止终端断开连接下载失败
wget http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.14.1/RPMS/x86_64/cloudera-manager-agent-5.14.3-1.cm5141.p0.1.el6.x86_64.rpm
wget http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.14.1/RPMS/x86_64/cloudera-manager-daemons-5.14.3-1.cm5141.p0.1.el6.x86_64.rpm
wget http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.14.1/RPMS/x86_64/cloudera-manager-server-db-2-5.14.3-1.cm5141.p0.1.el6.x86_64.rpm
wget http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.14.1/RPMS/x86_64/cloudera-manager-server-5.14.3-1.cm5141.p0.1.el6.x86_64.rpm
wget http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.14.1/RPMS/x86_64/enterprise-debuginfo-5.14.3-1.cm5141.p0.1.el6.x86_64.rpm
wget http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.14.1/RPMS/x86_64/enterprise-debuginfo-5.14.3-1.cm5141.p0.1.el6.x86_64.rpm
wget http://archive.cloudera.com/cm5/installer/5.14.1/cloudera-manager-installer.bin
3. 下载rpm仓库文件
访问：http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/
下载cloudera-manager.repo，这个是按系统通用的，下载时不区分版本
wget http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/cloudera-manager.repo
4. 下载parcel(较大，1.8GB)
访问：http://archive.cloudera.com/cdh5/parcels/5.14.0.24/
下载centos 对应的 parcel ，el6表示centos 6 版本
wget http://archive.cloudera.com/cdh5/parcels/5.14.0.24/CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel
wget -bc http://archive.cloudera.com/cdh5/parcels/5.14.0.24/CDH-5.14.0-1.cdh5.14.0.p0.24-el5.parcel.sha1
5. 修改所有节点hostname（重启生效 等到做好第6部一起重启）和hosts
vi /etc/sysconfig/network
修改每台机器对应的hostname比如cm这台修改：HOSTNAME=cm
vi /etc/hosts
6. 每台服务器均需执行】
查看防火墙状态
service iptables status
关闭防火墙
servcie iptables stop chkconfig iptables off
查看selinux状态
/usr/sbin/sestatus -v 或者 getenforce
关闭selinux：
vim /etc/selinux/config
找到SELINUX改为：
SELINUX=disabled
重启服务器使之生效
7. 所有节点ssh无密码登录
ssh-keygen -t rsa #一路回车到完成 ssh-copy-id -i ~/.ssh/id_rsa.pub root@cm #将公钥拷贝到本机的authorized_keys上
再在其他节点分别执行以下命令：
ssh-keygen -t rsa #一路回车到完成 ssh-copy-id -i ~/.ssh/id_rsa.pub root@cm #注意此处不变，将公钥拷贝到cm的authorized_keys上
在cm上，将authorized_keys分发到其他节点服务器：
scp ~/.ssh/authorized_keys root@node01:~/.ssh/ scp ~/.ssh/authorized_keys root@node02:~/.ssh/ scp ~/.ssh/authorized_keys root@node03:~/.ssh/ scp ~/.ssh/authorized_keys root@node04:~/.ssh/
8. JDK安装
首先将jdk用scp从cm机器节点同步到所有节点上
卸载系统自带JDK
rpm -qa |grep java #如果有就卸载。没有就不用执行下面 yum remove java* #删除自带的java
切换到jdk所在目录，执行安装命令
rpm -ivh jdk-7u80-linux-x64.rpm rpm -ivh oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm #CM安装需要这个，否则会重新联网下载，造成安装速度非常缓慢
设置环境变量：
vim /etc/profile
在最后面增加
export JAVA_HOME=/usr/java/jdk1.7.0_80 export CLASSPATH=.:$CLASSPTAH:$JAVA_HOME/lib export PATH=$PATH:$JAVA_HOME/bin
退出保存，执行以下命令使环境变量生效，并验证JDK安装是否正确。
source /etc/profile #使环境变量生效 java -version #查看JDK是否安装正确
9. 安装ntp时间同步软件
所有节点时间一致非常重要，要不然启动Cloudera Manager服务后，后台会报错
安装完成后，阿里云的服务器会自动使用阿里云的ntp服务器进行同步，若是他没有统一ntp服务器进行同步的，请自行百度ntp配置
或参考https://blog.csdn.net/chenhai201/article/details/78856007的2.5节安装ntp时间同步软件
每个节点执行
yum install ntp -y
设置开机启动
chkconfig ntpd on
10. 准备安装
修改仓库文件cloudera-manager.repo，把版本号加上
# Packages for Cloudera Manager, Version 5, on RedHat or CentOS 6 x86_64
name=Cloudera Manager
baseurl=https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.14.1/ #主要改这里的版本号 gpgkey =https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/RPM-GPG-KEY-cloudera
gpgcheck = 1
把 cloudera-manager-agent-5.14.3-1.cm5143.p0.4.el6.x86_64.rpm， cloudera-manager-daemons-5.14.3-1.cm5143.p0.4.el6.x86_64.rpm，cloudera-manager.repo 这三个包从cm节点同步到所有节点
yum localinstall --nogpgcheck *.rpm
安装完后再在每个节点上运行如下命令，检查安装的包
yum list | grep cloudera
安装cloduera manager二进制安装包
进入cm的cloudera-manager-installer.bin所在目录
设置安装权限：
chmod u+x cloudera-manager-installer.bin
执行安装命令:
./cloudera-manager-installer.bin
如果提示需要删除配置文件，则删除该文件
rm -rf /etc/cloudera-scm-server/db.properties
重新执行安装命令，根据安装向导一路next
相同配置下顺利安装时间在1分钟内即可完成。
然后我们在web浏览器访问 http://xxx.xxx.xxx:7180/，看是否能打开页面即可，先不要进行登录操作。
注意：chd server服务器启动需要一些时间，等1分钟左右。
如果能访问，那证明 cloudera manager安装正常。
11. CDH服务安装
制作本地parcel
前面完成cloudera manager安装之后cm会在/opt目录下生成cloudera文件夹，将之前下载好的CDH-*文件移动到parcel-repo文件夹中
mv CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel /opt/cloudera/parcel-repo/ mv CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel.sha #注意这里有重命名
将cloudera manager的用户授权给/opt和日志目录：
chown cloudera-scm.cloudera-scm /opt -R
chown cloudera-scm.cloudera-scm /var/log/cloudera-scm-agent -R
重启cloudera-scm-server（重要）
/etc/init.d/cloudera-scm-server restart
重启速度较慢，约1分钟后访问 http://xxx.xxx.xxx:7180/ 登陆，账号密码 admin
选择免费版本，一路next开始安装。
启动进度可以通过日志查看
tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log
剩下的可以通过cm的界面操作安装这里不做介绍，具体可以参考：https://blog.csdn.net/chenhai201/article/details/78856007 最下面界面操作部分
安装过程中的一些坑：
在选择了单用户模式的时候需要有一些配置 不然各种出错 参考官方网站：https://www.cloudera.com/documentation/enterprise/latest/topics/install_singleuser_reqts.html
主要做的配置有
cm节点
vi /etc/default/cloudera-scm-agent
打开注释：
USER=”cloudera-scm”
每个节点执行
visudo
增加：
%cloudera-scm ALL=(ALL) NOPASSWD: ALL
每个节点执行
vi /etc/pam.d/su
增加：
session required pam_limits.so
在安装的过程中有一台节点安装失败了：错误是在执行yun list installed oracle-j2sdk1.7-1.7.0 时无法检测到这个包已经安装
直接卸载干净重新安装下这个包然后再页面点击重试即可
rpm -qa | grep -i oracle repm -e oracle-j2sdk1.7-1.7.0+update67-1.x86_64 rpm -ivh oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm
在点击继续是千万要好好看下页面最上面的提示，能有效的避免不必要的坑： 比如在配置目录那页，上面给出了提示最好为目录增加前缀目录
比如/hdfs/nn 你可以创建一个/cloudera目录然后为其加上前缀让他变为 /cloudera/hdfs/nn
mkdir /cloudera && chown cloudera-scm.cloudera-scm /cloudera
我在安装的过在安装oozie时遇到了一个问题 在/var/lib/oozie/缺少文件
ll /var/lib/
发现根本没有oozie这个目录果断每个节点都创建
cd /var/lib/ && mkdir oozie && chown cloudera-scm.cloudera-scm oozie
重试安装就正常过了
612total visits,1visits today
Leave a Reply