刻下岁月

逝者如斯夫,不舍昼夜…
Home  /  大数据  /  Centos6离线安装Cloudera Manager 5.14.3 CDH5.14.0

Centos6离线安装Cloudera Manager 5.14.3 CDH5.14.0

五月 23, 2018 大数据 Leave a Comment

服务器介绍: 我用的是2核8G内存,500G硬盘的阿里云服务器共5台,系统centos6.8

10.24.240.146   cm
10.24.152.227   node01
10.25.86.238     node02
10.25.86.217     node03
10.24.41.106     node04

约定:在~目录下创建soft文件夹所有下载软件均下载在此文件夹,以便方便管理和后续的安装

若你比较懒可以直接到我的网盘下载 所有的安装包 都下载好了,地址:链接:https://pan.baidu.com/s/19rAuJhnUj17dNH9wWkw2hQ 密码:o3g1

或者你可以按如下步骤自行去网上下载

1. 提前下载各个离线安装包文件:

下载JDK1.7

官网地址:http://www.oracle.com/technetwork/java/java-archive-downloads-javase7-521261.html

由于Oracle官网限制,需要到上面网站去下载jdk-7u80-linux-x64.rpm 并上传到服务器上,不然即使下载了压缩包也无法安装

2. 在10.24.240.146(cm)节点下载CM软件包 对于比较大的包可以用”wget -bc 地址“命令后台下载 防止终端断开连接下载失败

wget http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.14.1/RPMS/x86_64/cloudera-manager-agent-5.14.3-1.cm5141.p0.1.el6.x86_64.rpm
wget http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.14.1/RPMS/x86_64/cloudera-manager-daemons-5.14.3-1.cm5141.p0.1.el6.x86_64.rpm
wget http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.14.1/RPMS/x86_64/cloudera-manager-server-db-2-5.14.3-1.cm5141.p0.1.el6.x86_64.rpm
wget http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.14.1/RPMS/x86_64/cloudera-manager-server-5.14.3-1.cm5141.p0.1.el6.x86_64.rpm
wget http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.14.1/RPMS/x86_64/enterprise-debuginfo-5.14.3-1.cm5141.p0.1.el6.x86_64.rpm
wget http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.14.1/RPMS/x86_64/enterprise-debuginfo-5.14.3-1.cm5141.p0.1.el6.x86_64.rpm

wget http://archive.cloudera.com/cm5/installer/5.14.1/cloudera-manager-installer.bin

3. 下载rpm仓库文件
访问:http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/ 
下载cloudera-manager.repo,这个是按系统通用的,下载时不区分版本
wget http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/cloudera-manager.repo

4. 下载parcel(较大,1.8GB)
访问:http://archive.cloudera.com/cdh5/parcels/5.14.0.24/ 
下载centos 对应的 parcel ,el6表示centos 6 版本
wget http://archive.cloudera.com/cdh5/parcels/5.14.0.24/CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel

wget -bc http://archive.cloudera.com/cdh5/parcels/5.14.0.24/CDH-5.14.0-1.cdh5.14.0.p0.24-el5.parcel.sha1

5. 修改所有节点hostname(重启生效 等到做好第6部一起重启)和hosts

vi /etc/sysconfig/network

修改每台机器对应的hostname比如cm这台修改:HOSTNAME=cm

vi /etc/hosts

6. 每台服务器均需执行】

查看防火墙状态

service iptables status

关闭防火墙

servcie iptables stop 
chkconfig iptables off

查看selinux状态

/usr/sbin/sestatus -v 或者 getenforce

关闭selinux:

vim /etc/selinux/config

找到SELINUX改为:
SELINUX=disabled

重启服务器使之生效

7. 所有节点ssh无密码登录

ssh-keygen -t rsa   #一路回车到完成
ssh-copy-id -i ~/.ssh/id_rsa.pub root@cm   #将公钥拷贝到本机的authorized_keys上

再在其他节点分别执行以下命令:

ssh-keygen -t rsa   #一路回车到完成
ssh-copy-id -i ~/.ssh/id_rsa.pub root@cm   #注意此处不变,将公钥拷贝到cm的authorized_keys上

在cm上,将authorized_keys分发到其他节点服务器:

scp ~/.ssh/authorized_keys root@node01:~/.ssh/
scp ~/.ssh/authorized_keys root@node02:~/.ssh/
scp ~/.ssh/authorized_keys root@node03:~/.ssh/
scp ~/.ssh/authorized_keys root@node04:~/.ssh/

8. JDK安装

首先将jdk用scp从cm机器节点同步到所有节点上

卸载系统自带JDK

rpm -qa |grep java   #如果有就卸载。没有就不用执行下面
yum remove java*   #删除自带的java

切换到jdk所在目录,执行安装命令

rpm -ivh jdk-7u80-linux-x64.rpm
rpm -ivh oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm #CM安装需要这个,否则会重新联网下载,造成安装速度非常缓慢

设置环境变量:

vim /etc/profile

在最后面增加

export JAVA_HOME=/usr/java/jdk1.7.0_80
export CLASSPATH=.:$CLASSPTAH:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin

退出保存,执行以下命令使环境变量生效,并验证JDK安装是否正确。

source /etc/profile    #使环境变量生效
java -version       #查看JDK是否安装正确

9. 安装ntp时间同步软件
所有节点时间一致非常重要,要不然启动Cloudera Manager服务后,后台会报错

安装完成后,阿里云的服务器会自动使用阿里云的ntp服务器进行同步,若是他没有统一ntp服务器进行同步的,请自行百度ntp配置
或参考https://blog.csdn.net/chenhai201/article/details/78856007的2.5节安装ntp时间同步软件

每个节点执行

yum install ntp -y

设置开机启动

chkconfig ntpd on

10. 准备安装

修改仓库文件cloudera-manager.repo,把版本号加上

# Packages for Cloudera Manager, Version 5, on RedHat or CentOS 6 x86_64
name=Cloudera Manager
baseurl=https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.14.1/ #主要改这里的版本号 gpgkey =https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/RPM-GPG-KEY-cloudera
gpgcheck = 1

把 cloudera-manager-agent-5.14.3-1.cm5143.p0.4.el6.x86_64.rpm, cloudera-manager-daemons-5.14.3-1.cm5143.p0.4.el6.x86_64.rpm,cloudera-manager.repo 这三个包从cm节点同步到所有节点

yum localinstall --nogpgcheck *.rpm

安装完后再在每个节点上运行如下命令,检查安装的包

yum list | grep cloudera

安装cloduera manager二进制安装包
进入cm的cloudera-manager-installer.bin所在目录 
设置安装权限:

chmod u+x cloudera-manager-installer.bin

执行安装命令:

./cloudera-manager-installer.bin

如果提示需要删除配置文件,则删除该文件

rm -rf /etc/cloudera-scm-server/db.properties

重新执行安装命令,根据安装向导一路next

相同配置下顺利安装时间在1分钟内即可完成。 
然后我们在web浏览器访问 http://xxx.xxx.xxx:7180/,看是否能打开页面即可,先不要进行登录操作。

注意:chd server服务器启动需要一些时间,等1分钟左右。

如果能访问,那证明 cloudera manager安装正常。

11. CDH服务安装
制作本地parcel
前面完成cloudera manager安装之后cm会在/opt目录下生成cloudera文件夹,将之前下载好的CDH-*文件移动到parcel-repo文件夹中

mv CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel /opt/cloudera/parcel-repo/
mv CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel.sha  #注意这里有重命名

将cloudera manager的用户授权给/opt和日志目录:

chown cloudera-scm.cloudera-scm  /opt  -R 
chown cloudera-scm.cloudera-scm  /var/log/cloudera-scm-agent -R

重启cloudera-scm-server(重要)

/etc/init.d/cloudera-scm-server restart

重启速度较慢,约1分钟后访问 http://xxx.xxx.xxx:7180/ 登陆,账号密码 admin 
选择免费版本,一路next开始安装。

启动进度可以通过日志查看

tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

剩下的可以通过cm的界面操作安装这里不做介绍,具体可以参考:https://blog.csdn.net/chenhai201/article/details/78856007 最下面界面操作部分

安装过程中的一些坑:

在选择了单用户模式的时候需要有一些配置 不然各种出错 参考官方网站:https://www.cloudera.com/documentation/enterprise/latest/topics/install_singleuser_reqts.html

主要做的配置有

cm节点

vi  /etc/default/cloudera-scm-agent

打开注释:

USER=”cloudera-scm”

每个节点执行

visudo

增加:
%cloudera-scm ALL=(ALL) NOPASSWD: ALL
每个节点执行

vi /etc/pam.d/su

增加:
session required pam_limits.so

在安装的过程中有一台节点安装失败了:错误是在执行yun list installed oracle-j2sdk1.7-1.7.0 时无法检测到这个包已经安装

直接卸载干净重新安装下这个包然后再页面点击重试即可

rpm -qa | grep -i oracle
repm -e oracle-j2sdk1.7-1.7.0+update67-1.x86_64
rpm -ivh oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm

在点击继续是千万要好好看下页面最上面的提示,能有效的避免不必要的坑: 比如在配置目录那页,上面给出了提示最好为目录增加前缀目录

比如/hdfs/nn  你可以创建一个/cloudera目录然后为其加上前缀让他变为 /cloudera/hdfs/nn 

mkdir /cloudera && chown cloudera-scm.cloudera-scm /cloudera

我在安装的过在安装oozie时遇到了一个问题 在/var/lib/oozie/缺少文件 

ll /var/lib/

发现根本没有oozie这个目录果断每个节点都创建

cd /var/lib/ && mkdir oozie && chown cloudera-scm.cloudera-scm oozie

重试安装就正常过了

612total visits,1visits today

shell脚本大量清除数据库数据 & 清理数据库空间碎片
nginx 启动失败 (nginx: [emerg] socket() [::]:80 failed)
原文地址:http://blog.lunhui.ren/archives/462
原创文章,转载请注明出处!

Leave a Reply

取消回复

近期文章

  • Cloudera Manager CHD 切换内置数据库PostgreSQL 到 Mysql
  • nginx 启动失败 (nginx: [emerg] socket() [::]:80 failed)
  • Centos6离线安装Cloudera Manager 5.14.3 CDH5.14.0
  • shell脚本大量清除数据库数据 & 清理数据库空间碎片
  • java 分析cpu飙升 内存泄露工具
  • curl 远程 请求
  • tcpdump抓取 指定 ip 端口 的网络数据
  • mysql 查询数据库每一个表的大小

分类目录

  • DB9
  • English1
  • git1
  • Java16
  • Js4
  • Linux18
  • PHP5
  • Tools4
  • window2
  • 大数据1
  • 未分类3
  • 笑一笑1