一.虚拟机配置
我这里是用我自己的台式机装了vmware15,然后搞了三台虚拟机,我这里虚拟机配置完成后可以联网,为方便大家学习,我基本都是按照离线安装来讲的 ,简单的步骤不讲,只说比较重要的几个步骤:
1.三台虚拟机信息
IP
主机名
备注
192.168.0.101
master.hadoop.ljs
master
192.168.0.102
worker1.hadoop.ljs
worker1
192.168.0.103
worker2.hadoop.ljs
worker2
安装用户:root
2.vmware虚拟网络编辑器配置,
我自己本地ip信息,打开cmd命令行,执行ipconfig /all查看详细信息,由于我这里台式机装了虚拟网卡,所以这里看的是虚拟网卡对应的IP地址信息,你的可能跟我不一样,里面的网段跟上面vmware虚拟网络编辑器中网段配置要一致:
虚拟机网络配置,如图所示:
3.配置静态IP和DNS(三台机器都做)
每个机器配置一个静态IP地址,我这里直接截个图,我建议安装虚拟机的时候,如果宿主机资源充足,最好安装一个带有linux桌面的系统,别最小化安装,会缺少很多的rpm包,master节点的静态IP配置如下:
master network-scripts]# pwd
OOTPROTO=none
重启网络:
systemctl restart network.service
4.修改主机名(三台机器都做)
[root@master network-scripts]# cat /etc/sysconfig/network
/etc/hosts配置:
192.168.0.101 master.hadoop.ljs master
如果修改主机名字不生效,可执行下面命令修改:
hostnamectl set-hostname master.hadoop.ljs
也可参考这里链接进行配置,写的比较详细:
https://blog.csdn.net/ntuxiaolei/article/details/81130866
二、环境初始化(三台机器都做)
虚拟机比较简单,主要几个步骤就是安装jdk、ssh免密登、关闭防火墙、关闭透明大页、配置limit打开最大文件数、关闭selinux等;
1.我这里下载的jdk1.8然后解压到了/opt下,这里主要安装JCE,因为某些国家的进口管制限制,JDK默认的加解密有一定的限制。比如默认不允许 256 位密钥的 AES 加解密,解决方法就下载官方JCE无限制强度加密策略文件,覆盖即可:
在/etc/profile最后添加JAVA_HOME:
下载jce的两个jar包,资源已放在我的粉丝群里面,ocal_policy.jar、US_export_policy.jar,然后覆盖掉jre自带的jar就可以了,jre自带jar路径,如图所示:
2.ssh免密码登录,请参考我的文章,写的比较详细:
3.关闭防火墙,执行命令:
//关闭防火墙
4.关闭Selinux:
vi /etc/selinux/config
5.修改limits.conf文件,将root用户能打开的最大文件数改为65535
[root@master security]# vi /etc/security/limits.conf
6.yum源搭建,这里只在master节点操作:
//安装httpd服务,yum是依赖httpd服务的,默认端口80
将所有的安装介质都放到/var/www/html中(httpd默认的目录)
[root@master httpd]# cd /var/www/html/
配置repo文件,机器如果要访问yum,就需要配置:
[root@master html]# cd /etc/yum.repos.d/
查看ambari.repo、hdp314.repo内容,
进入目录cd /etc/yum.repos.d/:
[root@master yum.repos.d]# cat ambari.repo
[root@master yum.repos.d]# cat hdp314.repo
三、Mysql安装(其中一台安装即可)
1.首先清除CentOS7系统中默认的数据库mariadb,否则不能安装mysql
rpm -qa |grep mariadb |xargs yum remove -y
2.下载MySql的相关rpm包;下载mysql5.6,系统选择redhat,版本选择RHEL7,下载RPM Bundle后得到一个tar文件。这里得到文件MySQL-5.6.44-1.el7.x86_64.rpm-bundle.tar,接下来解出文件
tar -xf MySQL-5.6.44-1.el7.x86_64.rpm-bundle.tar
yum localinstall -y install MySQL-{server,client}-*
3.安装完成后会生成随机密码到cat /root/.mysql_secret
,可直接启动mysql服务
service mysql start
4.接下来即可通过命令行登录了,我们需要修改密码
mysql -uroot -p
5.登陆后使用如下命令即可修改root密码
SET PASSWORD FOR 'root'@'localhost' = PASSWORD('bigdata');
6.远程登录授权,我这里为了方便授予所有权限,你根据自己情况授权:
mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'bigdata' WITH GRANT OPTION;
7.这里为了后面hive、ranger、ambari使用mysql作为元数据库,这里提前新建了四个数据库ambari、hive、ranger:
四、ambari-server安装配置
1.安装ambari-server
yum install ambari-server
2.配置ambari-server信息,详细配置如图所示:
上面配置中需要你在ambari元数据库中执行/var/lib/ambari-server/resources目录下的文件Ambari-DDL-MySQL-CREATE.sql进行ambari的初始化,我这里直接通过客户端执行的:
3.ambari-server启动
ambari-server start
如果启动报错,可查看ambari-server的日志,默认路径是/var/log/ambari-server/,一般报错信息在ambari-server.log、ambari-server.out两个文件中。
这里启动完毕后,就可以从界面进行了访问进行组件的安装了,界面安装组件比较简单,主要是各个组件在各个节点的分布和配置,我会在下一篇文章中详细讲解,敬请关注!!!
如果觉得我的文章能帮到您,请关注微信公众号“大数据开发运维架构”,并转发朋友圈,谢谢支持!!!
本文分享自微信公众号 - 大数据开发运维架构(JasonLu1986)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。