**
安装详细步骤
**
首先给出安装过程需要用到的安装包:云盘连接
提取码:rfxs
解压过后里面有四个文件:
下面给出详细安装步骤,博主是在虚拟机(Ubuntn18.04)上安装的,注意:需要将文中的xxx换成自己的目录即可。
一、首先需要安装jdk环境:
1、更新Ubuntu源
sudo apt-get update
2、将JDK压缩包(jdk-8u251-linux-x64.tar.gz)解压到Ubuntu系统中 /usr/local/ 中
sudo tar -zxvf jdk-8u251-linux-x64.tar.gz -C /usr/local/
3、将解压的文件夹重命名为 jdk8
cd /usr/local/
sudo mv jdk1.8.0_251/ jdk8
4、添加到环境变量
cd /home/xxx/
sudo gedit .bashrc
在文件末尾添加如下内容:
export JAVA_HOME=/usr/local/jdk8
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=.:$JAVA_HOME/bin:$PATH
source .bashrc
验证是否安装成功
java -version
出现java的版本则证明安装并添加到环境变量成功 java version “1.8.0_251”。
二、安装Hadoop并配置伪分布式
1、安装SSH
sudo apt-get install ssh
2、配置免登录认证,避免使用Hadoop时的权限问题
ssh-keygen -t rsa (输入此条命令后一路回车)
cd ~/.ssh
cat id_rsa.pub >> authorized_keys
ssh localhost (发现并未让输入密码即可连接)
exit (退出远程连接状态)
3、找到Hadoop 2.10(hadoop-2.10.0.tar.gz)
4、解压到 /usr/local 目录中,并将文件夹重命名为 hadoop,最后设置权限
sudo tar -zxvf hadoop-2.10.0.tar.gz -C /usr/local/
cd /usr/local
sudo mv hadoop-2.10.0/ hadoop2.10
sudo chown -R xxx hadoop2.10/
5、验证Hadoop
cd /usr/local/hadoop2.10/bin
./hadoop version (此处出现hadoop的版本)
6、设置JAVE_HOME环境变量
sudo gedit /usr/local/hadoop2.10/etc/hadoop/hadoop-env.sh
把原来的export JAVA_HOME=${JAVA_HOME}改为
export JAVA_HOME=/usr/local/jdk8
7、设置Hadoop环境变量
sudo gedit /home/xxx/.bashrc
在末尾追加
export HADOOP_HOME=/usr/local/hadoop2.10
export CLASSPATH=.:{
JAVA_HOME}/lib:${
HADOOP_HOME}/sbin:$PATH
export PATH=.:${
HADOOP_HOME}/bin:${
HADOOP_HOME}/sbin:$PATH
并执行
source /home/xxx/.bashrc
8、伪分布式配置,修改2个配置文件(core-site.xml 和 hdfs-site.xml)
9、修改core-site.xml
sudo gedit /usr/local/hadoop2.10/etc/hadoop/core-site.xml
添加如下内容
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop2.10/tmp</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
10、修改hdfs-site.xml
sudo gedit /usr/local/hadoop2.10/etc/hadoop/hdfs-site.xml
添加如下内容
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop2.10/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop2.10/tmp/dfs/data</value>
</property>
</configuration>
11、配置YARN - 1
cd /usr/local/hadoop2.10/etc/hadoop
cp mapred-site.xml.template mapred-site.xml
sudo gedit mapred-site.xml
添加如下配置
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
12、配置YARN - 2
sudo gedit yarn-site.xml
添加如下配置:
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
13、执行NameNode格式化
cd /usr/local/hadoop2.10/bin
./hdfs namenode -format
如果出现 Storage directory /usr/local/hadoop2.10/tmp/dfs/name has been successfully formatted 则表示格式化成功
14、启动Hadoop所有组件
cd /usr/local/hadoop2.10/sbin
./start-all.sh
注:启动时可能会出现警告,直接忽略即可,不影响正常使用
15、启动成功后,可访问Web页面查看 NameNode 和 Datanode 信息,还可以在线查看 HDFS 中的文件
http://localhost:50070
16、查看Hadoop相关组件进程
jps
如果执行成功则会发现如下进程:
**NameNode — 50070
DataNode — 50075
SecondaryNameNode — 50090
ResourceManager — 8088
NodeManager
**
可以测试以下 : 将本地文件上传至hdfs,命令如下:
hadoop fs -put 一个本地的任意文件 /
hadoop fs -ls /
也可以在浏览器中Utilities->Browse the file system查看
三 Hive安装
1、找到HIVE安装包(apache-hive-2.3.7-bin.tar.gz)
2、解压到 /usr/local/ 目录下
sudo tar -zxvf apache-hive-2.3.7-bin.tar.gz -C /usr/local
3、给文件夹重命名
sudo mv /usr/local/apache-hive-2.3.7-bin /usr/local/hive2.3.7
4、设置环境变量
sudo gedit /home/xxx/.bashrc
在末尾添加如下内容
export HIVE_HOME=/usr/local/hive2.3.7
export PATH=.:${
HIVE_HOME}/bin:$PATH
刷新环境变量
source /home/xxx/.bashrc
6、下载并添加连接MySQL数据库的jar包
(mysql-connector-java-8.0.19.jar)
解压后找到 mysql-connector-java-8.0.19.jar
将其拷贝到 /usr/local/hive2.3.7/lib
sudo cp -p mysql-connector-java-8.0.19.jar /usr/local/hive2.3.7/lib/
7、创建hive-site.xml配置文件
sudo touch /usr/local/hive2.3.7/conf/hive-site.xml
sudo gedit /usr/local/hive2.3.7/conf/hive-site.xml
并添加如下内容
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.cj.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>username to use against metastore database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
<description>password to use against metastore database</description>
</property>
</configuration>
8、在hive配置文件中添加hadoop路径
cd /usr/local/hive2.3.7/conf
sudo cp -p hive-env.sh.template hive-env.sh
sudo gedit /usr/local/hive2.3.7/conf/hive-env.sh
添加如下内容:
HADOOP_HOME=/usr/local/hadoop2.10
export HIVE_CONF_DIR=/usr/local/hive2.3.7/conf
9、hive元数据初始化
schematool -dbType mysql -initSchema
10、测试hive
hive
hive>show databases;
如果能够正常显示内容,则hive安装并配置完毕。