Centos7安装配置Hive

菠萝猫

Centos7安装配置一 、 安装

安装就不多做详述,选择好自己的镜像设置好路径即可
二 、配置

2.1 网络配置

桌面右键进入 cmd 命令编辑窗口,在 Linux 中设置网络的相关配置都需要管理员权限,需要先切换到 root 用户。

1. vim /etc/sysconfig/network-scripts/ifcfg-ens33

复制代码

配静态 IP 地址的实例如下:

1. BOOTPROTO="static"
2. ONBOOT="yes"
3. IPADDR=192.168.164.132
4. NETMASK=255.255.255.0
5. GATEWAY=192.168.164.2
6. DNS1=8.8.8.8
7. DNS2=144.144.144.144

复制代码

插入 IP 地址、掩码和网关。可以在 VMware 平台的菜单中通过"编辑->虚拟网络编辑器->VMnet8->NAT设置"
2.2 重启网络服务

修改了 IP 设置必须要重启网路服务或者重启计算机才能生效
方式一:systemctl restart network
方式二:systemctl stop network
​                        systemctl start network
2.3 验证是否成功

重启网络服务之后在命令编辑窗口输入 ifconfig 会显示出配置的 IP 地址
ping www.baidu.com 按Ctrl + Z 退出
永久关闭防火墙命令 systemctl disable firewalld.service
2.4 修改主机名以及IP映射

1. #修改主机名
2. vim /etc/hostname
3. #修改ip映射
4. vim /etc/hosts
5. #重启

复制代码

三 、 Python 3 安装

在 Linux 系统中,一般自带有 python2 编译器

将下载的 Python 包解压:

1. tar -zxvf Python-3.9.6.tgz
2. 对包进行重命名
3. mv Python-3.9.6 python

复制代码

配置 configure 文件,进入 Python 解压目录,执行 configure 命令。在执行命令之前需要安装 gcc 工具的支持

1. #需要管理员权限才能下载安装
2. yum -y install gcc
3. #进入到python解压目录后执行
4. ./configure

复制代码

configure 命令执行后会在当前目录生成 Makefile 文件,这个文件将在 make 解析时使用。
配置 SSL 证书, pip 工具在下载安装时所使用的 SSL 支持与系统自带的不一致,就会导致后续 pip 工具在使用时出现不能正常下载
查看 SSL 地址

1. openssl version -a
2. #记住
3. OPENSSLDIR: "/etc/pki/tls"

复制代码

1. #修改 SSL 配置
2. vim Modules/Setup
3. #修改后的
4. SSL=/etc/pki/tls
5. _ssl _ssl.c \
6.         -DUSE_SSL -I$(SSL)/include -I$(SSL)/include/openssl \
7.         -L$(SSL)/lib -lssl -lcrypto

复制代码

使用 make 工具编译源代码,执行 make 命令需要 openssl 和 openssl-devel 的支持

1. yum -y install openssl.x86_64  openssl-devel.x86_64

复制代码

make install 命令用于安装 make 编译好的源代码

1. make install

复制代码

Python 3 编译安装完成后,默认的安装目录是在 /usr/local/bin 和 /usr/local/lib  目录下
创建软链接:将 Python 3 可执行文件同步到 /usr/bin 目录中

1. ln -s /usr/local/bin/python3 /usr/bin/python3
2. ln -s /usr/local/bin/pip3 /usr/bin/pip3

复制代码

pip3 升级命令 python3 -m pip install --upgrade pip
四 、安装配置 JDK

4.1 解压下载好的安装包

1. tar -zxvf jdk-8u131-linux-x64.tar.gz
2. #重命名
3. mv jdk1.8.0_131 jdk

复制代码

4.2 配置环境变量

linux 系统的环境变量分为两种:全局变量和局部变量。profile 文件是全局变量配置文件,只有管理员用户才能拥有对其文件的写入权限

1. vim /etc/profile
2. #添加java的环境变量
3. export JAVA_HOME=/home/eureka/software/jdk
4. export PATH=$PATH:$JAVA_HOME/bin
5. #刷新文件
6. source /etc/profile

复制代码

4.3 验证 JDK 是否安装成功

输入 java -version 如果出现Java 命令的详情或者出现版本号即表示安装成功
五 、安装配置 Hadoop

5.1 解压安装

1. tar -zxvf hadoop-2.10.1.tar.gz

复制代码

5.2 配置环境变量

1. vim /etc/profile
2. #插入内容
3. export HADOOP_HOME=/home/eureka/software/hadoop
4. export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
5. #使环境变量生效
6. source /etc/profile

复制代码

5.3 验证

输入 hadoop 命令,如果出现 hadoop 命令相关的详细信息,则表示安装成功
5.4 配置 core-site.xml 文件

切换到 Hadoop 配置目录,进入到 hadoop/etc/hadoop 目录,编辑 core-sise.xml 文件

1. <configuration>
3. <property>
4.         <name>fs.defaultFS</name>
5.         <value>hdfs://Eureka:9000</value>
6.     #自己的主机名
7. </property>
10. <property>
11.         <name>hadoop.tmp.dir</name>
12.         <value>/home/eureka/software/hadoop/tmp</value>
13.     #自己的hadoop安装目录
14. </property>

复制代码

5.6 配置 hadoop-env.sh 文件

编辑 hadoop-env.sh 文件,修改 java_home 地址

1. export JAVA_HOME=/home/eureka/software/jdk
2. #自己JDK安装目录

复制代码

5.7 配置 slaves 文件

如果是伪分布有多个子机就配置上主机名即可
5.8 配置hdfs-site.xml 文件

hdfs-site.xml 文件是 Hadoop 2.0 以后版本的必配的文件之一,可以在里面配置集群名字空间、访问端口、URL地址、故障转移等

1. <property>
2.         <name>dfs.replication</name>
3.         <value>3</value>
4. </property>

复制代码

5.9 配置 mapred-site.xml 文件

在 Hadoop 包中没有 mapred-site.xml文件,需要通过复制一个文件

1. cp mapred-site.xml.template mapred-site.xml

复制代码

插入:

1. <property>
2.         <name>mapreduce.framework.name</name>
3.         <value>yarn</value>
4. </property>

复制代码

5.10 配置 yarn-site.xml文件

1. <property>
2.         <name>yarn.resourcemanager.hostname</name>
3.         <value>Eureka</value>
4. </property>
6.        
7. <property>
8.         <name>yarn.nodemanager.aux-services</name>
9.         <value>mapreduce_shuffle</value>
10. </property>

复制代码

格式化 NAMENODE 节点:hdfs namenode -format
5.11 设置免密

执行 ssh-keygen -t rsa -P '' 命令后将在 /root/.ssh/ 目录下以 rsa 方式生成 id_rsa 的秘钥
对虚拟机进行免密设置 ssh-copy-id Eureka(你的主机名)
5.12 启动 Hadoop 集群

1. #启动
2. start-all.sh
3. #停止
4. stop-all.sh
5. #查看进程
6. jps

复制代码

六、MySQL 安装配置

6.1 卸载 mariadb

mariadb 是 Linux 系统自带的数据库系统,跟 MySQL 冲突,所以在安装之前一般先卸载这个没用的数据库

1. # 查看mariadb
2. rpm -qa | grep mariadb
4. #卸载 mariadb 命令
5. rpm -e mariadb-libs-5.5.68-1.el7.x86_64 --nodeps
7. # 再次确定是否卸载干净
8. rpm -qa | grep mariadb

复制代码

6.2 解压 MySQL 安装包

1. #命令解压
2. tar -xvf mysql-8.0.32-1.el7.x86_64.rpm-bundle.tar
3. #命令中的包要换成自己下载的版本号

复制代码

6.3 安装以及初始化

安装顺序: COMMON-->LIB-->LIB-COMPAT-->CLIENT-->SERVER

1. #安装community-common
2. rpm -ivh mysql-community-common-8.0.32-1.el7.x86_64.rpm --nodeps --force
3. #安装community-libs
4. rpm -ivh mysql-community-libs-8.0.32-1.el7.x86_64.rpm --nodeps --force
5. #安装community-client
6. rpm -ivh mysql-community-client-8.0.32-1.el7.x86_64.rpm --nodeps --force
7. #安装community-server
8. rpm -ivh mysql-community-server-8.0.32-1.el7.x86_64.rpm --nodeps --force

复制代码

通过 rpm -qa | grep mysql 命令查看 mysql 的安装包
6.3.1 初识化 MySQL

完成对 mysql 数据库的初始化相关配置

1. mysqld --initialize
2. chown mysql:mysql /var/lib/mysql -R
3. systemctl start mysqld.service
4. #设置开机自启动
5. systemctl enable mysqld

复制代码

查看数据库默认随机密码

1. cat /var/log/mysqld.log | grep password
2. #登录mysql
3. mysql -uroot -p

复制代码

1. #修改MySQL密码
2. ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY 'root';
3. # 授权远程登录访问
4. create user 'root'@'%' identified with mysql_native_password by 'root';
5. grant all privileges on *.* to 'root'@'%' with grant option;flush privileges;
6. # 修改密码永不过期
7. alter user 'root'@'%' identified by 'Root_root123' password expire never;

复制代码

七 、Hive 安装以及配置

7.1 解压安装包

配置环境变量

1. #编辑文件
2. vim /etc/profile
3. #插入hive的路径
4. export HIVE_HOME=/home/yj/software/hive
5. export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin

复制代码

7.2 配置 Hive

进入到 Hive 的 conf 目录,把 hive-default.xml.template 复制一个副本,并重命名为 hive-site.xml

1. #复制副本
2. cp hive-default.xml.template hive-site.xml
3. #编辑文件
4. vim hive-site.xml

复制代码

1. #配置hive-site.xml文件
2. <property>
3.     <name>javax.jdo.option.ConnectionURL</name>
4.     <value>jdbc:mysql://localhost:3306/hive_metadata?createDatabaseIfNotExist=true</value>
5.     <description>JDBC connect string for a JDBC metastore</description>
6. </property>
7. #指定mysql驱动
8. <name>javax.jdo.option.ConnectionDriverName</name>
9.     <value>com.mysql.cj.jdbc.Driver</value>
10.     <description>Driver class name for a JDBC metastore</description>
11. </property>
12. #指定连接数据库的用户名
13. <property>
14.    <name>javax.jdo.option.ConnectionUserName</name>
15.    <value>root</value>
16.    <description>Username to use against metastore database</description>
17. </property>
18. #指定连接数据库的密码
19. <property>
20.    <name>javax.jdo.option.ConnectionPassword</name>
21.    <value>root</value>
22.    <description>password to use against metastore database</description>
23. </property>
24. #设置hive作业的本地临时空间，tmp地址需要自己创建
25. <property>
26.     <name>hive.exec.local.scratchdir</name>
27.     <value>/home/eureka/software/hive/tmp</value>
28.     <description>Local scratch space for Hive jobs</description>
29. </property>
30. #指定资源下载路径
31. <property>
32.     <name>hive.downloaded.resources.dir</name>
33.     <value>/home/eureka/software/hive/tmp/${hive.session.id}_resources</value>
34.     <description>Temporary local directory for added resources in the remote file system.</description>
35. </property>
36. #指定存放在HDFS中的Hive真数据位置
37. /user/hive/warehouse

复制代码

7.2.1 配置Hive相关配置文件

下载mysql-connector-java-xxx.zip后，并解压它，在解压后的文件里找到mysql-connector-java-xxx-bin.jar文件上传到hive安装目录lib目录下即可

1. mv mysql-connector-j-8.0.32.jar /home/eureka/software/hive/lib
2. #根据自己的安装目录决定

复制代码

7.2.2 更新hadoop中的jline文件

从hive安装目录lib目录下拷贝最新的jline文件到hadoop安装目录下/share/hadoop/yarn/lib目录中

1. #根据自己的路径
2. cp jline-2.12.jar /home/eureka/software/hadoop/share/hadoop/yarn/lib

复制代码

7.2.3 配置hive的hosts

1. #编辑文件
2. vim /etc/hosts
3. #插入hive映射
4. IP地址 Hive

复制代码

7.3 配置 hive-env.sh 文件

1. #复制副本
2. cp hive-env.sh.template hive-env.sh
3. # 编辑文件
4. vim hive-env.sh

复制代码

1. ##Java路径
2. export JAVA_HOME=/home/eureka/software/jdk
3. # 设置Hadoop的安装路径
4. export HADOOP_HOME=/home/eureka/software/hadoop
5. #设置hive配置文件路径
6. export HIVE_CONF_DIR=/home/eureka/software/hive/conf
7. #设置hive依赖包的路径
8. export HIVE_AUX_JARS_PATH=/home/eureka/software/hive/lib

复制代码

初始化数据库:schematool -dbType mysql -initSchema

来源:https://www.cnblogs.com/yujie168/p/17433421.html
免责声明：由于采集信息均来自互联网，如果侵犯了您的权益，请联系我们【E-Mail:cb@itdo.tech】 我们会及时删除侵权内容，谢谢合作！