发帖
翼度科技»论坛 › 云主机 › 服务器技术 › 查看内容

Hadoop部署的基础设施操作详解

爱丽摄影摄像

10

主题

10

帖子

30

积分

新手上路

Rank: 1

积分
30
显示全部楼层
官网导读

hadoop.apache.org/docs/r2.6.5…

  • 支持最好的平台：GNU/Linux
  • 依赖的软件：

    • Java™ must be installed. Recommended Java versions are described at HadoopJavaVersions.Hadoop基于Java开发，Java的移动性好
    • ssh must be installed and sshd must be running to use the Hadoop scripts that manage remote Hadoop daemons.

  • 部署模式：

    • Local (Standalone) Mode 单机模式，主要用于debug
    • Pseudo-Distributed Mode 伪分布式，单节点多角色
    • Fully-Distributed Mode 完全分布式，多节点多角色


基础设施

操作系统、环境、网络、必须软件

  • 设置IP及主机名
  • 关闭防火墙&selinux
  • 设置hosts映射
  • 时间同步
  • 安装jdk
  • 设置SSH免秘钥

设置IP及主机名

可以正常联网查看IP
  1. [root@localhost ~]# ifconfig
  2. ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
  3.         inet 192.168.0.118  netmask 255.255.255.0  broadcast 192.168.0.255
  4.         inet6 fe80::3db1:f589:4820:5457  prefixlen 64  scopeid 0x20<link>
  5.         ether 00:0c:29:18:10:17  txqueuelen 1000  (Ethernet)
  6.         RX packets 462062  bytes 670399544 (639.3 MiB)
  7.         RX errors 0  dropped 0  overruns 0  frame 0
  8.         TX packets 166351  bytes 11096211 (10.5 MiB)
  9.         TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
  10. lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
  11.         inet 127.0.0.1  netmask 255.0.0.0
  12.         inet6 ::1  prefixlen 128  scopeid 0x10<host>
  13.         loop  txqueuelen 1000  (Local Loopback)
  14.         RX packets 84  bytes 13940 (13.6 KiB)
  15.         RX errors 0  dropped 0  overruns 0  frame 0
  16.         TX packets 84  bytes 13940 (13.6 KiB)
  17.         TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
  18. virbr0: flags=4099<UP,BROADCAST,MULTICAST>  mtu 1500
  19.         inet 192.168.122.1  netmask 255.255.255.0  broadcast 192.168.122.255
  20.         ether 52:54:00:5a:69:e1  txqueuelen 1000  (Ethernet)
  21.         RX packets 0  bytes 0 (0.0 B)
  22.         RX errors 0  dropped 0  overruns 0  frame 0
  23.         TX packets 0  bytes 0 (0.0 B)
  24.         TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
  25. [root@localhost ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0
  26. // 配置
  27. DEVICE=eth0
  28. #HWADDR=00:0C:29:42:15:C2
  29. TYPE=Ethernet
  30. ONBOOT=yes
  31. NM_TROLLED=yes
  32. BOOTPROTO=static
  33. IPADDR=192.168.150.11
  34. NETMASK=255.255.255.0
  35. GATEWAY=192.168.150.2
  36. DNS1=223.5.5.5
  37. DNS2=114.114.114.114
复制代码
修改配置文件设置主机名
  1. [root@localhost ~]# vi /etc/sysconfig/network
  2. // 设置主机名并保存退出
  3. HOSTNAME=node01
复制代码
关闭防火墙&selinux
  1. //关闭防火墙
  2. [root@localhost ~]# systemctl stop firewalld
  3. //关闭开机启动防火墙
  4. [root@localhost ~]# systemctl disable firewalld.service
  5. Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
  6. Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
  7. [root@localhost ~]#
  8. [root@localhost ~]# vi /etc/selinux/config
  9. //将配置文件中的SELINUX设置为disabled
  10. SELINUX=disabled
复制代码
设置hosts映射

增加映射关系，因为在现在搭建环境的时候，一般会做解耦，不会再软件配置文件中写ip地址，主要使用主机名，就和dns解析一样，避免ip改变时要修改很多配置文件
  1. [root@localhost ~]# vi /etc/hosts
  2. // 增加映射关系
  3. 192.168.0.118 node01
  4. 192.168.0.119 node02
复制代码
时间同步

所有节点时间需同步一致，不然未来做心跳的时候会有问题
  1. [root@localhost ~]# date
  2. Fri Dec 30 22:23:45 CST 2022
  3. // 安装ntp
  4. [root@localhost ~]# yum install ntp -y
  5. Loaded plugins: fastestmirror, langpacks
  6. Loading mirror speeds from cached hostfile
  7. * base: mirrors.163.com
  8. * extras: mirrors.163.com
  9. * updates: mirrors.163.com
  10. Package ntp-4.2.6p5-29.el7.centos.2.x86_64 already installed and latest version
  11. Nothing to do
  12. [root@localhost ~]# vi /etc/ntp.conf
  13. // 增加配置
  14. server ntp1.aliyun.com
  15. // 启动ntpd
  16. [root@localhost ~]# systemctl start ntpd.service
  17. // 配置开机启动ntpd
  18. [root@localhost ~]# systemctl enable ntpd.service
  19. Created symlink from /etc/systemd/system/multi-user.target.wants/ntpd.service to /usr/lib/systemd/system/ntpd.service.
  20. [root@localhost ~]#
复制代码
安装jdk

设置环境变量的时候要记得设置两次，一次在安装jdk的时候设置，一次在搭建Hadoop的时候设置
去官网下载jdk，最好是rpm包，然后上传到服务器节点中（使用jdk压缩包解压安装需要做很多其他的配置）
这里使用过windows下载，通过scp命令上传到118节点中
  1. F:\workspace\demo>scp C:\Users\43866\Downloads\jdk-8u351-linux-x64.rpm root@192.168.0.118:/usr/jdk
  2. root@192.168.0.118's password:
  3. jdk-8u351-linux-aarch64.rpm                                                                                           100%   59MB  70.1MB/s   00:00     
  4. F:\workspace\demo>
复制代码
在118节点中使用命令安装jdk
  1. [root@node01 jdk]# rpm -i jdk-8u351-linux-x64.rpm
  2. warning: jdk-8u351-linux-x64.rpm: Header V3 RSA/SHA256 Signature, key ID ec551f03: NOKEY
  3. Unpacking JAR files...
  4.         tools.jar...
  5.         plugin.jar...
  6.         javaws.jar...
  7.         deploy.jar...
  8.         rt.jar...
  9.         jsse.jar...
  10.         charsets.jar...
  11.         localedata.jar...
  12. [root@node01 jdk]#
复制代码
设置JAVA_HOME环境变量
  1. [root@node01 default]# vi /etc/profile
  2. // 追加环境变量并保存文件
  3. export JAVA_HOME=/usr/java/default
  4. export PATH=$PATH:$JAVA_HOME/bin
复制代码
设置SSH免秘钥

想要使用Hadoop脚本就必须设置ssh免密
1、检查是否已设置ssh免密
  1. [root@node01 default]# ssh localhost
  2. The authenticity of host 'localhost (::1)' can't be established.
  3. ECDSA key fingerprint is SHA256:rDsunaro1f5LyKkEeNohXfDD9oEglNXtviD/JZtA1dw.
  4. ECDSA key fingerprint is MD5:51:38:8d:fc:e4:d2:c7:ce:66:09:c8:f2:e6:9e:a7:f2.
  5. Are you sure you want to continue connecting (yes/no)? yes
  6. Warning: Permanently added 'localhost' (ECDSA) to the list of known hosts.
  7. root@localhost's password:
复制代码
通过ssh localhost命令检查发现需要输入密码，说明还未设置ssh免密，而且还可以自动生成.ssh文件，这个文件要创建的话比较麻烦
2、生成秘钥和公钥
如果118节点想免密登录到118节点（自己）：
118节点就要生成公钥和秘钥，且将公钥放到 ~/.ssh/authorized_keys中
  1. [root@node01 .ssh]# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
  2. Generating public/private dsa key pair.
  3. Your identification has been saved in /root/.ssh/id_dsa.
  4. Your public key has been saved in /root/.ssh/id_dsa.pub.
  5. The key fingerprint is:
  6. SHA256:GHhKB7GeoYYlNPWJpCZ+VoABUyIgDbdYrjjyAdgui1k root@node01
  7. The key's randomart image is:
  8. +---[DSA 1024]----+
  9. |@BB+o.           |
  10. |=X=.++.          |
  11. |*o=.=++          |
  12. |=B +.* o         |
  13. |B.Eo+ . S        |
  14. |oOo.             |
  15. |+ .              |
  16. |                 |
  17. |                 |
  18. +----[SHA256]-----+
  19. [root@node01 .ssh]# cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
  20. [root@node01 .ssh]#
  21. [root@node01 .ssh]# ssh 192.168.0.118
  22. Last login: Sat Dec 31 13:52:49 2022 from 192.168.0.117
  23. [root@node01 ~]#
复制代码
结论

119节点包含了118节点的公钥，118就可以免密登录
以上就是Hadoop部署的基础设施操作详解的详细内容，更多关于Hadoop部署基础操作的资料请关注脚本之家其它相关文章！

来源:https://www.jb51.net/article/276135.htm
免责声明：由于采集信息均来自互联网，如果侵犯了您的权益，请联系我们【E-Mail:cb@itdo.tech】 我们会及时删除侵权内容，谢谢合作！

上一篇: k8s Ingress使用详解(云原生kubernetes)

下一篇: Hadoop脚本远程控制中SSH常见问题详解

发表于 2023-2-25 10:28:45

举报 回复 使用道具

返回列表 发新帖

Archiver|手机版|小黑屋|翼度科技

Copyright © 2001-2020, Tencent Cloud.　Powered by Discuz! X3.4