Hadoop服务器集群安装配置

虚拟机CentOS7的安装

下载VMware WorkStation 17 PRO，并激活

添加全新虚拟机，使用Linux的CentOS7发行版，并通过稍后安装避免VM的快速安装自动安装GUI界面

启动虚拟机

虚拟机基础设置和克隆

进入网卡目录，使用Vi/Vim修改文件

1 2	cd /etc/sysconfig/network-scripts/ vi ifcfg-eno16777736

使用Vim基础操作修改ONBOOT值为yes

完成网络服务重启，再次ip a查看ip地址

将ip地址、用户名(root)、密码输入FinalShell完成远程OpenSSH连接

由于CentOS停止维护，为方便后续安装，修改yum包管理器的镜像源

更改为阿里云镜像源

测试安装vim，成功则说明已经成功更换新镜像源

1	yum install vim

使用Vmware平台自带功能克隆整个虚拟机

克隆出三台CentOS虚拟机

分别ip a并使用FinalShell完成远程连接

使用hostnamectl完成三台虚拟机的更名

1 2	hostnamectl set-hostname <HOSTNAME> bash

修改hosts文件映射到其hostname，主机再映射一个master，并同步到三台虚拟机

关闭并永久禁用防火墙

1
2
3

systemctl stop firewalld
systemctl  disable firewalld
firewall-cmd --state

查看SELinux系统安全曾的状态并临时关闭

通过修改配置文件永久性关闭

查看当前Jdk版本并进行卸载

java -version
rpm  -qa \| grep java
rpm -e --nodeps  java-1.7.0-openjdk-headless-1.7.0.91-2.6.2.3.el7.x86_64
rpm  -e --nodeps java-1.7.0-openjdk-1.7.0.91-2.6.2.3.el7.x86_64

使用yum重装java-1.8.0-openjdk

1 2	yum install -y java-1.8.0-openjdk java -version

下载并将Hadoop文件导入虚拟机

tar解压文件

移动解压后的文件

进入相关文件

查看jdk安装位置并编辑hadoop-env.sh和yarn-env.sh

添加Hadoop环境变量

使得配置文件生效

配置hdfs-site.xml、yarn-site.xml、core-site.xml、mapred-site.xml

core-site.xml

hdfs-site.xml

mapred-site.xml

yarn-site.xml

添加克隆机名称到文件

将六个配置文件复制到其他的虚拟机，也可以先做一个hadoop文件夹，然后直接scp整个文件夹

设置ssh免密登录

Scp发送密钥并测试免密登录效果

设置NTP时间同步服务

客户端安装ntp并修改配置文件

客户机的安装和同步服务

使用XShell测试时间date

主机Hadoop初始化

群起

查看8088端口

端口50070查看节点状态

Config Files Download

files
core-site.xml	https://pan.xly23333.xyz/d/BaiduDisk/Code/Hadoop实训/core-site.xml?sign=SCzYgPz0CDQa_oHIOgbzBM7DSuw0sCz5FGfkJMpNUR8=:0
hdfs-site.xml	https://pan.xly23333.xyz/d/BaiduDisk/Code/Hadoop实训/hdfs-site.xml?sign=NxjIG02bUmdftBJhzDaVPW8mvCpWN9G9QtUzo9gmJUg=:0
mapred-site.xml	https://pan.xly23333.xyz/d/BaiduDisk/Code/Hadoop实训/mapred-site.xml?sign=nz2buXFqZBKnGqOowprKsLiXBTLPe6GMDIuS4zUQJb0=:0
yarn-site.xml	https://pan.xly23333.xyz/d/BaiduDisk/Code/Hadoop实训/yarn-site.xml?sign=LhmInckEWHo_0ZEXa-3FQJB3fjOcQZu5gexEHDt4BuM=:0