大数据教程(一)-基础配置

一、本篇教程侧重点导读

1. 使用VMware虚拟出几台服务器后对网络的配置，主要是为了连通物理本机和虚拟服务器；（VMware的安装，虚拟服务器比较简单，这里不再赘述）
2. 服务器之间配置ssh免密登陆；
3. 修改主机名以及host配置；
4. JDK的安装配置；
5. 追加配置的说明；

二、本篇教程用的软件、技术和说明

1. 虚拟机软件VMware（如果你有几台比较好的服务器就不需要这个软件了）；
2. 使用JDK版本：1.8.0_161；
3. 使用到linux系统：CentOS 7.2；

三、服务器的网络配置

1. 安装完VMware后，会在物理本机上多出两块虚拟网卡（VMnet1、VMnet8），一会我们需要对VMnet8配置一下；

2. 用VMware虚拟出一台服务器之后，启动服务器后，使用命令ifconfig会看到有一块网卡（比如说我的就叫eth0），然后把名字记下来，在/etc/sysconfig/netword-scripts目录下找到这块网卡文件（linux里面万物皆文件）：

   将其修改配置如下（网段可自定义）：

3. 配置完毕之后重启网络service network restart
   防坑：如果网卡重启失败，把网卡文件（我的是ifcfg-eth0）中的mac配置（HWADDR=xx:xx:xx:xx）项删除，再删除网卡相关信息文件/etc/udev/rules.d/70-persistent-net.rules,最后重启服务器reboot
   至此，linux服务器配置完毕，在配置VMware的虚拟网络配置！

4. 打开：VMware > 编辑 > 虚拟网络编辑器；修改名字为VMnet8的那块网卡，将子网ip改为广播地址：

   点击应用之后，VMware会自动将`192.168.6.1`配置成为你的物理机VMnet8的那块网卡，将`192.168.6.2`作为网关地址，如下两图：

   启动服务器之后查看ip地址时就是你在ifcfg-eth0文件中配置的ip地址，并且可以从物理机（192.168.6.1）ping通你的服务器（192.168.6.101），此时第一台虚拟机配置完成，你可以使用VMware自带的克隆功能多克隆几台服务器，需要注意的是：克隆出来的服务器的ip地址、mac地址和被克隆的服务器会冲突，需要重新修改一下

5. 重新生成克隆出来的每一台服务器的mac地址：

   

6. 启动每一台克隆出来的服务器并且修改其ip地址：打开/etc/sysconfig/netword-scripts/ifcfg-eth0文件 将IPADDR 修改成新的ip地址并重启；
   到此，所有服务器的网络配置完成！

   

四、修改主机名、配置host

1. 主机名：修改每一台机器上的配置文件/etc/hostname，并重启；

2. 配置域名：修改192.168.6.100机器上面配置文件：/etc/hosts,修改完成后，如图所示：

   

   配置域名的作用是：在后面学习大数据的时候，会频繁使用到各个服务器的ip地址，配置成域名之后方面管理和记忆

3. 将100上面的hosts文件覆盖到其他机器上面：scp hosts root@192.168.6.101:/etc/
   说明：
   在后面博客中将称192.168.6.100为master
   在后面博客中将称192.168.6.101为slave1
   在后面博客中将称192.168.6.102为slave2
   在后面博客中将称192.168.6.103为slave3
   在后面博客中将称192.168.6.104为slave4
   

五、ssh免密登陆

1. 在master上输入：ssh-keygen -t rsa -b 4096，此时会在当前登录用户家目录下生成.ssh文件夹,里面会有一对秘钥，查看命令ll ~/.ssh；

   参数说明：
   -t type 指定要创建的密钥类型。可以使用：”rsa1”(SSH-1) “rsa”(SSH-2) “dsa”(SSH-2)
   -b bits 指定密钥长度。对于RSA密钥，最小要求768位，默认是2048位。DSA密钥必须恰好是1024位(FIPS 186-2 标准的要求)。

2. 接着输入ssh-copy-id -i ~/.ssh/id_rsa.pub root@slave1，这时会让你输入slave1的root账号密码，这句命令的效果是将刚刚生成的id_rsa.pub里面的信息追加到101服务器上/root/.ssh目录下的authorized_keys文件中；

   这时就可以从master免密登录到slave1上了：ssh root@slave1
   注意：如果还需要从slave1免密登录到master，则需要在slave1服务器上执行第1和2两步
   你还可以将所有的服务器配置成互为免密登录，配置成互为免密登录之后，方便后面学习大数据的时候少踩坑；
   后面在hdfs集群启动的时候，还需要将自己和自己配置成免密登录，不然会有问题。

六、JDK的安装配置

1. 将事先准备好的jdk的tar.gz包上传到master上解压：tar -xzvf jdk-8u161-linux-x64.tar.gz -C /usr/local/

   -C 解压文件到指定的目录

2. 编辑配置环境变量vim /etc/profile,添加如下配置：

   JAVA_HOME=/usr/local/jdk1.8.0_161
   CLASSPATH=$JAVA_HOME/lib/
   PATH=$PATH:$JAVA_HOME/bin
   export PATH JAVA_HOME CLASSPATH

3. 执行命令 ：source /etc/profile

4. 查看安装情况java -version

   JDK在每台机器上都需要安装！

七、追加配置的说明（2019.11.27）

由于后面要建立完成的大数据平台，所以追加本节内容，用于说明后面搭建的集群规划

1. 新增了一台服务器192.168.6.105和前面服务器一样需要配置免密、JDK等基础配置；
2. 集群规划：

   主机名	IP	安装的软件	运行的进程
   master	192.168.6.100	jdk、hadoop	NameNode、DFSZKFailoverController(zkfc)
   slave1	192.168.6.101	jdk、hadoop	NameNode、DFSZKFailoverController(zkfc)、ResourceManager
   slave2	192.168.6.102	jdk、hadoop	ResourceManager
   slave3	192.168.6.103	jdk、hadoop、zookeeper	DataNode、NodeManager、JournalNode、QuorumPeerMain
   slave4	192.168.6.104	jdk、hadoop、zookeeper	DataNode、NodeManager、JournalNode、QuorumPeerMain
   slave5	192.168.6.105	jdk、hadoop、zookeeper	DataNode、NodeManager、JournalNode、QuorumPeerMain