在Linux中部署集群(零基础速学！)
2021-09-03 18:29:41

博主上篇的文章讲的是伪分布式部署，那么接下来进行分布时的教学，先从搭建集群开始，为分布式开发环境做准备。

 

 

---

1. 克隆虚拟机

在这里我们直接克隆[Centos版]Hadoop运行环境的具体搭建过程(超详细)
这篇文章中的快照
快照很有必要，如果不知道怎样打快照的同学在虚拟机关机后，右键虚拟机->快照->快照管理器

• 1. 选择要克隆的快照
  
• 2. 选择完整克隆
  
• 3. 克隆后
  

2. 更改系统的mac地址

为什么要改mac地址呢？
因为每个机器的mac地址都是独一无二的，但是克隆的机器会有两个，需要删除掉原有的mac地址

[root@hadoop001 ~]# vim /etc/udev/rules.d/70-persistent-net.rules 

3. 更改网卡信息

[root@hadoop001 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0 

#  我自己的网卡信息
DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
NAME="eth0"
IPADDR=192.168.2.112
PREFIX=24
GATEWAY=192.168.2.2
DNS1=192.168.2.2

怎样判断自己修改是否成功：ifconfig

4. 更改主机名

[root@hadoop001 ~]# vim /etc/sysconfig/network

5. 添加别名

[root@hadoop001 ~]# vim /etc/hosts

# 下面为博主本人设的别名，别名设置尽量相似，这样后面会很方便
192.168.2.112   hadoop002
192.168.2.113   hadoop003
192.168.2.114   hadoop004

6. 关闭防火墙

内网环境安全性比较高，开启防火墙会影响效率，所以需要关闭防火墙

#  查看防火墙的状态
service iptables status
     
#  启动防火墙的服务
service iptables start
    
#  关闭防火墙服务
service iptables stop

#  彻底关闭防火墙
chkconfig iptables off

7. 关闭selinux

[root@hadoop001 桌面]# vim /etc/selinux/config 

• 下面需要重启，才能使以上的所有修改生效

8. SCP远程文件拷贝

scp（secure copy）安全拷贝
scp定义：scp可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）

基本语法：
scp    -r          $pdir/$fname              $user@hadoop$host:$pdir/$fname
命令   递归         要拷贝的文件路径/名称       目的用户@主机:目的路径/名称

# 拷贝文件
# 将hadoop101中/etc/profile文件拷贝到hadoop002的/etc/profile上。
[bigdata@hadoop001 ~]$ sudo scp /etc/profile root@hadoop002:/etc/profile


# 拷贝文件夹
# 在hadoop101上，将hadoop101中/opt/module目录下的软件拷贝到hadoop002上。
[bigdata@hadoop001 /]$ scp -r /opt/module  root@hadoop002:/opt/module

注意：拷贝过来的/opt/module目录，别忘了在hadoop002、hadoop003、hadoop004上修改所有文件的，所有者和所有者组。sudo chown bigdata:bigdata -R /opt/module

9. SSH 远程登录

1. 基于密码的登录

命令	含义
ssh ip地址	远程登录到指定服务器

首次远程登录会询问yes/on ，以后就不会出现了

2. 无密钥配置(免密登录)

• 1. ssh-keygen -t rsa+ 三个回车 在hadoop002，hadoop003，hadoop004上面分别执行命令，产生公钥和私钥
• 2. ssh-copy-id hadoop002将公钥拷贝到hadoop002上面去，以此类推，全部拷贝完毕

配置完成后，就可以免密登录了

注意：
① 第一次拷贝的时候需要输入密码，另外在拷贝除了自身虚拟机公钥的时候，需要在root账号下进行

②想要查看当前虚拟机能够被哪些虚拟机免密登录，可以vim /root/.ssh/authorized_keys

10. 总结

搭建集群的过程很繁琐，并且稍有不慎就不会出错，所以各位小伙伴们需要多多练习，熟能生巧。

---

各位路过的朋友，如果觉得可以学到些什么的话，点个赞再走吧，欢迎各位路过的大佬评论，指正错误，也欢迎有问题的小伙伴评论留言，私信。每个小伙伴的关注都是本人更新博客的动力！！！