1. VMware虚拟化环境搭建
第一次接触Hadoop集群搭建的朋友可能会觉得有点复杂，但其实只要跟着步骤一步步来，完全可以在家用自己的电脑搭建一个分布式环境。我当年第一次搭建时也踩了不少坑，现在把这些经验都总结出来，帮你少走弯路。
1.1 虚拟机创建与配置
首先需要准备VMware Workstation Pro，我用的是16版本，实测15-17版本都可以。安装过程很简单，官网下载安装包后一直下一步就行。这里有个小技巧：安装完成后记得先不要急着创建虚拟机，先去"编辑"-"虚拟网络编辑器"里检查一下VMnet8（NAT模式）的子网IP，建议改成192.168.100.0网段，这样后面配置静态IP时会方便很多。
创建虚拟机时选择CentOS 7镜像，我推荐用CentOS-7-x86_64-Minimal-2009.iso这个版本，体积小且够用。配置参数建议：
- 内存：主节点建议4GB，从节点2GB（如果电脑内存紧张可以都设2GB）
- 处理器：主节点2核，从节点1核
- 磁盘空间：20GB足够
安装CentOS时有个关键点：一定要选择英文语言环境！我之前用中文环境遇到过各种奇怪的编码问题。安装完成后记得用yum update更新系统，然后安装必要工具：
yum install -y net-tools vim wget1.2 网络与防火墙配置
网络配置是最容易出问题的环节。我建议采用NAT模式+静态IP的方案，这样既能上网又方便集群内部通信。配置步骤：
- 修改网卡配置：
vi /etc/sysconfig/network-scripts/ifcfg-ens33内容修改为：
BOOTPROTO=static ONBOOT=yes IPADDR=192.168.100.10 # 主节点IP NETMASK=255.255.255.0 GATEWAY=192.168.100.2 DNS1=8.8.8.8- 关闭防火墙和SELinux：
systemctl stop firewalld systemctl disable firewalld setenforce 0 sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config- 测试网络：
ping baidu.com # 测试外网 ping 192.168.100.10 # 测试内网如果遇到网络不通的情况，可以先检查VMware的虚拟网络编辑器中的NAT设置，确保网关地址和虚拟机配置一致。我遇到过因为网关配错导致怎么都连不上网的情况，折腾了半天才发现是这个小细节。
2. Java与Hadoop环境部署
2.1 JDK安装与配置
Hadoop运行需要Java环境，推荐使用JDK 1.8，这是最稳定的版本。我习惯把软件都放在/opt目录下：
mkdir /opt/software cd /opt/software wget https://repo.huaweicloud.com/java/jdk/8u202-b08/jdk-8u202-linux-x64.tar.gz tar -zxvf jdk-8u202-linux-x64.tar.gz -C /opt/ mv /opt/jdk1.8.0_202 /opt/jdk配置环境变量时，建议直接在/etc/profile.d/下新建单独的文件，这样更清晰：
echo 'export JAVA_HOME=/opt/jdk export PATH=$PATH:$JAVA_HOME/bin' > /etc/profile.d/java.sh source /etc/profile验证安装：
java -version # 应该显示 java version "1.8.0_202"2.2 Hadoop安装与基础配置
我用的是Hadoop 2.7.7版本，下载和解压：
cd /opt/software wget https://archive.apache.org/dist/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz tar -zxvf hadoop-2.7.7.tar.gz -C /opt/ mv /opt/hadoop-2.7.7 /opt/hadoop配置Hadoop环境变量：
echo 'export HADOOP_HOME=/opt/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' > /etc/profile.d/hadoop.sh source /etc/profile基础配置文件修改（先给权限）：
chmod 777 /opt/hadoop/etc/hadoop/*.xml3. 完全分布式集群配置
3.1 虚拟机克隆与网络设置
通过VMware的克隆功能快速创建从节点，建议先关闭主节点再进行克隆。克隆完成后需要：
- 修改主机名：
hostnamectl set-hostname node1 # 在每个节点执行- 修改IP地址：
vi /etc/sysconfig/network-scripts/ifcfg-ens33 # 修改IPADDR为192.168.100.11(node1)、192.168.100.12(node2)- 配置hosts映射：
vi /etc/hosts # 添加： 192.168.100.10 master 192.168.100.11 node1 192.168.100.12 node23.2 SSH免密登录配置
这是集群管理的关键步骤，配置好后可以大大简化操作：
ssh-keygen -t rsa # 三连回车 ssh-copy-id master ssh-copy-id node1 ssh-copy-id node2测试是否成功：
ssh node1 date # 不输密码能显示时间就成功了3.3 Hadoop集群配置
关键配置文件修改：
- core-site.xml：
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/opt/hadoop/tmp</value> </property> </configuration>- hdfs-site.xml：
<configuration> <property> <name>dfs.replication</name> <value>2</value> # 副本数与从节点数一致 </property> </configuration>- yarn-site.xml：
<configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>master</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>- slaves文件：
node1 node2将配置好的Hadoop目录同步到从节点：
scp -r /opt/hadoop node1:/opt/ scp -r /opt/hadoop node2:/opt/4. 集群启动与验证
4.1 格式化与启动
首次启动需要格式化NameNode：
hdfs namenode -format启动集群：
start-dfs.sh start-yarn.sh检查进程：
jps # 主节点应有：NameNode、ResourceManager、SecondaryNameNode # 从节点应有：DataNode、NodeManager4.2 Web界面验证
HDFS管理界面：
http://master:50070YARN管理界面：
http://master:80884.3 运行WordCount测试
创建测试文件：
hdfs dfs -mkdir /input echo "hello hadoop hello world" > test.txt hdfs dfs -put test.txt /input运行示例程序：
hadoop jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount /input /output查看结果：
hdfs dfs -cat /output/part-r-00000 # 应该显示： # hadoop 1 # hello 2 # world 1我在第一次搭建时遇到过各种问题，比如防火墙没关导致节点间通信失败，或者配置文件写错导致服务起不来。关键是要学会看日志，Hadoop的日志在/opt/hadoop/logs/目录下，遇到问题先查日志，大多数错误都有明确提示。
