HDFS高可用性在CentOS如何实现

在centos环境下搭建高可用性hdfs (ha) 集群，需要配置两个namenode节点，利用zookeeper进行状态监控，并配置journalnode实现元数据同步。以下步骤详细阐述了搭建过程：

一、前期准备

1. 集群规划: 确定集群中每个节点的角色 (NameNode, Secondary NameNode, DataNode) 及其网络配置。 确保网络连接畅通，并预留足够的资源。
2. 备份配置: 备份现有的HDFS配置文件 (hdfs-site.xml, core-site.xml 等)，以便在必要时回滚到非HA模式。

二、配置HDFS HA

1. 修改hdfs-site.xml: 在每个NameNode节点上修改hdfs-site.xml 文件，添加或修改以下配置项 (根据实际情况调整主机名和端口号):

<property>  <name>dfs.nameservices</name>  <value>mycluster</value></property><property>  <name>dfs.ha.namenodes.mycluster</name>  <value>nn1,nn2</value></property><property>  <name>dfs.namenode.rpc-address.mycluster.nn1</name>  <value>master:8020</value></property><property>  <name>dfs.namenode.rpc-address.mycluster.nn2</name>  <value>slave1:8020</value></property><property>  <name>dfs.namenode.http-address.mycluster.nn1</name>  <value>master:50070</value></property><property>  <name>dfs.namenode.http-address.mycluster.nn2</name>  <value>slave1:50070</value></property><property>  <name>dfs.namenode.shared.edits.dir</name>  <value>qjournal://master:8485;slave1:8485;slave2:8485/mycluster</value></property><property>  <name>dfs.journalnode.edits.dir</name>  <value>/home/hadoop-sny/bigdata/dfs/journal/data</value></property><property>  <name>dfs.client.failover.proxy.provider.mycluster</name>  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value></property>

登录后复制