在centos系統(tǒng)上搭建hdfs集群，需要經(jīng)過(guò)多個(gè)步驟，包括java環(huán)境配置、hadoop安裝、環(huán)境變量設(shè)置、namenode格式化以及集群?jiǎn)?dòng)等。以下步驟提供了一個(gè)簡(jiǎn)明指南：
第一步：Java環(huán)境配置
首先，確認(rèn)系統(tǒng)已安裝Java 8?？梢允褂靡韵?a href="http://m.hostm.cn/help/index.php/tag/11" title="命令flickr.photos.notes.edit target="_blank">命令進(jìn)行安裝：
yum install -y java-1.8.0-openjdk-devel
然后，配置Java環(huán)境變量：
echo "export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk" >> /etc/profile source /etc/profile java -version # 驗(yàn)證Java版本
第二步：hadoop安裝
下載Hadoop安裝包并解壓到指定目錄（例如/usr/local/hadoop）：
wget https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz tar -zxvf hadoop-3.2.1.tar.gz -C /usr/local/ ln -s /usr/local/hadoop/hadoop-3.2.1 /usr/local/hadoop/hadoop
第三步：配置ssh免密登錄
在主節(jié)點(diǎn)上生成SSH密鑰，并將其復(fù)制到所有節(jié)點(diǎn)：
ssh-keygen -t rsa ssh-copy-id hadoop11 ssh-copy-id hadoop12 ssh-copy-id hadoop13 ``` (將`hadoop11`, `hadoop12`, `hadoop13`替換為你的實(shí)際節(jié)點(diǎn)名稱) **第四步：Hadoop環(huán)境變量配置** 編輯`/etc/profile`文件，添加以下內(nèi)容： ```bash export HADOOP_HOME=/usr/local/hadoop/hadoop-3.2.1 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin source /etc/profile
第五步：Hadoop配置文件配置
修改Hadoop配置文件，確保所有節(jié)點(diǎn)配置一致。關(guān)鍵配置如下：
- core-site.xml:
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop11:8020</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop/data</value> </property> </configuration>
- hdfs-site.xml:
<configuration> <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.namenode.secondary.http-address</name> <value>hadoop12:9868</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/usr/local/hadoop/data/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/usr/local/hadoop/data/datanode</value> </property> </configuration>
(請(qǐng)根據(jù)你的實(shí)際節(jié)點(diǎn)名稱和目錄進(jìn)行修改)
第六步：HDFS集群初始化
在NameNode節(jié)點(diǎn)上執(zhí)行以下命令格式化集群：
hdfs namenode -format
第七步：?jiǎn)?dòng)HDFS集群
在任意一個(gè)節(jié)點(diǎn)上執(zhí)行：
start-dfs.sh
第八步：驗(yàn)證HDFS集群
訪問(wèn)NameNode的Web界面 (http://hadoop11:50070) 驗(yàn)證集群是否成功啟動(dòng)。
重要提示:
- 確保所有節(jié)點(diǎn)的配置文件完全一致。
- 配置文件中所有路徑必須正確。
- 以上配置基于單機(jī)模式，生產(chǎn)環(huán)境通常需要高可用性(HA)配置，涉及zookeeper和JournalNode。
本指南提供了一個(gè)基本的HDFS集群部署流程，實(shí)際操作中可能需要根據(jù)具體環(huán)境進(jìn)行調(diào)整。 請(qǐng)務(wù)必仔細(xì)檢查所有配置，并根據(jù)你的實(shí)際情況修改節(jié)點(diǎn)名稱和路徑。
.png)
推廣.jpg)