在Linux系統(tǒng)上安裝hadoop的步驟大致可以分為以下幾個部分：

1. 環(huán)境準(zhǔn)備

• 選擇Linux發(fā)行版：推薦使用Ubuntu 24.2或其他穩(wěn)定版本。
• 安裝JDK：下載JDK 1.8.0_361（或其他兼容版本），并使用APT管理工具安裝。

  sudo apt-get update sudo apt-get install openjdk-8-jdk 
• 驗證安裝：通過執(zhí)行Java -version命令來檢查Java是否安裝成功。

2. 安裝Hadoop

• 下載Hadoop：從Hadoop官方網(wǎng)站下載所需版本的Hadoop安裝包。例如，下載Hadoop 3.3.5版本。

  wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.5/hadoop-3.3.5.tar.gz 
• 解壓文件：將下載的文件解壓到指定目錄，例如/opt/hadoop。

  sudo tar -zxvf hadoop-3.3.5.tar.gz -C /opt/hadoop 

3. 配置環(huán)境變量

• 編輯.bashrc文件：添加以下內(nèi)容：

  export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 export HADOOP_HOME=/opt/hadoop export PATH=$PATH:$HADOOP_HOME/bin 
• 使配置生效：

  source ~/.bashrc 

4. 配置Hadoop

• 修改Hadoop配置文件：
  • core-site.xml：配置hdfs的URI。
  • hdfs-site.xml：配置HDFS的副本數(shù)和其他參數(shù)。
  • mapred-site.xml（可選，如果需要yarn支持）：配置mapreduce框架。
  • yarn-site.xml（可選，如果需要YARN支持）：配置YARN資源管理器。

5. 格式化NameNode

• 在首次啟動Hadoop之前，需要對HDFS進行格式化。

  hdfs namenode -format 

6. 啟動Hadoop集群

• 啟動HDFS和YARN服務(wù)。

  start-dfs.sh start-yarn.sh 

7. 驗證安裝

• 訪問Hadoop Web界面：
  • HDFS：http://localhost:50070
  • YARN：http://localhost:8088

8. 配置ssh免密登錄

• 生成SSH密鑰對并分發(fā)到所有節(jié)點。

  ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 
• 測試免密登錄：

  ssh localhost 

注意事項

• 確保所有節(jié)點的配置文件（如core-site.xml, hdfs-site.xml等）中的配置一致。
• 在配置SSH無密碼登錄時，確保所有節(jié)點的公鑰都已正確分發(fā)。

以上步驟提供了一個基本的指南，具體安裝過程中可能還需要根據(jù)實際環(huán)境和需求進行調(diào)整。建議參考Hadoop官方文檔或相關(guān)教程以獲取更詳細(xì)的指導(dǎo)。