在centos上管理hdfs（hadoop分布式文件系統）涉及多個方面，包括安裝、配置、監控、權限管理等。以下是一些關鍵步驟和策略：

hdfs安裝與配置

1. 安裝hadoop：首先，需要在centos上安裝Hadoop。可以參考官方文檔或第三方教程來下載并安裝適合的版本。
2. 配置Hadoop環境變量：編輯 /etc/profile 文件，添加Hadoop相關的環境變量，如 HADOOP_HOME、HADOOP_CONF_DIR 等，并執行 source /etc/profile 使其生效。
3. 修改配置文件：配置 core-site.xml 和 hdfs-site.xml 等配置文件，設置HDFS的默認文件系統地址、NameNode的地址、數據塊大小、副本數量等參數。

HDFS集群管理

1. 啟動HDFS集群：在NameNode上執行 start-dfs.sh 腳本啟動HDFS集群，并在DataNode上執行相應的命令啟動DataNode。
2. 停止HDFS集群：在NameNode上執行 stop-dfs.sh 腳本停止HDFS集群。
3. 監控HDFS狀態：可以使用 hdfs dfsadmin -report 命令查看集群的狀態信息，包括DataNode的數量、磁盤使用情況等。

HDFS權限管理

1. 權限設置：HDFS使用類似于Linux的權限模型，可以通過 hdfs dfs -chmod 和 hdfs dfs -chown 命令來設置文件和目錄的權限。
2. ACL（訪問控制列表）：HDFS支持更精細的權限控制，可以通過 hdfs dfs -setfacl 和 hdfs dfs -getfacl 命令來設置和查看ACL。

HDFS存儲優化

1. 調整塊大小：根據工作負載選擇合適的塊大小，通常128MB或256MB可以提高性能。
2. 增加副本數量：提高數據可靠性，但會增加存儲成本。
3. 避免小文件：小文件會導致NameNode負載增加，影響性能。可以通過合并小文件來減少NameNode的負擔。
4. 使用壓縮技術：如ZSTD壓縮，減少存儲空間，提高傳輸效率。

HDFS數據備份與恢復

1. 數據備份：可以使用HDFS的快照功能或手動復制數據到其他節點進行備份。
2. 數據恢復：在數據丟失或損壞時，可以通過快照、編輯日志或備份文件進行數據恢復。

HDFS資源調度

配置HDFS資源調度主要涉及對yarn（Yet Another Resource Negotiator）的配置，因為HDFS的資源調度是通過YARN來實現的。以下是配置HDFS資源調度的步驟和策略：

1. YARN架構和資源調度簡介：YARN是Hadoop的資源管理和調度系統，負責為運行在Hadoop集群上的應用程序提供資源管理和調度服務。YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等組件構成。
2. 配置文件：需要修改 core-site.xml 配置HDFS特定的屬性，如副本數量、塊大小、DFS副本策略等；修改 yarn-site.xml 配置YARN相關屬性，用于資源管理和作業調度。

通過上述步驟和策略，可以有效地在CentOS上管理HDFS存儲，確保數據的安全性、可靠性和高性能。