要調整centos hdfs（hadoop分布式文件系統）的內存配置，您需要修改hadoop的配置文件。以下是一些關鍵步驟：
1. 修改 hdfs-site.xml
hdfs-site.xml 文件位于 $hadoop_HOME/etc/hadoop/ 目錄下。您需要編輯這個文件來調整內存相關的參數。
關鍵參數：
- dfs.namenode.handler.count: 控制NameNode處理客戶端請求的線程數。
- dfs.datanode.handler.count: 控制DataNode處理客戶端請求的線程數。
- dfs.namenode.rpc-address: NameNode的rpc地址。
- dfs.datanode.data.dir.perm: DataNode數據目錄的權限。
- dfs.namenode.http-address: NameNode的http地址。
- dfs.namenode.secondary.http-address: Secondary NameNode的HTTP地址。
- dfs.namenode.checkpoint.dir: Checkpoint目錄。
- dfs.namenode.edits.dir: Edit日志目錄。
- dfs.namenode.memory.mb: NameNode的內存大小（以MB為單位）。
- dfs.datanode.memory.mb: DataNode的內存大小（以MB為單位）。
示例配置：
<<span>configuration></span> <<span>property></span> <<span>name></span>dfs.namenode.handler.count</<span>name></span> <<span>value></span>100</<span>value></span> </<span>property></span> <<span>property></span> <<span>name></span>dfs.datanode.handler.count</<span>name></span> <<span>value></span>100</<span>value></span> </<span>property></span> <<span>property></span> <<span>name></span>dfs.namenode.rpc-address</<span>name></span> <<span>value></span>namenode:8020</<span>value></span> </<span>property></span> <<span>property></span> <<span>name></span>dfs.datanode.data.dir.perm</<span>name></span> <<span>value></span>700</<span>value></span> </<span>property></span> <<span>property></span> <<span>name></span>dfs.namenode.http-address</<span>name></span> <<span>value></span>namenode:50070</<span>value></span> </<span>property></span> <<span>property></span> <<span>name></span>dfs.namenode.secondary.http-address</<span>name></span> <<span>value></span>secondarynamenode:50090</<span>value></span> </<span>property></span> <<span>property></span> <<span>name></span>dfs.namenode.checkpoint.dir</<span>name></span> <<span>value></span>/hadoop/hdfs/namesecondary</<span>value></span> </<span>property></span> <<span>property></span> <<span>name></span>dfs.namenode.edits.dir</<span>name></span> <<span>value></span>/hadoop/hdfs/namedits</<span>value></span> </<span>property></span> <<span>property></span> <<span>name></span>dfs.namenode.memory.mb</<span>name></span> <<span>value></span>4096</<span>value></span> </<span>property></span> <<span>property></span> <<span>name></span>dfs.datanode.memory.mb</<span>name></span> <<span>value></span>2048</<span>value></span> </<span>property></span> </<span>configuration></span>
2. 修改 core-site.xml
core-site.xml 文件也位于 $HADOOP_HOME/etc/hadoop/ 目錄下。您可能需要調整一些與內存相關的參數。
關鍵參數：
- fs.defaultFS: HDFS的默認文件系統URI。
- hadoop.tmp.dir: Hadoop臨時目錄。
示例配置：
<<span>configuration></span> <<span>property></span> <<span>name></span>fs.defaultFS</<span>name></span> <<span>value></span>hdfs://namenode:8020</<span>value></span> </<span>property></span> <<span>property></span> <<span>name></span>hadoop.tmp.dir</<span>name></span> <<span>value></span>/hadoop/hdfs/tmp</<span>value></span> </<span>property></span> </<span>configuration></span>
3. 修改 yarn-site.xml
如果您使用yarn（Yet Another Resource Negotiator），您還需要修改 yarn-site.xml 文件來調整資源管理器的內存配置。
關鍵參數：
- yarn.nodemanager.Resource.memory-mb: NodeManager的總內存大小（以MB為單位）。
- yarn.scheduler.minimum-allocation-mb: YARN分配給容器的最小內存大小（以MB為單位）。
- yarn.scheduler.maximum-allocation-mb: YARN分配給容器的最大內存大小（以MB為單位）。
示例配置：
<<span>configuration></span> <<span>property></span> <<span>name></span>yarn.nodemanager.resource.memory-mb</<span>name></span> <<span>value></span>8192</<span>value></span> </<span>property></span> <<span>property></span> <<span>name></span>yarn.scheduler.minimum-allocation-mb</<span>name></span> <<span>value></span>1024</<span>value></span> </<span>property></span> <<span>property></span> <<span>name></span>yarn.scheduler.maximum-allocation-mb</<span>name></span> <<span>value></span>8192</<span>value></span> </<span>property></span> </<span>configuration></span>
4. 重啟Hadoop服務
修改完配置文件后，您需要重啟Hadoop服務以使更改生效。
# 停止HDFS和YARN服務 stop-dfs.sh stop-yarn.sh # 啟動HDFS和YARN服務 start-dfs.sh start-yarn.sh
5. 驗證配置
您可以使用以下命令來驗證配置是否生效：
# 查看NameNode的內存配置 hdfs getconf -confKey dfs.namenode.memory.mb # 查看DataNode的內存配置 hdfs getconf -confKey dfs.datanode.memory.mb # 查看YARN NodeManager的內存配置 yarn getconf -confKey yarn.nodemanager.resource.memory-mb
通過以上步驟，您可以成功調整centos HDFS的內存配置。
