hdfs（hadoop distributed file system）是hadoop的核心組件之一，專為處理大規模數據集而設計，具有高容錯性、高吞吐量和低成本存儲的特點。以下是hdfs的數據存儲原理：
HDFS的存儲原理
- 基于塊的分布式存儲：HDFS將大文件分成固定大小的塊（通常為64MB或128MB），然后將這些塊分布在不同的DataNode上，以實現數據的冗余和可靠性。
- 數據冗余：為了提高數據的可靠性，HDFS采用多副本機制，通常每個數據塊有三個副本，分布在不同的DataNode上。
- 數據放置策略：HDFS支持異構存儲，可以根據數據的熱冷程度將數據塊存儲在不同的存儲介質上，如傳統磁盤、SSD硬盤和RAM_DISK等。
- 數據恢復：當數據塊丟失或損壞時，HDFS可以通過副本機制進行數據恢復，確保數據的可靠性和可用性。
HDFS架構設計
- NameNode（主節點）：管理文件系統的元數據，包括文件與數據塊的映射關系。NameNode是單點故障點，但通過HA機制（如雙NameNode）解決。
- DataNode（從節點）：負責存儲實際的數據塊，并定期向NameNode發送心跳和塊報告。DataNode上的數據塊在多個節點上有副本，以確保容錯性。
- Secondary NameNode（輔助節點）：定期合并NameNode的元數據快照（FsImage和EditLog），生成新的FsImage，以減少NameNode啟動時間。
HDFS工作原理
- 文件寫入流程：客戶端向NameNode發起寫請求，NameNode返回可寫入的DataNode列表。客戶端將數據按塊切分，通過管道（Pipeline）依次寫入多個DataNode。所有DataNode確認寫入成功后，客戶端通知NameNode完成寫入。
- 文件讀取流程：客戶端向NameNode請求文件元數據，NameNode返回離客戶端最近的DataNode列表。客戶端直接與DataNode通信，并行讀取數據塊，數據塊在客戶端按順序合并為完整文件。
通過這種設計，HDFS能夠有效地處理大規模數據集，同時保證數據的高可用性和可靠性。
