大數據技術涉及數據量海量、多樣、高速、高價值的”4v原則”，其生態圈包括hdfs、mapreduce、yarn、hive、hbase等組件。數據挖掘算法包括關聯分析、聚類分析、分類算法和回歸分析。機器學習技術分為監督學習、無監督學習和深度學習。其他相關技術還包括流處理、nosql數據庫和數據可視化。
大數據技術口訣
一、4V原則
- Volume：海量數據，數據量巨大
- Variety：多樣性數據，多類型、多格式
- Velocity：高速數據，實時生成和處理
- Value：高價值數據，包含有用信息
二、hadoop生態圈
- hdfs：分布式文件系統，存儲海量數據
- mapreduce：數據并行處理框架，分布式計算
- yarn：資源管理系統，調度計算資源
- hive：數據倉庫框架，查詢和分析數據
- hbase：列式數據庫，適合非結構化數據存儲
三、數據挖掘算法
- 關聯分析：發現數據項之間的關聯關系
- 聚類分析：將數據分為相似組
- 分類算法：根據輸入數據預測輸出類別
- 回歸分析：建立輸入變量和輸出變量之間的關系模型
四、機器學習技術
- 監督學習：利用標記數據訓練模型，進行分類或回歸
- 無監督學習：利用未標記數據發現模式或結構
- 深度學習：使用神經網絡進行復雜的數據分析
五、其他相關技術
