dw_config.md 1.9 KB

  1. 集群数量:3台

  2. 配置(推荐配置):

    1. CPU:10核
    2. 内存:64G
    3. 硬盘:1T
  3. 软件:

    1. hadoop:分布式存储
    2. zookeeper:纵向调度
    3. flume:
      1. 采集,2台
      2. 消费kafka,写入hdfs,原始数据入库,1台
    4. kafka:缓存机制
    5. spark:实时消费kafka数据,进行实时计算
    6. hbase:存储,查询数据
    7. hive:数据处理、用于T+1级别数据的处理,定时脚本
    8. redis:单节点,缓存实时使用数据
  4. 集群部署计划

| | hadoop1 | hadoop2 | hadoop3 | | ----------------------- | ---------------------- | -------------------------------- | ------------------------------- | | Hadoop-hdfs | nameNode
dataNode | dataNode | dataNode
secondaryNameNode | | Hadoop-yarn | nodeManager | nodeManager
resourceManager | nodeManager | | zookeeper | ✅ | ✅ | ✅ | | flume | 采集 | 采集 | 传输 | | kafka | ✅ | ✅ | ✅ | | hbase | ✅ | ✅ | ✅ | | spark | ✅ | ✅ | ✅ | | hive | ✅ | | | | MySQL(保存hive元数据) | ✅ | | |