1. 集群数量:3台 2. 配置(推荐配置): 1. CPU:10核 2. 内存:64G 3. 硬盘:1T 3. 软件: 1. hadoop:分布式存储 2. zookeeper:纵向调度 3. flume: 1. 采集,2台 2. 消费kafka,写入hdfs,原始数据入库,1台 4. kafka:缓存机制 5. spark:实时消费kafka数据,进行实时计算 6. hbase:存储,查询数据 7. hive:数据处理、用于T+1级别数据的处理,定时脚本 8. redis:单节点,缓存实时使用数据 4. 集群部署计划 | | hadoop1 | hadoop2 | hadoop3 | | ----------------------- | ---------------------- | -------------------------------- | ------------------------------- | | Hadoop-hdfs | nameNode
dataNode | dataNode | dataNode
secondaryNameNode | | Hadoop-yarn | nodeManager | nodeManager
resourceManager | nodeManager | | zookeeper | ✅ | ✅ | ✅ | | flume | 采集 | 采集 | 传输 | | kafka | ✅ | ✅ | ✅ | | hbase | ✅ | ✅ | ✅ | | spark | ✅ | ✅ | ✅ | | hive | ✅ | | | | MySQL(保存hive元数据) | ✅ | | |