1. 集群数量:3台
2. 配置(推荐配置):
1. CPU:10核
2. 内存:64G
3. 硬盘:1T
3. 软件:
1. hadoop:分布式存储
2. zookeeper:纵向调度
3. flume:
1. 采集,2台
2. 消费kafka,写入hdfs,原始数据入库,1台
4. kafka:缓存机制
5. spark:实时消费kafka数据,进行实时计算
6. hbase:存储,查询数据
7. hive:数据处理、用于T+1级别数据的处理,定时脚本
8. redis:单节点,缓存实时使用数据
4. 集群部署计划
| | hadoop1 | hadoop2 | hadoop3 |
| ----------------------- | ---------------------- | -------------------------------- | ------------------------------- |
| Hadoop-hdfs | nameNode
dataNode | dataNode | dataNode
secondaryNameNode |
| Hadoop-yarn | nodeManager | nodeManager
resourceManager | nodeManager |
| zookeeper | ✅ | ✅ | ✅ |
| flume | 采集 | 采集 | 传输 |
| kafka | ✅ | ✅ | ✅ |
| hbase | ✅ | ✅ | ✅ |
| spark | ✅ | ✅ | ✅ |
| hive | ✅ | | |
| MySQL(保存hive元数据) | ✅ | | |