Pārlūkot izejas kodu

能源时间+8小时处理

wudianlong 2 gadi atpakaļ
vecāks
revīzija
5cfc7fdb8e

+ 20 - 4
energy/dayTask/energy_hive.sql

@@ -1,4 +1,4 @@
-/** 能源原始数据 15min 历史数据 */
+/** 能源原始数据 15min 差值 */
 create table ods_energy_15_min
 (
     building   string,
@@ -6,7 +6,7 @@ create table ods_energy_15_min
     meter      string,
     data_time  string,
     data_value decimal(30, 15)
-) COMMENT '能源原始数据15min历史数据'
+) COMMENT '能源原始数据15min差值数据'
 PARTITIONED BY (`dt` string)
 ROW FORMAT DELIMITED FIELDS TERMINATED BY '\001'
 STORED AS TEXTFILE
@@ -15,7 +15,23 @@ LOCATION
 TBLPROPERTIES (
     'orc.compress'='lzo');
 
-/** 能源原始数据 5min 历史数据 */
+/** 能源原始数据 15min 差值临时表 */
+create table ods_energy_15_min_tmp
+(
+    building   string,
+    func_id    string,
+    meter      string,
+    data_time  string,
+    data_value decimal(30, 15)
+) COMMENT '能源原始数据15min差值临时表'
+ROW FORMAT DELIMITED FIELDS TERMINATED BY '\001'
+STORED AS TEXTFILE
+LOCATION
+    'hdfs://sagaCluster:8020/warehouse/saga_dw/ods/ods_energy_15_min_tmp'
+TBLPROPERTIES (
+    'orc.compress'='lzo');
+
+/** 能源原始数据 5min 差值 */
 create table ods_energy_5_min
 (
     building   string,
@@ -23,7 +39,7 @@ create table ods_energy_5_min
     meter      string,
     data_time  string,
     data_value decimal(30, 15)
-) COMMENT '能源原始数据15min历史数据'
+) COMMENT '能源原始数据15min差值数据'
 PARTITIONED BY (`dt` string)
 ROW FORMAT DELIMITED FIELDS TERMINATED BY '\001'
 STORED AS TEXTFILE

+ 55 - 0
energy/dayTask/energy_mysql.sql

@@ -59,3 +59,58 @@ create table app_energy_15_min
     dt               datetime
 );
 
+
+create table co2_15_min
+(
+    building   varchar(128)     comment '大楼id',
+    func_id    varchar(128)     comment '仪表功能号',
+    meter      varchar(128)     comment '仪表号',
+    data_time  datetime         comment '数据采集时间',
+    data_value decimal(30, 15)  comment '采集值',
+    dt         varchar(64)      comment '采集日期'
+)
+    comment 'CO2 15 分钟数据';
+
+create table pm25_15_min
+(
+    building   varchar(128)     comment '大楼id',
+    func_id    varchar(128)     comment '仪表功能号',
+    meter      varchar(128)     comment '仪表号',
+    data_time  datetime         comment '数据采集时间',
+    data_value decimal(30, 15)  comment '采集值',
+    dt         varchar(64)      comment '采集日期'
+)
+    comment 'pm2.5 15 分钟数据';
+
+create table temperature_15_min
+(
+    building   varchar(128)     comment '大楼id',
+    func_id    varchar(128)     comment '仪表功能号',
+    meter      varchar(128)     comment '仪表号',
+    data_time  datetime         comment '数据采集时间',
+    data_value decimal(30, 15)  comment '采集值',
+    dt         varchar(64)      comment '采集日期'
+)
+    comment '温度 15 分钟数据';
+
+create table hcho_15_min
+(
+    building   varchar(128)     comment '大楼id',
+    func_id    varchar(128)     comment '仪表功能号',
+    meter      varchar(128)     comment '仪表号',
+    data_time  datetime         comment '数据采集时间',
+    data_value decimal(30, 15)  comment '采集值',
+    dt         varchar(64)      comment '采集日期'
+)
+    comment '甲醛 15 分钟数据';
+
+create table humidity_15_min
+(
+    building   varchar(128)     comment '大楼id',
+    func_id    varchar(128)     comment '仪表功能号',
+    meter      varchar(128)     comment '仪表号',
+    data_time  datetime         comment '数据采集时间',
+    data_value decimal(30, 15)  comment '采集值',
+    dt         varchar(64)      comment '采集日期'
+)
+    comment '湿度 15 分钟数据';

+ 0 - 0
energy/dayTask/otmp_to_ods.sh


+ 3 - 3
energy/dayTask/py_mysql.sh

@@ -7,11 +7,11 @@ if [ -n "$2" ] ;then
     do_date=$2
 else
     echo "====没有输入数据的日期,取当前时间的前一天===="
-    start_time=`date -d yesterday +"%Y%m%d"`000000
-    end_time=`date +"%Y%m%d"`000000
+    start_time=`date -d "-1 day" +"%Y%m%d"`140000
+    end_time=`date -d "-2 day" +"%Y%m%d"`140000
 fi
 
 echo $start_time
 echo $end_time
 
-/usr/local/bin/python3 /opt/app/python_transfer/start_mysql.py --start_time $start_time --end_time $end_time
+#/usr/local/bin/python3 /opt/app/python_transfer/start_mysql.py --start_time $start_time --end_time $end_time