python数据提取过程记录

#风电测风塔数据提取，遍历文件夹csv文件，每个csv提取至字典里，再从字典提取平均风速、最大风速等公有列数据

import os
import csv
def not_empty(s):
 return s and s.strip()
os.chdir("E:/fdtq75")#目标目录
L=[]
F_120_avg=[]#存放平均风速
F_120_max=[]#存放平均风速
F_120_min=[]#存放平均风速
F_100_avg=[]#存放平均风速
F_100_max=[]#存放平均风速
F_100_min=[]#存放平均风速
F_80_avg=[]#存放平均风速
F_80_max=[]#存放平均风速
F_80_min=[]#存放平均风速
F_50_avg=[]#存放平均风速
F_50_max=[]#存放平均风速
F_50_min=[]#存放平均风速
F_30_avg=[]#存放平均风速
F_30_max=[]#存放平均风速
F_30_min=[]#存放平均风速
F_10_avg=[]#存放平均风速
F_10_max=[]#存放平均风速
F_10_min=[]#存放平均风速
S=[]
for files in os.walk("E:/fdtq75"):#遍历目录下csv数据文件
 for file in files:
  L.append(file)
for i in range(len(L[2])):#迭代打开csv文件
 with open(L[2][i])as csvfile:
  f=csv.DictReader(csvfile)#读取csv数据到字典里
  print(csvfile)
  print(f)
  it=iter(f)
  for row in it:
    #print(row)
    F_120_avg.append(row['Anemometer @120m;wind_speed;Avg'])#把字典中，key值为120m风速数据提取出来，并逐个文件累积
    F_120_max.append(row['Anemometer @120m;wind_speed;Max'])  # 把字典中，key值为120m风速数据提取出来，并逐个文件累积
    F_120_min.append(row['Anemometer @120m;wind_speed;Min'])  # 把字典中，key值为120m风速数据提取出来，并逐个文件累积
    F_100_avg.append(row['Anemometer @100m;wind_speed;Avg'])#把字典中，key值为120m风速数据提取出来，并逐个文件累积
    F_100_max.append(row['Anemometer @100m;wind_speed;Max'])  # 把字典中，key值为120m风速数据提取出来，并逐个文件累积
    F_100_min.append(row['Anemometer @100m;wind_speed;Min'])  # 把字典中，key值为120m风速数据提取出来，并逐个文件累积
    F_80_avg.append(row['Anemometer @80m;wind_speed;Avg'])#把字典中，key值为120m风速数据提取出来，并逐个文件累积
    F_80_max.append(row['Anemometer @80m;wind_speed;Max'])  # 把字典中，key值为120m风速数据提取出来，并逐个文件累积
    F_80_min.append(row['Anemometer @80m;wind_speed;Min'])  # 把字典中，key值为120m风速数据提取出来，并逐个文件累积
    F_50_avg.append(row['Anemometer @50m;wind_speed;Avg'])#把字典中，key值为120m风速数据提取出来，并逐个文件累积
    F_50_max.append(row['Anemometer @50m;wind_speed;Max'])  # 把字典中，key值为120m风速数据提取出来，并逐个文件累积
    F_50_min.append(row['Anemometer @50m;wind_speed;Min'])  # 把字典中，key值为120m风速数据提取出来，并逐个文件累积
    F_30_avg.append(row['Anemometer @30m;wind_speed;Avg'])#把字典中，key值为120m风速数据提取出来，并逐个文件累积
    F_30_max.append(row['Anemometer @30m;wind_speed;Max'])  # 把字典中，key值为120m风速数据提取出来，并逐个文件累积
    F_30_min.append(row['Anemometer @30m;wind_speed;Min'])  # 把字典中，key值为120m风速数据提取出来，并逐个文件累积
    F_10_avg.append(row['Anemometer @10m;wind_speed;Avg'])#把字典中，key值为120m风速数据提取出来，并逐个文件累积
    F_10_max.append(row['Anemometer @10m;wind_speed;Max'])  # 把字典中，key值为120m风速数据提取出来，并逐个文件累积
    F_10_min.append(row['Anemometer @10m;wind_speed;Min'])  # 把字典中，key值为120m风速数据提取出来，并逐个文件累积
    #F_avg=F_avg[0:1440000]
    S=F_120_avg
  D=list(filter(None.__ne__, S))
  D=list(filter(not_empty,D))
print(D)
print(len(D))
print(144*len(L[2]))