#【Pandas】18 小练习
2023.1.16 两个pandas小练习

18.1 疫情数据分析

18.1.1 观察数据

import pandas as pd
import osdf = pd.read_csv("data/covid19_day_wise.csv")
df

188 rows × 12 columns

*我的输入错误：readcsv

• 观察一下head

df.head()

18.1.2 完成以下数据处理

• 获取 2020 年 2 月 3 日的所有数据
• 2020 年 1 月 24 日之前的累积确诊病例有多少个？
• 2020 年 7 月 23 日的新增死亡数是多少？
• 从 1 月 25 日到 7 月 22 日，一共增长了多少确诊病例？
• 每天新增确诊数和新恢复数的比例？平均比例，标准差各是多少？
• 画图展示新增确诊的变化曲线
• 画图展示死亡率的变化曲线

【练习读取数据】

1. 获取 2020 年 2 月 3 日的所有数据

df[df["Date"]=="2020-02-03"]

*注意就是日期格式 0203

2. 2020 年 1 月 24 日之前的累积确诊病例有多少个？

我们发现有个Confirmed 通过数字发现应该是之前确诊的

# 方法1
df[df["Date"]=="2020-01-24"]["Confirmed"]

2    941
Name: Confirmed, dtype: int64

# 方法2
df.loc[df["Date"]=="2020-01-24","Confirmed"]

2    941
Name: Confirmed, dtype: int64

*注意和python区别 ，如果用索引查找 要用loc

3. 2020 年 7 月 23 日的新增死亡数是多少？
   也是读取 NewCaes

df.loc[df["Date"]=="2020-07-23","New deaths"]

183    9966
Name: New deaths, dtype: int64

【时间序列练习】
4. 从 1 月 25 日到 7 月 22 日，一共增长了多少确诊病例？

我们观察这个New cases是每天的，不是累计，所以要求和

创建成时间序列 就可以计算了 data_range

#创建时间序列
date = pd.to_datetime(df["Date"])date_range = (date >= "2020-01-25") & (date <= "2020-07-22")
date_range

0      False
1      False
2      False
3       True
4       True...  
183    False
184    False
185    False
186    False
187    False
Name: Date, Length: 188, dtype: bool

new_cases = df.loc[date_range,"New cases" ]
overall = new_cases.sum()
print("共新增：", overall)

共新增： 15247802

我们发现用确诊的相减 和新增加总和是不一致的 分析可能有人重阳了

我们每次提取都是有索引的，所以有时候需要加value

confirmed = df.loc[:, "Confirmed"]
conf_0722 = confirmed.loc[df["Date"] == "2020-07-22"].values
conf_0125 = confirmed.loc[df["Date"] == "2020-01-25"].values
print("格式时代索引的:",confirmed.loc[df["Date"] == "2020-07-22"])overall2 = conf_0722 - conf_0125
print("共新增：", overall2)

格式时代索引的: 182    15227725
Name: Confirmed, dtype: int64
共新增： [15226291]

【一些计算】
5. 每天新增确诊数和新恢复数的比例？平均比例，标准差各是多少？

per= df["New cases"]/df["New recovered"]
per

0             NaN
1       49.500000
2       47.833333
3      164.333333
4       52.615385...    
183      1.666074
184      1.229207
185      1.166670
186      1.518739
187      1.309638
Length: 188, dtype: float64

【一些值有问题NaN】

# 有些值是有问题的
per.isna()

0       True
1      False
2      False
3      False
4      False...  
183    False
184    False
185    False
186    False
187    False
Length: 188, dtype: bool

not_zero_per=per[~per.isna()]ratio_mean = not_zero_per.mean()
ratio_std = not_zero_per.std()
print("平均比例：", ratio_mean, "；标准差：", ratio_std)

平均比例： 7.049556348053247 ；标准差： 19.145284932105497

【联系画图】

6. 画图展示新增确诊的变化曲线

df["New cases"].plot()

7. 画图展示死亡率的变化曲线

df["Deaths / 100 Cases"].plot()

18.2 机器学习数据预处理

• 数据导入
• 异常值处理
• 训练集和测试集数据准备

18.2.1 数据导入

import pandas as pddata=data1 = pd.read_csv("data/iris.csv",names= ["sepal length", "sepal width", "petal length", "petal width", "class"])
data

150 rows × 5 columns

18.2.2 异常值处理

【NaN】

data.isna()

150 rows × 5 columns

这种看不出来，用df.isna().any()查看这一批数据中是否存在空值

• df.isna().any() 只要有一个就是’True’

data.isna().any()

sepal length    False
sepal width     False
petal length    False
petal width      True
class           False
dtype: bool

data.loc[pd.isna(data["petal width"])]

上面找到了Nan值

2. 对它进行处理：删掉或者平均

【删掉】

• .dropna(axis=0, how="any"):
• any有一个就删除和all全是删除
• axis=0:行方向上变化

data = data.dropna(axis=0, how="any")
data.isna().any()

sepal length    False
sepal width     False
petal length    False
petal width     False
class           False
dtype: bool

【填充】平均值 填充

• 算平均值
• 把平均值插入到新列中
• 新列赋值到原数据表

data1.isna().any()

sepal length    False
sepal width     False
petal length    False
petal width      True
class           False
dtype: bool

pepal_width_mean=data1["petal width"].mean()
print(pepal_width_mean)
new_col = data1["petal width"].fillna(pepal_width_mean)
print(new_col)
data1["petal width"]=new_col
data1.isna().any()

1.3946308724832226
0      0.2
1      0.2
2      0.2
3      0.2
4      0.2... 
145    2.3
146    1.9
147    2.0
148    2.3
149    1.8
Name: petal width, Length: 150, dtype: float64sepal length    False
sepal width     False
petal length    False
petal width     False
class           False
dtype: bool

3. 看值的合理性
   不合理的一般去掉 或者 做一些处理

data.plot()

data["sepal length"].plot()

• 我们发现 这个值小于0是违反常理的 我们可以去掉.drop()

index=data[data["sepal length"]<0].index
index
data_drop=data.drop(index)
data_drop["sepal length"].plot()

或者上一章知识 设定个阈值范围data["sepal length"].clip(lower=0, upper=8)

18.2.3 训练集和测试集

我们假设0.8作为训练集

• 取长度

n = len(data)

150

• 切片：如果我们如果直接切片tain = data.iloc[:n*0.8]会报错，因为格式不是整数m

tain_n= int(n*0.8)
tain = data.iloc[:tain_n]
test = data.iloc[tain_n:]
test

• 这里面**class都相同,我们想打乱顺序。：.sample() **

data3 = data.sample(frac=1)
tain = data3.iloc[:tain_n]
test = data3.iloc[tain_n:]
test

• 切分标签

def get_xy(df):return df[["sepal length", "sepal width", "petal length", "petal width"]], df[["class"]]train_x, train_y = get_xy(tain)
test_x, test_y = get_xy(test)
test_y

• DataFrame to Numpy
  有的机器学习框架、模型可以直接使用 Pandas 数据类型，有的不一定可以，但是基本上都可以支持 Numpy array。 所以我们还可以进一步将 Pandas 的 DataFrame 转成 Numpy array。

train_x_array, train_y_array = train_x.values, train_y.values# 前三个实例
print(train_x_array[:3])
print(train_y_array[:3])

[[5.8 2.7 5.1 1.9][6.3 2.7 4.9 1.8][4.8 3.1 1.6 0.2]]
[['Iris-virginica']['Iris-virginica']['Iris-setosa']]