AI学习-Pandas数据处理分析

1. Pandas概述

​ Pandas 是一个开源的数据分析处理库，它应用在数据科学、统计分析、机器学习等领域。其中丰富的数据结构、数据操作函数能够简化数据清洗、转换、探索性分析以及数据可视化等过程。

数据结构类型

​ Pandas包含两种数据结构

• Series：带标签的一维数组
• **DataFrame **：二维数组，类似于表格或关系库的表

主要特性

安装pandas

#使用conda进行安装
conda install pandas

#使用pip进行安装
pip install pandas

2. Series用法

2.1 Series的创建

• 函数说明以及示例

pandas.Series(data=None, index=None, dtype=None, name=None, copy=False, fastpath=False)

#导入pandas
import pandas as pd 
#创建一维数组（带有标签）
data=pd.Series([4,3,5,6,1]) 
data

#pandas 中两个重要的属性 values 和 index，
#values 是 Series 对象的原始数据。
#index 对 应了 Series 对象的索引对象

#查看原属数据
data.values
#显示：array([4, 3, 5, 6, 1])

#查看索引
data.inedx
#显示：RangeIndex(start=0, stop=5, step=1)

• 使用列表创建Series，并自动分配默认索引

#创建一维数组
data = [1, 2, 3, 4, 5]
s = pd.Series(data)

• 使用自定义索引创建Series：

#设置自定义索引
index = ['a', 'b', 'c', 'd', 'e'] 
data = [10, 20, 30, 40, 50] 
s = pd.Series(data, index=index)
#使用list创建自定义索引
data=pd.Series([4,3,2,1],index=list('abcd'))

• 使用字典创建Series，字典的键成为Series的索引：

#设置自定义索引
data_dict = {'apple': 4, 'banana': 2, 'orange': 6}
s = pd.Series(data_dict)

• 指定数据类型

#设置数据类型为float
data = [1, 2, 3, 4, 5] 
s = pd.Series(data, dtype='float')

• 给Series命名

#设置seried名称
data = [1, 2, 3, 4, 5] 
s = pd.Series(data, name='xiu')

2.2 Series的取值

​ series可以像narray数组一样通过使用索引的方式，其索引分为位置索引和标签索引。两种索引方式不同之处在于标签索引进行切片(获取其子集)时候 是左闭右闭，而位置索引是左闭右开。

index = ['a', 'b', 'c', 'd', 'e'] 
values = [10, 20, 30, 40, 50] 
data = pd.Series(values, index=index)
display('根据 key 获取：',data['a']) 
#切片且标签索引 显示 [a ~ d]包含d的数据  
display('切片获取：',data['a':'d'])
display('索引获取：',data[1]) 
#切片且位置索引 显示 [2 ~ 4)不包含4的数据  
display('索引切片：',data[2:4])

位置索引与标签索引有相同值 1，这时候 data[1]就不知道是按哪个 来获取，此时要使用 loc、iloc。

• loc 表示的是标签索引
• iloc 表示的是位置索引

data=pd.Series([5,3,2,5,9],index=[1,2,3,4,5])

#如果是位置索引1 则为5 如果是标签索引则是2 默认下边不会报错，但是默认使用标签索引
data[1] #等价于
data.loc[1]

#如果需要使用位置所以 用iloc
data.iloc[1]

2.3 Series的相关方法

• mean 方法可以对某一列数据取平均数

• min 方法获取最小值

• max 方法获取最大值

• std 方法获取标准差

• sort_values方法排序，ascending=True 升序，False降序

• data[condation]过滤条件

• concat拼接

ages = pd.Series([20,24,30,35])
display('获取数据集中 Age 列的所有',ages) 
print('计算 Age 列的平均值：',ages.mean())
print('计算 Age 列的最大值：',ages.max())
print('计算 Age 列的最小值：',ages.min())
print('计算 Age 列的标准差：',ages.std()) 
display('对 Age 进行降序排序：',ages.sort_values(ascending=False))
display('筛选出 Age 大于平均值的数据：',ages[ages>ages.mean()])

ser1=pd.Series([1,2,3],index=list('ABC'))
ser2=pd.Series([4,5,6],index=list('DEF'))
pd.concat([ser1,ser2])

3. DataFrame用法

3.1 DataFrame创建

pandas.DataFrame(data=None, index=None, columns=None, dtype=None, copy=None)

使用两个Series构建DataFrame

#series 对象 一个population 一个area
population_dict={'beijing':3000,'guangzhou':1800,'shanghai':1200} 
area_dict={'beijing':300,'shanghai':180,'guangzhou':200}
population_series=pd.Series(population_dict) 
area_series=pd.Series(area_dict) 

citys=pd.DataFrame({'area':area_series,'population':population_series})

指定 index属性创建

data=pd.DataFrame([area_dict,population_dict],index=['area','population'])

指定列索引columns创建

pd.DataFrame(population_series,area_series,columns=['population','area'])

使用二维数组创建

#创建一个3行2列的二维矩阵，列索引为a,b 行索引为e,f,g
pd.DataFrame(np.random.randint(0,10,(3,2)),columns=list('ab'),index=list('efg'))

3.2 DataFrame取值

需要在DataFrame创建的对象中使用括号中指明要选择的列名(多个传递数组),同Series类似其也拥有对应的普通索引(标签索引)、位置索引。

#数据准备
population_dict={'beijing':3000,'guangzhou':1800,'shanghai':1200} 
area_dict={'beijing':300,'shanghai':180,'guangzhou':200}
data=pd.DataFrame([area_dict,population_dict],index=['area','population'])

#取一列
data["beijing"]
#取多列
data[["beijing","shanghai"]]

• loc 表示的是普通索引、输入行的名称(series里面叫做标签)
• iloc 表示的是位置索引

#准备数据
data=pd.DataFrame(np.arange(12).reshape(3,4),index=list('abc'),columns=list('ABCD'))

#默认获取所有行，只针对列进行选择
print('获取所有行，获取B列，使用普通索引获取：')
print(data.loc[:,'B'])
print('获取所有行，获取B列，使用位置索引获取：')
print(data.iloc[:,1])

print('获取a行，获取B列，使用普通索引获取：')
print(data.loc['a','B'])
print('获取A行，获取B列，使用位置索引获取：')
print(data.iloc[0,1])

# data.loc[${startRow}:${endRow},${startCloumn}:${endCloumn}]
print('获取所有行，获取BCD三列，使用普通索引获取：')
print(data.loc[:,'B':'D'])
print('获取所有行，获取BCD三列，使用位置索引获取：')
print(data.iloc[:,1:4])

#获取指定行、指定列的数据
print('获取ab行且BCD三列，使用普通索引获取：')print(data.loc['a':'b','B':'D'])
print('获取ab行获取BCD三列，使用位置索引获取：')print(data.iloc[0:1,1:4])

3.3 DataFrame相关方法

• 条件过滤
• concat拼接

data=pd.DataFrame({'Name':['zs','lisi','ww'],
'Sno':['1001','1002','1003'],
'Sex':['man','woman','man'],
'Age':[17,18,19],
'Score':[80,97,95]
},columns=['name',Sno','Sex','Age','Score'],index=['zs','lisi','ww'])
display('数据集',data)

#获取指定值
scores=data['Score']
display('输出数据中所有成绩大于平均值的记录',data[scores>scores.mean()])
display('获取成绩大于平均值得所有记录，只显示SnoAgeScore三列：',data[scores>scores.mean()].loc[:,['Sno','Age','Score']])
           
#拼接
df1=pd.DataFrame(np.arange(12).reshape(3,4),index=list('abc'),
                columns=list('ABCD'))
df2=pd.DataFrame(np.arange(12).reshape(3,4),index=list('efg'),
                columns=list('EFGH'))           
pd.concat([df1,df2])