Python数学建模-2.5Pandas库介绍

2.5.1Pandas基本操作

Pandas是一个强大的Python数据分析库，它提供了快速、灵活且富有表现力的数据结构，设计初衷是为了处理关系型或标记型数据。Pandas的基本操作涵盖了数据的读取、处理、筛选、排序、分组、合并以及可视化等多个方面。

以下是一些Pandas的基本操作示例：

1.数据读取：

Pandas可以方便地读取各种格式的数据文件，如CSV、Excel、SQL数据库等。

import pandas as pd  
  
# 读取CSV文件  
df = pd.read_csv('data.csv')  
  
# 读取Excel文件  
df = pd.read_excel('data.xlsx')

2.数据处理：

Pandas提供了丰富的数据处理功能，如缺失值处理、数据类型转换等。

# 处理缺失值，用0填充  
df.fillna(0, inplace=True)  
  
# 转换数据类型  
df['column_name'] = df['column_name'].astype(int)

3.数据筛选：

使用布尔索引或条件表达式来筛选数据。

# 筛选某列值大于10的行  
filtered_df = df[df['column_name'] > 10]

4.数据排序：

对数据的行或列进行排序。

# 按某列升序排序  
sorted_df = df.sort_values(by='column_name', ascending=True)

5.数据分组：

使用groupby方法对数据进行分组，并进行聚合操作。

# 按某列分组并计算每组的平均值  
grouped_df = df.groupby('column_name').mean()

6.数据合并：

使用merge或concat方法合并多个DataFrame。

# 合并两个DataFrame  
merged_df = pd.merge(df1, df2, on='key_column')

7.数据可视化：

虽然Pandas本身不直接提供数据可视化功能，但它可以与Matplotlib、Seaborn等库结合使用，实现数据的可视化展示。

操作举例：

例1：生成二维数组：

生成服从标准正态分布的24*4随机数矩阵，并保存为DateFrame数据结构。

import pandas as pd
import numpy as np
dates=pd.date_range(start='20191101',end='20191124',freq='D')
a1=pd.DataFrame(np.random.randn(24,4), index=dates, columns=list('ABCD'))
a2=pd.DataFrame(np.random.rand(24,4))

详解：

在这段代码中，你使用了pandas和numpy库来创建两个DataFrame对象。我将逐步解释每一行代码的含义：

1. import pandas as pd

   • 这行代码导入了pandas库，并给它一个简短的别名pd。pandas是一个强大的数据分析库，提供了快速、灵活且富有表现力的数据结构，如Series和DataFrame。

2. import numpy as np

   • 这行代码导入了numpy库，并给它一个简短的别名np。numpy是Python的一个基础数值计算库，提供了多维数组对象、各种派生对象（如掩码数组和矩阵）以及用于数组快速操作的各种API。

3. dates=pd.date_range(start='20191101',end='20191124',freq='D')

   • 这行代码使用pandas的date_range函数创建了一个日期范围。这个范围从20191101（2019年11月1日）开始，到20191124（2019年11月24日）结束，并且freq='D'表示每天生成一个日期。生成的日期范围被赋值给变量dates。

4. a1=pd.DataFrame(np.random.randn(24,4), index=dates, columns=list('ABCD'))

   • 这行代码创建了一个名为a1的DataFrame。
   • np.random.randn(24,4)生成一个形状为24行4列的数组，数组中的元素是从标准正态分布（均值为0，标准差为1）中随机抽取的。
   • index=dates将前面生成的日期范围dates设置为DataFrame的索引。
   • columns=list('ABCD')将DataFrame的列名设置为'A', 'B', 'C', 'D'。

5. a2=pd.DataFrame(np.random.rand(24,4))

   • 这行代码创建了一个名为a2的DataFrame。
   • np.random.rand(24,4)生成一个形状为24行4列的数组，数组中的元素是从[0, 1)区间内均匀分布的随机数中随机抽取的。
   • 默认情况下，DataFrame的索引是整数，从0开始递增，列名则是默认的整数列名（如0, 1, 2, 3）。

所以，你最终得到了两个DataFrame：a1有一个日期范围的索引和'A', 'B', 'C', 'D'的列名，其数据是从标准正态分布中随机抽取的；而a2有一个默认的整数索引和默认的整数列名，其数据是从[0, 1)区间内均匀分布的随机数中随机抽取的。

例2：读写文件：

数据写入文件示例

import pandas as pd
import numpy as np
dates=pd.date_range(start='20191101', end='20191124', freq='D')
a1=pd.DataFrame(np.random.randn(24,4), index=dates, columns=list('ABCD'))
a2=pd.DataFrame(np.random.randn(24,4))
a1.to_excel('data2_38_1.xlsx')
a2.to_csv('data2_38_2.csv')
f=pd.ExcelWriter('data2_38_3.xlsx')  #创建文件对象
a1.to_excel(f,"Sheet1")  #把a1写入Excel文件
a2.to_excel(f,"Sheet2")  #把a2写入另一个表单中
f.save()

结果输出：sheet1 

sheet2：

2.5.1数据的一些预处理

1. 数据合并：

   • 堆叠合并：将两个或多个表格在横向（x轴）或纵向（y轴）上进行拼接。这可以通过pandas.concat()函数实现。当表格的索引不完全一致时，可以选择内连接或外连接来决定如何处理索引。
   • 主键合并：基于两个或多个表格的共同列（通常是主键）来合并数据。这通常使用merge()函数完成。
   • 重叠合并：涉及更复杂的数据合并策略，可能需要基于数据的特定逻辑或条件来合并数据。

2. 数据清洗：

   • 处理缺失值：数据集中可能存在缺失值，可以使用fillna()函数将缺失值替换为特定的值（如0、平均值、中位数等）。
   • 删除重复行：如果数据集中存在重复的行，可以使用drop_duplicates()函数来删除它们。
   • 处理异常值：异常值是与数据集中其他值相差较大的值。可以使用clip()函数限制数据的范围，或者使用其他统计方法（如IQR方法）来识别和处理异常值。

3. 数据标准化：

   • 离差标准化：也称为最小-最大标准化，通过将数据值缩放到一个指定的范围（通常是0到1）来消除量纲和数量级的影响。
   • 标准差标准化：也称为Z-score标准化，通过将数据值转换为均值为0、标准差为1的分布来实现标准化。这有助于比较具有不同单位或量级的变量。
   • 小数定标标准化：通过移动数据值的小数点位置来标准化数据。这种方法在某些情况下可能很有用，但不如离差标准化和标准差标准化常用。

4. 数据转换：

   • 数据类型转换：使用astype()函数将数据转换为适当的类型（如整数、浮点数、日期等）。
   • 哑变量处理：对于分类数据，可能需要创建哑变量（或称为指示变量）来进行数值分析。这可以通过get_dummies()函数实现。
   • 离散化连续型数据：有时需要将连续型数据转换为离散型数据，这可以通过cut()函数或自定义逻辑来实现。