基于python的大数据分析与应用环境的搭建

一、主要目的:

初步熟悉Python数据分析工具,通过查阅相关说明文档掌握Numpy、Scipy和Pandas包的基本使用方法。对于不同形式的源数据文件,能够基于python开发环境正确的完成数据导入。

二、主要内容:

1、Python开发环境安装以及数据分析包的加载

(1)Anaconda安装过程

(2)相关第三方库的加载 如 爬虫scrapy包。

提示:

① Anaconda下载地址:

Free Download | Anaconda

② Anaconda安装参考:

https://blog.csdn.net/weixin_37766087/article/details/100742198

2、通过简要的实例代码熟悉开发环境以及数据分析包的基本功能

(1)代码实例展示Spyder的基本功能

例如:代码提示、变量浏览、图形查看

  1. 代码实例展示Pandas 中的数据结构

① Series:一维数组系列,也称序列

② DataFrame:二维表格型数据结构。可以将DataFrame理解为Series的容器。

  1. 数据的导入与导出
  1. 导入不同形式的文件,例如.txt/.csv/.excel
  2. 导出到csv/excel
  3. 导入导出MySql库[附选]

三、实验过程:

1.Anaconda安装过程

已安装

2.Spyder

① Series:一维数组系列,也称序列

DataFrame:二维表格型数据结构。

导入不同形式的文件,例如.txt/.csv/.excel
导入excle
  1. df = pd.read_excel(io='自己的文件路径',index_col='序号')  
  2. print(df)  

导出到csv/excel

Excel:

  1. writer = pd.ExcelWriter('age-name.xlsx')  
  2. df.to_excel(writer)  
  3. writer.save()  

CSV:

  1. csv_data = df.to_csv("自己的文件路径",sep='|')  

导入导出MySql库[附选]
  1. 从mysql中导出dataframe对象
  1. conn = pymysql.connect(host="localhost",port=3306,user="root",  
  2.  password="密码已经被和谐",database="school",charset="utf8")  
  3. sql = "select * from student;"  
  4. df = pd.read_sql(sql,conn)  
  5. print(df) 
  6. 导入dataframe数据到mysql
  • from sqlalchemy import create_engine  
  • engine = create_engine("mysql+pymysql://root:密码已被和谐@localhost:3306/school?charset=utf8")  
  • data = [['小明',14],['东东',18],['奥图码',53]]  
  • df = pd.DataFrame(data,columns=['姓名','年龄'])  
  • df.to_sql("try", engine, schema="try")  

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2023-12-17 09:56:01       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2023-12-17 09:56:01       100 阅读
  3. 在Django里面运行非项目文件

    2023-12-17 09:56:01       82 阅读
  4. Python语言-面向对象

    2023-12-17 09:56:01       91 阅读

热门阅读

  1. 不设默认值(js的问题)

    2023-12-17 09:56:01       64 阅读
  2. 使用PyCharm创建Python项目

    2023-12-17 09:56:01       62 阅读
  3. linux基础知识面试题及一般面试技巧

    2023-12-17 09:56:01       57 阅读
  4. qt 正则表达式简单介绍

    2023-12-17 09:56:01       56 阅读
  5. 如何在PHP中实现单例设计模式?

    2023-12-17 09:56:01       66 阅读
  6. 探索计算机视觉的无限可能

    2023-12-17 09:56:01       68 阅读
  7. 相机传感器和镜头传感器面积关系

    2023-12-17 09:56:01       58 阅读
  8. 飞天使-docker知识点9-dockerfile补充

    2023-12-17 09:56:01       57 阅读
  9. 设计模式-单例模式(Singleton)

    2023-12-17 09:56:01       53 阅读