基于Python的爬取天气数据及可视化分析

项目查看：基于Python的爬取天气数据及可视化分析

摘 要

天气数据视化系统是一种能自动从网络上收集水情信息分析的工具，可根据用户的需求定向采集特定天气数据信息来作可视化分析，自动在网络上获取网页源码。对于天气数据视化系统信息数量较少的工作而言，实现一个网页下载程序不会很麻烦，但是，当从网络上采集海量信息的时候，天气数据视化系统的实现将变得十分复杂。

天气数据视化系统技术仅仅处理数据抽取这一步。网络爬虫只将网络上的页面下载下来，对下载的非结构化数据没有进行处理，而直接将其保存到数据库之中。这样做的劣势在于：搜索引擎的后续操作首先要从数据库种获取到这些非结构化信息，然后再进一步的进行信息的处理。这样无形之中增添了两次操作数据库的任务量，在数据量极其庞大的背景下，会大大降低整个系统的效率。天气数据视化系统分析当前最为流程的python技术来实现可视化分析平台功能。

关键词：msyql；信息；python；天气；可视化

目    录

本 科 生 毕 业 论 文（设计）    II

题目：天气数据视化系统    II

摘 要    III

Abstract    IV

第一章 概述    1

1．1 研究背景    1

1．2  目的及意义    1

1．3 系统体系结构    2

1．4 Python技术    3

第二章 系统需求分析    4

2．1可行性分析    4

2.1.1经济上的可行性    4

2.1.2技术上的可行性    4

2.1.3操作上的可行性    4

2．2功能需求分析    4

2．3 系统用例图    5

2．4 业务流程分析    6

2．5 系统数据流图    7

2．6 数据字典    9

第三章　系统总体设计    11

3．1网站功能结构图    11

3．3网站开发目标    11

3．4网站性能需求    12

第四章 数据库设计    13

4.1数据库概念结构设计    13

4.2数据库逻辑结构设计    14

第五章 系统详细设计    16

5．1爬虫功能模块设计    16

5．2  服务器数据库端    18

第六章  系统测试    23

6.1 测试的任务及目标    23

6.1.1测试的任务    23

6.1.2测试的目标    23

6.2测试方案    23

6.2.1模块测试    23

6.2.2集成测试    24

6.2.3验收测试    24

6.2.4平行运行    24

结　论    25

致 谢    26

参考文献    27