python爬虫01-爬虫介绍

目录

1、爬虫是什么

2、爬虫有什么用

3、爬虫的步骤

4、网页的渲染方式


1、爬虫是什么

爬虫就是写一段代码运行去模仿人访问网站。可以代替人们自动的在互联网进行数据采集和整理。

2、爬虫有什么用

  • 数据采集:爬虫可以自动访问网页并抓取其中的数据,可以高效地从大量网页中提取所需的信息;

  • 数据处理和分析:爬虫可以将采集到的数据进行处理和分析,可以对数据进行清洗、整理和结构化,为后续的数据分析和挖掘提供基础。

  • 自动化操作:爬虫可以模拟人的操作,自动进行一些重复性的任务,比如自动填写表单、自动提交数据等。

  •  ... ...

总的来说,爬虫可以帮助人们从互联网获取和处理大量的数据,提高工作效率,为数据分析、信息监测和自动化操作等提供支持。

3、爬虫的步骤

  1. 访问网页     ----->    2.解析---->    3.存储

4、网页的渲染方式

  • 客户端渲染:             理解 :前后端分离实现
    • 1.浏览器加载基本结构;
    • 2.浏览器访问数据地址获取对应的数据;
    • 3.浏览器渲染数据进行显示;
    • 爬取思路:直接访问数据地址获取数据;
  • 服务器端渲染: 
    • 服务端直接将结构和数据渲染完毕后返回给客户端;
    • 抓取思路:直接访问数据地址获取到html源代码即可!

相关推荐

  1. python爬虫01-爬虫介绍

    2024-01-17 08:04:03       36 阅读
  2. Python网络爬虫内容介绍

    2024-01-17 08:04:03       19 阅读
  3. 爬虫02-python爬虫使用的库及详解

    2024-01-17 08:04:03       39 阅读
  4. python爬虫

    2024-01-17 08:04:03       41 阅读

最近更新

  1. TCP协议是安全的吗?

    2024-01-17 08:04:03       16 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-01-17 08:04:03       16 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-01-17 08:04:03       15 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-01-17 08:04:03       18 阅读

热门阅读

  1. Python桌面程序开发指南

    2024-01-17 08:04:03       27 阅读
  2. ACM论文LaTeX模板解析(五)| TODO

    2024-01-17 08:04:03       42 阅读
  3. mongoose安装和使用(超详细)

    2024-01-17 08:04:03       25 阅读
  4. 网络命令ping和telnet

    2024-01-17 08:04:03       27 阅读
  5. Go语言和C++语言比较

    2024-01-17 08:04:03       36 阅读
  6. css垂直水平居中的几种实现方式

    2024-01-17 08:04:03       31 阅读
  7. 小程序中使用wx.previewImage实现图片预览与缩放

    2024-01-17 08:04:03       29 阅读
  8. 电商API接口的大数据分析与挖掘技巧

    2024-01-17 08:04:03       37 阅读
  9. 设计模式-适配器模式

    2024-01-17 08:04:03       28 阅读
  10. SpringBoot异步处理

    2024-01-17 08:04:03       34 阅读
  11. 移除元素(简单)

    2024-01-17 08:04:03       38 阅读