Python零基础---爬虫技术相关

python 爬虫技术,关于数据相关的拆解:

1.对页面结构的拆解

2.数据包的分析(是否加密了参数)(Md5 aes)难易程度,价格

3.对接客户(433,334)

# 数据库  CSV

4.结单(发一部分数据)截图,录视频

举例如下:分析拆解过程

数据结构分析:

如下:

写爬虫技术

1.确定网址

2.请求(难度在这个过程)

3.刷选数据

4,保存

import requests


#1.确定网址
Url = 'https://liak,envsc,cn/0utInterface/GetpSList,ashx?regionCode=0&psname=&SystemType=C16A8820480E678F&sgn=4a4f94d86e81fc:b99170851369&ts=1698041764795&tc=92501981


ua ={'User-Agent':Mozilla/5.0(windows NT 10.0: Win64,t/537.36(KHTMLlike Gecko)Chrome/119.0.0.0 Safari/537.36'}


# 2.请求
json _data =requests.get(url,headers=ua).json()

print(json_data)

# 3.筛选数据
for res data in json data:
g_name = res_data['ps_name']
x_zheng = res_data['region_iame']
fa_ren = res_data['corporation_name']
shuLiang = res_data['link_info']


# 4.保存
with open('fadianchang2.csv','a+') as file:
file.write(f'ig_name},{x_zheng},ffa_ren},{shuLiang}\n')

相关推荐

  1. python爬虫相关

    2024-03-18 06:50:04       28 阅读
  2. Python爬虫基础知识

    2024-03-18 06:50:04       19 阅读
  3. python】网络爬虫基础

    2024-03-18 06:50:04       14 阅读

最近更新

  1. TCP协议是安全的吗?

    2024-03-18 06:50:04       16 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-03-18 06:50:04       16 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-03-18 06:50:04       15 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-03-18 06:50:04       18 阅读

热门阅读

  1. python图形化编程turtle小乌龟

    2024-03-18 06:50:04       17 阅读
  2. 大语言模型相关工具使用链接

    2024-03-18 06:50:04       21 阅读
  3. LLaMA-2 简介:开源大型语言模型的新篇章

    2024-03-18 06:50:04       19 阅读
  4. Linux初级知识大全(一)

    2024-03-18 06:50:04       21 阅读
  5. Spark 用AnyFunSuite单元测试Scala详细教程

    2024-03-18 06:50:04       17 阅读
  6. 如何杀死服务器出现的僵尸进程

    2024-03-18 06:50:04       23 阅读
  7. ChatGPT:论文写作的新潮解决方案

    2024-03-18 06:50:04       20 阅读
  8. Linux TCP参数——tcp_abort_on_overflow

    2024-03-18 06:50:04       21 阅读
  9. 系统开发中的快速测试与调试策略

    2024-03-18 06:50:04       22 阅读