网络爬虫基本知识

什么是网络爬虫

网络爬虫（Web crawler）是一种自动化程序，用于在互联网上收集信息。它可以通过扫描和解析网页的超链接，自动访问网页并抓取所需的数据。网络爬虫常用于搜索引擎和数据采集工具中。

作用

通过有效的爬虫手段批量采集数据，可以降低人工成本，提高有效数据量，给予运营/销售的数据支撑，加快产品发展。

应用领域

网络爬虫的应用非常广泛，例如搜索引擎可以通过爬虫收集互联网上的网页内容和链接，然后建立索引以供用户搜索；数据采集工具可以用于抓取网页上的数据，用于市场调研、舆情分析等。

就业情况

目前互联网产品竞争激烈，业界大部分都会使用爬虫技术对竞品产品的数据进行挖掘、采集、大数据分析，这是必备手段，并且很多公司都设立了爬虫工程师的岗位。

合法性

网络爬虫的使用也会有一些限制和道德问题。有些网站可能会通过robots.txt文件或其他机制来限制爬虫的访问，以保护其内容的安全和隐私。此外，爬虫在抓取数据时也需要遵守法律和道德规范，例如避免侵犯版权、隐私等。因此，在使用爬虫时，需要遵守相关法律法规和网站的使用规定，尊重他人的权益和隐私。

反爬虫

爬虫其实很难完全被制止，道高一尺魔高一丈，这是一场没有硝烟的战争，就像码农VS码农，
反爬虫一些手段：

合法检测：请求效验（useragent,referer,接口加签名等）

小黑屋：IP/用户限制请求频率，或者直接拦截

投毒：反爬虫高境界可以不用拦截，拦截是一时的，投毒返回虚假数据，可以误导竞品决策

选择python的原因

python有足够多的开源库，直接建议大家使用3.7+以上的版本
 

爬虫基本步骤

1. 选择起始网页：爬虫需要以一个或多个起始网页开始，通常是通过手动指定或从一个已知的网页开始。
2. 下载网页：爬虫通过使用HTTP或HTTPS协议，向目标网站发送请求，然后将网页的HTML代码下载到本地存储器中。
3. 解析网页：爬虫会解析下载的网页，提取出需要的数据，如文本、图片、链接等，并将其保存到数据库或文件中。
4. 跟踪链接：爬虫会从当前网页中提取所有的链接，然后递归地访问这些链接，重复上述步骤，直到访问完所有感兴趣的网页或达到预定的停止条件。
5. 存储数据：爬虫将抓取的数据保存到数据库或文件中，以备后续分析或展示使用。