1. 爬虫的基本原理
爬虫就是在网页上爬行的蜘蛛，每爬到一个节点就能够访问该网页的信息，所以又称为网络蜘蛛；
网络爬虫就是自动化从网页上获取信息、提取信息和保存信息的过程；
2. URL的组成部分
URL全称为Uniform Resource Locator，即统一资源定位符，指定了我们要查找资源的地址。
主机名就是我们要访问的计算机的名字。
2.1 http协议
HyperText Transfer Protocol，简称http，超文本传输协议。
HTTP协议是互联网数据传输的一种规则，它规定了数据的传输方式；
HTTP协议定义了客户端和服务器之间传递消息的内容和步骤。
当URL的协议部分写的是http时，表明服务器传输数据使用的是HTTP协议。
HTTP协议在进行数据传输时，内容是未加密的，传输内容可能被窃听或篡改，安全性比较差。
HTTPS并非是全新的协议，只是在传输之前加了一层保护，让内容安全不易被窃听。
2.2 主机名
“//”为分隔符，表示后面的字符串是主机名。
主机名后面的“/”表明，要在后面写上文件地址，如果不写一般默认为主页。
2.3 文件地址
文件路径能够指定访问资源的具体地址；
3. HTTP请求&响应
（1）HTTP协议：
1. 【浏览器】会先发送HTTP请求，告诉Web服务器需要的数据。
2. 【Web服务器】收到请求后，按照请求执行，并返回HTTP响应消息。
3. 【浏览器】收到返回的数据后，会将源代码解析成网页展示出来。
（2）请求头&&响应头
HTTP发送的请求(Request)消息主要包含两部分“对什么”和“怎么做”；
由于浏览器发送请求时，将“对什么”和“做什么”信息放在头部。所以，存放这些信息的地方又叫请求头；
在HTTP协议中：Web服务器收到请求消息后，会根据请求进行处理。并将响应(Response)消息返回给浏览器；
响应消息的头部叫做响应头（Response Headers），响应头中的数据用于告诉浏览器此次请求执行失败还是成功；
4. 状态码
响应头（Response Headers）中用于告知浏览器执行结果成功或失败的叫做状态码。
状态码是由3位的数字构成的，主要用于告知客户端的HTTP请求的执行结果。
状态码可以让我们了解到服务器是正常执行结果，还是出现了错误。
