要使用Python进行爬虫，可以使用Python自带的urllib库。
urllib是Python内置的HTTP请求库，用于发送HTTP请求、处理响应和处理URL编码等任务。它提供了很多方法和函数，可以方便地进行网络数据的获取和处理，因此在Python爬虫中被广泛应用。
urllib库包含以下几个模块：
- urllib.request：用于发送HTTP请求并获取响应的模块。
- urllib.parse：用于解析和操作URL的模块。
- urllib.error：用于处理HTTP请求过程中的错误的模块。
- urllib.robotparser：用于解析和处理robots.txt文件的模块。
使用urllib库可以实现爬虫的基本功能，如发送HTTP请求、获取网页内容、解析URL、处理响应等。它可以配合其他库（如BeautifulSoup和正则表达式）一起使用，实现更复杂的爬虫功能。
urlopen()是urllib库中的一个函数，用于发送HTTP请求并获取响应。它的语法如下：
urllib.request.urlopen(url, data=None, timeout=socket._GLOBAL_DEFAULT_TIMEOUT, *, cafile=None, capath=None, cadefault=False, context=None)
参数说明：
- url：要发送请求的URL地址。
- data：可选参数，要发送的数据，可以是字典、元组或字符串，默认为None。
- timeout：可选参数，设置超时时间，单位为秒，默认为socket._GLOBAL_DEFAULT_TIMEOUT（全局默认超时时间）。
- cafile：可选参数，指定CA证书文件的路径，用于验证服务器端证书。
- capath：可选参数，指定CA证书文件夹的路径，用于验证服务器端证书。
- cadefault：可选参数，指定是否使用默认的CA证书文件或文件夹验证服务器端证书，默认为False。
- context：可选参数，指定SSL上下文。
urlopen()函数返回一个类似于文件对象的Response对象，可以通过该对象的方法和属性来操作响应数据。常用的方法和属性包括：
- read()：读取响应内容。
- geturl()：获取响应的URL地址。
- getheader(name)：获取指定名称的响应头信息。
- getheaders()：获取所有响应头信息。
使用urlopen()函数可以发送GET或POST请求，并获取相应的数据。通过urlopen()函数，可以进行网页内容的抓取、文件的下载、API接口的调用等常见的爬虫任务。
import urllib.request
def request(url):
'''
一个参数
:param url:请求网址
:return:返回一个请求的字符串。编码为utf-8
'''
response = urllib.request.urlopen(url) # 打开网站
html=response.read()
html=html.decode('utf-8')
return html在urllib库中，urllib.request模块提供了Request类，用于构建HTTP请求。Request类可以帮助我们更灵活地控制请求的头部、数据、方法、URL等属性。它的语法如下：
urllib.request.Request(url, data=None, headers={}, origin_req_host=None, unverifiable=False, method=None)
参数说明：
- url：要发送请求的URL地址。
- data：可选参数，要发送的数据，可以是字典、元组或字符串，默认为None。
- headers：可选参数，指定请求头信息的字典，默认为{}（空字典）。
- origin_req_host：可选参数，指定请求的原始主机名，默认为None。
- unverifiable：可选参数，指定该请求是否可验证，默认为False。
- method：可选参数，指定请求的方法（GET、POST等），默认为None。
Request对象的实例可以传递给urlopen()函数，用于发送HTTP请求。通过构建Request对象，可以添加自定义的HTTP头部信息、发送POST请求、设置请求的方法等。例如，可以使用Request对象发送带有自定义头部的请求：
import urllib.request
url = 'https://www.example.com'
headers = {'User-Agent': 'Mozilla/5.0'}
req = urllib.request.Request(url, headers=headers)
response = urllib.request.urlopen(req)
在上面的例子中，我们创建了一个包含自定义User-Agent头部的Request对象。然后，将Request对象传递给urlopen()函数，发送HTTP请求并获取响应。这样可以模拟浏览器发送请求，获取更符合需求的响应。
import urllib.request
import http.cookiejar
def request(url,headers):
'''
两个参数
:param url:统一资源定位符,请求网址
:param headers:请求头
:return:html
'''
cookie = http.cookiejar.CookieJar() # 创建 CookieJar 对象
handler = urllib.request.HTTPCookieProcessor(cookie) # 利用 HTTPCookieProcessor 来构建一个 handler
opener = urllib.request.build_opener(handler) # 利用 build_opener 方法构建出 opener
r = opener.open(url) # 执行 open()
html = r.read().decode('utf-8')
return html可以查看urllib官方文档以了解更多的用法和示例：https://docs.python.org/3/library/urllib.html
