【python】运用Request库实现爬虫

一、什么是爬虫

网络爬虫，也称作网络蜘蛛、网页追逐者或自动索引器，是一种能自动从互联网上按照一定规则抓取信息的程序或脚本。这些信息可以是公开的网页内容，例如文本、图片、音视频等各类数据。随着大数据时代的到来，网络爬虫在许多领域都有重要应用，如搜索引擎、数据分析与挖掘、金融分析、舆情监测等。

二、基于正则表达式实现爬虫

正则表达式是一种由特定字符和特殊操作符组成的模式描述，用于在文本中查找、替换、提取和验证符合特定模式的字符串。

查找页面中的所有连接<a>标签的href内容

#查找页面所有超链接
import re
import requests
resp = requests.get('https://www.bqgui.cc/')
#print(resp.text)
links =re.findall('<a href=''(.+?)''>',resp.text)
for link in links:
    print(link)

拼接url并下载页面 

import re, requests, time
resp = requests.get('https://www.bqgui.cc/')
links = re.findall('<a href=''(.+?)''>', resp.text)
for link in links:
# 先根据页面特性,将一些无用的超链接进行排除
    if '.html' in link:
        continue
    if link.startswith('#'):
        continue 
    # 对超链接进行处理,拼接出完整的URL地址 
    if link.startswith('/'):
        link = 'https://www.bqgui.cc' + link.strip('"')
        # 将页面文件保存于本地
        resp = requests.get(link)
        resp.encoding = 'utf-8'
        filename = link.split('/')[-1] + time.strftime("%Y%m%d_%H%M%S") + '.html'
        with open(f'/{filename}', mode='w', encoding='utf-8') as file:
            file.write(resp.text)

三、基于BeautifulSoup实现爬虫笔趣阁小说

BeautifulSoup是一个Python库，用于解析HTML和XML文档，可以用来提取数据。要使用BeautifulSoup，首先需要安装它。可以使用以下命令进行安装：pip install beautifulsoup4

beautifulsoup的基本操作：

from bs4 import BeautifulSoup
import requests
resp = requests.get('https://www.bqgui.cc/')
#初始化解析器
html = BeautifulSoup(resp.text, 'lxml')
#查找页面元素(根据标签层次进行查找)
print(html.head.title) # 根据标签的层次找页面标题
print(html.head.title.string) # 获取页面标题的文本内容
print(html.div) # 查找页面中的第一个DIV元素
#查找页面元素的通用方法:
#1、find_all:根据标签,属性,XPath等进行查找
#2、select:CSS选择器,div,id,class
#查找页面所有超链接
links = html.find_all('a')
for link in links:
    print(link['href'])


#查找页面的图片
images = html.find_all('img')
for image in images:
    print(image['src'])
#根据id或class篇属性查找
keyword = html.find(id='keyword')
print(keyword)
#print(keyword['placeholder'])
titles = html.find_all(class_='title')
for title in titles:
    print(title)
    print(title.string)
    print(title.find('a'))
    #print(title.find('a').string)
    print('===========================')
title = html.find(text='混沌')
#print(title.parent)
#print(title.parent.parent)
print('===============================')
# 根据xpath的风格进行查找 //div[@class='title']
titles = html.find_all('div',{'class':'title'})
for title in titles:
    print(title.string)
for title in titles:
    print(title.string)

keyword = html.select('#keyword')
print(keyword[0]['placeholder'])
lis = html.select('ul li')
print(lis)

爬取笔趣阁小说：

from bs4 import BeautifulSoup 
import requests
#输入url,第几章到第几章，start,end
def download_book(url,start,end):
    for i in range(start,end):
        #https://www.bqgui.cc/book/182219/
        link = f'{url}' + f'{i}.html'
        print(link)  
        # print(link)
        resp = requests.get(link)
        html = BeautifulSoup(resp.text,'lxml')
        context_list = html.select('#chaptercontent')
        title = html.select('title')[0].text.strip(',笔趣阁')
        #print(title)
        with open (f'./{title}.txt',mode='w',encoding='gbk') as f:
            f.write(context_list[0].text)
            
#输入需要爬取的小说名字
def find_book(book_name):
    resp = requests.get('https://www.bqgui.cc/finish/')
    #print(resp.text)
    html = BeautifulSoup(resp.text,'lxml')
    book_list = html.select('div dt a')
    for book in book_list:
       # print(book['href'])
       # print(book.text)
        if book_name in f'{book.text}':
            return 'https://www.bqgui.cc'+book['href'] 
url = find_book('混沌')
download_book(url,1,10)



        
        
        

每篇一言：如果你在看，我就是你的风景。如果你在听，我该有多幸运。