构建一个基于Go1.19的站点模板爬虫是一项有趣且具有挑战性的任务。这个爬虫将能够从网站上提取数据，并按照指定的模板进行格式化。以下是详细的介绍和实现步骤。
1. 准备工作
工具和库：
- Go 1.19
- colly：一个强大的Go爬虫库
- goquery：一个类似于 jQuery 的Go库，用于解析 HTML 文档
- log：用于日志记录
安装依赖：
go get -u github.com/gocolly/colly
go get -u github.com/PuerkitoBio/goquery
2. 项目结构
创建一个新的Go项目，并组织文件结构：
go-web-scraper/
├── main.go
├── templates/
│ └── template.html
└── README.md
3. 实现爬虫
在 main.go 文件中，编写爬虫逻辑。
main.go：
package main
import (
"fmt"
"log"
"github.com/gocolly/colly"
"github.com/PuerkitoBio/goquery"
)
func main() {
// 创建新的爬虫实例
c := colly.NewCollector(
colly.AllowedDomains("example.com"),
)
// 处理HTML响应
c.OnHTML("body", func(e *colly.HTMLElement) {
// 使用 goquery 解析HTML
doc := e.DOM
// 提取需要的数据
doc.Find("h1").Each(func(i int, s *goquery.Selection) {
title := s.Text()
fmt.Println("Title:", title)
})
})
// 处理请求错误
c.OnError(func(_ *colly.Response, err error) {
log.Println("Something went wrong:", err)
})
// 开始爬取
err := c.Visit("https://www.example.com")
if err != nil {
log.Fatal(err)
}
}
4. 模板处理
将爬取的数据与模板结合，以生成格式化的输出。
template.html（一个简单的HTML模板）：
<!DOCTYPE html>
<html>
<head>
<title>爬虫结果</title>
</head>
<body>
<h1>{{.Title}}</h1>
</body>
</html>
main.go（更新后的版本，包含模板处理逻辑）：
package main
import (
"bytes"
"fmt"
"html/template"
"log"
"os"
"github.com/gocolly/colly"
"github.com/PuerkitoBio/goquery"
)
// Data 结构体
type Data struct {
Title string
}
func main() {
// 创建新的爬虫实例
c := colly.NewCollector(
colly.AllowedDomains("example.com"),
)
var data Data
// 处理HTML响应
c.OnHTML("body", func(e *colly.HTMLElement) {
// 使用 goquery 解析HTML
doc := e.DOM
// 提取需要的数据
doc.Find("h1").Each(func(i int, s *goquery.Selection) {
data.Title = s.Text()
})
})
// 处理请求错误
c.OnError(func(_ *colly.Response, err error) {
log.Println("Something went wrong:", err)
})
// 开始爬取
err := c.Visit("https://www.example.com")
if err != nil {
log.Fatal(err)
}
// 解析模板
tmpl, err := template.ParseFiles("templates/template.html")
if err != nil {
log.Fatal("Error parsing template:", err)
}
// 将数据填充到模板中
var buf bytes.Buffer
err = tmpl.Execute(&buf, data)
if err != nil {
log.Fatal("Error executing template:", err)
}
// 输出结果
file, err := os.Create("output.html")
if err != nil {
log.Fatal("Error creating output file:", err)
}
defer file.Close()
_, err = file.Write(buf.Bytes())
if err != nil {
log.Fatal("Error writing to output file:", err)
}
fmt.Println("Scraping completed. Check output.html for results.")
}
5. 运行爬虫
在项目根目录下运行以下命令：
go run main.go
这将会启动爬虫，访问指定的网站，提取数据，并将数据填充到模板中生成一个HTML文件 output.html。
总结
通过使用Go1.19和强大的爬虫库 colly 以及HTML解析库 goquery，你可以构建一个高效的站点模板爬虫。这个爬虫可以提取指定网站上的数据，并根据模板生成格式化的输出。
