【R语言爬虫实战】抓取省市级城市常务会议内容

🍉CSDN小墨&晓末:https://blog.csdn.net/jd1813346972

   个人介绍: 研一｜统计学｜干货分享
         擅长Python、Matlab、R等主流编程软件
         累计十余项国家级比赛奖项，参与研究经费10w、40w级横向

实现基于R语言的省级常务会议内容的网页爬虫，包括htlm页面解析，由于首页与其它页网页url格式不同的循环读取方式，以及数据存储功能，代码块内附完整编码解析。

  实现效果：

1 设置内容存储位置及加载包

setwd("F:\\地级城市政策")#设置文件保存路径

library(rvest)
library(stringr)
library(rlist)

2 首页网页文本内容爬取

#读取第一页文件内容
url1 <-("http://www.lijiang.gov.cn/html/zhengwugongkai/zhengfuxinxigongkai/fadingzhudonggongkaineirong/zhengfuhuiyi/changwuhuiyi/index.html")
httr_web <-read_html(url1,encoding ='utf-8')  #抓取网页

#具体时间
time<-httr_web%>%html_nodes('ul.wjer_list li span')%>%html_text(trim = T)#抓取具体时间
######
timel<-data.frame()
for (i in 1:length(time)){
  if(i/2==2){
    timel[i]<-time[i]
  }
}
time<-strsplit(time,split = "-") # strsplit函数将数据拆分成列表(年月日)


time<-strsplit(time,split = "：") # strsplit函数将数据拆分成列表(年月日)
for(i in 1:length(time)) #定义语句循环次数，直至所有链接提取完成
{
  time[i]<-time[[i]][2] #提取列表中位置2的信息，填充websites1
}

for(i in 1:length(time)) #定义语句循环次数，直至所有链接提取完成
{
  time[i]<-strsplit(time[[i]],split = "-") #提取列表中位置2的信息，填充websites1
}

###########
time<-do.call(rbind,time)[,1:2]# 将列表转换为矩阵，提取第第一列和第二列（年、月）
time<-data.frame(time) #转化为数据框形式
po<-data.frame(time)#列合并数据框，格式为次数、年份、月份

3 循环抓取后续网页

po<-data.frame()
index <-seq(1,8,1)
for (i in index){# 读取网址
  url = paste("http://www.cxz.gov.cn/xxgk/xxgkzhlistpage.jsp?totalpage=8&PAGENUM=",i,"&urltype=tree.TreeTempUrl&wbtreeid=1977")
  url2<-str_replace_all(url," ","")  #合并网页去掉空格
  url <-(url2)#由于直接使用url2抓取内容为空：原因未知，故重新读取一次
  httr_web <-read_html(url,encoding ='utf-8')  #抓取网页
  #具体时间
  time<-httr_web%>%html_nodes('ul li span')%>%html_text()#抓取链接
  #具体时间

  time<-strsplit(time,split = "-") # strsplit函数将数据拆分成列表(年月日)
  time<-do.call(rbind,time)[,1:2]# 将列表转换为矩阵，提取第第一列和第二列（年、月）
  time<-data.frame(time) #转化为数据框形式
  timek<-data.frame(time)
  po<-data.frame(rbind(po,timek))
}
po1<-po
po1$X1<-as.numeric(as.character(po1$X1))
po1$X2<-as.numeric(as.character(po1$X2))
time3<-data.frame(2018,7)
names(time3)<-c("X1","X2")
po1<-data.frame(rbind(po1,time3))

4 数据存储

#将因子型转化为数值型
po1<-po
po1$X1<-as.numeric(as.character(po1$X1))
po1$X2<-as.numeric(as.character(po1$X2))


##已获得每个常务会网页的网址及命名需要数据（年份、月份，第k次），现循环存储每个网页文本内容

comments1<-as.character(comments$websites2)#将因子型转化为字符串，即网页形式
p=length(comments1)
for(k in 1:length(comments1)) #定义语句循环次数，直至所有链接提取完成
{
  ur2 <-comments1[k]
  httr_web2 <-read_html(ur2,encoding ='utf-8')  #抓取网页
  text<-httr_web2%>%html_nodes('div.xw-txt p')%>%html_text(trim =T)
  name<-paste("天津市\\","天津",po1[1:p,1][k],po1[1:p,2][k],68-k+1,".txt")#文件命名
  write.table(text, file = name, sep = "\n",
              row.names = F, 
              col.names = F)
}

ur2 <-comments1[1]
httr_web2 <-read_html(ur2,encoding ='utf-8')  #抓取网页
text<-httr_web2%>%html_nodes('div.xw-txt p')%>%html_text(trim =T)