Biegral Blog

要爬取的网站入口页面是:https://hearthstone.gamepedia.com/Full_art。网页上半部分的

• 标记了每个炉石资料片图片的名称(其实是锚点连接)，通过这些名称就可以获得各个资料片的专题链接，比如，冠军的试炼的专题资料片对应的网址为:https://hearthstone.gamepedia.com/The_Grand_Tournament_full_art

• 进入专题页面后，可以看到该资料片的图片列表，其中也有各个图片的缩略图连接，但是我想找到每个图片的原图。单个图片介绍的页面连接在每个class="image"的标签中。比如连接：https://hearthstone.gamepedia.com/File:Argent_Horserider_full.png

  进入单个图片的介绍页面后，可以找到class='internal’的标签，它的href属性值就是该图片的原图连接。(嗯，判断的依据是从这个连接下载得到的图是最大的。。)

  目标网站的情况大致分析完了，好像也不复杂。下面按照分析过程给出一些代码。

  题外话:利用Python制作爬虫，我引用了两个类库。分别是BeautifulSoup和requests。Python版本是3.6.1。

  首先是根据入口页面获取各个资料片的连接：

  def get_links(url):
      r = requests.get(url)
      r.encoding = "utf-8"
      only_li = SoupStrainer(class_=re.compile("toclevel-1"))
      lis = BeautifulSoup(r.text, "html.parser", parse_only=only_li)
      links = []
      for li in lis:
          link = li.a["href"]
          links.append(link)
  
      return links
  

  参数url就是入口连接的字符串值：“https://hearthstone.gamepedia.com/Full_art”。通过requests.get(str)方法获得响应对象并设置其编码格式为"UTF-8"。然后创建了一个SoupStrainer对象，这个对象的作用是在解析(HTML)文档时进行过滤和筛选。class_=re.compile(“toclevel-1”)表示标签的类中含有值"toclevel-1"。然后就是进行文档解析，解析出来后得到的lis对象，就是包含资料片名称的各个

• 的集合。循环获取其中的标签的href属性值即可。

• 第二步，根据关键字集合拼接连接。这个很简单。

  def get_real_links(basic_url, keywords):
      real_links = []
      for keyword in keywords:
          keyword = keyword[1:]
          real_links.append(basic_url+"/"+keyword)
      return real_links
  

  basic_url是指:https://hearthstone.gamepedia.com，keywords就是前一步操作得到的links集合。keyword = keyword[1:]是截取去掉锚点"#"号。

  第三步就是根据资料片专题画面获取该资料片下的所有图片的图片介绍页面的链接。

  def get_img_page_links(basic_url, real_link):
      all_img_page_link = []
      r = requests.get(real_link)
      r.encoding = "utf-8"
      ss = SoupStrainer(class_="image")
      only_img_a = BeautifulSoup(r.text, "html.parser", parse_only=ss)
      for img_a in only_img_a:
          all_img_page_link.append(basic_url+img_a["href"])
      print(all_img_page_link)
      return all_img_page_link
  

  参数real_link是单个资料片的连接。主要代码和第一步是类似的，不再赘述了。

  第四步，根据图片介绍页面的链接集合，获取原图片的资源链接。

  def get_all_img_link(all_img_page_link):
      all_img_link = []
      for link in all_img_page_link:
          img_name = link[link.index("File:") + len("File:"):]
          path = "D://python/heartstoneimg/Knights_of_the_Frozen_Throne_full_art/"+img_name
          if os.path.exists(path):
              print(img_name+" exists")
              continue
          else:
              print("requesting:%s"%(link))
              r = requests.get(link)
              r.encoding = "utf-8"
              ss = SoupStrainer(class_="internal")
              img_a = BeautifulSoup(r.text, "html.parser", parse_only=ss)
              print("imag_a:%s" % (img_a))
              print(img_a.a["href"])
              img_link = img_a.a["href"]
              all_img_link.append((img_link, img_name))
              time.sleep(10)
              if len(all_img_link) > 20:
                  break
      print(all_img_link)
      return all_img_link
  

  这里的代码有偷懒的痕迹，在实际下载过程中，如果将所有资料片的所有图片一起循环下载，如果中间有报连接错误(公司网络不行)，文档解析的工作就会从头开始。所以我是按照每个资料片，单独下载的。所以，在本地硬盘中创建对应资料片文件夹这项的工作是手动完成的，更换一次资料片的下载也要再手工修改一次代码，这部分可以再完善。这部分程序首先是取得文件名字，然后判断是否已经下载过了，接着获取原图链接，并把图片名称和原图链接做成一个tuple存储在集合中。这里我每次运行只解析二十张图片的信息(还是网络原因)。

  最后一步就是图片下载了。

  def do_get_img(all_image_link):
  
      for img_link in all_image_link:
          path = "D://python/heartstoneimg/Knights_of_the_Frozen_Throne_full_art/"+img_link[1];
          if os.path.exists(path):
              print(img_link[1]+" exists.")
              continue
          else:
              print("downloading:%s" % (img_link[0]))
              try:
                  pic = requests.get(img_link[0], timeout=60)
              except requests.exceptions.ConnectionError:
                  print("fail or timeout!!")
                  continue
              # path = "D://python/heartstoneimg/basic_full_art/"+img_link[1]
              print("writing:%s" % (path))
              file = open(path, 'wb')
              file.write(pic.content)
              file.close()
              time.sleep(10)
  

  好像也很简单，每张图片下载的超时时间是六十秒，每次下载完一张图片后延迟十秒再下载，不然有时网站会因为你访问太过频繁而拒绝访问。

  main部分的代码。

  from bs4 import BeautifulSoup
  import requests
  import re
  from bs4 import SoupStrainer
  import time
  import os
  import socket
  '''
  遇到不懂的问题？Python学习交流群：821460695满足你的需求，资料都已经上传群文件，可以自行下载！
  '''
  def start_get_img():
      url = "http://hearthstone.gamepedia.com/Full_art"
      keywords = get_links(url)
      basic_url = "http://hearthstone.gamepedia.com"
      real_links = get_real_links(basic_url, keywords)
      all_img_page_link = get_img_page_links(basic_url, real_links[11])
      all_img_link = get_all_img_link(all_img_page_link)
      do_get_img(all_img_link)
  
  if __name__ == "__main__":
      start_get_img()