Biegral Blog

前言

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取

python免费学习资料以及群交流解答点击即可加入

基本环境配置

• python 3.6
• pycharm
• requests

相关模块pip安装即可

确定目标网页

分析网页

1、查看图片地址

代码实现

import requests
import parsel
url = 'https://bcy.net/coser/toppost100'
response = requests.get(url=url, headers=headers)
selector = parsel.Selector(response.text)
urls = selector.css('.rank-index-box .rank-cos-top img::attr(src)').getall()
titles = selector.css('.rank-index-box .rank-cos-avatar-box p::text').getall()
lis = zip(urls, titles)
for i in lis:
    img_url = i[0]
    title = i[1]
    response_2 = requests.get(url=img_url, headers=headers)
    path = 'D:\\python\\demo\\cos小姐姐\\img\\' + title + '.jpg'
    with open(path, mode='wb') as f:
        f.write(response_2.content)
        print(img_url)

图片数据是爬取下来了，但是保存数据后发现，仅仅只有20张图片，这根本不是我想要的~

所以要重新分析网页了~看一下是否有接口数据

我清空所有加载出来的数据，下拉的时候，然后出现一个神秘地址，点击去一看，果然是接口数据。为了保证准确性，咱们可以多往下翻翻

果然~~~

通过链接对比，发现接口数据的参数P是改变的，等同于页数编码，1就是对应的前20张图片数据

代码实现

import requests
for page in range(1, 6):
    url = 'https://bcy.net/apiv3/rank/list/itemInfo'
    params = {
        'p': '{}'.format(page),
        'ttype': 'cos',
        'sub_type': 'week',
        'date': '20200922',
        '_signature': 'a2ovWQAAAAAem6QHkeiiVmtqL0AADQG',
    }

    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
    }
    '''
    Json 接口数据
    '''
    response = requests.get(url=url, params=params, headers=headers)
    html_data = response.json()
    info_list = html_data['data']['top_list_item_info']
    for i in info_list:
        img_url = i['item_detail']['cover']
        title = img_url.split('/')[-1].split('~')[0]
        response_2 = requests.get(url=img_url, headers=headers)

        path = 'D:\\python\\demo\\cos小姐姐\\img\\' + title + '.jpg'
        with open(path, mode='wb') as f:
            f.write(response_2.content)
            print(img_url)