打开目标站点，查看榜单信息，如图： 排名第一的电影是霸王别姬，页面中显示的有效信息有影片名称、主演、上映时间、上映地区、评分、图片等信息。
翻页规律：按住鼠标滑轮滚动到页面底部，点击下一页，观察页面URL和内容发生的变化，如图： 可以发现页面的URL变成http://maoyan.com/board/4?offset=10， 比之前的URL多了一个参数，那就是offset=10，而目前显示的结果是排行11-20名的电影，初步推断这是一个偏移量的参数。再点击下一页，发现页面的URL变成了http://maoyan.com/board/4?offset=20， 参数offset变成了20，而显示的结果是排行21~30的电影
由此可以总结出规律，off代表偏移量值，如果偏移量为n，则显示的电影序号就是n+1到n+10，每页显示10个。所以，如果想获取TOP100电影，只需要分开请求10次，而10次的offset参数分别设置为0、10、20、…90即可，这样获取不同的页面之后，再用正则表达式提取出相关信息，就可以得到TOP100的所有电影信息了。
import requests
import re
import json
from requests.exceptions import RequestException
from pymongo import MongoClient
import time
'''
想要学习Python？Python学习交流群：984632579满足你的需求，资料都已经上传群文件，可以自行下载！
'''
# 创建数据库连接
client = MongoClient('mongodb://localhost:27017/')
db = client.maoyan
collection = db.rank
def get_one_page(url):
"""
获取每页的网页源代码
:param url: 请求链接
:return: 网页的文本内容
"""
try:
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
}
response = requests.get(url=url, headers=headers)
if response.status_code == 200:
return response.text
return None
except RequestException:
return None
def parse_one_page(html):
"""
使用正则表达式解析网页数据
:param html: 网页的文本内容
:return: 字典
"""
pattern = re.compile(
r'<dd>.*?board-index.*?>(.*?)</i>.*?data-src="(.*?)".*?name.*?a.*?>(.*?)</a>.*?star.*?>(.*?)</p>.'
r'*?releasetime.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>',
re.S
)
items = re.findall(pattern, html)
for item in items:
yield {
'index': item[0],
'image': item[1].split('@')[0],
'title': item[2].strip(),
'actor': item[3].strip()[3:] if len(item[3]) > 3 else '',
'time': item[4].strip()[5:] if len(item[4]) > 5 else '',
'score': item[5].strip() + item[6].strip()
}
def write_to_file(content):
with open('result.txt', 'a', encoding='utf-8') as f:
f.write(json.dumps(content, ensure_ascii=False) + '\n')
def save_to_mongo(item):
"""
将数据存储到MongoDB
:param dict: 字典类型的数据
:return: None
"""
collection.insert(item)
def main(offset):
url = 'http://maoyan.com/board/4?offset={}'.format(str(offset))
html = get_one_page(url)
for item in parse_one_page(html):
write_to_file(item)
save_to_mongo(item)
if __name__ == '__main__':
for i in range(10):
main(offset=i*10)
time.sleep(1)