目标网站：https://v.qq.com/
需要获取的数据：某部电影的评论数据，实现自动加载。
首先可以发现腾讯视频中某个视频的评论，在下面的图片中，如果点击”查看更多评论”，网页地址并无变化，与上面提到的糗事百科中的页码变化不同。而且通过查看源代码，只能看到部分评论。即评论信息是动态加载的，那么该如何爬取多页的评论数据信息？
第一步，分析腾讯视频评论网址变化规律。点击”查看更多评论”，同时打开Fiddler，第一条信息的TextView中，TextView中可以看到对应的content内容是unicode编码，刚好对应的是某条评论的内容。
解码出来可以看到对应评论内容。
将第一条信息的网址复制出来进行分析，观察其中的规律。下图是两个紧连着的不同评论的url地址，如下图，可以发现只有cursor字段发生变化，只要得到cursor，那么评论的地址就可以轻松获得。如何找到cursor值？
第二步，查找网址中变化的cursor字段值。从上面的第一条评论信息里寻找，发现恰好在last字段值与后一条评论的cursor值相同。即表示cursor的值是迭代方式生成的，每条评论的cursor信息在其上一条评论的数据包中寻找即可。
第三步，完整代码
a.腾讯视频评论爬虫:获取”深度解读”评论内容（单页评论爬虫）
#单页评论爬虫
#想要学习Python？Python学习交流群：984632579满足你的需求，资料都已经上传群文件，可以自行下载！
import urllib.request
import re
#https://video.coral.qq.com/filmreviewr/c/upcomment/[视频id]?commentid=[评论id]&reqnum=[每次提取的评论的个数]
#视频id
vid="j6cgzhtkuonf6te"
#评论id
cid="6233603654052033588"
num="20"
#构造当前评论网址
url="https://video.coral.qq.com/filmreviewr/c/upcomment/"+vid+"?commentid="+cid+"&reqnum="+num
headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.22 Safari/537.36 SE 2.X MetaSr 1.0",
"Content-Type":"application/javascript",
}
opener=urllib.request.build_opener()
headall=[]
for key,value in headers.items():
item=(key,value)
headall.append(item)
opener.addheaders=headall
urllib.request.install_opener(opener)
#爬取当前评论页面
data=urllib.request.urlopen(url).read().decode("utf-8")
titlepat='"title":"(.*?)"'
commentpat='"content":"(.*?)"'
titleall=re.compile(titlepat,re.S).findall(data)
commentall=re.compile(commentpat,re.S).findall(data)
for i in range(0,len(titleall)):
try:
print("评论标题是:"+eval('u"'+titleall[i]+'"'))
print("评论内容是:"+eval('u"'+commentall[i]+'"'))
print("------")
except Exception as err:
print(err)b.腾讯视频评论爬虫:获取”深度解读”评论内容（自动切换下一页评论的爬虫）
#自动切换下一页评论的爬虫
#想要学习Python？Python学习交流群：984632579满足你的需求，资料都已经上传群文件，可以自行下载！
import urllib.request
import re
#https://video.coral.qq.com/filmreviewr/c/upcomment/[视频id]?commentid=[评论id]&reqnum=[每次提取的评论的个数]
vid="j6cgzhtkuonf6te"
cid="6233603654052033588"
num="3"
headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.22 Safari/537.36 SE 2.X MetaSr 1.0",
"Content-Type":"application/javascript",
}
opener=urllib.request.build_opener()
headall=[]
for key,value in headers.items():
item=(key,value)
headall.append(item)
opener.addheaders=headall
urllib.request.install_opener(opener)
#for循环，多个页面切换
for j in range(0,100):
#爬取当前评论页面
print("第"+str(j)+"页")
#构造当前评论网址thisurl="https://video.coral.qq.com/filmreviewr/c/upcomment/"+vid+"?commentid="+cid+
"&reqnum="+num
data=urllib.request.urlopen(thisurl).read().decode("utf-8")
titlepat='"title":"(.*?)","abstract":"'
commentpat='"content":"(.*?)"'
titleall=re.compile(titlepat,re.S).findall(data)
commentall=re.compile(commentpat,re.S).findall(data)
lastpat='"last":"(.*?)"'
#获取last值，赋值给cid，进行评论id切换
cid=re.compile(lastpat,re.S).findall(data)[0]
for i in range(0,len(titleall)):
try:
print("评论标题是:"+eval('u"'+titleall[i]+'"'))
print("评论内容是:"+eval('u"'+commentall[i]+'"'))
print("------")
except Exception as err:
print(err)