1 需求
爬取豆瓣电影分类排行榜中的电影详情数据，并实现动态持续化存储。
2 代码实现
"""爬取豆瓣电影分类排行榜中的电影详情数据"""
import jsonimport requestsurl = "https://movie.douban.com/j/chart/top_list"
param = {'type': '24','interval_id': '100:90','action': '','start': '1', # 从库中的第1部电影取'limit': '20', # 一次请求取出的个数}
headers = {'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:91.0) Gecko/20100101 Firefox/91.0"}
response = requests.get(url=url, params=param, headers=headers)
list_data = response.json()
fp = open('./douban.json', 'w', encoding='utf-8')
json.dump(list_data, fp=fp, ensure_ascii=False)
print("OVER!")
本文链接：https://my.lmcjl.com/post/20461.html
展开阅读全文
4 评论