【Python】【爬虫】最近想买电脑，用Python爬取京东评论做个参考

import requests  as re  #导入requests模块

#把Headers中的Requests URL赋值给url
url = "https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=100004380824&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1"
#把Headers中对应关键词后面的内容填入headers中
headers = {'User-Agent':'User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36',
            'Request Method':'Get',
            'callback':'fetchJSON_comment98'}
#获取url中的所有信息
req = re.get(url, timeout=30, headers=headers)
#req = re.get(url)

import json  #导入json模块

#先把不用的内容去掉，再用json库解析它，得到我们想要的内容
jd=json.loads(req.text.lstrip("fetchJSON_comme rstrip nt98vv375(").rstrip(");"))
#打印评论信息
j=1
for i in jd['comments']:
    print(str(j)+"、"+i['content'])
    j+=1

<class 'dict'>
1、屏幕效果：屏幕不错，很轻薄超出想象，散热不错
2、轻薄程度：比我想象的要薄，非常适合出差办公，棒棒的
3、这个配置性能优越很正常了，最满意的是质量很轻很轻很轻
4、电脑很好，对得起这个价格，物流也很迅捷，好评！好评！好评！
5、很好的笔记本电脑，不错的选择
6、很好 快递小哥送货快 周到
7、散热性能：散热挺好
轻薄程度：身 轻便
其他特色：用来做软件开发，挺好，几天使用下来没发现什么不适，
8、运行速度：挺快
屏幕效果：清晰细腻
散热性能：一般。用到现在3.5小时键盘中间、右侧挺烫手
外形外观：显得很专业的黑方块，有安全感
轻薄程度：可以
9、运行速度：快速
屏幕效果：喜欢
散热性能：不错
外形外观：喜欢
轻薄程度：手感好
10、运行速度：快
屏幕效果：好
散热性能：还行
外形外观：小巧
轻薄程度：薄

import requests,json
import random

#headers的内容在Headers里面都可以找到
headers = {'User-Agent':'User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36',
        'Request Method':'Get',
         'callback':'fetchJSON_comment98'}
content = []  #存放评价
def crawler(url):    
    req=requests.get(url ,timeout=random.uniform(30, 50),headers=headers)  # 获取网页信息
    jd=json.loads(req.text.lstrip("fetchJSON_comment98vv375(").rstrip(");"))  #先把不用的内容去掉，再用json库解析
    for i in jd['comments']:
        content.append(i['content'])
#爬取自营T490s型号i7-8565U的评论
for i in range(20):
    url="https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=100004380824&score=0&sortType=5&page={}&pageSize=10&isShadowSku=0&fold=1".format(i)
    crawler(url)
# 爬取自营T490s型号i5-8265U的评论
for i in range(20):
    url="https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=54331361555&score=0&sortType=5&page={}&pageSize=10&isShadowSku=0&fold=1".format(i)
    crawler(url)

import matplotlib.pyplot as plt                          #数学绘图库
from PIL import Image
import numpy as np                                      #科学数值计算包，可用来存储和处理大型矩阵
import pandas as pd
import jieba                                            #分词库
from wordcloud import WordCloud, ImageColorGenerator,STOPWORDS   #词云库
import os.path

content_1 = "/".join(content)
cut_text = jieba.cut(content_1,cut_all=False)  # 结巴分词
#:cut_all参数可选, True为全模式，False为精确模式,默认精确模式
result= "/".join(cut_text) #必须给个符号分隔开分词结果,否则不能绘制词云
replace = ['运行','程度', '其他','非常','外观','屏幕','效果','外形','还是']
for i in replace:
    if i == '运行':
        result_1 = result.replace(i,'T490s')
    else:
        result_1 = result_1.replace(i,'')
wordcloud = WordCloud(font_path="./电脑原始图片/simhei.ttf",stopwords=STOPWORDS,background_color='white',max_font_size=60).generate(result_1)
plt.imshow(wordcloud)
plt.axis('off')
plt.show()

wordcloud.to_file(r'T490s.png')  #保存图片