docker pull scrapinghub/splash
docker run -d --name splash -p 8050:8050 scrapinghub/splash

pip3 install scrapy-splash

http://192.168.0.10:8050/

curl 'http://localhost:8050/render.html?url=https://www.baidu.com/page-with-javascript.html&timeout=10&wait=0.5'

scrapy shell http://quotes.toscrape.com/js/

...
[s]   view(response)    View response in a browser
>>>

>>> response.css('div.quote')
[]
>>>

import requests

from scrapy.selector import Selector

splash_url = 'http://192.168.0.10:8050/render.html'
args = {'url': 'http://quotes.toscrape.com/js', 'timeout': 10, 'image': 0}
response = requests.get(splash_url, params=args)
sel = Selector(response)
ret = sel.css('div.quote span.text::text').extract()
print(type(ret))

for i in ret:
    print(i)

<class 'list'>“The world as we have created it is a process of our thinking. It cannot be changed without changing our thinking.”
...

$('div.quote span.text').text()

import requests
import json

#编写lua脚本，：访问属性
lua = '''
function main(splash) 
    --打开页面
    splash:go('http:example.com')   
    --等待加载
    splash:wait(0.5)
    --执行js代码
    local title = splash:evaljs('document.title')
    --{中的内容类型python中的键值对}
    return {title = title}
end
'''
splash_url = 'http://192.168.0.10:8050/execute' #定义端点地址
headers = {'content-type':'application/json'}
data = json.dumps({'lua_source':lua}) #做成json对象
response = requests.post(splash_url,headers = headers,data=data) #使用post请求
ret = response.content
ret1 = response.json()

print(ret)
print(ret1)

b'{"title": "Example Domain"}'
{'title': 'Example Domain'}

scrapy startproject dynamic_page
cd dynamic_page
scrapy genspider quotes quotes.toscrape.com

#在项目根目录下新建：bin.py
from scrapy.cmdline import execute
# 第三个参数是：爬虫程序名
execute(['scrapy', 'crawl', 'quotes',"--nolog"])

./
├── bin.py
├── dynamic_page
│   ├── __init__.py
│   ├── items.py
│   ├── middlewares.py
│   ├── pipelines.py
│   ├── settings.py
│   └── spiders
│       ├── __init__.py
│       └── quotes.py
└── scrapy.cfg

# Splash服务器地址
SPLASH_URL = 'http://192.168.0.10:8050'
# 开启两个下载中间件，并调整HttpCompressionMiddlewares的次序
DOWNLOADER_MIDDLEWARES = {
    'scrapy_splash.SplashCookiesMiddleware': 723,
    'scrapy_splash.SplashMiddleware': 725,
    'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 810,
}
# 设置去重过滤器
DUPEFILTER_CLASS = 'scrapy_splash.SplashAwareDupeFilter'
# 用来支持cache_args（可选）
SPIDER_MIDDLEWARES = {
    'scrapy_splash.SplashDeduplicateArgsMiddleware': 100,
}
DUPEFILTER_CLASS = 'scrapy_splash.SplashAwareDupeFilter'
HTTPCACHE_STORAGE = 'scrapy_splash.SplashAwareFSCacheStorage'
ITEM_PIPELINES = {
   'dynamic_page.pipelines.DynamicPagePipeline': 100,
}

# -*- coding: utf-8 -*-
import scrapy
from scrapy_splash import SplashRequest #重新定义了请求
from dynamic_page.items import DynamicPageItem


class QuotesSpider(scrapy.Spider):
    name = 'quotes'
    allowed_domains = ['quotes.toscrape.com']
    start_urls = ['http://quotes.toscrape.com/js/']

    def start_requests(self):  # 重新定义起始爬取点
        for url in self.start_urls:
            yield SplashRequest(url, args={'timeout': 8, 'images': 0})

    def parse(self, response):
        authors = response.css('div.quote small.author::text').extract()  # 选中名人并返回一个列表
        quotes = response.css('div.quote span.text::text').extract()  # 选中名言并返回一个列表

        # 创建item字段对象，用来存储信息
        item = DynamicPageItem()
        item['authors'] = authors
        item['quotes'] = quotes

        ##使用zip()函数--小伙伴们自行百度菜鸟教程即可
        # 构造了一个元祖再进行遍历，再次使用zip结合dict构造器做成了列表，由于yield ，所以我们使用生成器解析返回
        yield from (dict(zip(['author', 'quote'], item)) for item in zip(authors, quotes))
        next_url = response.css('ul.pager li.next a::attr(href)').extract_first()
        if next_url:
            complete_url = response.urljoin(next_url)  # 构造了翻页的绝对url地址
            yield SplashRequest(complete_url, args={'timeout': 8, 'images': 0})

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# https://docs.scrapy.org/en/latest/topics/items.html

import scrapy


class DynamicPageItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    # 与itcast.py定义的一一对应
    authors = scrapy.Field()
    quotes = scrapy.Field()

# -*- coding: utf-8 -*-

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html
import json

class DynamicPagePipeline(object):
    def __init__(self):

        #python3保存文件 必须需要'wb' 保存为json格式
        self.f = open("dynamicpage_pipline.json",'wb')

    def process_item(self, item, spider):
        # 读取item中的数据 并换行处理
        content = json.dumps(dict(item), ensure_ascii=False) + ',n'
        self.f.write(content.encode('utf=8'))

        return item

    def close_spider(self,spider):
        #关闭文件
        self.f.close()

{"author": "Albert Einstein", "quote": "“The world as we have created it is a process of our thinking. It cannot be changed without changing our thinking.”"},
{"author": "J.K. Rowling", "quote": "“It is our choices, Harry, that show what we truly are, far more than our abilities.”"},
...