单线程多任务异步协程

import asyncio
import time

urls = [
    'http://127.0.0.1:5000/jay',
    'http://127.0.0.1:5000/tom',
    'http://127.0.0.1:5000/jay',
    'http://127.0.0.1:5000/tom',
]

# 特殊函数
async def get_request(url):
    print('正在请求：',url)
    time.sleep(2)
    print('请求结束;',url)
    return 'bobo'

#对调函数
def parse(task): #task 该回调函数对应的任务对象
    print(' I am callback')
    print(task.result()) #result返回的就是特殊函数的返回值

#返回了一个协程对象
c = get_request('www.1.com')

#任务对象
task = asyncio.ensure_future(c)

#给任务对象绑定回调，任务对象执行完后才能被执行
task.add_done_callback(parse)

#创建一个事件循环对象
loop = asyncio.get_event_loop()

#需要将任务对象注册到事件循环对象中且需要启动循环对象
loop.run_until_complete(task)

import asyncio
import time

urls = [
    'http://127.0.0.1:5000/jay',
    'http://127.0.0.1:5000/tom',
    'http://127.0.0.1:5000/jay',
    'http://127.0.0.1:5000/tom',
]

start = time.time()
# 特殊函数
#！！！特殊函数内部不可以出现不支持异步的模块代码，如果出现了则会中断所有的异步代码
async def get_request(url):
    print('正在请求：',url)
    #time.sleep(2)
    await asyncio.sleep(2) #await 遇到阻塞的时候需要阻塞然后再走后续代码
    print('请求结束;',url)
    return 'bobo'

#任务列表
tasks = []

for url in urls:
    c = get_request(url)  #执行特殊函数得到一个协程对象
    task = asyncio.ensure_future(c) #获取任务对象
    tasks.append(task)

#一个任务对象和另一个任务对象所对应的代码是异步的
#某一个对象内部的代码是串行的


# 注册的任务对象 事件循环开启
loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks)) #此处的wait当任务对象遇到阻塞的时候允许挂起，把cpu的使用权交出来
print('耗时',time.time()-start)

pip install aiohttp
编码：
    基本架构：
    
with aiohttp.ClientSession() as s: #s就是一个请求对象
    with s.get(url) as response:             
        page_text = response.text() #read() ==> content json没变
        return page_text

    补充细节
        在每个with前加async
        在每个阻塞前加await

async with aiohttp.ClientSession() as s: #s就是一个请求对象
    async with await s.get(url) as response: 
        page_text = await response.text() #read() ==> content json没变
        return page_text

import asyncio
import time
import requests
import aiohttp
from lxml import etree
urls = [
    'http://127.0.0.1:5000/jay',
    'http://127.0.0.1:5000/tom',
    'http://127.0.0.1:5000/jay',
    'http://127.0.0.1:5000/tom',
]

start = time.time()
# 特殊函数
#！！！特殊函数内部不可以出现不支持异步的模块代码，如果出现了则会中断所有的异步代码
async def get_request(url):
    #requests模块是不支持异步的
    # page_text = requests.get(url).text
    # return page_text
    async with aiohttp.ClientSession() as s: #s就是一个请求对象
        async with await s.get(url) as response: #get/post(url,data/parms,headers,proxy='http://ip:port')
            page_text = await response.text() #read() ==> content json没变
            return page_text

#定义回调函数
def parse(task):
    page_text = task.result()
    tree = etree.HTML(page_text)
    print(tree.xpath('//a/text()'))

#任务列表
tasks = []

for url in urls:
    c = get_request(url)
    task = asyncio.ensure_future(c)
    #绑定回调用于数据解析
    task.add_done_callback(parse)
    tasks.append(task)

loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))
print('耗时',time.time()-start)