Python之迭代器和生成器

时间:2022-05-08
本文章向大家介绍Python之迭代器和生成器,主要内容包括迭代器、生成器、基本概念、基础应用、原理机制和需要注意的事项等,并结合实例形式分析了其使用技巧,希望通过本文能帮助到大家理解应用这部分内容。

迭代器

可迭代的数据类型:

list   dic   str    set     tuple      f=open()--文件句柄      range      enumerate

不可迭代的数据类型:

int    bool

什么叫迭代?

结合我们使用for循环取值的现象,再从字面上理解一下,其实迭代就是,可以将某个数据集内的数据“一个挨着一个的取出来”,就叫做迭代

什么是可迭代协议

可以被迭代要满足的要求就叫做可迭代协议。可迭代协议的定义非常简单,就是内部实现了__iter__方法,只要含有__iter__方法的都是可迭代的。

可以被for循环的都是可迭代的,要想可迭代,内部必须有一个__iter__方法。

在for循环中,就是在内部调用了__next__方法才能取到一个一个的值。

print(dir[ ])     #告诉我列表拥有的方法

总结:

  迭代器遵循迭代器协议:必须拥有__iter__方法和__next__方法。

  可以被for循环的都是可迭代的

  可迭代的内部都有__iter__方法

  只要是迭代器 一定可迭代

  可迭代的.__iter__()方法就可以得到一个迭代器

  迭代器中的__next__()方法可以一个一个的获取值

  for循环其实就是在使用迭代器

  只有是可迭代对象的时候 才能用 for

  当我们遇到一个新的变量,不确定能不能for循环的时候,就判断它是否可迭代

迭代器的好处:    

  从容器类型中一个一个的取值,会把所有的值都取到。    

  节省内存空间 #迭代器并不会在内存中再占用一大块内存,             

  而是随着循环 每次生成一个            

  每次next每次给我一个

生成器

初识生成器:

我们知道的迭代器有两种:一种是调用方法直接返回的,一种是可迭代对象通过执行iter方法得到的,迭代器有的好处是可以节省内存。

如果在某些情况下,我们也需要节省内存,就只能自己写。我们自己写的这个能实现迭代器功能的东西就叫生成器。

Python中提供的生成器:

1.生成器函数:常规函数定义,但是,使用yield语句而不是return语句返回结果。yield语句一次返回一个结果,在每个结果中间,挂起函数的状态,以便下次重它离开的地方继续执行

2.生成器表达式:类似于列表推导,但是,生成器返回按需产生结果的一个对象,而不是一次构建一个结果列表

生成器Generator:

  本质:迭代器(所以自带了__iter__方法和__next__方法,不需要我们去实现)

  特点:惰性运算,开发者自定义。

生成器函数:

一个包含yield关键字的函数就是一个生成器函数。yield可以为我们从函数中返回值,但是yield又不同于return,return的执行意味着程序的结束,调用生成器函数不会得到返回的具体的值,

而是得到一个可迭代的对象。每一次获取这个可迭代对象的值,就能推动函数的执行,获取新的返回值。直到函数执行结束。

生成器好处:

不会一下子在内存中生成太多数据

应用:生成器监听文件输入的例子

import time


def tail(filename):
    f = open(filename)
    f.seek(0, 2) #从文件末尾算起
    while True:
        line = f.readline()  # 读取文件中新的文本行
        if not line:
            time.sleep(0.1)
            continue
        yield line

tail_g = tail('tmp')
for line in tail_g:
    print(line)

生成器监听文件输入的例子

简单的生成器监听文件例子

def taile(filename) :
    f = open(filename,encoding='utf-8')
    while True :
        line = f.readline()
        if line.strip() :
            yield line.strip()
g = taile('file')
for i in g :
    print(i)

生成器监听文件实现后可以达到实时查看,一边在文件里输入内容,另一边可以在显示窗口显示出来。 send

send 获取下一个值的效果和next基本一致

只是在获取下一个值的时候,给上一yield的位置传递一个数据

使用send的注意事项:

  第一次使用生成器的时候,是用next获取下一个值;

  最后一个yield不能接受外部的值

应用:计算移动平均值

def average() :
    sum = 0
    count = 0
    avg = 0
    while True :
        num = yield avg
        sum += num
        count += 1
        avg = sum/count
avg_g = average()
avg_g.__next__()
avg1 = avg_g.send(10)
avg1 = avg_g.send(20)
print(avg1)

计算移动平均值进阶----预激协程的装饰器

def init(func):   #装饰器
    def inner(*args,**kwargs):
        g = func(*args,**kwargs)    #g = average()
        g.__next__()
        return g
    return inner

@init
def average():
    sum = 0
    count = 0
    avg = 0
    while True:
        num = yield avg
        sum += num    # 10
        count += 1    # 1
        avg = sum/count

avg_g = average()   #===> inner
ret = avg_g.send(10)
print(ret)
ret = avg_g.send(20)
print(ret)

 yield  from

def generator():
    a = 'abcde'
    b = '12345'
    yield  a
    yield from b

g = generator()
for i in g:
    print(i)

列表推导式和生成器表达式

列表推导式:

ret = [i**2 for i in range(30) if i%3 == 0]
print(ret)

生成器表达式:

g = (i*i for i in range(10))
for i in g :
    print(i)

总结:

1.把列表解析的[]换成()得到的就是生成器表达式

2.列表解析与生成器表达式都是一种便利的编程方式,只不过生成器表达式更节省内存

3.Python不但使用迭代器协议,让for循环变得更加通用。大部分内置函数,也是使用迭代器协议访问对象的。例如, sum函数是Python的内置函数,该函数使用迭代器协议访问对象,而生成器实现了迭代器协议,所以,我们可以直接这样计算一系列值的和:

sum(x ** 2 for x in range(4))

而不用多此一举的先构造一个列表:

sum([x ** 2 for x in range(4)]) 

各种推导式详解: 列表推导式

例子

找到嵌套列表中名字含有两个‘e’的所有名字
names = [['Tom', 'Billy', 'Jefferson', 'Andrew', 'Wesley', 'Steven', 'Joe'],
         ['Alice', 'Jill', 'Ana', 'Wendy', 'Jennifer', 'Sherry', 'Eva']]

print([name for lst in names for name in lst if name.count('e') >= 2])  # 注意遍历顺序,这是实现的关键

字典推导式 例子

一、将一个字典的key和value对调

mcase = {'a': 10, 'b': 34}
mcase_frequency = {mcase[k]: k for k in mcase}
print(mcase_frequency)

二、合并大小写对应的value值,将k统一成小写

mcase = {'a': 10, 'b': 34, 'A': 7, 'Z': 3}
mcase_frequency = {k.lower(): mcase.get(k.lower(), 0) + mcase.get(k.upper(), 0) for k in mcase.keys()}
print(mcase_frequency)

集合推导式

例:计算列表中每个值的平方,自带去重功能

squared = {x**2 for x in [1, -1, 2]}
print(squared)
# Output: set([1, 4])