10分钟了解Python黑魔法 Yield、Iterator、Generator

开发
今天,我们来讨论Python的yield、Iterator和generator,它们可以在许多教程中看到,但总是引起一些混淆。

今天,我们来讨论Python的yield、Iterator和generator,它们可以在许多教程中看到,但总是引起一些混淆。

今天,我们来讨论Python的yield、Iterator和generator,它们可以在许多教程中看到,但总是引起一些混淆。

就像decorators一样,这三个概念是紧密联系在一起的。例如,如果你想知道什么是yield,你必须首先了解什么是generator。但在理解generator之前,你又必须理解iterator是什么,但在理解iterator之前,您必须要知道iterable对象是什么。他们的关系如下图:

Iterables 可迭代的

可迭代是指能够通过迭代的方法遍历的对象,比如列表、字符串、元组、字典、集合等等。简单的例子:

mylist = [1, 2, 3]
for i in mylist:
    print(i)

可迭代对象如何工作?

让我们看看Python解释器在遇到迭代操作时如何处理迭代,例如for ... in x

  • 调用 iter(x) 函数
  • 检查对象是否实现了 _iter__ 方法,如果实现了,则调用它以获取迭代器;
  • 如果未实现 _iter__ 方法,但实现了_getitem__ 方法,Python将创建一个迭代器并尝试按顺序获取元素(从索引0开始);
  • 如果两个方法都未实现,将抛出TypeError异常,指示无法迭代该对象。

因此具有 __iter__ 方法或 __getitem__方法的对象通常称为可迭代对象。

如何判断一个对象是否可迭代?

  • 方法一:使用dir函数,检查对象是否实现了__iter__ 或者 __getitem__方法。
mylist = [1, 2, 3]
mylistMethod = dir(mylist)
print(mylistMethod) #查看mylist的方法
print('__iter__' in dir(mylist) or '__getitem__' in dir(mylist)) # True
  • 方法二:使用isinstance函数,检查对象是否是Iterable类型。
from collections import Iterable
mylist = [1, 2, 3]
print(isinstance(mylist, Iterable)) # True

Iterator 迭代器

迭代器是一个包含可数数量值的对象。它可以迭代,这意味着您可以遍历所有值。让我们看一个迭代器示例:

for i in range(5):
    print(i) # 0 1 2 3 4

像这样,一个个打印元素的过程就叫可迭代的,这个过程也是我们日常代码编写中接触最多的操作。

简单来说,带有next()方法的可迭代对象就是一个迭代器,或者说一个可迭代对象和一个迭代器的关系是:Python从一个可迭代对象中获取一个迭代器。具体关系如下图:

所以上面提到的列表、字符串等不是迭代器。但是,您可以使用Python内置 iter()函数来获取它们的迭代器对象。让我们使用迭代器模式来重写前面的例子:

mylist = [1,2,3]
it = iter(mylist) # 获取迭代器对象
while True:
    try:
        print(next(it))
    except StopIteration:
        print("Stop iteration!")
        break

在上面的代码中,我们首先使用iterable对象mylist来构造迭代器it,并不断调用迭代器上的next()函数来获取下一个元素。如果没有字符,迭代器将抛出 StopIteration 异常并退出循环。

Generator 生成器

Python 提供了一个生成器来创建迭代器函数。生成器是一种特殊类型的函数,它不返回单个值,而是返回一个包含一系列值的迭代器对象。在生成器函数中,使用 yield 语句而不是 return 语句。

现在我们已经知道for循环背后的机制了,但是如果数据量太大,比如for i in range(1000000),使用for循环将所有的值存储在内存中不仅占用大量的存储空间 但是如果我们只需要访问前几个元素,空间就浪费了。在这种情况下,我们可以使用 generator 。

生成器的思路是,我们不需要一次性把这个列表全部创建出来,只需要记住它的创建规则,然后在需要用到的时候,再一次次的计算和创建。我们来看一个例子:

my_generator = (x*x for x in range(10))
for i in my_generator:
    print(i) # 0 1 4 9 16 25 36 49 64 81

my_generator 是一个生成器,它的每一个元素都是一个生成器对象。我们可以使用 next()函数来获取下一个元素。

Yield 产生器

简单来说,你可以把yield当成return,但它返回的是一个生成器。记住,刚开始学习的时候不需要了解这个yield是什么,但是一定要了解它的运行机制!让我们看一下下面的代码片段:

def test():
    print("First")
    yield 1
    print("Second")
    yield 2
    print("Third")
    yield 3
my_generator = test() # 创建生成器
print(type(my_generator)) # <class 'generator'>

我们可以在这里看到如果一个函数使用 yield 作为返回值,那么它就变成了一个生成器函数。与普通函数不同,生成器函数被调用后,函数体中的代码不会立即执行(执行my_generator=test()后不打印任何值),而是返回一个生成器!正如我们前面提到的:generator 是迭代器,而 yield 可以被视为 return ,不难猜测下面代码的结果:

def test():
    print("First")
    yield 1
    print("Second")
    yield 2
    print("Third")
    yield 3
for item in test():
    print(item)
# 输出:
"""
First
1
Second
2
Third
3
"""

next 函数是如何运行的?

def test():
    print("First")
    yield 1
    print("Second")
    yield 2
    print("Third")
    yield 3

my_generator = test() # 创建生成器
a = next(my_generator) # First
print(a) # 1
b = next(my_generator) # Second
print(b) # 
c = next(my_generator) # Third
print(c) # 3
d = next(my_generator) # StopIteration
print(d) # error

每次调用next(my_generator),只跑到yield位置就停止,下次再跑,从上次结束的位置开始!并且生成器的长度取决于在函数中定义 yield 的次数。看起来也很好理解呢。

如果理解了上面的 yield 函数示例,让我们继续看一个更复杂的示例,该生成器可以接受参数。

def simple_gen(a):
    print('-> Started: a =', a)
    b = yield a
    print('-> Received: b =', b)
    c = yield a + b
    print('-> Received: c =', c)
gen = simple_gen(14)
next(gen) # -> Started: a = 14
next(gen) # ?
next(gen) # ?

运行结果如图:

发生了什么??从第一次 next(gen) 调用开始,它在 yield a 处停止,然后当您再次调用 next(gen) 时,b 实际上是 None 值,这导致了异常。

b 为什么是 None 值?因为我们在 yield a 处没有接收到任何值,所以 b 就是 None 值。要想接收值,

要继续,您需要使用 send() 函数:生成器发送(值)恢复执行并将值“发送”到生成器函数中。value 参数成为当前 yield 表达式的结果。send() 方法返回生成器生成的下一个值,或者如果生成器退出而没有生成另一个值则引发 StopIteration。

怎么理解send() 函数?一个带参数的 next(),接收参数,执行yield,然后返回值。

def simple_gen(a):
    print('-> Started: a =', a)
    b = yield a
    print('-> Received: b =', b)
    c = yield a + b
    print('-> Received: c =', c)
gen = simple_gen(14)
next(gen) # -> Started: a = 14
gen.send(15) # Received: b = 15 # send 15 to generator,并执行下一步 send包含next的yield

总结

小思考:

  • yield 和 return 的区别,你理解了么?
  • yield, generator  和 iterator 的区别和联系,你理解了么?
责任编辑:华轩 来源: 哈希编程
相关推荐

2020-10-13 18:22:58

DevOps工具开发

2021-05-17 20:13:50

数仓操作型数据库

2017-07-28 10:05:58

Pythonyieldgenerator

2018-11-28 11:20:53

Python函数式编程编程语言

2009-11-05 14:53:54

Visual Stud

2018-05-06 16:26:03

关联规则数据分析关联规则推荐

2018-03-12 21:31:24

区块链

2021-10-19 07:27:08

HTTP代理网络

2017-02-05 10:06:53

Python黑魔法描述符

2019-07-18 16:32:06

Python函数数据

2023-09-07 23:52:50

Flink代码

2021-04-30 16:23:58

WebRTC实时音频

2022-12-16 09:55:50

网络架构OSI

2021-07-15 06:43:11

Bash调试脚本

2022-05-20 12:40:23

PythonMetaclass

2018-02-01 14:15:00

Python函数

2018-03-23 11:56:09

相似性推荐推荐算法推荐

2017-07-06 08:12:02

索引查询SQL

2018-03-12 14:37:50

区块链比特币架构

2022-07-18 06:16:07

单点登录系统
点赞
收藏

51CTO技术栈公众号