这个Python知识点,90% 的人都得挂~

开发 后端
描述符 是Python 语言独有的特性,它不仅在应用层使用,在语言语法糖的实现上也有使用到(在下面的文章会一一介绍)。

学习 Python 这么久了,说起 Python 的优雅之处,能让我脱口而出的, Descriptor(描述符)特性可以排得上号。

描述符 是Python 语言独有的特性,它不仅在应用层使用,在语言语法糖的实现上也有使用到(在下面的文章会一一介绍)。

当你点进这篇文章时

  •  你也许没学过描述符,甚至没听过描述符。
  •  或者你对描述符只是一知半解

无论你是哪种,本篇都将带你全面的学习描述符,一起来感受 Python 语言的优雅。

1. 为什么要使用描述符?

假想你正在给学校写一个成绩管理系统,并没有太多编码经验的你,可能会这样子写。 

  1. class Student:  
  2.     def __init__(self, name, math, chinese, english):  
  3.         self.name = name  
  4.         self.math = math  
  5.         self.chinese = chinese  
  6.         self.english = english  
  7.     def __repr__(self): 
  8.          return "<Student: {}, math:{}, chinese: {}, english:{}>".format(  
  9.                 self.name, self.math, self.chinese, self.english  
  10.             ) 

看起来一切都很合理 

  1. >>> std1 = Student('小明', 76, 87, 68)  
  2. >>> std1  
  3. <Student: 小明, math:76, chinese: 87, english:68> 

但是程序并不像人那么智能,不会自动根据使用场景判断数据的合法性,如果老师在录入成绩的时候,不小心录入了将成绩录成了负数,或者超过100,程序是无法感知的。

聪明的你,马上在代码中加入了判断逻辑。 

  1. class Student:  
  2.     def __init__(self, name, math, chinese, english):  
  3.         self.name = name  
  4.         if 0 <= math <= 100:  
  5.             self.math = math  
  6.         else:  
  7.             raise ValueError("Valid value must be in [0, 100]")       
  8.         if 0 <= chinese <= 100:  
  9.             self.chinese = chinese  
  10.         else:  
  11.             raise ValueError("Valid value must be in [0, 100]")    
  12.          if 0 <= chinese <= 100:  
  13.             self.english = english  
  14.         else:  
  15.             raise ValueError("Valid value must be in [0, 100]")       
  16.      def __repr__(self):  
  17.         return "<Student: {}, math:{}, chinese: {}, english:{}>".format(  
  18.                 self.name, self.math, self.chinese, self.english  
  19.             ) 

这下程序稍微有点人工智能了,能够自己明辨是非了。

程序是智能了,但在__init__里有太多的判断逻辑,很影响代码的可读性。巧的是,你刚好学过 Property 特性,可以很好的应用在这里。于是你将代码修改成如下,代码的可读性瞬间提升了不少 

  1. class Student:  
  2.     def __init__(self, name, math, chinese, english):  
  3.         self.name = name  
  4.         self.math = math  
  5.         self.chinese = chinese  
  6.         self.english = english  
  7.     @property  
  8.     def math(self):  
  9.         return self._math  
  10.     @math.setter  
  11.     def math(self, value):  
  12.         if 0 <= value <= 100:  
  13.             self._math = value  
  14.         else:  
  15.             raise ValueError("Valid value must be in [0, 100]")  
  16.     @property  
  17.     def chinese(self):  
  18.         return self._chinese  
  19.     @chinese.setter  
  20.     def chinese(self, value):  
  21.         if 0 <= value <= 100:  
  22.             self._chinese = value  
  23.         else:  
  24.             raise ValueError("Valid value must be in [0, 100]")  
  25.     @property  
  26.     def english(self):  
  27.         return self._english  
  28.     @english.setter  
  29.     def english(self, value):  
  30.         if 0 <= value <= 100:  
  31.             self._english = value  
  32.         else:  
  33.             raise ValueError("Valid value must be in [0, 100]")  
  34.     def __repr__(self):  
  35.         return "<Student: {}, math:{}, chinese: {}, english:{}>".format(  
  36.                 self.name, self.math, self.chinese, self.english  
  37.             ) 

程序还是一样的人工智能,非常好。

你以为你写的代码,已经非常优秀,无懈可击了。

没想到,人外有天,你的主管看了你的代码后,深深地叹了口气:类里的三个属性,math、chinese、english,都使用了 Property 对属性的合法性进行了有效控制。功能上,没有问题,但就是太啰嗦了,三个变量的合法性逻辑都是一样的,只要大于0,小于100 就可以,代码重复率太高了,这里三个成绩还好,但假设还有地理、生物、历史、化学等十几门的成绩呢,这代码简直没法忍。去了解一下 Python 的描述符吧。

经过主管的指点,你知道了「描述符」这个东西。怀着一颗敬畏之心,你去搜索了下关于 描述符的用法。

其实也很简单,一个实现了 描述符协议 的类就是一个描述符。

什么描述符协议:在类里实现了 __get__()、__set__()、__delete__() 其中至少一个方法。

  •  __get__:用于访问属性。它返回属性的值,若属性不存在、不合法等都可以抛出对应的异常。
  •  __set__:将在属性分配操作中调用。不会返回任何内容。
  •  __delete__:控制删除操作。不会返回内容。

对描述符有了大概的了解后,你开始重写上面的方法。

如前所述,Score 类是一个描述符,当从 Student 的实例访问 math、chinese、english这三个属性的时候,都会经过 Score 类里的三个特殊的方法。这里的 Score 避免了 使用Property 出现大量的代码无法复用的尴尬。 

  1. class Score:  
  2.     def __init__(self, default=0):  
  3.         self._score = default 
  4.     def __set__(self, instance, value):  
  5.         if not isinstance(value, int):  
  6.             raise TypeError('Score must be integer')  
  7.         if not 0 <= value <= 100:  
  8.             raise ValueError('Valid value must be in [0, 100]')  
  9.         self._score = value  
  10.     def __get__(self, instance, owner):  
  11.         return self._score  
  12.     def __delete__(self):  
  13.         del self._score       
  14.  class Student:  
  15.     math = Score(0)  
  16.     chinese = Score(0)  
  17.     english = Score(0)  
  18.     def __init__(self, name, math, chinese, english):  
  19.         self.name = name  
  20.         self.math = math  
  21.         self.chinese = chinese  
  22.         self.english = english 
  23.     def __repr__(self):  
  24.         return "<Student: {}, math:{}, chinese: {}, english:{}>".format(  
  25.                 self.name, self.math, self.chinese, self.english  
  26.             ) 

实现的效果和前面的一样,可以对数据的合法性进行有效控制(字段类型、数值区间等)

以上,我举了下具体的实例,从最原始的编码风格到 Property ,最后引出描述符。由浅入深,一步一步带你感受到描述符的优雅之处。

到这里,你需要记住的只有一点,就是描述符给我们带来的编码上的便利,它在实现 保护属性不受修改、属性类型检查 的基本功能,同时有大大提高代码的复用率。

2. 描述符的访问规则

描述符分两种:

  •  数据描述符:实现了__get__ 和 __set__ 两种方法的描述符
  •  非数据描述符:只实现了__get__ 一种方法的描述符

你一定会问,他们有什么区别呢?网上的讲解,我看过几个,很多都把一个简单的东西讲得复杂了。

其实就一句话,数据描述器和非数据描述器的区别在于:它们相对于实例的字典的优先级不同。

如果实例字典中有与描述符同名的属性,如果描述符是数据描述符,优先使用数据描述符,如果是非数据描述符,优先使用字典中的属性。

这边还是以上节的成绩管理的例子来说明,方便你理解。 

  1. # 数据描述符  
  2. class DataDes:  
  3.     def __init__(self, default=0):  
  4.         self._score = default  
  5.     def __set__(self, instance, value):  
  6.         self._score = value  
  7.     def __get__(self, instance, owner):  
  8.         print("访问数据描述符里的 __get__")  
  9.         return self._score  
  10. # 非数据描述符  
  11. class NoDataDes:  
  12.     def __init__(self, default=0):  
  13.         self._score = default  
  14.     def __get__(self, instance, owner):  
  15.         print("访问非数据描述符里的 __get__")  
  16.         return self._score  
  17. class Student:  
  18.     math = DataDes(0)  
  19.     chinese = NoDataDes(0)  
  20.     def __init__(self, name, math, chinese):  
  21.         self.name = name  
  22.         self.math = math  
  23.         self.chinese = chinese      
  24.      def __getattribute__(self, item):  
  25.         print("调用 __getattribute__") 
  26.         return super(Student, self).__getattribute__(item)     
  27.      def __repr__(self):  
  28.         return "<Student: {}, math:{}, chinese: {},>".format(  
  29.                 self.name, self.math, self.chinese) 

需要注意的是,math 是数据描述符,而 chinese 是非数据描述符。从下面的验证中,可以看出,当实例属性和数据描述符同名时,会优先访问数据描述符(如下面的math),而当实例属性和非数据描述符同名时,会优先访问实例属性(__getattribute__) 

  1. >>> std = Student('xm', 88, 99)  
  2. >>>   
  3. >>> std.math  
  4. 调用 __getattribute__  
  5. 访问数据描述符里的 __get__  
  6. 88  
  7. >>> std.chinese  
  8. 调用 __getattribute__  
  9. 99 

讲完了数据描述符和非数据描述符,我们还需要了解的对象属性的查找规律。

当我们对一个实例属性进行访问时,Python 会按 obj.__dict__ → type(obj).__dict__ → type(obj)的父类.__dict__ 顺序进行查找,如果查找到目标属性并发现是一个描述符,Python 会调用描述符协议来改变默认的控制行为。

3. 基于描述符如何实现property

经过上面的讲解,我们已经知道如何定义描述符,且明白了描述符是如何工作的。

正常人所见过的描述符的用法就是上面提到的那些,我想说的是那只是描述符协议最常见的应用之一,或许你还不知道,其实有很多 Python 的特性的底层实现机制都是基于 描述符协议 的,比如我们熟悉的@property 、@classmethod 、@staticmethod 和 super 等。

先来说说 property 吧。

有了前面的基础,我们知道了 property 的基本用法。这里我直接切入主题,从第一篇的例子里精简了一下。 

  1. class Student:  
  2.     def __init__(self, name):  
  3.         self.name = name  
  4.     @property  
  5.     def math(self):  
  6.         return self._math  
  7.     @math.setter  
  8.     def math(self, value):  
  9.         if 0 <= value <= 100:  
  10.             self._math = value  
  11.         else:  
  12.             raise ValueError("Valid value must be in [0, 100]") 

不防再简单回顾一下它的用法,通过property装饰的函数,如例子中的 math 会变成 Student 实例的属性。而对 math 属性赋值会进入 使用 math.setter 装饰函数的逻辑代码块。

为什么说 property 底层是基于描述符协议的呢?通过 PyCharm 点击进入 property 的源码,很可惜,只是一份类似文档一样的伪源码,并没有其具体的实现逻辑。

不过,从这份伪源码的魔法函数结构组成,可以大体知道其实现逻辑。

这里我自己通过模仿其函数结构,结合「描述符协议」来自己实现类 property 特性。

代码如下: 

  1. class TestProperty(object):  
  2.     def __init__(self, fget=Nonefset=Nonefdel=Nonedoc=None):  
  3.         self.fget = fget  
  4.         self.fset = fset  
  5.         self.fdel = fdel  
  6.         self.__doc__ = doc  
  7.     def __get__(self, obj, objtype=None):  
  8.         print("in __get__")  
  9.         if obj is None:  
  10.             return self  
  11.         if self.fget is None:  
  12.             raise AttributeError  
  13.         return self.fget(obj)  
  14.     def __set__(self, obj, value):  
  15.         print("in __set__")  
  16.         if self.fset is None:  
  17.             raise AttributeError  
  18.         self.fset(obj, value)  
  19.     def __delete__(self, obj):  
  20.         print("in __delete__")  
  21.         if self.fdel is None:  
  22.             raise AttributeError  
  23.         self.fdel(obj)  
  24.     def getter(self, fget):  
  25.         print("in getter")  
  26.         return type(self)(fget, self.fset, self.fdel, self.__doc__)  
  27.     def setter(self, fset):  
  28.         print("in setter")  
  29.         return type(self)(self.fget, fset, self.fdel, self.__doc__)  
  30.     def deleter(self, fdel):  
  31.         print("in deleter")  
  32.         return type(self)(self.fget, self.fset, fdel, self.__doc__) 

然后 Student 类,我们也相应改成如下 

  1. class Student:  
  2.     def __init__(self, name):  
  3.         self.name = name  
  4.     # 其实只有这里改变  
  5.     @TestProperty  
  6.     def math(self):  
  7.         return self._math  
  8.     @math.setter  
  9.     def math(self, value):  
  10.         if 0 <= value <= 100:  
  11.             self._math = value  
  12.         else:  
  13.             raise ValueError("Valid value must be in [0, 100]") 

为了尽量让你少产生一点疑惑,我这里做两点说明:

  1.  使用TestProperty装饰后,math 不再是一个函数,而是TestProperty 类的一个实例。所以第二个math函数可以使用 math.setter 来装饰,本质是调用TestProperty.setter 来产生一个新的 TestProperty 实例赋值给第二个math。

       2.  第一个 math 和第二个 math 是两个不同 TestProperty 实例。但他们都属于同一个描述符类(TestProperty),当对 math 对于赋值时,就会进入 TestProperty.__set__,当对math 进行取值里,就会进入 TestProperty.__get__。仔细一看,其实最终访问的还是Student实例的 _math 属性。

说了这么多,还是运行一下,更加直观一点。 

  1. # 运行后,会直接打印这一行,这是在实例化 TestProperty 并赋值给第二个math  
  2. in setter  
  3. >>>  
  4. >>> s1.math = 90  
  5. in __set__  
  6. >>> s1.math  
  7. in __get__  
  8. 90 

对于以上理解 property 的运行原理有困难的同学,请务必参照我上面写的两点说明。如有其他疑问,可以加微信与我进行探讨。

4. 基于描述符如何实现staticmethod

说完了 property ,这里再来讲讲  @classmethod 和 @staticmethod 的实现原理。

我这里定义了一个类,用了两种方式来实现静态方法。 

  1. class Test:  
  2.     @staticmethod  
  3.     def myfunc():  
  4.         print("hello")  
  5. # 上下两种写法等价  
  6. class Test:  
  7.     def myfunc():  
  8.         print("hello")  
  9.     # 重点:这就是描述符的体现  
  10.     myfunc = staticmethod(myfunc) 

这两种写法是等价的,就好像在 property 一样,其实以下两种写法也是等价的。 

  1. @TestProperty  
  2. def math(self):  
  3.     return self._math  
  4. math = TestProperty(fget=math

话题还是转回到 staticmethod 这边来吧。

由上面的注释,可以看出 staticmethod 其实就相当于一个描述符类,而myfunc 在此刻变成了一个描述符。关于 staticmethod 的实现,你可以参照下面这段我自己写的代码,加以理解。

调用这个方法可以知道,每调用一次,它都会经过描述符类的 __get__ 。 

  1. >>> Test.myfunc()  
  2. in staticmethod __get__  
  3. hello  
  4. >>> Test().myfunc()  
  5. in staticmethod __get__  
  6. hello 

5. 基于描述符如何实现classmethod

同样的 classmethod 也是一样。 

  1. class classmethod(object):  
  2.     def __init__(self, f):  
  3.         self.f = f 
  4.     def __get__(self, instance, owner=None):  
  5.         print("in classmethod __get__")       
  6.          def newfunc(*args):  
  7.             return self.f(owner, *args)  
  8.         return newfunc  
  9. class Test:  
  10.     def myfunc(cls):  
  11.         print("hello")        
  12.      # 重点:这就是描述符的体现  
  13.     myfunc = classmethod(myfunc) 

验证结果如下 

  1. >>> Test.myfunc()  
  2. in classmethod __get__  
  3. hello  
  4. >>> Test().myfunc()  
  5. in classmethod __get__  
  6. hello 

讲完了 property、staticmethod和classmethod 与 描述符的关系。我想你应该对描述符在 Python 中的应用有了更深的理解。对于 super 的实现原理,就交由你来自己完成。

6. 所有实例共享描述符

通过以上内容的学习,你是不是觉得自己已经对描述符足够了解了呢?

可在这里,我想说以上的描述符代码都有问题。

问题在哪里呢?请看下面这个例子。 

  1. class Score:  
  2.     def __init__(self, default=0):  
  3.         self._value = default  
  4.     def __get__(self, instance, owner):  
  5.         return self._value 
  6.     def __set__(self, instance, value):  
  7.         if 0 <= value <= 100:  
  8.             self._value = value  
  9.         else: 
  10.              raise ValueError  
  11. class Student:  
  12.     math = Score(0)  
  13.     chinese = Score(0)  
  14.     english = Score(0)  
  15.     def __repr__(self):  
  16.         return "<Student math:{}, chinese:{}, english:{}>".format(self.math, self.chinese, self.english) 

Student 里没有像前面那样写了构造函数,但是关键不在这儿,没写只是因为没必要写。

然后来看一下会出现什么样的问题呢 

  1. >>> std1 = Student()  
  2. >>> std1  
  3. <Student math:0, chinese:0, english:0>  
  4. >>> std1.math = 85  
  5. >>> std1  
  6. <Student math:85, chinese:0, english:0>  
  7. >>> std2 = Student()  
  8. >>> std2 # std2 居然共享了std1 的属性值  
  9. <Student math:85, chinese:0, english:0>  
  10. >>> std2.math = 100  
  11. >>> std1 # std2 也会改变std1 的属性值  
  12. <Student math:100, chinese:0, english:0> 

从结果上来看,std2 居然共享了 std1 的属性值,只要其中一个实例的变量发生改变,另一个实例的变量也会跟着改变。

探其根因,是由于此时 math,chinese,english 三个全部是类变量,导致 std2 和 std1 在访问 math,chinese,english 这三个变量时,其实都是访问类变量。

问题是不是来了?小明和小强的分数怎么可能是绑定的呢?这很明显与实际业务不符。

使用描述符给我们制造了便利,却无形中给我们带来了麻烦,难道这也是描述符的特性吗?

描述符是个很好用的特性,会出现这个问题,是由于我们之前写的描述符代码都是错误的。

描述符的机制,在我看来,只是抢占了访问顺序,而具体的逻辑却要因地制宜,视情况而定。

如果要把 math,chinese,english  这三个变量变成实例之间相互隔离的属性,应该这么写。 

  1. class Score:  
  2.     def __init__(self, subject):  
  3.         self.name = subject  
  4.     def __get__(self, instance, owner):  
  5.         return instance.__dict__[self.name]  
  6.     def __set__(self, instance, value):  
  7.         if 0 <= value <= 100:  
  8.             instance.__dict__[self.name] = value  
  9.         else:  
  10.             raise ValueError  
  11. class Student:  
  12.     math = Score("math")  
  13.     chinese = Score("chinese")  
  14.     english = Score("english") 
  15.     def __init__(self, math, chinese, english):  
  16.         self.math = math  
  17.         self.chinese = chinese  
  18.         self.english = english 
  19.     def __repr__(self):  
  20.         return "<Student math:{}, chinese:{}, english:{}>".format(self.math, self.chinese, self.english) 

引导程序逻辑进入描述符之后,不管你是获取属性,还是设置属性,都是直接作用于 instance 的。

这段代码,你可以仔细和前面的对比一下。

不难看出:

  •  之前的错误代码,更像是把描述符当做了存储节点。
  •  之后的正确代码,则是把描述符直接当做代理,本身不存储值。

以上便是我对描述符的全部分享,希望能对你有所帮助。 

 

责任编辑:庞桂玉 来源: 菜鸟学Python
相关推荐

2020-08-24 15:25:27

Python 开发运维

2019-11-07 09:57:47

架构运维技术

2020-10-07 15:15:41

Python

2010-08-17 14:56:00

HCNE认证

2011-04-15 12:25:21

BGP路由

2016-05-30 17:31:34

Spring框架

2018-10-21 15:36:13

UI适配iOS

2021-12-15 09:20:10

语言面试目录

2017-09-15 15:48:12

Python面向对象技术类与对象

2018-01-16 12:31:33

Python爬虫数据

2010-09-02 10:11:11

华为认证

2010-08-18 10:52:46

Linux笔试

2020-10-19 07:51:25

Linux软件

2023-12-22 15:32:20

2021-04-19 08:35:44

PythonPython语言Python基础

2021-01-18 10:33:53

Java反射模块

2010-07-27 15:49:28

Flex

2009-12-18 17:34:38

Ruby线程

2010-06-17 16:42:04

UML

2009-08-06 17:42:32

C#知识点
点赞
收藏

51CTO技术栈公众号