5种带你轻松分析Python代码的软件库

译文
开发 后端
Python提供了许多不同用途的软件库,可方便我们对应用代码进行分析,并找出导致缓慢运行的部分。本文将向您介绍五个可以在PyPI或Python标准库中轻松获得,且能够跨平台运行的软件库。

【51CTO.com快译】通常,人们会使用两种速度来衡量某种编程语言的优劣,即:开发速度和执行速度。对于Python而言,大家往往受益的是它能够快速地编写代码,而忽略了它是否能够快速地运行,并及时完成既定的任务。因此,在出现程序运行缓慢时,我们有必要从代码层面上,找出拖慢的位置和原因,并对其进行处理。

[[360188]]

好消息是,Python提供了许多不同用途的软件库,可方便我们对应用代码进行分析,并找出导致缓慢运行的部分。它们中,有的是只带有标准库的单行工具,有的是可以从运行程序中收集到统计信息的复杂框架。下面,我将向您介绍其中五个可以在PyPI或Python标准库中轻松获得,且能够跨平台运行的软件库。

1.Time和Timeit

有时候,您可能只想分析两个代码段从前一个结束到下一个开始运行,是需要几秒钟还是几分钟。对于这样的需求,您可能只需要一个秒表就足够了。

Python标准库带有两个可用作秒表的功能函数。其中,Time模块具有perf_counter功能。它可以调用操作系统的高精度定时器,以按需获得时间戳。其基本原理是:我们可以在目标操作开始前,调用一次time.perf_counter,然后在操作完成时,再调用一次,以获得两次的时间差。显然,这是一种非常简便易行的时间获取方式。

Timeit模块则是会对Python代码进行实质性的审查。它的timeit.timeit功能函数会截取一个代码段,通过运行多次(默认为1百万次),以获得执行该操作所需的平均时间。我们经常可以用它来确定在某个紧密的循环中,单一操作或函数的调用时长。例如,如果您想判定一个列表解析式(list comprehension)与一个常规列表结构,哪个在执行多次操作时会更快一些(列表解析式通常更快)。

当然,Time的不足之处在于它只是一个秒表,而Timeit的不足之处在于:其主要用例是各个行或代码块上的各个细微标准差(microbenchmarks)。也就是说,仅当这些代码被单独处理时,这种比较才会有意义。因此,这两种方法都不足以对整个程序进行分析。一旦出现数千行的代码,这两种方法都会耗费您大量的时间。

2.cProfile

Python标准库还带有一个整体程序分析器--cProfile。在程序运行时,cProfile会通过跟踪代码中的每个函数的调用,以生成一个包含了最常调用函数、以及平均调用时间的列表。

cProfile具有三大优势:

  • 由于它被包含在标准库中,因此现有的Python安装包已经包含了cProfile。
  • 它可以分析有关调用行为的许多不同统计信息。例如:它能够将函数调用自己的指令所花费的时间,与该函数所有的其他调用耗时区分开来。据此,您可以判定出到底是该函数本身运行缓慢,还是在其他调用时出现的缓慢。
  • 可以实现限定条件的自定义。也就是说,您既可以对整个程序的运行进行采样,又可以仅在指定的函数运行时启用概要分析(toggle profiling)。通过缩小范围和去除分析时产生的“噪声”,您可以更好地关注该函数的功能与调用。

cProfile的不足之处有:

  • 默认情况下,它会设置多个采集点,生成大量的统计信息。
  • 根据其执行模型,它在捕获每个函数调用时,都会产生大量的流量。因此cProfile不适合通过实时数据的方式,对生产环境中的应用程序进行性能分析。也就是说,它更适合于针对开发过程中的性能分析。

有关cProfile的更多详细信息

3.Pyinstrument

与cProfile的工作方式类似,Pyinstrument能够通过跟踪目标程序,以报告的形式,反映出那些占用了大部分运行时间的代码。不过,与cProfile相比,Pyinstrument的优点主要体现在如下两个方面:

  • Pyinstrument不会去勾连(hook)函数调用的每个实例,而是会以毫秒为间隔,对程序的调用栈进行采样,因此它能够灵敏地检测出程序中最耗费运行时的部分。
  • Pyinstrument的报告要简洁得多。它能够通过突出显示程序中占用时间最多的函数,以便您能尽快地发现问题,并专注分析原因。

Pyinstrument同样具有cProfile的各种优点。您可以将它用作应用程序中的对象,来记录所选功能,而不是整个程序的行为。Pyinstrument提供包括HTML格式在内的多种输出形式。当然,您也可以按需查看各个调用的完整时间线。

此外,如下两个方面值得您的注意:

  • 某些通过C编译的扩展程序(例如使用Cython创建的程序),会在通过命令行进行Pyinstrument调用时,可能无法正常工作。不过,如果您在程序本身使用了Pyinstrument,例如:通过使用Pyinstrument分析器的调用包装了main()函数,那么它们还是能够正常工作的。
  • Pyinstrument不能很好地处理在多个线程中运行的代码。此时,您可能需要考虑使用下面将要介绍到的Py-spy。

4.Py-spy

与Pyinstrument一样,Py-spy在工作原理上,也是定期采集程序调用栈的状态,而不是记录每一个调用。不过,与PyInstrument不同,Py-spy带有用Rust编写的核心组件(而Pyinstrument使用的是C扩展程序),运行的是带有分析程序的外进程(out-of-process),因此它可以安全地与生产环境中的代码协同使用。

Py-spy能够轻松地完成许多其他分析工具无法实现的任务,其中包括:分析多线程或带有子处理(subprocessed)机制的Python程序等。此外,Py-spy也可以分析那些使用符号进行过编译的C扩展程序。而对于使用了Cython编译的扩展程序,Py-spy需要使用对应生成的C文件,以便收集正确的跟踪信息。

我们可以使用如下两种基本方法,来利用Py-spy检查应用程序:

  • 使用Py-spy的record命令,并在运行结束后会生成火焰图(flame graph)。
  • 使用Py-spy的top命令,通过实时更新,交互式地显示Python应用程序的内部,并以与Unix的top工具相同的方式显示信息。而且那些单线程栈也可以通过命令行被显示出来。

不过,Py-spy的最大缺点之一是:它主要适用于从外部分析整个程序、或是某些组件,不适合对某个特定的功能函数进行采样。

5.Yappi

Yappi是Yet Another Python Profiler(“另一个Python分析工具”)的缩写。它在功能上,较上述讨论过的工具库只多不少。在默认情况下,PyCharm(译者注:一款为专业Python 开发人员准备的IDE)会已安装了Yappi,因此用户在IDE中已经具有了对于Yappi的内置访问权限。

要使用Yappi,您需要用指令来“修饰”目标代码,以便针对分析机制进行调用,启动,停止和生成报告。Yappi允许您根据测试的实际需求,在“经过时间(wall time)”或“CPU时间”之间进行选择。前者只是一个秒表;后者则可以通过系统原生API,记录下CPU在实际执行代码过程中的用时,以便调整I/O的暂停或线程的休眠。可见,CPU时间能够方便您更加精确地了解某些操作(例如:数字代码的执行)的实际用时。

通过Yappi提供的函数--yappi.get_thread_stats(),您可以记录任何一个线程活动,检索出对应的统计信息,并分别对其进行分析。您不但无需“修饰”线程代码,而且可以对统计数据进行过滤和细粒度的排序(类似于cProfile中的此类操作)。

此外,Yappi的独到之处在于,它可以分析greenlet和coroutine(协程)。作为一种分析并发代码的强大工具,它可以被广泛地用来分析异步metaphor。

原文标题:5 great libraries for profiling Python code,作者:Serdar Yegulalp

【51CTO译稿,合作站点转载请注明原文译者和出处为51CTO.com】

 

责任编辑:华轩 来源: 51CTO
相关推荐

2018-03-26 14:20:23

PythonMatplotlib数据可视化

2018-03-24 21:38:54

Python数据库数据可视化

2023-12-04 09:36:00

Python数据库

2018-10-13 09:02:25

Python 开发深度学习

2011-04-01 13:56:12

SQL Server数

2019-10-26 13:59:35

PythonRFM模型数据

2020-04-27 09:25:16

Python爬虫库数据科学

2020-05-28 13:11:37

Python编码 开发

2016-10-08 22:33:54

相关分析数据

2021-01-01 14:36:03

Python开发语言

2024-01-03 08:12:10

计算求和Python内置函数

2021-05-12 11:30:23

Python自然语言技术

2020-08-12 16:57:50

数据库亚马逊云科技

2020-10-25 08:56:31

数据分析数据大数据

2011-02-23 14:46:21

FileZilla

2021-03-30 09:01:07

Python模拟软件Python基础

2024-04-19 13:35:46

Fugue模块Python

2024-01-18 09:39:00

Python折线图时间序列分析

2019-01-16 18:39:24

数据开发模型

2020-12-30 10:55:01

代码Java二维码
点赞
收藏

51CTO技术栈公众号