7个提升PyTorch性能的技巧

开发 后端
为了帮助你训练得更快,这里有8个技巧,你应该知道它们可能会减慢你的代码。

在过去的10个月里,在PyTorch Lightning工作期间,团队和我已经接触过许多结构PyTorch代码的风格,我们已经发现了一些人们无意中引入瓶颈的关键地方。

我们非常小心地确保PyTorch Lightning不会对我们为你自动编写的代码犯任何这些错误,我们甚至会在检测到这些错误时为用户纠正这些错误。然而,由于Lightning只是结构化的PyTorch,而你仍然控制所有的PyTorch,因此在许多情况下,我们不能为用户做太多事情。

此外,如果不使用Lightning,可能会在无意中将这些问题引入代码。

为了帮助你训练得更快,这里有8个技巧,你应该知道它们可能会减慢你的代码。

在DataLoaders中使用workers

第一个错误很容易纠正。PyTorch允许同时在多个进程上加载数据。

在这种情况下,PyTorch可以通过处理8个批次绕过GIL锁,每个批次在一个单独的进程上。你应该使用多少workers?一个好的经验法则是:

  1. num_worker = 4 * num_GPU 

https://discuss.pytorch.org/t/guidelines-for-assigning-num-workers-to-dataloader/813/7这里对此有一个很好的讨论。

警告:缺点是你的内存使用也会增加

Pin memory

你知道有时候你的GPU内存显示它是满的但你很确定你的模型没有使用那么多?这种开销称为pinned memory。这个内存被保留为一种“working allocation”类型。

当你在一个DataLoader中启用pinned_memory时,它“自动将获取的数据张量放在pinned memory中,并使数据更快地传输到CUDA-enabled的gpu”

这意味着你不应该不必要的去调用:

  1. torch.cuda.empty_cache() 

避免CPU到GPU的传输,反之亦然 

  1. # bad.cpu()  
  2. .item()  
  3. .numpy() 

我看到大量使用.item()或.cpu()或.numpy()调用。这对于性能来说是非常糟糕的,因为每个调用都将数据从GPU传输到CPU,从而极大地降低了性能。

如果你试图清除附加的计算图,请使用.detach()。 

  1. # good.detach() 

这不会将内存转移到GPU,它会删除任何附加到该变量的计算图。

直接在GPUs上构建张量

大多数人都是这样在GPUs上创建张量的

  1. t = tensor.rand(2,2).cuda() 

然而,这首先创建CPU张量,然后将其转移到GPU……这真的很慢。相反,直接在想要的设备上创建张量。 

  1. t = tensor.rand(2,2, device=torch.device('cuda:0')) 

如果你正在使用Lightning,我们会自动把你的模型和批处理放到正确的GPU上。但是,如果你在代码的某个地方创建了一个新的张量(例如:为一个VAE采样随机噪声,或类似的东西),那么你必须自己放置张量。 

  1. t = tensor.rand(2,2, device=self.device) 

每个LightningModule都有一个方便的self.device调用,无论你是在CPU上,多 GPUs上,还是在TPUs上,lightning会为那个张量选择正确的设备。

使用DistributedDataParallel不要使用DataParallel

PyTorch有两个主要的模式用于在多 GPUs训练。第一种是DataParallel,它将一批数据分割到多个GPUs上。但这也意味着模型必须复制到每个GPU上,一旦在GPU 0上计算出梯度,它们必须同步到其他GPU。

这需要大量昂贵的GPU传输!相反,DistributedDataParallel在每个GPU(在它自己的进程中)上创建模型副本,并且只让数据的一部分对该GPU可用。这就像是让N个独立的模型进行训练,除了一旦每个模型都计算出梯度,它们就会在模型之间同步梯度……这意味着我们在每批处理中只在GPUs之间传输一次数据。

在Lightning中,你可以在两者之间轻松切换 

  1. Trainer(distributed_backend='ddp'gpus=8 
  2. Trainer(distributed_backend='dp'gpus=8

请注意,PyTorch和Lightning都不鼓励使用DP。

使用16-bit精度

这是另一种加快训练速度的方法,我们没有看到很多人使用这种方法。在你的模型进行16bit训练的部分,数据从32位变到到16位。这有几个优点:

  1.  你使用了一半的内存(这意味着你可以将batch大小翻倍,并将训练时间减半)。
  2.  某些GPU(V100, 2080Ti)可以自动加速(3 -8倍),因为它们针对16位计算进行了优化。

在Lightning中,这很简单: 

  1. Trainer(precision=16

注意:在PyTorch 1.6之前,你还必须安装Nvidia Apex,现在16位是PyTorch的原生版本。但如果你使用的是Lightning,它同时支持这两种功能,并根据检测到的PyTorch版本自动切换。

对你的代码进行Profile

如果没有Lightning,最后一条建议可能很难实现,但你可以使用cprofiler这样的工具来实现。然而,在Lightning中,你可以通过两种方式获得所有在训练期间所做的调用的总结:

首先,内置的basic profiler

  1. Trainer(profile=True

可以给出这样的输出:

或者是高级的profiler: 

  1. profiler = AdvancedProfiler()  
  2. trainer = Trainer(profilerprofiler=profiler) 

得到更小粒度的结果:

 

 

责任编辑:庞桂玉 来源: 机器学习算法与Python学习
相关推荐

2021-05-12 14:40:32

模型人工智能 PyTorch

2015-02-05 09:47:52

Web性能Web开发

2017-11-06 13:25:25

MySQL数据库技巧

2010-06-18 09:17:51

jQuery

2023-10-10 18:24:46

PostgreSQL性能RDBMS

2020-03-25 08:00:32

Kubernetes节点工作

2019-02-01 09:50:00

提升Python程序性能

2015-11-10 09:25:05

HTTP2提升性能

2024-01-02 18:01:12

SQLSELECT查询

2017-11-06 14:33:54

Web开发服务器网络

2018-07-06 16:26:11

编程语言Python程序性能

2014-05-21 13:51:37

Hyper-V网络性能

2015-12-14 10:39:14

2023-09-25 13:15:50

SQL数据库

2014-05-22 09:54:22

流量管理Hyper-V网络性能

2014-09-17 11:20:38

AndroidListView技巧

2021-12-29 11:06:25

Java代码技巧

2019-09-26 08:33:51

Nginx技术Java

2021-10-14 07:55:17

提示技巧C#

2023-09-26 12:02:34

C++循环
点赞
收藏

51CTO技术栈公众号