FPGA对比GPU,优劣势与应用场景分析

开发 前端
FPGA在数据中心的应用方面不断增长,但如何在其他应用程序中利用FPGA呢?

1 引言

全球领先的半导体公司AMD(AMD)在2021年以350亿美元收购了芯片制造商Xilinx(XLNX),这是AMD继收购ATI Technologies以来的又一次重大收购。不过,在深度学习领域中,大多数情况下GPU被认为是比FPGA更加强大。那么,AMD为什么会花费350亿美元收购Xilinx,而不进一步提升自己的GPU呢?进一步投资和开发GPU有助于增强自身的竞争力,尤其是在数据中心领域,竞对NVIDIA公司似乎有着非常雄心勃勃的计划。

2 GPU和FPGA在不同应用场景下的优劣势

确实,在许多情况下,GPU可以为一些应用程序提供更好的性能。对于数十亿美元的深度学习市场而言,GPU在训练方面可以提供无与伦比的性能,每个DL模型(深度学习模型)只需进行一次训练,需要几天或者几周。在DL推理(即图像分类)的情况下,GPU也提供了高性能(即以每秒帧数为单位衡量的图像吞吐量)。MLCommons提供了一种公认的基准,用于公平比较数据中心、移动计算和边缘应用的多个计算平台。在最新版本的MLCommons中,GPU在大多数类别中以吞吐量的形式占主导地位,具有更高的吞吐量表现,可以更高效地处理数据和算法。

然而,在许多应用程序中,除了原始处理能力之外,其他要求可能更为重要。例如,在移动或嵌入式应用程序中,能量效率(即处理能力/瓦)更为重要,特别是当设备由电池供电时。此外,在许多边缘设备或嵌入式系统中,延迟也是至关重要的。在这种情况下,FPGA具有更多的竞争优势,因为它们提供了非常低的延迟和更好的能量效率。特别是来自英特尔(S10 NG)和Xilinx Versal的新FPGA,它们集成了专门设计的AI引擎,可以提供高吞吐量(特别是在低批量大小情况下)、低延迟和高能量效率的绝佳组合。

图片图片

上图是NVIDIA V100和NVIDIA T4在不同批次大小下与Intel Stratix 10 NX FPGA上的NPU性能比较。参考文献:A. Boutros等人的论文“超越峰值性能:比较AI优化的FPGA和GPU的实际性能,FPT 2020”。

3 FPGA在数据中心中的广泛应用及案例介绍

在许多情况下,GPU仍然可以提供更好的性能,特别是在处理大批量数据时。虽然FPGA在一些特定应用场景下具有优势,但是在其他情况下,GPU仍然是更好的选择。那么回到问题,为什么AMD要花这么多钱购买FPGA呢?

答案可能来自于FPGA在数据中心中的最近受到广泛采用的情况。微软Azure是第一批采用FPGA加速其自身应用程序的云供应商之一。Project Catapult是第一个商业部署FPGA的创新项目。可配置的云架构在网络交换机和服务器之间放置了一层可重构逻辑(FPGA),使网络流能够以线速率“可编程转换”,从而加速在服务器上运行的本地应用程序,并使FPGA能够直接在数据中心范围内通信,以收集未被其本地服务器使用的远程FPGA。例如,微软可以利用服务器中的FPGA加速Bing网络搜索排名。FPGA在数据中心中的应用范围越来越广泛,这也许是AMD购买FPGA的原因之一。

图片图片

上图是Project Catapult,来源:Adrian M. Caulfield等人的论文“云规模加速架构”

微软Azure宣布了在Azure Synapse中利用FPGA用于Apache Spark。根据Azure的数据,数据格式CSV、JSON和Parquet占了90%的客户工作负载。解析CSV和JSON数据格式非常耗费CPU资源,通常占据查询的70%至80%。因此,微软Azure使用FPGA加速CSV解析。FPGA解析器读取CSV数据,对其进行解析,并生成一个接近Apache Spark内部行格式(即Tungsten)的VStream格式化二进制数据。虽然FPGA解析器在FPGA级别的内部原始性能为8GB/秒,但在端到端应用程序中还无法实现全部性能。通过这种方式,他们成功提高了Apache Spark的性能。FPGAs也可用于加速Spark应用程序的机器学习,在这些应用程序中,FPGA可以加速诸如特征提取、模型推理和数据增强等任务。

AWS是第一个宣布向终端用户提供FPGA的云供应商,于2017年推出了f1实例。FPGA开发人员可以将其设计上传到AWS市场。AWS宣布在Redshift AQUA上利用FPGA,在这项服务中,FPGA硬件执行数据集过滤和聚合。过滤可以删除数据集中不需要的信息,以创建子集;而聚合则提供记录中的总和、计数、平均值等信息。结果是向Redshift群集发送的数据量更少。由于进行了预处理,所以集群要处理的工作更少,可以将某些子查询处理卸载到AQUA节点,从而提高性能和效率。这种使用FPGA的方式在AWS的Redshift AQUA中被称为“自适应缩放”,它可以根据查询的复杂度和数据集的大小来动态分配FPGA资源。

图片图片

上图是Redshift AQUA使用FPGA和ASIC进行内联处理。

4 FPGA在其他应用场景中的挑战及解决方案

FPGA在数据中心的应用方面不断增长,但如何在其他应用程序中利用FPGA呢?

关键要实现更简单的FPGA部署、无缝扩展和自动资源管理。相比之下,GPU能提供易于部署、扩展和资源管理的丰富生态系统工具和方法(例如run.ai)。然而,到目前为止,FPGA的部署仍然具有挑战性,因为用户必须熟悉FPGA技术(比特流、配置文件、内存分配、LUT等)。因此,关键问题在于如何实现一种技术,让软件用户能够利用FPGA加速其应用程序,而无需先前的FPGA知识。这就是为什么InAccel的编排器提供了一种独特的技术,使任何人都能像调用软件函数一样利用FPGA的强大功能。InAccel编排器让人可以轻松地部署、扩展和资源管理FPGA集群,同时还能与任何应用程序和框架(Spark、Ray、Keras、Scikit-learn等)进行集成。这种技术的出现使FPGA在广泛的应用场景中更易于使用和普及。

例如,使用容器的强大功能,用户可以仅使用一行代码即可立即加速压缩应用程序。

docker inaccel run -e PWD -t inaccel/apps:xilinx gzip-compression

或者可以使用免费演示工具在线评估加速器的性能:

http://compression.inaccel.com/

https://studio.inaccel.com/

责任编辑:武晓燕 来源: Java学研大本营
相关推荐

2018-08-29 15:23:18

数据库NoSQLMongoDB

2016-08-31 14:15:28

R语言Excel数据分析

2015-08-17 14:48:38

LiFiLiFi网络优劣势解析

2013-10-15 10:45:26

VDIBYOD

2020-08-24 15:36:26

Hadoop大数据数据

2011-09-22 09:55:40

投影仪评测

2022-08-10 07:05:35

vscodePyCharm开发工具

2011-10-31 13:06:10

2011-06-16 11:46:25

投影机技巧

2013-08-26 10:21:31

Android制造商分析

2018-10-31 12:51:04

2010-05-27 09:33:33

虚拟化技术

2015-05-26 09:15:14

开源PaaS 云平台Cloud Found

2015-07-08 09:19:56

HaaSHadoop即服务云端Hadoop

2023-03-06 16:29:56

2013-05-31 09:37:30

2010-05-21 16:36:09

GoogleCode

2017-11-24 12:18:35

IaaS云服务云平台

2022-08-10 14:03:01

MySQL数据库存储

2020-03-06 20:00:06

人工智能AI
点赞
收藏

51CTO技术栈公众号