Databricks与Snowflake究竟有哪些差别?

译文 精选
开发 架构
本文先介绍了数据处理的相关概念和整个生态系统,然后着重对比Databricks 和Snowflake在架构、定价、安全性、合规性、数据支持、数据保护、以及性能等方面的主要区别。

译者 | 陈峻

审校 | 孙淑娟

一、云数据仓库、数据湖和湖仓一体之间的区别

1.数据仓库

作为一种分析类中央存储库,数据仓库可用于存储已结构化、且已过滤的数据。而作为数据仓库典型用户的数据分析师,他们通常拥有着丰富的SQL知识、以及数据处理能力。他们通过对仓库里的数据进行优化和转换,可实现快速地访问、查询和分析,并在此基础上获取洞见,并构建出仪表板和数据报告,进而推动业务成果的转换。

2.数据湖

2000年初,最初被Yahoo和Google等大型互联网公司采用的数据湖,虽然与数据仓库的数据收集与存储功能类似,但是,它旨在处理大量原始的、非结构化的、以及半结构化的大数据。因此,与仓库相比,数据湖通常可以容纳更多的数据,并能够处理更多的用例。

在大多数情况下,各种未经处理的原始数据,会被直接加载到数据湖中,因此它需要具有专业知识的数据科学家,对数据进行后续操作和转换。正是由于数据湖非常擅长处理各种实时摄取的数据流,因此它的一个典型用例是:以批处理的方式,启用自助服务式(self-service)的ELT,并对数据进行自动化的处理、调度、构建、以及维护各个数据管道的复杂性。

3.湖仓一体(Data Lakehouse)

不同于简单的数据仓库和数据湖架构,湖仓一体通常被认为是一种高度重视开放式的数据管理新架构。它的目标是通过将上述两者组合到一个平台上,直接对数据湖本身运行分析,以消除多个查询引擎的繁琐。

二、什么是Snowflake?

作为一种基于云端的数据仓库,Snowflake专为在AWS、Microsoft Azure和Google Cloud Platform(GCP)等主流云服务提供商上运行的数据业务所构建。它是一种软件即服务(SaaS)的解决方案,能够使企业将收集到数据整合到集中位置,以便进行分析。

Snowflake被认为是云数据仓库行业中最大的公司之一。它提供了为支持商业智能用例而构建的自助式服务平台,并且允许用户利用SQL来查询数据,并创建可以推动业务决策的仪表板和报告。

三、什么是Databricks?

与Snowflake类似,Databricks也是一个基于云端的数据平台。但是它属于数据湖类型,而非数据仓库。当然,Databricks如今已扩展到了湖仓一体化的范畴。如果说Snowflake专注于分析和报告的话,那么Databricks更多重视的是机器学习、数据科学、以及数据流使用案例。由于能够支持多种开发语言,因此Databricks更适合于数据工程师和数据科学家。

作为一个基于Apache Spark的大数据平台,Databricks主要被用于存储大量未经处理的原始数据。简单而言,它围绕着Apache Spark的分布式计算框架,构建了数据管理层,并消除了人员管理和维护基础设施的负担。

四、架构

1.Snowflake

Snowflake是一种基于ANSI SQL的无服务器解决方案,并具有完全分离的存储和计算处理层。Snowflake利用大规模的并行处理(Massively Parallel Processing,MPP)来处理查询,每个单独的虚拟仓库(即计算集群)都在本地存储着整个数据集的一部分。Snowflake使用微分区(Micro Partitions)的方式,在内部将数据组织并优化为已压缩的列格式,以便它们被保存到云端存储处。

Snowflake能够以自动化的方式,管理文件大小、压缩、结构、元数据、统计信息、以及其他用户不可见、且只能通过SQL查询和访问到的数据对象。Snowflake中的所有处理,都使用被称为虚拟仓库的计算集群来完成。这些集群往往由多个MPP节点所组成。

作为一种SaaS解决方案,Snowflake在后端管理着大量来自用户请求、基础设施、元数据、身份验证、查询解析、访问控制、以及优化等方面的内容。由于能够跑在AWS、GCP和Azure三大云平台上,因此Snowflake的仓库技术能够方便用户非常便捷地使用SQL进行快速查询。

2.Databricks

同属于SaaS方案且能够跑在AWS、GCP和Azure的Databricks,却在架构上完全不同。它源于Spark,是一种围绕着单个节点或集群所构建的、可以被部署在云端的多语言引擎。Databricks可以运行在控制层面和数据层面之外。其中,数据层面包括了待处理的所有数据,而控制层面包括了由Databricks管理的所有后端服务。与Snowflake类似,Databricks也是无服务器的,因此能够支持近乎无限的并发请求。

总的说来,Databricks架构包含了如下核心组件:

(1)Databricks的Delta Lake

Delta Lake是Databricks的数据仓库版本。它作为一个额外的存储系统,运行在传统的数据湖之上。Delta Lake的核心是将现有数据湖上的流式和批处理统一起来,充当Spark计算和云存储之间的中间地带。Delta Lake架构包含如下三种类型的数据表:

  • 青铜表:原始数据
  • 白银表:稍做“提纯”的数据,但尚未准备好被使用
  • 黄金表:已提纯且可以使用的数据

Delta在各张表中所保存的所有数据,都会以parquet文件形式,被保存在云存储中。

(2)Databricks的Delta Engine

Delta Engine是一个与Apache Spark相兼容的高性能查询引擎,可协助处理Delta Lake中的数据。它通过其改进的查询优化器,针对SQL和DataFrame的工作负载,提高了Delta Lake的整体性能。由C++编写的该优化器,被策略性地放置在了执行层和云对象存储之间,充当着缓存层和执行引擎的作用。

(3)Notebooks

Notebooks包含着可运行的代码、可视化且可描述的文本。它们可以通过基于Web的界面被访问到。借助各种Notebooks,开发者可以使用Scala、R、SQL、以及Python语言,以协作的方式构建不同的模型。

(4)MLFlow

MLflow是由Databricks创建的另一个开源平台,可用于配置机器学习的环境,并从Spark、TensorFlow、ONNX等现有库中运行测试,以实现大规模、可靠地管理机器学习和数据科学等生命周期。MLFlow具有三个核心组件,分别是:实验跟踪、模型管理和模型开发。

五、可扩展性

1.Snowflake

Snowflake具有自动扩展和自动挂起两种功能,可以在空闲和忙碌期间启停集群。虽然在Snowflake中,开发者无法任意调整节点的大小,但是可以通过单击,来自动扩展出多达10个仓库。当然,在单个表中每个队列的DML被限制为20个。

2.Databricks

Databricks也具有自动扩展的功能。也就是说,集群会根据单个查询和用户并发的实际使用情况,自动扩缩容。不过,由于Databricks主要是为数据科学家设计的,其UI较为复杂,因此用户调整起来会略显费劲。

六、安全与合规

无论是在Snowflake中,还是在Databricks中,所有静态存储的数据都会被自动加密。它们都提供了RBAC(role-based access control,基于角色的访问控制),都能够符合诸如:SOC 2 Type II、ISO 27001、HIPAA、以及GDPR等各种法规和认证。

不过,不同于Snowflake,Databricks并没有存储层,开发者需要使用的是诸如AWS S3、Azure Blob Storage、Google Cloud Storage等对象级存储。

七、数据支持

Snowflake和Databricks都支持半结构化(如:Parquet、Avro、Orc、CSV、以及JSON)和结构化的数据。Snowflake于2021年9月宣布支持非结构化的数据。而在湖仓一体方面,Databricks还可以处理任何时间类型或格式的数据,其中就包含了非结构化的数据。由于Databricks支持多种开发语言,因此它在该领域占有优势。它的Spark引擎更适合于处理数据流、ML、AI、以及与数据科学工作相关的负载。而由于Snowflake最初是作为一种数据分析工具被设计的,因此其核心能力源于SQL。显然,SQL以处理数据转换见长。当然,Snowflake最近也宣布了通过引入Snowpark来支持Python、Java和Scala等语言。

八、管理

Databricks已经消除了大量与管理、操作Spark相关的基础设施工作,但是用户仍然需要通过大量的手动输入,来调整集群大小、更新配置、以及切换计算选项。可见,Databricks的门槛较高,学习曲线较为陡峭。

而基于SQL的Snowflake更为简单,用户只需单击几下鼠标,即可开始使用。同时,Snowflake还提供了针对对象、角色、用户、权限、以及访问等方面的精细控制。而Databricks除了执行常规作业之外,也允许用户实施保护日志、控制作业属性、以及所有权。

九、数据保护

1.Snowflake

Snowflake有两个独特的功能--时间旅行(Time Travel)和故障安全(Fail-safe)。其中,时间旅行功能是在数据更新之前,保留数据的状态。一般而言,时间旅行仅限于1天之内,但是企业客户则可以指定最多90天的时间跨度。该功能可被应用到数据表、模式和数据库上。而故障安全是指,在时间旅行保留期结束后的7天期限内,可保护和恢复历史数据。

2.Databricks

Databricks的Delta Lake也具有时间旅行的功能。其工作方式与Snowflake非常相似。在Delta Lake中存储的数据会被自动实施版本控制,以便用户按需访问或使用该数据的历史版本。Databricks的主要优势之一在于,由于它运行在基于对象级存储的Spark上,因此其本身无需存储任何数据,也就省去了各种本地用例。

十、售价

1.Snowflake

Snowflake采取的是基于个人仓库使用情况的计费模式。由于各种仓库有着X-Small、Small、Medium、Large、X-Large等多种尺寸,因此它们在规模成本和服务器集群数量上有着很大的差异。X-small类型的Snowflake仓库的基本定价,从大约每秒0.0003积分或每小时1积分开始。而Snowflake标准版上的X-Small仓库的按需使用模式,则是从每积分2美元起售。

随着仓库规模的使用量递增,成本和积分的消耗也会增加。对此,Snowflake提供了几个版本,来根据使用情况让用户预购积分。通常情况下,预购容量的模式会比按需模式的费率更低。按需存储的售价为每月40美元,前端客户则为每TB 23美元。当然,积分的成本也会因业务层级的不同,而有所差别。

2.Databricks

与Snowflake相比,Databricks提供的存储要便宜得多。毕竟所有内容都被存储在客户自己的对象级存储环境中。由于其中的部分数据可能不需要被频繁访问,因此我们可以对它们进行高度优化。例如,S3中的存储起售价为每TB 23美元。而且根据数据规模和访问频率的需求,此类费用可能会大幅降低。

Databricks是基于DBU(Databricks处理单元)定价的,其中包括经典、高级和企业三种商业价格等级。价格区间会从每个DBU 0.07美元到0.65美元不等,具体取决于DBU的大小。

十一、云基础设施

作为托管式SaaS服务,Snowflake和Databricks无论在启动,还是在运行后端基础架构等方面都处理得不错。而且,这两种解决方案都可以在多个不同的云环境中运行。当然,基于Spark的Databricks,需要更多的手动输入和微调,才能充分发挥其潜能。

十二、性能

由于Snowflake和Databricks支持的用例各不相同,因此,我们很难简单断言哪个性能更好。值得注意的是,Snowflake在数据访问时,优化了所有的存储,更适合交互式查询。

十三、Databricks和Snowflake的主要区别

Snowflake在处理生产级商业智能负载方面非常强大,这些负载往往需要以一致性的方法,运行或生成报告和仪表板。因此,Snowflake可以取代传统的数据仓库,并提供更快的性能。

不过,基于SQL的Snowflake并没有针对处理大量数据(特别是流式用例)进行优化。它以简单的方式,协助数据分析师将数据民主化(democratize),进而扩展并处理更多的负载。当然,其核心用例仍然是数据仓库。

作为基于Spark的解决方案,Databricks的湖仓一体平台支持更广泛的功能需求,特别是:ELT、数据科学、以及机器学习等方面。Databricks允许开发者将数据保存在自己的托管对象存储中,并提供了托管式Delta Lake(数据处理引擎)和Delta Engine(SQL查询引擎)良好使用体验。

通过Databricks的Delta Lake和Delta Engine平台,开发者虽然基本可以实现由Snowflake提供的所有功能,但是鉴于它是一个复杂的工具,开发者仍然需要花时间去优化和构建功能齐全的湖仓一体化。同时,Databricks也会比Snowflake更需要用户投入维护时间和经历。

总而言之,Databricks和Snowflake数据平台都可以支持高性能的SQL查询与数据处理。其中,Databricks提供了所有部件和说明手册,来设置一整套功能齐全的湖仓一体化,因此更善于处理数据工程、ETL/ELT、数据科学和数据流负载;而Snowflake则通过各种预构建的工具,处理生产环境中的数据,以供后期分析使用。

原文链接:https://dzone.com/articles/databricks-vs-snowflake-the-definitive-guide

译者介绍

陈峻 (Julian Chen),51CTO社区编辑,具有十多年的IT项目实施经验,善于对内外部资源与风险实施管控,专注传播网络与信息安全知识与经验;持续以博文、专题和译文等形式,分享前沿技术与新知;经常以线上、线下等方式,开展信息安全类培训与授课。

责任编辑:武晓燕 来源: 51CTO技术栈
相关推荐

2012-11-12 10:38:45

BYODVPN

2017-03-09 15:01:41

混合云企业好处

2013-01-08 10:02:26

虚拟化云计算

2011-08-25 12:51:02

2009-03-13 08:56:31

Symbian手机OS诺基亚

2024-01-15 07:14:37

kubernetesk8sLTS

2019-11-21 13:15:52

人脸识别AI人工智能

2013-01-06 09:55:36

虚拟化云计算

2021-08-27 08:51:47

MyISAMInnoDB索引

2021-02-23 19:29:57

智能网卡SmartNIC网络

2017-12-07 20:20:58

802.11ax无线AP锐捷

2021-01-17 16:29:51

C++Python语言

2019-02-22 08:32:21

IPv6互联网IPv4

2020-03-24 14:48:12

DevOps敏捷区别

2021-10-11 15:57:49

物联网5G技术

2012-07-23 10:19:08

微软Azure云计算

2015-10-14 17:54:01

容器虚拟机云服务

2019-07-09 10:31:51

面试通信进程

2013-09-02 10:02:01

大数据

2022-10-26 09:02:07

致态
点赞
收藏

51CTO技术栈公众号