有了生命科学云,还需要集群吗?

译文
云计算
说到使用公有云,很少有市场领域比生命科学行业更有话要讲。在这个领域,由于生成和采集相关数据集的成本一路下跌,数据量急剧增长;虽然这意味着所需的计算资源数量随之增加,但是现在可供选择的办法比之前要多得多――无论从结合内部处理器核心和云集群方面来讲,还是从软件编排和应用程序方面来讲,都是如此。

说到使用公有云,很少有市场领域比生命科学行业更有话要讲。在这个领域,由于生成和采集相关数据集的成本一路下跌,数据量急剧增长;虽然这意味着所需的计算资源数量随之增加,但是现在可供选择的办法比之前要多得多――无论从结合内部处理器核心和云集群方面来讲,还是从软件编排和应用程序方面来讲,都是如此。

[[137337]]

用于基因组研究、药物发现及生命科学其他分支领域的许多广泛使用的生物信息应用程序可以并行处理,这让它们更加适合在云环境下运行。虽然所有的基本要素似乎已落实到位(至少乍一看是这样),尤其是由于亚马逊网络服务及其他大规模云资源提供商在借助异常先进的数据管理、应用程序框架、存储、计算和安全工具,加大对企业用户的吸引力,但还是存在一些缺口。生命科学和基因组市场相应地发现其云方案与提供特定领域云服务的供应商紧密地联系在一起,正如许多人预料公有云采用趋于成熟后会出现的一幕那样。

DNAnexus公司的***科学家Andrew Carroll表示,除了缺少一些定制的、具体的合规和安全特性外,生命科学公司还缺少一套管理体系来处理PB级的数据和数十亿个对象。“此外,还面临大规模操作带来的挑战――处理运行1次或100次的任务并不难,但是让同一个系统处理成千上万次或数百万次的任务,就会出现大量随机错误或其他低级问题,结果证明这些问题很严重。如果出现了位反转或节点故障,当你运行数百万个任务时,这是一大问题。”

DNAnexus是为其用户使用亚马逊云的少数公司之一,既提供了能够比较快地构建,所有适当的合规和重要管理工具都已落实到位的环境,又为开发人员提供了将代码移植到其中的环境,并且让代码在亚马逊EC2里面的***效机器上运行,以满足工作负载的要求,这个要求既涉及交付解决方案的时间,又涉及成本效益。这方面值得关注的是,公司的最终用户、尤其是基因组方面的用户在如何做出决策:到底是自建还是购买基因组和研发基础设施。

Carroll表示,虽然许多大规模用户已经在内部拥有集群,但是许多内部工作负载往往具有突发式,这意味着它们需要整合将工作负载推送到云端来处理的方法。但是这些内部集群用户给他留下最深印象的是,云让它们现有的硬件投入发挥了更大的价值。“如果你看一下本地集群的效率,假设你在110%下运行。这不是好事,因为这意味着存在等待时间。对于害怕这种场景的公司来说,它们往往配置过多的资源;要是另一方面,在那些突发时期(可能有个问题涉及10000个基因组)之外的时段,集群的使用率可能为90%。我们发现,移到云端处理这种突发任务是结合使用本地资源和亚马逊资源的***效方式。”

值得关注的是,Carroll还看到一些从未投资自建集群的小规模生命科学公司当中出现了几个显著的趋势。“对这些用户而言,他们的好处就是可以借助外力。这意味着,他们有多得多的闲置资源,要不然这些带宽会用于管理其IT和基础设施;如今,他们的精力花在了如何使用云服务上。”这意味着,公司里面的IT人员可以将注意力从单纯管理裸机系统,变成在应用程序、测试或开发方面从事创新的新工作。

内部没有集群资源的另一个优点是,工作负载发生变化后,计算需求也随之变化。对需要处理内部基础设施的用户而言,基础设施确实很擅长处理一组主要的应用程序,但是该基础设施(计算、内存和存储)都是固定不变的。Carroll解释:“我们其实是机会主义者,因为我们在可以使用哪些处理器方面从亚马逊处获得了一整批选择,比如说如果我们需要偏重内存的方法,或者需要固态硬盘或更多磁盘。”他在DNAnexus的团队在少数类型的抽样节点上运行用户处理的每种应用程序,以确定***操作环境,并且充分考虑到了用户的需求:准时交付解决方案,并且不超支。如果用户需要某一种类型的处理器或配置,他们可以在系统里面加以改动,但是Carroll表示大多数用户使用屡试不爽的默认设置。

虽然后端云硬件情况和围绕自建还是购买的问题值得关注,但到头来,这些用户关注的却是合规、安全和应用程序移植这部分,这部分其实也让他们做出了考虑DNAnexus的最终决定。Carroll告诉我们,他们在过去几年投入了大量精力来建立这样一套系统:可以通过容器隔离(使用LXC,而Docker的安全问题是限制因素)并移植自定义环境,从而确保符合《健康保险可携性及责任性法案》(HIPAA)及其他监管法规,那样每个机器隔离起来,而且有可靠的数据治理结构,那样所有操作都可以受到跟踪和报告。虽然任何公司确实可以让自己的工程师构建EC2集群,但处理个人健康数据时,问题就不是那么简单了,尽管亚马逊已在这方面落实了诸多措施来吸引生命科学公司。

“这不是它们亚马逊是不是符合HIPAA的问题,因为那仅仅涉及合规和机器安全。一定要在数据管理层面确保合规;当我们谈论数PB的数据时,这在大规模下显得尤为重要。”Carroll解释,如果一家公司想使用亚马逊或另一家提供商的资源构建自己的云集群,就需要一批技能娴熟的工程师花好几年来构建DNAnexus构建的那套系统。他表示,就算他们能做到这样,其团队还要管理该系统。选择这样一家基因组即服务提供商让DNAnexus的团队得以专注于原本可能忽视的其他方面,包括渗透测试和构建新的开发工具,让应用程序的开发和移植来得更容易。

虽然考虑到硬件、应用程序和数据传输等方面存在变数,价格是个棘手问题,但这正是对用户来说真正有吸引力的地方,不过眼下可以妥妥地说,针对特定领域的高性能计算云正迎面而来。 

原文标题:Life Sciences Clouds Raise More Cluster Questions

 

 

责任编辑:Ophira 来源: 51CTO
相关推荐

2023-04-07 15:30:24

操作系统ChatGPT

2023-06-01 07:50:42

JSDocTypeScriptAPI

2023-01-31 17:24:21

DPUCPUGPU

2023-09-12 14:02:30

数组vector

2021-10-12 18:48:07

HTTP 协议Websocket网络通信

2023-10-24 15:15:26

HTTPWebSocket

2019-11-28 08:52:12

5G网络切片专网

2017-08-17 17:00:59

Androidroot手机

2024-02-18 12:39:15

C++autodecltype

2024-02-22 10:34:00

NULLC++nullptr

2014-07-01 09:20:56

大数据

2018-09-20 22:04:01

2022-04-08 14:17:59

数字孪生生命科学元宇宙

2013-09-26 09:14:27

公有云云服务

2015-07-30 11:39:18

云适配

2020-10-14 09:33:47

云计算

2020-05-13 15:57:59

聚类分析算法监督学习

2016-01-28 10:04:09

Jenkins运维持续交付

2024-02-19 00:12:00

模型数据
点赞
收藏

51CTO技术栈公众号