Pinterest、Flipboard和Yelp如何节省云计算开支

云计算
在亚马逊的ReInvent大会上,来自Pinterest、Flipboard和Yelp的工程师分享了他们各自公司降低云计算成本的策略:紧盯负载,精算成本,巧妙组合云资源。

在亚马逊的ReInvent大会上,来自Pinterest、Flipboard和Yelp的工程师分享了他们各自公司降低云计算成本的策略:紧盯负载,精算成本,巧妙组合云资源。

亚马逊这样的云计算服务对于小规模的创业公司来说是个福音,但是随着公司的成长,云计算的开支增长往往会超过营收的增长,对于那些提供免费服务的创业公司来说更是如此。在亚马逊的Re:Invent大会上,来自Pinterest、Flipboard和Yelp的工程师分享了他们控制成本的独家窍门。

精算成本,精益运营

在管理云计算基础设施方面,Flipboard的工程师Scallan提出另一个看似矛盾的观点:拥抱云计算,同时敬畏云计算。如果方法得当,云计算是灵活的和低成本的选择,但是如果缺乏规划,让服务器空转,成本就会失控。这也是为什么Flipboard工程师的绰号是"超级吝啬鬼",他们的任务是为应用分配合适的资源并加以充分利用。

在"吝啬"的驱使下,经过无数尝试,如今Flipboard日常的运行实例数从高峰期的1500个降低到了今天的900个。

 

Flipboard AWS usage

 

FlipBoard的亚马逊云资源配置

Flipboard实现云计算精益运营的关键是对业务输入和输出的准确判断和预测。Kleiner Perkins的Bradford建议公司精算出支持一位免费用户的单位成本,以及这个成本随着用户规模的变化,以及与付费用户体验的关系。选出最重要的评估指标(例如每用户每月的基础设施成本),并评估目前的基础架构在升级前能够支撑这个成本多久。

成本的游戏:实例组合

为了节省成本,Pinterest、Yelp和Flipboard都采用了亚马逊AWS的预付费专用实例。通过租用亚马逊的高性能专用实例(Reserved Instance)而不是按需实例(On-demand Instance),Flipboard过去三年节省了80%的云计算费用,Pinterest则声称节省了70%。实际上,专用实例与按需实例的盈亏平衡点只需要8、9个月,如果企业需要长期租用云计算资源,那么专用实例显然是更划算的选择。

Yelp是亚马逊Elastic MapReduce(EMR)大数据引擎的重度用户,当开发人员同时运行Hadoop任务,或者夜间分析日志文件的时候,***峰会同时启用超过350个EMR实例。为了降低成本,Yelp尽可能租用高性能专用实例减少计时费用,此外Yelp还部署了一个任务缓冲池,让排队的Hadoop任务能够尽量平稳、高效率地使用云计算资源。这就避免了为单独的一个61分钟的任务支付两个小时的资源费用。

为了判断何时使用何种实例,Yelp开发了一个名为EMRio的工具,通过分析过往的使用情况,来为任务选择***效的资源。

 

emrio

 

EMRio的实例成本分析结果(横轴:时长;纵轴:成本)

在AWS云计算成本优化方面,Pinterest颇有心得,该公司甚至会使用所谓的“机动实例”(Spot Instance),此类实例也是按需提供,但是当其价格浮动超出用户最初的出价时,会在不通知用户的情况下随时终止。Pinterest开发了自动扩展的看门狗(Watchdog)服务,能够在需要更多资源的时候自动判断是租用按需实例还是机动实例。

虽然机动实例的价格有时候会被炒高,但通常情况下比较稳定,能为企业节省大量成本。通过租用机动实例,Pinterest的80台前端服务器的成本只有20美元/小时,每天的计算成本从***峰的1200美元降低到了440美元。是的,你没看错,Pinterest每天的前端服务器成本只要440美元。

Pinterest的Park认为组合使用按需实例、专用实例和机动实例比看上去要复杂,你必须了解不同实例之间的运作机制。例如有些地区和规模专用实例会缺乏灵活性,而配置机动实例的应用也必须能够适应机动实例随来随走的特性。不过随着亚马逊推动机动实例交易市场(Spot marketplace),用户之间可以交易机动实例,这让云计算的成本游戏变得更加复杂起来。

技术选型与人力资源成本

虽然选择数据库类型主要是技术架构问题,但也直接关系到企业云计算的成本。Instagram创始人Mike Krieger曾说:"你的用户才不关心你的数据库技术是不是自己开发的,这方面适用就好,那怕是租用的也行。 Pinterest的Park也同意这个观点,他的团队就曾经尝试了太多新潮数据库技术,从MongoDB、Cassandra、Redis等各种时髦技术试了个便,***发现这些新技术的学习成本和管理成本成了很大的负担。***Pinterest用回了"过时"的MySQL、Memcached和Redis,因为这些成熟技术拥有强大的社区支持。此外,新加入的工程师中,掌握这些技术的人也更多,这都会降低云计算的人力资源成本。

原文链接:http://www.ctocio.com/ccnews/10059.html

责任编辑:王程程 来源: IT经理网
相关推荐

2013-01-25 09:07:15

私有云节省开支公有云

2016-10-10 20:02:52

云计算

2012-02-29 09:54:10

云计算成本运营开支

2011-03-28 09:44:17

网络硬件云网络数据中心

2020-11-11 10:30:04

云开支云计算

2020-02-20 10:02:45

云计算IT虚拟机

2015-03-26 12:56:06

阿里云多媒体视频

2015-06-25 10:26:41

YelpMesosDocker

2012-03-05 15:59:15

基础架构整合服务器数据中心

2020-07-08 10:11:45

云计算云服务私有云

2013-04-11 09:40:05

大数据医疗开支

2016-07-20 12:29:35

云计算

2011-07-29 18:41:43

公有云公共云计算服务公共云

2012-12-28 10:02:42

2010-08-23 10:55:25

SAPCRM

2009-03-20 17:11:26

虚拟化互操作性Novell

2021-10-09 10:21:31

云计算疫情数字化化转型

2012-01-12 14:38:37

云计算

2015-12-17 11:04:00

云开支云计算

2020-12-01 10:43:02

云计算IT公有云
点赞
收藏

51CTO技术栈公众号