移动云喜获佳绩!Pulsar Hackathon 2021竞赛全球第四!

企业动态
近日,移动云PaaS产品部王嘉凌,IaaS产品部张浩、王少杰、易新组队开黑,参加Pulsar Hackathon黑客马拉松竞赛,获得了全球第四名的好成绩。

 

近日,移动云PaaS产品部王嘉凌,IaaS产品部张浩、王少杰、易新组队开黑,参加Pulsar Hackathon黑客马拉松竞赛,获得了全球第四名的好成绩。

关于Apache Pulsar

作为 Apache 软件基金会顶级项目,Apache Pulsar 正在快速成为热门云原生技术之一,不断加速各行业开发实时数据消息和流应用的进程。截至目前,Apache Pulsar 社区已拥有全球超过 400 名贡献者、9K+ Star 、2.2K+ Fork。

关于Pulsar Hackathon竞赛

[[408930]]

 

本次Pulsar黑客马拉松竞赛是由StreamNative主办,意在加速Apache Pulsar项目和社区的发展,为更多的爱好者提供参与项目,展示创造力的机会。参赛者需要在Pulsar功能增强、大数据生态系统集成和解决方案等方向上寻找创新点,并通过集中式在线编程完成原型开发。来自全球各地的130多名参赛者在5月6 -7日两天时间内参与了竞赛,共有11支团队提交了项目成果演示。由多名Apache Pulsar PMC成员组成的黑客马拉松组委会根据提交项目的创新性,可用性以及项目难度进行评分,并于6月16-17日举行的Pulsar Summit北美峰会上现场宣布了成绩和获奖团队。

从容不迫定课题 稳抓稳打定“三高”

 

 

代表移动云参加黑客马拉松竞赛的四人小队在时间紧、任务重的情况下,自加压力定位高目标、一着不让追求高标准、精诚合作确保高质量,在两天时间内完成了项目原型的开发和演示,向Pulsar黑客马拉松提交了《Pulsar多租户BookKeeper存储隔离机制》的参赛课题,最终在和全球各路高手的巅峰PK中成功跻身前四。

数据分组隔离 全托管式Pulsar云服务

Apache Pulsar采用计算存储分离的架构,利用BookKeeper来存储消息数据,无需重平衡数据即可进行扩缩容。同时,Apache Pulsar原始支持多租户,通过认证和授权机制实现了租户之间的访问隔离。基于Apache Pulsar的这些特性,移动云上线了消息队列Pulsar,为移动云用户提供全托管式的Pulsar云服务。在移动云Pulsar上云过程中使用共享的BookKeeper集群作为底层存储层,存储所有用户的数据。由于所有用户的数据在BookKeeper中落盘时会存储在同一个不断滚动的数据文件中,无法在文件层面区分每个用户的存储数据,导致难以对每个用户的存储数据分别进行统计和配额管理。并且当计算层已释放部分用户的存储数据时,存储层无法及时删除BookKeeper中对应的数据文件来释放磁盘存储空间。

 

 

针对消息队列Pulsar遇到的这些痛点,移动云消息中间件团队通过对BookKeeper消息存储机制的深入调研,提出了对数据进行分组隔离落盘的设想,作为本次黑客马拉松竞赛的参赛课题。通过在存储数据的元数据中添加“资源组标识”的方式,让不同用户的数据分别存储到不同的文件路径上的文件中,实现了文件级的隔离,从而让Pulsar在BookKeeper存储层也具有了多租户的特性。这个特性将会完善Pulsar的多租户机制,使得对每个用户的存储数据进行统计和配额管理成为可能。

移动云消息中间件团队后续将会持续完善该功能,并落实到消息队列Pulsar产品中,实现对用户数据更精确的管理和更安全可靠的隔离。

访问官网https://ecloud.10086.cn/home/product-introduction/epulsar

查看更多移动云消息队列Pulsar产品详情

 

责任编辑:赵立京 来源: 网络
相关推荐

2016-03-11 00:20:21

OpenStack/华

2015-04-20 14:48:35

GMGC

2015-04-22 19:49:34

GMGC

2015-04-23 10:46:48

GMGC

2015-09-11 16:01:21

EasyStack云鼎奖

2015-06-04 13:19:04

阿里云云主机

2012-08-10 10:53:03

云计算BSA商业软件联盟

2019-06-09 07:47:13

极客HackathonDoraHacks

2012-06-18 10:07:17

云计算实力榜

2014-08-27 10:46:02

2018-05-16 14:04:00

互联网

2021-03-04 18:00:13

HPC

2015-04-14 13:42:26

GMGC

2009-03-02 08:58:38

华为电信市场份额

2009-05-08 13:06:38

OpenGroup金蝶Apusic

2017-08-04 11:08:42

Gartner阿里

2018-03-13 13:13:09

大数据工作效率

2021-12-20 00:04:54

处理器产业移动
点赞
收藏

51CTO技术栈公众号