社区编辑申请
注册/登录
与时代同频共振,看青云大数据工作台如何激活数据资产 原创
大数据
与数据中台不同,青云大数据工作台采用云原生架构,没有基于传统的Hadoop体系的YARN来做资源调度,而是基于Kubernetes实现资源的调度,聚焦于数据使用场景,解决数据集成、流批一体计算、统一运维和统一数据服务共享的问题,通过一站式、便捷低成本的方式,帮助中小型企业快速发挥数据价值,构建“云上数据中台”。

随着新型智慧城市和数字城市的建设,各地的大数据和数字经济相关的园区加速落地,大数据产业规模持续增长。据赛迪顾问预计,到2023年,大数据产业规模将达到1万亿元,到2027年,将会达到1.8万亿元。

关于数据名词也层出不穷:数据库、数据湖、数据中台、数据仓库……其中,数据中台是在DT时代的大背景下,企业为实现数据快速、准确、低成本赋能业务发展目标,将数据进行统一整合,基于One Data方法论而搭建的平台。借助于数据中台,企业可以进行完善的、统一的数据加工和处理,对外提供数据服务能力。因此,整个数据中台需要有一个庞大的方法论来支撑,且目前市面上的数据中台,主要以大项目的定制化方式进行私有化的交付,成本较大,周期较长。

青云科技一直与大数据时代同频共振。从2014年到2018年,青云科技在广度上实现了数据产品和服务的全覆盖。从2018年至今,又在深度上对产品性能、服务质量、服务范围进行了全方位提升。目前,青云科技已经推出了近30款数据产品和服务,同时集成优秀的合作伙伴应用,形成了包括数据库与缓存、消息队列与中间件、大数据服务、数据仓库与BI、对象存储在内的数据产品生态,构建了一个完整的、可插拔的、全流程的大数据平台,从最初的数据源接入,到数据的处理,再到数据的呈现,提供了完整的数据处理流程,在任何环节都能提供客户所需的数据产品和服务。

多年来,在与客户的密切沟通与服务中,青云科技洞察到,客户的需求已经从最初的“底层资源”问题,逐步进阶到“数据层”问题,主要体现在数据同步、实时计算、统一监控和调度,以及权限控制、数据仓库、数据服务等典型场景的需求。基于这些真实需求,青云科技推出了大数据工作台。

一站式智能大数据开发与治理平台

青云大数据工作台通过整合青云科技完整的数据产品和服务,为客户提供了一个一站式智能大数据开发与治理平台,帮助客户降低大数据使用门槛,将代码开发降到最低,让非技术人员也能进行大数据分析。同时,通过青云大数据工作台,帮助客户实现数据在云平台各产品之间的快速流转,支撑上层业务,消除企业“数据孤岛”,实现数据的统一调度和计算,进而帮助企业挖掘数据价值,提升整体的数据洞察能力。

与数据中台不同,青云大数据工作台采用云原生架构,没有基于传统的Hadoop体系的YARN来做资源调度,而是基于Kubernetes实现资源的调度,聚焦于数据使用场景,解决数据集成、流批一体计算、统一运维和统一数据服务共享的问题,通过一站式、便捷低成本的方式,帮助中小型企业快速发挥数据价值,构建“云上数据中台”。

目前青云大数据工作台上线1.0版本,主要具备“数据集成、数据加工、统一数据存储和服务”功能模块,为企业数据价值挖掘提供支持。

从整体架构来看,青云大数据工作台共有五层架构,从底层到上层依次是:云原生、全托管式计算引擎、全生命周期数据开发、高效的数据同步服务、应对丰富的业务场景。用数据上云、数据开发、数据同步、作业运维调度、引擎资源管理五大模块,打通了大数据全链路。

青云大数据工作台六大特性

据青云QingCloud大数据产品经理刘雄风介绍,青云大数据工作台主要适用于精细化运营分析、实时计算、可视化开发运维、构建数仓场景,有六大产品特性。

首先是开箱即用。几分钟即可完成环境的创建和部署,即开即用、便捷高效,一键开启数据价值洞察之旅。

第二,弹性扩容。具备云原生弹性扩容的能力,可以帮助客户合理地节省资源,提高资源的使用率。通过提供细粒度管控,最小资源使用的粒度只需要0.5 CU,支持按量、包年包月计费,可以更好地适配不同的需求,价格低廉,安全稳定。

第三,存算分离。与青云的对象存储服务无缝衔接,海量数据可以高效、低成本的存储。也支持数据计算按需扩容,极具性价比。

第四,开放兼容。拥抱开源,百分百兼容Apache Flink,支持平滑上云,通过内嵌的Connector可以无缝对接主流的数据产品和开源大数据生态组件。同时,客户可以将原有的大数据任务迁移到青云大数据工作台上,进行统一的调度和监控,节省运维和调度成本。

第五,安全可靠。按照云原生的架构模式进行设计,可以基于多种基础设施进行部署。内部功能模块以微服务的方式划分为多个组件,彼此之间相互隔离,避免相互影响。同时,所有的服务都具备高可用和高扩展能力,可以在部分节点故障的情况下保障服务的可用性和数据的可靠性。

第六,生态整合。除了青云大数据工作台本身提供的服务外,还可以在云上与其他产品紧密整合,连通云平台上孤立的多种数据存储的服务,让客户在云平台上的数据流转更加便捷。

加速物联网和工业数智化进程

青云大数据工作台主要聚焦在新兴领域,以物联网和工业大数据为代表,并落地应用了青云大数据工作台融合KubeSphere容器平台、IoT平台“三位一体”的技术方案。

青云大数据工作台、KubeSphere容器平台、IoT平台“三位一体”技术方案

某行业领先的工业自动化测试设备与整线系统解决方案厂商,其数据源涵盖多种维度,包括机加工设备、物联网中的SMT设备和AGV设备、立库,将来还有可能会引入质监相关设备。除了生产以外,还有企业本身运营相关的IoT数据,包括水电气、空调供暖、给排水、门闸、温湿度以及各类楼宇、园区运营的数据。客户急需统一的数据接收和存储、统一的数据API服务,以及对接物联网平台,建设统一的“物联网+大数据”平台。

通过落地青云提供的技术方案,由IoT平台对不同数据源进行“云、网、边、端”的统一控制,客户可将数据通过消息中间件进行统一传输到大数据工作台,做原始库数据集成的操作。数据存储到原始数据库后,客户可以将原始库单独对外提供数据权限、数据存储和数据查询的服务。对于原始库的存储数据,客户还能进行数据的二次加工,形成最终结果库。而结果库同样可以对外提供数据权限、数据存储和数据查询的服务。

未来,除了智慧工业,青云科技还将把大数据工作台应用到智慧零售、智慧政务和智慧校园,覆盖到四个“数智”化场景,持续产生“数智”化价值。

责任编辑:赵立京 来源: 51CTO

同话题下的热门内容

大数据分析技术和方法有哪些?如何构建准实时数仓?大数据如何成为元宇宙的基石节日消费数据不“杀熟”?大数据带你一起“解”七夕!五个方法,破解数据分析的核心难题中原银行实时风控体系建设实践聊聊数据分析的价值是什么?大数据的过去正在颠覆人们的未来

编辑推荐

使用Pandas&NumPy进行数据清洗的6大常用方法2018年7款最佳免费数据分析工具pyspark访问hive数据实战【漫谈数据仓库】 如何优雅地设计数据分层人工智能、大数据与深度学习之间的关系和差异
我收藏的内容
点赞
收藏

AISummit人工智能大会