开源基础软件社区

WOT全球技术创新大会

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

精品班厂商认证 IT技术 2023年软考 PMP项目管理

在线学习企业服务

CTO训练营技术经理研习营 LeaTech峰会

文章资源问答开源课堂专栏直播

51CTO

开源基础软件社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

开源基础软件社区订阅号

51CTO学堂APP

51CTO学堂企业版APP

开源基础软件社区视频号

账号设置退出

数据湖

98内容

关注

涵盖数据湖相关研究热点、技术难点与应用场景，助力企业利用信息化、数字化、新技术的利器形成平台化系统，赋能公司的人员和业务，快速应对挑战。

共 98 条

StarRocks 如何借助物化视图加速数据分析

本文将分享StarRocks数据湖分析应用场景、物化视图技术，再结合实际用户案例，来帮助读者理解物化视图技术在数据湖分析场景中的价值。

2023-09-18 07:23:45

数据湖数据分析

阿里云 AnalyticDB MySQL Spark 助力构建低成本数据湖分析的最佳实践

文章分享阿里云AnalyticDB MySQL（以下简称ADB） Spark助力构建低成本数据湖分析的最佳实践。我们希望通过在做深自研的同时，也充分拥抱开源技术，来满足不同客户的不同业务场景，帮助客户实现降本增效。

2023-08-21 08:19:22

ADB 数据湖分析

如何使用数据版本控制管理数据湖中的模式验证译文

开源的数据版本控制工具可以帮助用户管理跨多种格式的模式演变、数据转换和兼容性检查。

2023-08-03 08:00:00

数据湖模式验证

湖仓存储系统设计剖析和性能优化

本文将从元数据、Merge-On-Read等核心设计方面来剖析湖仓存储系统，对比当前流行的三种格式Delta Lake、Hudi、Iceberg的设计差异和优缺点，并分享我们在读写性能优化方面所做的思考和实际优化案例。

2023-07-12 08:44:46

湖仓存储系统数据湖

基于Lakehouse架构实现湖内建仓实践经验

现在很多企业都对数据湖存在一些误区，从上图左侧对数据湖的不同定义（红色字体标识）可以看出，数据湖并不像大家想象的那样。误区主要分为以下三种：第一种认为数据湖仅用来进行海量的存储；第二种认为数据湖是用来处理非结构数据的，不处理结构化数据；第三种认为数据湖仅可以用来做贴源层，不能建数仓。

2023-07-11 10:23:00

Lakehouse 数据湖

天穹SuperSQL如何应对数据湖场景中的复杂多维分析

本文将介绍腾讯自研的大数据计算平台——天穹SuperSQL，以及在应对数据湖场景中的复杂多维分析方面的实践。

2023-07-03 07:46:50

大数据计算平台 SuperSQL

Delta Lake在BI+AI产品中的实践

本文根据观远数据研发主管李迪砺讲座整理，分享主题为《Delta Lake 在 BI+AI 产品中的实践》。

2023-06-30 07:40:31

数据分析 Delta lake

数据湖 Iceberg 在小米的应用

本次分享内容是数据湖 Iceberg 在小米的应用场景。Iceberg 是具有 SQL 行为的表的开放式标准，此定义由 Ryan Blue 提出。

2023-06-28 07:47:34

Iceberg 数据湖

阿里近实时增量处理技术架构解析

本文将介绍阿里云自研产品MaxCompute湖仓一体近实时增量处理技术架构的核心设计和应用场景。

2023-06-27 07:11:37

湖仓一体 MaxCompute

低代码指标平台，构建人人可用的敏捷指标工具

本文将从指标平台应用建设的角度，分享如何发挥低代码的作用，去构建人人可用的敏捷指标工具。

2023-06-08 14:46:39

低代码指标数据湖

爱奇艺数据湖平台建设实践

本文将介绍 Iceberg 在爱奇艺的落地与实践。为什么要有数据湖？数据湖其实就是为了加速数据流通。

2023-06-05 07:36:30

数据湖大数据架构

阿里云数据湖统一元数据与存储管理实践

随着数据湖的发展和日渐增长的需求，对数据湖进行统一元数据和存储管理也显得日趋重要。本文将分享阿里云在数据湖统一元数据与存储管理方面的实践。

2023-05-26 06:49:44

数据湖元数据和存储管理

秒级响应！B站基于 Iceberg 的湖仓一体平台构建实践

本文将介绍 B 站基于 Iceberg 构建秒级响应湖仓一体平台的技术实践。首先介绍使用 Iceberg 做湖仓一体的背景，接着分享针对湖仓一体平台做的一些查询加速和智能优化，以及一些重点研发方向，最后介绍平台目前的落地情况。

2023-05-26 06:45:08

湖仓一体 Hive

快手流批一体数据湖构建实践

本次将介绍快手为什么建设数据湖，在数据湖建设过程中遇到的问题和取得的成果，并对未来发展进行展望。

2023-05-16 07:24:25

数据湖快手

Apache Doris 极速数据湖分析技术细节公开！

本文将介绍 Apache Doris 的前世今生，数据湖分析的技术细节以及后期的规划。

2023-05-08 07:20:22

Doris 分析型数据库

有了数据湖，数据仓库究竟能不能被取代？他们又有什么样的区别呢？

数据湖是近两年中比较新的技术在大数据领域中，对于一个真正的数据湖应该是什么样子，现在对数据湖认知还是处在探索的阶段，像现在代表的开源产品有iceberg、hudi、Delta Lake。

2023-05-05 18:53:23

数据湖数据仓库

小红书基于数据湖的流批统一存储实践

今天分享的主题是基于流存储与数据湖打造小红书流批统一存储。

2023-04-18 07:49:06

流存储数据湖

Apache Kyuubi 1.6.0 新特性解读

文将对 Apache Kyuubi 1.6.0 版本特性进行解读。

2023-03-15 07:29:54

开源数据湖

T3 出行基于 Hudi+Kyuubi 的现代技术栈探索

在本文中，我将给大家分享下 T3 出行结合公司业务场景，在现代技术栈这方面，做的一些探索于与实践，以及在此基础上打造的特征平台。

2023-02-26 11:07:48

数据湖现代数据栈

Presto+Alluxio 加速 Iceberg 数据湖访问

本文将分享 Alluxio 社区和 Presto 社区在数据湖方面的一些工作，主要聚焦 Iceberg。

2023-02-25 10:17:28

数据湖 Hive 数据仓库

阿里云ADB基于Hudi构建Lakehouse的实践

今天非常高兴能够借这个机会和大家分享下阿里云 ADB 基于 Apache Hudi 构建 Lakehouse 的应用与实践。

2022-12-23 16:52:22

Lakehouse 数据湖

数据治理体系演进简介

随着网易数帆商业化的发展，遇到很多金融及大型国企客户，我们发现互联网的这套数据治理的打法并不能全部适应传统行业客户的场景。我们开始向客户和竞争对手学习，为此打磨出元数据管理，数据标准，数据资产目录等子产品，沉淀出一套数据治理的产品体系。

2022-11-10 20:43:57

数据治理数据湖

从Delta 2.0开始聊聊我们需要怎样的数据湖

盘点行业内近期发生的大事，Delta 2.0 的开源是最让人津津乐道的，尤其在 Databricks 官宣 delta2.0 时抛出了下面这张性能对比，颇有些引战的味道。

2022-11-10 20:29:21

网易传媒基于 Arctic 的低成本准实时计算实践

基于对开源数据湖方案的调研，我们注意到了网易数帆开源的基于 Apache Iceberg 构建的 Arctic 数据湖解决方案。

2022-11-10 08:48:20

开源数据湖 Arctic

一文读懂选择数据湖还是数据仓库

随着数据量、速度和种类的增加，选择合适的数据平台来管理数据从未像现在这样重要。它应该是迄今为止满足我们需求的古老数据仓库，还是应该是承诺支持任何类型工作负载的任何类型数据的数据湖？

2022-10-21 16:38:57

数据湖数据仓库数据库

什么是数据湖？用于大数据分析的大规模可扩展存储译文

用户需要深入了解什么是数据湖、如何使用数据湖以及数据湖与数据仓库的不同之处和他们之间的互补性。

2022-06-13 08:00:00

数据湖数据仓库大数据

为什么云原生数据湖值得关注？原创精选

预计中国云原生数据湖市场未来会以39.7%的复合增长率快速发展，云原生数据湖未来的发展前景值得我们期待和关注。

2022-06-09 17:37:27

数据湖云原生

如何打造一款极速数据湖分析引擎

本篇文章将向读者详细揭秘这样一套数据湖分析引擎的关键技术，并通过StarRocks 来帮助用户进一步理解系统的架构。

2022-03-04 09:05:55

StarRocks 数据湖数据质量

数据湖三剑客，大数据时代的新范式？

目前的数据仓库技术出现了一定的局限性，比如单一不变的 schema 和模型已经无法满足各类不同场景和领域的数据分析的要求、流批一体的数据存储引擎和计算引擎适配问题以及Hadoop体系文件系统的ACID能力缺失等问题急需要解决，但就目前的技术栈而言，打破这些技术的桎梏，似乎多少有些力不从心，这个过程中，一项重大变革似乎在破晓前显得尤为必要。

2022-03-03 15:15:27

大数据数据湖技术

Apache Hudi 在 B 站构建实时数据湖的实践

本文介绍了为什么 B 站选择 Flink + Hudi 的数据湖技术方案，以及针对其做出的优化。

2021-09-13 13:46:29

Apache Hudi B 站数据湖

品高云数据湖管理平台入围“企业数字化转型优秀案例”

9月5日，“企业数字化转型高峰论坛”在河北举行。论坛由中国国际数字经济博览会组委会主办、中国电子信息行业联合会承办，旨在分享典型企业数字化转型最佳案例，持续完善企业信息系统建设和服务能力贯标评估体系，进一步引领企业数字化转型发展。

2021-09-09 11:45:16

终于有人将数据湖讲明白了

在数据中台的建设过程中，我们经常会听到数据湖、数据仓库(简称数仓)、数据集市、贴源数据层等多个概念。这些传统大数据平台中涉及的技术是数据中台建设的基础和必经之路。

2021-09-03 18:38:13

数据湖数据仓库

使用 Flink Hudi 构建流式数据湖

从 2016 年开始，Apache Hudi 社区就开始通过 Hudi 的 UPSERT 能力探索近实时场景的使用案例 [1]。通过 MR/Spark 的批处理模型，用户可以实现小时级别的数据注入 HDFS/OSS。在纯实时场景，用户通过流计算引擎 Flink + KV/OLAP 存储的架构可以实现端到端的秒级 (5分钟级) 实时分析。

2021-08-31 10:07:16

Flink Hud 数据湖阿里云

云原生数据湖架构中的无服务器Kafka 译文

人们需要了解如何在混合云上利用云原生和无服务器Apache Kafka来处理与数据湖互补的动态数据。而Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。

2021-08-18 09:00:00

云原生混合云无服务器

DLF +DDI 一站式数据湖构建与分析最佳实践

数据湖作为一个集中化的数据存储仓库，支持的数据类型具有多样性，包括结构化、半结构化以及非结构化的数据，数据来源上包含数据库数据、binglog 增量数据、日志数据以及已有数仓上的存量数据等。

2021-08-06 09:33:57

数据湖 DLF DDI

Flink + Iceberg + 对象存储，构建数据湖方案

数据源上可能会有各种数据，不同的数据源和不同格式。比如说事物数据，日志，埋点信息，IOT 等。这些数据经过一些流然后进入计算平台，这个时候它需要一个结构化的方案，把数据组织放到一个存储平台上，然后供后端的数据应用进行实时或者定时的查询。

2021-07-20 11:52:03

Flink Iceberg 对象存储

剖析数据平台：新一代数据湖译文

架构的重要之处不在于供应商或特定产品，而在于所用组件的功能。产品的选择取决于许多的因素。

2021-06-10 14:01:38

大数据数据平台数据湖

详解新一代数据湖--数据平台译文

本文系统性地向您介绍了数据平台的模型、获取模式、获取引擎服务、数据湖即服务、以及数据湖的功用与进化。

2021-06-10 09:00:00

数据湖架构数据平台

如何基于MaxCompute快速打通数据仓库和数据湖的湖仓一体实践

纵观整个计算机科学技术领域，对于数据处理的技术主要分为四个阶段，数据库阶段、大数据技术探索阶段、大数据技术发展阶段、大数据普惠阶段。

2021-06-07 10:45:16

大数据数据仓库数据湖

云原生数据湖的探索和实践：当汇量科技 EnginePlus 团队来到阿里云峰会

随着企业业务的快速扩展，衍生数据量面临爆发式增长，企业对数据处理分析的需求日趋迫切。在此背景下，创新技术与方案成为企业刚需，用以解决数据智能处理的挑战。

2021-06-01 16:52:27

女朋友问小灰：什么是数据仓库？什么是数据湖？什么是智能湖仓？

作为程序员，我们写的大多数商业项目，往往都需要用到大量的数据。计算机的内存，可以实现数据的快速存储和访问。

2021-05-28 09:23:07

数据仓库数据湖

用户超过10人就玩完：Gartner称，数据湖搞不定SQL并发机制！

据Gartner声称，数据湖在试图执行SQL查询时，很难支持10个以上的用户，而SQL查询曾经被视为完全适合数据仓库技术。

2021-05-26 09:46:10

数据库工具技术

数据湖，当然得要全闪存的！

PowerScale F900采用全NVMe设计，通过现代化高性能的全闪存和全NVMe配置支持最严苛的数据工作负载需求；OneFS 9.2为F200和F600带来了显著的性能提升，PowerScale全新的全闪存层支持Google Cloud。

2021-05-19 15:15:52

深度｜数据湖分析算力隔离技术剖析

2021-05-13 11:54:07

数据湖阿里云

从数据库思维到数据湖思维的转变

在这篇文章中，让我们来确定数据库和数据湖的一些差异，这些差异在第一眼看到时可能并不直观，特别是对于具有强大关系型数据库背景的人来说。

2021-05-07 05:54:43

数据库数据湖数据

简述数据仓库，数据集市，数据湖泊、和运营数据存储

互联网和大规模技术开发使得当今世界中数据的爆炸性增长。企业决策者希望研究数据之间的关系，点击数据的隐藏功能并分析和探索更深层次的数据。

2021-04-16 10:21:50

数据库数据湖数据

组织应该采用数据湖的7个原因译文

数据仓库长期以来一直是管理大数据的标准方法，但是数据湖是否更适合组织的需要？其答案是肯定的。

2021-04-06 08:00:00

数据湖存储技术

Apache四个大型开源数据和数据湖系统

四个大型数据和数据湖的大型Apache系统，Apache Shardingsphere，Apache冰山，Apache Hudi和Apache IotdB

2021-03-08 15:42:54

数据库 Apache Iceb 开源

基于云的理想数据湖框架

借助正确的工具和最佳实践，组织可以使用其所有数据，使更多的用户可以访问它，并推动做出更好的业务决策。

2021-02-18 09:54:37

数据湖框架数据

什么是数据湖？有什么用？终于有人讲明白了……

如果需要给数据湖下一个定义，可以定义为这样：数据湖是一个存储企业的各种各样原始数据的大型仓库，其中的数据可供存取、处理、分析及传输。

2021-02-18 07:55:27

数据湖存储数据

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客开源基础软件社区

教育

51CTO学堂精培企业培训 CTO训练营