51CTO首页
AI.x社区
博客
学堂
精品班
直播训练营
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

大数据

8797内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 8797 条
知乎 Flink 取代 Spark Streaming 的实战之路
从实时数仓 1.0 到 2.0，不管是数据架构还是技术方案，我们在深度和广度上都有了更多的积累。随着公司业务的快速发展以及新技术的诞生，实时数仓也会不断的迭代优化。短期可预见的我们会从以下方面进一步提升实时数仓的服务能力。

2023-10-24 20:32:40

大数据
企业成功的有效数据治理优秀实践
在当今数据驱动的业务环境中，数据管理和治理已从确保数据安全和隐私的基本框架演变为全面的企业范围计划。其涵盖了商业智能、分析和机器学习中的数据访问和数据利用，同时还解决了数据在营销、销售、研究等方面的作用。

2023-10-24 14:48:23

数据治理大数据
打破数据孤岛是否有限制？
主数据管理(MDM)软件是统一数据并将所有数据孤岛置于单一管理之下的主要工具。MDM所做的是创建“黄金记录”，即“真实数据的单一版本”的主数据。

2023-10-23 16:14:00

数据孤岛数据管理
如何充分利用数据可视化？
数据可视化工具提供了一种易于访问的方式来查看和理解数据趋势和模式。出色的数据可视化早在创建仪表板、报告、图表、广告牌或股票行情之前就开始了。数据可视化的领域过于广泛，单一工具无法满足所有用户需求。

2023-10-23 16:11:14

数据可视化大数据
一文读懂数据运营的指标体系
在大数据时代早期，大部分数据并没有被充分地挖掘分析和利用。虽然数据规模非常大，但是却很难利用这些数据创造价值。而数据中台的提出及数据指标体系的构建，使得数据产生了实际价值。

2023-10-22 12:00:37

数据运营
浅谈数据质量管理
大数据平台搭建之初，会优先满足业务的使用需求，数据质量往往是被忽视的一环。但是随着业务的逐渐稳定，数据质量越来越被人们所重视，千里之堤，溃于蚁穴，糟糕的数据质量往往就会带来低效的数据开发，不准确的数据分析，最终会导致错误的业务决策。

2023-10-22 11:47:37

大数据质量管理
Flink程序宕机后，数据会丢失吗
Apache Flink 是一种高性能、高吞吐量的流处理框架，它具有强大的容错机制，可以保证在程序宕机后不会丢失数据。

2023-10-20 13:18:05

Flink数据
如何正确使用 Bean Validation 进行数据校验
为了避免重复这些验证，通常的做法是将验证逻辑直接捆绑到领域模型中，通过元数据（默认是注解）去描述模型， 生成校验代码，从而使校验从业务逻辑中剥离，提升开发效率，使开发者更专注业务逻辑本身。

2023-10-18 18:38:44

数据校验业务
简析数据匿名化的方法、挑战与应用实践
从数据匿名化的定义来看，该技术旨在将敏感的用户隐私信息转换成无法与特定人员关联的匿名化数据，是一种去除或哈希化与个体相关联的各种数据点的过程。这个过程使组织能够存储和交换用户数据，同时不会暴露数据与特定个人的任何联系。

2023-10-17 11:34:42

数据匿名化大数据
Spark入门指南：从基础概念到实践应用全解析
本篇文章，我们将一起走进Spark的世界，探索并理解其相关的基础概念和使用方法。

2023-10-17 09:36:32

Spark大数据
ClickHouse在数据平台中的实践简介
本文介绍了大数据界的黑马ClickHouse技术在数据平台中的实践方案。

2023-10-16 18:51:04

ClickHouse大数据
使用Pandas进行时间重采样，充分挖掘数据价值
在Pandas中进行数据重采样，有助于可视化连续或离散时间数据中的趋势和规律，进一步挖掘数据价值，突出显示不同的组成部分，包括趋势、季节性和不规则问题（可能是数据中的噪音）。

2023-10-16 18:02:29

Pandas数据可视化
数据科学及其应用指南
我们生活在数据洪流时代，数据洪流是指当今世界每天每时每刻产生、发布或发布的大量数据和信息所导致的信息爆炸。如此丰富的数据既可能带来好处，也可能带来坏处，具体取决于数据的使用方式。

2023-10-16 10:25:34

数据科学大数据
国产开源湖仓LakeSoul--数据智能的未来方向
数元灵科技专注于一站式湖仓智能平台新基建，在研项目包括云原生湖仓一体框架，分布式训练引擎和算法框架，高性能数据、模型在线服务，以及云原生一站式AI开发生产平台。LakeSoul 作为国产自研开源湖仓框架，具备湖仓一体、流批一体、BI/AI 一体等核心设计理念和实现，在并发读写和 IO 性能等方面有着显著的优势。

2023-10-16 07:22:50

开源湖仓智能平台
面向小型企业的八个大数据解决方案
虽然SAS、Qualtrics、Google Analytics和其他软件平台为小型企业提供了大数据解决方案，但需要考虑的是，企业希望大数据解决方案提供什么样的服务。每个供应商专门研究不同类型的数据，并不是每个工具都适合每个用例。

2023-10-16 07:00:04

大数据SASAnalytics
如何设计出高质量Flink系统
根据我从事大数据处理多年的经验，要设计出高质量的Flink系统，需要考虑以下几个方面。

2023-10-15 12:07:09

大数据Flink
政府大数据困局：数据汇聚多，应用场景少，原因与破解之道
在数字化时代的浪潮中，数据已经成为推动社会进步和发展的重要引擎。然而，国内各地的政府大数据中心虽然汇集了各个部门的数据，但这些数据的应用场景却相对较少。那么，究竟是什么原因导致了这一困境呢？

2023-10-13 16:03:57

大数据数字化
20个GitHub优秀开源大数据项目
大数据技术的发展最开始便得益于开源社区的贡献，出现了许多优秀的大数据相关的开源项目。下面列举了20个最受欢迎且有趣的开源大数据项目，供研究、参考。

2023-10-13 13:11:26

大数据技术开源
数据湖与实时数仓应用实践
本文将分享滴普科技基于 Data Fabric 的实时湖仓平台技术实践。文章将介绍 Data Fabric 的基本原理和概念，并分享滴普基于 Data Fabric 构建的一款产品——FastData。

2023-10-13 07:25:50

FastData数据湖
大数据企业获得创新的见解
现在最流行的是人工智能技术，尽管人工智能已经存在了几十年，但直到最近它才进入主流的消费环境。由于采用的成本高，人工智能行业一直被财力雄厚、能够获得大量数据的企业所主导;这是因为，如果没有当今的大数据技术，人工智能就难有作为。

2023-10-13 06:52:40

大数据人工智能生产力
15个高效的Pandas代码片段
Python的Pandas库是数据科学家必备的基础工具，在本文中，我们将整理15个高级Pandas代码片段，这些代码片段将帮助你简化数据分析任务，并从数据集中提取有价值的见解。

2023-10-12 15:02:21

PythonPandas数据分析
利用分析的力量：数据驱动工程项目的四种方式
本文将探讨项目数据在工程和建筑项目中推动更明智决策的4种方式。从预测分析到实时数据监控，探究企业如何利用尖端技术保持领先地位，并取得更好的项目成果。通过采用分析和有效地利用数据，工程和建筑企业可以增强其决策流程，并在当今快速发展的市场中获得竞争优势。

2023-10-11 15:11:50

数据驱动数据智能
数据分析：揭示战略重点举措的隐藏模式
在当今快节奏和数据驱动的世界中，企业不断寻求获得竞争优势的方法。为满足这一需求而出现的一种强大工具是数据分析。通过利用数据的巨大力量，企业可以做出更明智的决策并推动战略举措，从而推动他们走向成功。

2023-10-10 16:06:14

数据分析工具
三个主要降维技术对比介绍：PCA, LCA,SVD
随着数据集的规模和复杂性的增长，特征或维度的数量往往变得难以处理，导致计算需求增加，潜在的过拟合和模型可解释性降低。降维技术提供了一种补救方法，它捕获数据中的基本信息，同时丢弃冗余或信息较少的特征。

2023-10-10 15:17:54

数据集降维技术
九张图揭秘如何做数据分析项目
某互联网大厂TOB业务线，可以向平台商家提供SaaS/Paas类服务，但苦于销售水平不高，沟通话术质量不佳，转化率不足。现计划做话术培训，提升客户转化率。

2023-10-10 11:41:28

数据分析项目
网易大数据智能运维平台 EasyEagle
本次分享的主题是网易数帆的大数据智能运维平台 EasyEagle。EasyEagle 是一个大数据智能运维平台服务，智能运维主要是为了监控、分析与解决大数据平台在使用过程中遇到的诸多问题。在长时间的大数据研发及运维实践中，我们发现大数据组件以及任务在治理运维中存在许多问题。

2023-10-10 07:43:15

大数据EasyEagle
（一文读懂大数据行业）-面向百度商业数据产品的全流程 DataOps 实践
目前整个大数据行业有很多宏大的思路和先进的架构，在百度商业数据产品是如何实现和落地的呢？本文将为您揭秘面向百度商业数据产品的全流程DataOps实践。

2023-10-10 07:38:46

大数据DataOps实践
数据分析，如何驱动科学决策
所谓的决策不科学性：原本可以出去玩，结果非宅家惹女朋友不开心。或者本来可以去景点，结果因为不知道，所以没去。通过数据澄清现状，梳理逻辑，可以避免这些问题。

2023-10-09 08:22:18

驱动科学数据分析因素
阿里巴巴数据稳定性治理实践
天下数仓工程师苦值班久矣，面对大规模的数据处理任务，复杂的处理链路与层次结构，数据团队在数据稳定性保障方面通常面临较大的压力。今天主要以平台建设方的视角，结合稳定性治理的实际场景，将阿里多年来基于自身特点总结出的数据稳定性治理的实践经验与探索，与大家进行分享。

2023-10-09 07:24:58

数据稳定性治理数据处理
大数据面临的六个挑战以及如何利用云计算克服这些挑战？
企业在利用大数据的力量时遇到的另一个主要挑战是缺乏熟练的人才。大数据分析需要一套独特的技能，包括数据科学、统计、编程和领域专业知识。然而，拥有这些专业技能的专业人员严重短缺。

2023-10-09 06:52:53

大数据云计算数据分析
谈谈数据仓库中的数据建模优秀实践
开发和生成数据库中使用的数据概念表示的过程称为数据建模。数据仓库上下文中的数据建模是创建将存储在数据仓库中的数据的逻辑表示的过程。

2023-10-08 16:26:23

数据仓库
数据新鲜出炉！今年“超级黄金周”哪里最火热？
在刚刚结束的中秋国庆假期中，全国文旅市场火热，旅游消费内容、场景丰富多样，体育赛事如火如荼，文化、旅游、体育深度融合，为社会经济增长注入新动力。

2023-10-08 14:27:18

大数据国庆
大数据沉浸式“回忆”国庆八天乐~
“今年十一期间全国日均出行次数同比增长128%，跟2019年同期相比增长了23%。全国主要商圈的消费次数同比增长了142%。”

2023-10-08 14:04:16

大数据
Pydantic，数据类型确认和解析神器
Pydantic通过提供一种优雅且易于使用的解决方案，简化了Python中数据验证和解析。它能确保数据的一致性，简化数据转换，并自动生成文档。

2023-10-08 12:34:16

Pydantic数据转换
探索大数据在可持续发展中的潜力
大数据是指从传感器、社交媒体、卫星和其他数字平台等各种来源持续生成的大量信息。 这些数据通常具有高速、多样性和复杂性的特点。 借助先进的分析和机器学习技术，可以对大数据进行处理和分析，以揭示以前隐藏在视图中的模式、趋势和相关性。 大数据可以通过以下一些方式促进可持续发展。

2023-10-08 11:11:45

大数据传感器
年度经营计划&预算怎么做？最全攻略来了！
外部环境，社会舆论，竞争对手，上游供应商，下游消费者，内部团队表现、内部新品成功概率、内部努力程度&稳定性……都会影响结果，却又很难全部预测清楚。未卜先知的本事大家都喜欢，问题是丫不存在。

2023-10-08 08:08:16

年度经营预算供应商
数据科学在腾讯内容生态中的应用
本文将分享内容生态中的数据科学。虽然正态分布很经典，应用很广泛，但是从个人角度而言，这个分布在日常生活中感知并不强烈。用成年人的身高来举例，虽然我们知道身边很多朋友的身高，但是在脑海里很难形成一个很鲜明的分布的概念。而在日常生活中，让我感知比较强烈的是另外一个分布——Power Law。

2023-10-08 07:40:29

Power Law数据科学
Presto 在阿里云实时日志分析中的实践和优化
本文将分享阿里云千亿规模实时日志分析的架构设计和实践。本文将聚焦在存储和分析基础能力上面的建设，重点分享日志分析系统，以及在面对核心问题时的一些架构设计思路和经验。

2023-10-08 07:33:24

Presto数据分析
大数据在ERP引发前所未有的增长中的作用
每个行业的全球竞争都在加剧，行业面临着自上世纪70年代中期以来最严重的供应链危机，通货膨胀率上升的程度还有待发现。由于经济环境继续提供不可预测的挑战，企业必须尽其所能加强竞争优势。

2023-10-08 07:01:55

大数据ERP供应链
十大数据分析模型之三：矩阵模型
掌握构造矩阵模型的技术后，在很多领域都可以使用。特别是用户行为分析。因为收入、成本这些经营指标经常有KPI的，但用户行为并没有KPI。导致很多同学在做用户行为分析时会迷失方向：到底怎么判定用户行为的好坏？此时可以用上矩阵模型了。

2023-10-07 08:05:17

数据分析模型行为分析
民主化A/B实验
A/B实验是一种通过实验来做效果评估的方法，主要流程是将评估对象随机抽样成对照组和实验组，对实验组施加策略干预，然后通过两组之间的效果对比，得出上线策略会产生的影响。本文分享的内容不涉及具体的算法。

2023-10-07 07:42:12

A/B实验数据仓库
Apache Doris入门，下一代实时数据仓库
层级存储的主要目的是节省成本。层级存储将热数据和冷数据分开存储，热数据是经常访问的数据，而冷数据则不是。它允许用户将热数据放入快速但昂贵的磁盘（如 SSD 和 HDD），将冷数据放入对象存储中。

2023-10-05 18:25:40

存储分开存储SSD
大规模数据处理：探索如何高效地处理海量数据
通过合理地选择和应用技术和方法，我们可以更好地应对大规模数据处理的挑战，并高效地从海量数据中获取有价值的信息和洞见。

2023-10-05 12:43:48

数据处理
MySQL到TiDB：Hive Metastore横向扩展之路
本文介绍了vivo在大数据元数据服务横向扩展道路上的探索历程，由实际面临的问题出发，对当前主流的横向扩展方案进行了调研及对比测试，通过多方面对比数据择优选择TiDB方案。

2023-09-28 08:31:11

MySQLTiDB大数据
大语言模型在数仓数据治理上的落地实践
大语言模型是一种基于Transformer模型的自然语言处理技术。它通过大规模的预训练来学习语言模型，然后可以在各种任务上进行微调，以实现更具体的应用。

2023-09-28 08:19:57

语言模型数仓数据
利物浦足球俱乐部大力运用云技术和数据分析技术
利物浦足球俱乐部（LFC）负责数字业务的高级副总裁Drew Crisp表示，该俱乐部在过去三年里对所有的数字平台进行了改造，从15到20个数字接触点收集数据，以便更好地了解球迷的在线参与情况。

2023-09-27 11:13:58

云技术数据分析
58标签体系建设实践
本篇主要介绍 58 标签体系建设实践，主要包含痛点及标签建设方案、标签体系、标签管理平台三个模块。标签体系的建设，需以实际业务应用场景出发，满足业务使用的同时，保障能力的可拓展性，使用的便捷性。以场景化、结构化、系统化的方式，解决标签质量、数据权限、标签下线的问题。

2023-09-27 07:32:30

标签体系大数据
这才是真正的数据分析报告，你那只是念PPT
到了每日汇报的时候，很多新人会习惯性地像11号一样写上一堆。甚至还有些官僚化的企业，会把这种格式一直流传下去，一传好几年。最后的结果自然是搞到没人看。为啥？因为从12号开始，已经是例行更新，后续的数据走势其实和之前看起来差不多。

2023-09-27 07:21:08

数据分析报告PPT
轻量级的日志采集组件 Filebeat 讲解与实战操作
Filebeat是一个轻量级的代理，对系统资源的消耗非常低。它设计用于高性能和低延迟，可以在各种环境中运行，包括服务器、容器和虚拟机。

2023-09-27 00:12:23

轻量级日志系统
五步法！快速建立数据分析思路
数据分析输出的产品，不像大米白面能直接填饱人的肚子。数据分析的价值是相对的。如果提供的是对方知道的东西，即使给得再多，也不会被认可，甚至会被吐槽：“你太啰嗦了，说重点”。

2023-09-26 12:32:21

数据分析领导数据
上一页 1 ··· 56789 ··· 176
点赞

51CTO技术栈公众号

业务
速览
在线客服