51CTO首页
AI.x社区
博客
学堂
精品班
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

大数据

8917内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 8917 条
大数据实时分析：Flink Dashboard 任务运维和监控
Flink Dashboard 可以与多种开源工具集成，如 Apache Zeppelin、Apache Superset、Airflow、Grafana 和 Prometheus 等。

2024-06-05 09:16:54

开源工具Airflow
大数据实时分析：FlinkSQL中的窗口选取
会话窗口是一种基于活动间隔的窗口。它们没有固定的大小或滑动间隔，而是根据一段不活动的时间（间隔）来划分窗口。当超过指定的不活动时间间隔时，窗口会结束并开始一个新的窗口。

2024-06-04 14:10:00

FlinkSQL窗口大数据
第三届粤港澳大湾区（广东）算力产业大会暨第二届中国算力网大会在韶关举行
今日，由广东省政务服务和数据管理局、韶关市人民政府、鹏城实验室联合主办的第三届粤港澳大湾区（广东）算力产业大会暨第二届中国算力网大会在市区举行。

2024-06-04 10:24:32

数据
借助Geemap分析空间地理数据 译文
这个Python库用于使用Google Earth Engine（谷歌地球引擎）和ipyleaflet创建交互式地图。

2024-06-04 08:00:00

GeemapPython
数据湖在快手的应用实践
本文将分享数据湖在快手的应用实践。文章从业务使用方的视角，全面回顾了数据湖(Hudi)在快手内部的应用推广历程，给业务开发带来的效率提升和成本优化，以及在实际应用中如何与技术团队紧密配合将 Hudi 打造为覆盖全公司、赋能多场景的核心基础设施。

2024-06-04 07:29:13

数据湖Hudi大数据
这才是真正的数据分析项目，而不是取数发通报
计划类工作在跳槽的时候也很好用。因为制定计划涉及整个公司经营分析指标体系，经营方向确认，通过计划类项目，能很好地建立全局认知，在面试官面前显得很有水平。

2024-06-03 14:23:00

数据分析项目计划类
大数据分析是什么、它是如何工作的
大数据分析描述了在大量原始数据中发现趋势、模式和相关性的过程，以帮助做出基于数据的决策。这些过程使用熟悉的统计分析技术，并在更新的工具的帮助下将它们应用于更广泛的数据集。

2024-06-03 14:03:35

大数据分析大数据
总做描述性统计，深入的数据分析到底怎么做？
很多同学做不深入，是因为从2级深度开始，就不能只指望几个指标/维度交叉一下，直接拉出结论来，就得结合业务场景，转化业务假设，然后搜集证据。这要求掌握业务场景、指标、逻辑能力。这些能力需要积累和锻炼才能提升。

2024-05-31 11:37:20

数据分析验证维度交叉
零售行业商品竞争力提升的数据探索
本文将分享零售行业商品开发的基本流程，以及盒马为提升商品竞争力在数据建设方面所做的探索与实践。

2024-05-31 09:00:07

数据建设数据管理数据智能化
第三届粤港澳大湾区（广东）算力产业大会5月30日开幕
5月28日，韶关市举行第三届粤港澳大湾区（广东）算力产业大会暨第二届中国算力网大会新闻发布会，介绍大会筹备情况和亮点环节。

2024-05-30 16:21:07

产业
Gartner发布2024年数据与分析重要趋势
在近日的Gartner数据与分析峰会上，Gartner分析师介绍了IT领导者必须把握并纳入其D&A战略的重要数据与分析趋势。

2024-05-29 13:29:37

数据 分析Gartner
数据分析基础 | Python数据交叉表，你学会了吗？
数据交叉表是数据分析中非常重要的工具，掌握它可以让你更加高效地进行数据处理和可视化呈现。

2024-05-29 12:47:00

Python数据数据分析
搭建数据指标体系，我总结了标准化全流程
业务流程是主要数据来源，指标体系首要任务是反馈业务流程情况。有了主指标以后，要结合业务流程，梳理出过程指标。有了过程指标，才能解释主指标为什么低，为什么高。

2024-05-29 12:41:33

数据指标流程
京东统一存储实践
随着大数据时代的到来，海量数据的存储与处理成为了众多企业面临的重要挑战。HDFS 作为一个高可靠性、高扩展性的分布式文件系统，在京东零售的数据管理中扮演着重要角色。本文将分享京东在 HDFS 统一存储方面的实践经验，并对相关的技术细节进行总结。

2024-05-29 07:56:41

大数据海量数据HDFS
七个领先数据仓库和数据库的深入比较
在当今的数字时代，数据仓库和数据湖已成为存储和分析大量数据的核心，为各种数据管理挑战提供可扩展的解决方案。探索数据仓库和数据库的多样化世界，比较AmazonRedshift和MySQL等主要参与者，以确定最适合您的数据管理需求的解决方案。

2024-05-29 07:10:00

数据仓库数据湖
火花思维：从 0 到 1 构建一站式数据开发治理平台
火花思维作为在线教育领域的佼佼者，深知数据对于决策和运营的重要性。为进一步释放数据资源的价值，公司从 0 到 1 构建了一站式数据开发治理平台，实现了数据集成、数据开发、数据分析、数据服务等全流程整合，为公司的长远发展奠定了坚实的数据基础。

2024-05-28 07:58:08

数据分析数据开发火花思维
肯睿Cloudera：数据如何改变生活
一旦企业能够充分利用其创建和采集的海量数据，便开启了无限的可能性。

2024-05-27 10:30:20

数据Cloudera
NoETL，开启自动化数据管理新时代
在这个主题中，有两个大家很熟悉的词：ETL 和数据管理。但同时，也有两个不太熟悉的词：NoETL 和自动化数据管理。我们是否在创造一种新的概念？今天我将回答这个问题，并通过回答这个问题来解释我们为什么要创立 Aloudata 这家公司，以及我们的定位是什么。

2024-05-27 07:42:42

ETL数据管理NoETL
敏捷的数据工程实践
本文介绍了什么是敏捷数据工程， 并分析了几个有效的实践。如果能灵活的在数据项目中应用，将有效提升我们的数据产品交付质量。

2024-05-24 10:23:25

敏捷数据工程数据开发
腾讯大数据多引擎统一元数据和权限管理的探索
本文介绍了腾讯大数据多引擎统一元数据和权限管理的探索。TBDS的全称是腾讯大数据处理套件，它是一个基于 Hadoop 生态以及 MPP 生态的大数据平台。

2024-05-23 07:39:00

大数据TBDS数据湖
有效的数据治理如何推动业务增长
数据治理显得尤为重要，它确保了企业内数据的有效和高效管理。数据治理的核心目标是确保数据在其生命周期内，从获取到使用，都以支持企业业务目标的方式进行管理。

2024-05-22 15:31:56

数据治理大数据
第三代指标平台如何摆脱 ETL 宽表开发 做“轻”数仓
第三代指标平台给我们 IT 部门带来的体验改变，表现在大幅减少指标重复开发的工作量和运维变更的工作量。对业务部门来说，它提供了真正处理“最后一公里”自主分析问题的体验，让业务人员能够自助完成分析工作，而不需要为增加字段或维度而频繁联系 IT 部门。

2024-05-22 09:48:04

自动化指标平台数仓
携手亚马逊云科技，北京灵奥科技助力企业无缝结合大模型与数据​ 原创
近日，亚马逊云科技以“无数据不模型——生成式AI时代的数据基座”为主题召开了媒体沟通会。会上，北京灵奥科技CEO厉启鹏介绍了Vanus如何帮助企业解决数据问题，从而与大模型无缝结合。​

2024-05-21 09:36:38

亚马逊云科技数据基座Vanus
做数据分析十年，第一次见到靠谱的归因模型
从经验上来看：投诉类来电，在业务上性质特殊，属于高风险行为。别的来电都能用小程序替代，唯独怒气冲冲的客户，必须用人工来服务，至少让人家消消气。

2024-05-20 13:20:35

数据分析业务程序
大宗产业风控领域的数据探索与实践
蚂蚁作为互联网企业，数据建设通常是面向互联网场景围绕个人开展，传统业务上的数据应用构建与互联网存在着比较大的差异。蚂蚁尝试从大宗领域切入，探索能否基于已有能力去服务传统产业，帮助其实现产业数字化升级，并落地相关的风控场景应用。

2024-05-17 08:16:08

数据建设风控领域数据分析
数据处理不再难！用JSONCrack轻松打造炫目可视化效果！
对于许多人来说，处理数据依然是一个令人望而生畏的任务。幸运的是，有一种名为JSONCrack的工具可以帮助您轻松应对数据处理挑战，并将数据转化为令人惊叹的可视化效果！

2024-05-16 13:03:54

JSONCrack处理数据可视化
做经营分析，只会同比环比，怎么办！
所谓策略，就是业务开展的前后顺序，轻重缓急。比如上文提到的“A产品销售差3%”达标。如果站在产品策略的角度，就不是这么头疼医头，脚疼医脚地把每一个产品的涨跌列出来。

2024-05-15 11:51:40

经营分析业务产品
OPPO 下一代大数据 AI 一体架构实践
云厂商用存储吸引用户，进而提供上层 SaaS 服务。云原生弹性计算架构可提高调度效率，实现资源的自动弹性伸缩，优化资源利用。本文将展示OPPO 下一代大数据 AI 一体架构在功能云上的实践，希望为大家带来启发。

2024-05-14 08:03:31

SaaS 服务云原生AI 一体架构
Pandas 处理 CSV 数据的十个步骤
今天，我们将一起踏上Python数据分析之旅，以处理CSV文件为例，通过十个简单易懂的步骤，带你领略Pandas的强大之处。

2024-05-13 11:43:39

Python数据分析CSV
十分钟了解Flink SQL使用
本文将介绍Flink SQL的基本原理、使用方法、流批统一，并通过几个例子进行实践。

2024-05-13 09:28:43

Flink SQL大数据
一文快速解锁：价格分析模型
价格的敏感性，是可以事先测试的。在事先可以以优惠券为杠杆，以抽奖的形式测试用户的购买率，从而一定程度上推断涨价/降价多少合适。但是这种方式更适合测降价，涨价的话，用户本能的反感会比较强烈，所以不太适用。

2024-05-11 08:18:49

解锁价格模型
大数据管理的应用与实践
大数据管理是指企业在其整个生命周期中处理的大量数据的治理、管理和组织，包括数据的摄取、处理、存储和分析，以推动决策并保持运营顺利运行。

2024-05-10 13:01:49

大数据大数据管理
这才是真正的商品分析，而不是罗列进销存
一提到商品搭配，很多人脑子里第一时间蹦出来：啤酒与尿布。实际上即使不用数据去算，商品之间固定搭配。就像比起啤酒配尿布，啤酒配鸡爪，啤酒配花生米，啤酒配小龙虾更常见一样。

2024-05-10 12:01:00

商品分析数据分析断货
用Pyjanitor消除数据清洗(Data Cleaning)中的烦恼
数据清洗（Data Cleaning）通常被视为数据驱动决策的关键准备步骤，其目的在于查找并纠正数据中的错误和不一致，以提高数据质量。随着数据集的增长，确保数据的清洁度和完整性变得越发具有挑战性。了解数据清洗的重要性以及如何进行数据清洗变得至关重要。

2024-05-10 08:31:57

数据清洗数据驱动
HBase Meta 元信息表修复实践
HBase是一款开源高可靠、高可扩展性、高性能的分布式非关系型数据库，广泛应用于大数据处理、实时计算、数据存储和检索等领域。在分布式集群中，硬件故障是一种常态，硬件故障可能导致节点或者集群级别服务中断、meta表损坏、RIT、Region空洞、重叠等问题，如何快速修复故障恢复业务尤其重要，本文章主要是围绕HBase meta表常见的故障以及对应解决方案进行描述。

2024-05-10 08:00:00

HBase数据库
现实生活中的十大大数据应用
大数据方法的使用使来自不同行业的众多企业受益，包括医疗保健、银行、制造业等在内的许多行业都在使用大数据分析。本文将深入探讨现实生活中对我们日常生活产生深远影响的十大大数据应用。

2024-05-09 12:52:12

大数据
解锁数据可视化项目成功的关键：原型图反馈(Feedback )机制
在数据可视化项目中，缺乏真正用户的参与常导致仪表板被闲置。解决这一问题的关键在于在项目早期吸引业务运营人员的积极参与，并建立良好的原型设计和反馈机制。

2024-05-09 09:17:41

数据可视化项目业务
算法在 58 画像平台建设中的应用
用户画像平台是企业应用大数据的根基，精准营销、精细化运营和个性化推荐都离不开用户画像的建设。精准地刻画用户行为、兴趣以及需求尤为重要。本文将探讨算法在 58 用户画像平台建设中的作用，包括画像标签体系的建设，个性化推荐、精细化运营等业务应用。

2024-05-09 07:32:09

用户画像平台大数据算法
探讨供应链管理中的大数据分析
在当今快速发展和相互关联的世界中，供应链管理在各行业企业的成功中发挥着关键作用。随着大数据分析的出现，各组织现在能够利用数据的力量来优化其供应链运营、提高效率、降低成本，并提高整体业绩。

2024-05-08 15:46:52

供应链大数据
重新思考大数据以及业务运营和数据运营之间的脱节
数据是铺就AI价值之路的水泥。“大数据”是一个关键领域，存在被错误归类的风险——这是过去的事情，或者缺乏值得一试的上行空间。CIO和数字高管需要确保大数据得到应有的关注。

2024-05-08 15:34:12

大数据
数字健康中的大数据分析：全面概述
大数据分析在医疗保健中至关重要，包括分析庞大而复杂的数据集，以揭示隐藏的模式和见解。这一过程将原始数据转化为可操作的信息，提高患者的成果、操作效率和医疗保健的成本效益。

2024-05-08 15:15:41

大数据分析医疗保健数字健康
这才是大厂的经营分析报告，而不是“念PPT会”
想要提升效率，把经营分析会变成决策会而不是“例行会”“读ppt会”“甩锅会”，就得从众多数据中，把关键问题挑出来，帮大家聚焦到核心问题上。这里有5个问题最为关键。

2024-05-08 13:59:38

经营分析PPT
经营分析：决策分析模型搭建指南
如果同学们觉得没见过数据驱动决策，这也很正常，并非每个公司都这么规范认真，我们要做的是0级~7级的基础积累，积累越多，我们自己掌握的本事就越大，也越有机会到真正优秀的公司实践。

2024-05-07 12:00:47

决策分析模型数据
大数据和人工智能是如何合作的?
大数据的特点是产生的数据量大、种类多、速度快，为人工智能算法提供了提取有价值见解和推动明智决策的原材料。总之，这两种变革性技术有可能彻底改变全球的行业。让我们更深入地了解大数据和人工智能如何合作，以及释放其全部潜力的策略。

2024-05-07 11:29:59

大数据人工智能算法
一文带你了解大数据基石-Hadoop
基于存储以及计算Hadoop量大两大功能模块-分布式存储HDFS以及分布式计算MapReduce，下面分别针对这两大功能模块详细介绍。

2024-05-07 08:49:36

Hadoop数据存储-分布式存储
基于SpringBoot3.x和Apache Doris构建高效大数据分析系统
在传统数据处理过程中，我们面临的数据多数是结构化的，该数据保存在预定义的数据模型中，如关系型数据库的表。然而，随着科技发展，尤其是互联网、物联网和移动设备的普及，非结构化数据（如文本、图片、音频、视频、社交媒体数据等）的产生量正在急剧增加，它们共同构成了大数据的特征--多样性。

2024-05-07 08:16:17

大数据分析系统
vivo 超大数据规模分布式消息中间件架构演进实践
新一代数据架构覆盖数据全链路，包括数据的采集层、接入层，以及下游的海量计算、分布式存储等。本次分享题目为 vivo 超大数据规模分布式消息中间件架构演进实践。

2024-05-07 07:58:10

数据架构大数据中间件架构
数据分析，高手只比你多做了这一步
深入分析、建模、提业务建议，标签是很重要的一环。同学们可以试着多建有业务含义的标签，特别是涉及“盲盒”状态的业务，比如线上广告投放，线下销售跟进，商品选品等，标签的作用更大。​

2024-05-06 09:02:57

数据分析标签模型
时空图神经网络原理及Pytorch实现
在我们生活的这个充满联系的世界中，从微观的分子结构到宏观的社交网络，再到复杂的城市设计结构，都隐藏着一张张相互关联的图数据。这些图数据仿佛一张张神秘的网，将世界万物紧密相连。

2024-04-30 14:54:10

Pytorch时空图神经网络
蚂蚁集团 EB 级大数据治理架构与实践
本文将分享蚂蚁集团在大数据治理实践过程中沉淀的经验。蚂蚁的数据来源众多，包括行为日志、系统服务端收集的数据等。从类型上看，有DB 类、日志类、log 类等，还有消息类的和非结构化的数据。

2024-04-30 08:05:53

大数据数据治理数据质量治理
上一页 1 23456 ··· 179
点赞

51CTO技术栈公众号

业务
速览
在线客服