51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术25年5月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9084内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9084 条
HBase Meta 元信息表修复实践
HBase是一款开源高可靠、高可扩展性、高性能的分布式非关系型数据库，广泛应用于大数据处理、实时计算、数据存储和检索等领域。在分布式集群中，硬件故障是一种常态，硬件故障可能导致节点或者集群级别服务中断、meta表损坏、RIT、Region空洞、重叠等问题，如何快速修复故障恢复业务尤其重要，本文章主要是围绕HBase meta表常见的故障以及对应解决方案进行描述。

2024-05-10 08:00:00

HBase数据库
现实生活中的十大大数据应用
大数据方法的使用使来自不同行业的众多企业受益，包括医疗保健、银行、制造业等在内的许多行业都在使用大数据分析。本文将深入探讨现实生活中对我们日常生活产生深远影响的十大大数据应用。

2024-05-09 12:52:12

大数据
解锁数据可视化项目成功的关键：原型图反馈(Feedback )机制
在数据可视化项目中，缺乏真正用户的参与常导致仪表板被闲置。解决这一问题的关键在于在项目早期吸引业务运营人员的积极参与，并建立良好的原型设计和反馈机制。

2024-05-09 09:17:41

数据可视化项目业务
算法在 58 画像平台建设中的应用
用户画像平台是企业应用大数据的根基，精准营销、精细化运营和个性化推荐都离不开用户画像的建设。精准地刻画用户行为、兴趣以及需求尤为重要。本文将探讨算法在 58 用户画像平台建设中的作用，包括画像标签体系的建设，个性化推荐、精细化运营等业务应用。

2024-05-09 07:32:09

用户画像平台大数据算法
探讨供应链管理中的大数据分析
在当今快速发展和相互关联的世界中，供应链管理在各行业企业的成功中发挥着关键作用。随着大数据分析的出现，各组织现在能够利用数据的力量来优化其供应链运营、提高效率、降低成本，并提高整体业绩。

2024-05-08 15:46:52

供应链大数据
重新思考大数据以及业务运营和数据运营之间的脱节
数据是铺就AI价值之路的水泥。“大数据”是一个关键领域，存在被错误归类的风险——这是过去的事情，或者缺乏值得一试的上行空间。CIO和数字高管需要确保大数据得到应有的关注。

2024-05-08 15:34:12

大数据
数字健康中的大数据分析：全面概述
大数据分析在医疗保健中至关重要，包括分析庞大而复杂的数据集，以揭示隐藏的模式和见解。这一过程将原始数据转化为可操作的信息，提高患者的成果、操作效率和医疗保健的成本效益。

2024-05-08 15:15:41

大数据分析医疗保健数字健康
这才是大厂的经营分析报告，而不是“念PPT会”
想要提升效率，把经营分析会变成决策会而不是“例行会”“读ppt会”“甩锅会”，就得从众多数据中，把关键问题挑出来，帮大家聚焦到核心问题上。这里有5个问题最为关键。

2024-05-08 13:59:38

经营分析PPT
经营分析：决策分析模型搭建指南
如果同学们觉得没见过数据驱动决策，这也很正常，并非每个公司都这么规范认真，我们要做的是0级~7级的基础积累，积累越多，我们自己掌握的本事就越大，也越有机会到真正优秀的公司实践。

2024-05-07 12:00:47

决策分析模型数据
大数据和人工智能是如何合作的?
大数据的特点是产生的数据量大、种类多、速度快，为人工智能算法提供了提取有价值见解和推动明智决策的原材料。总之，这两种变革性技术有可能彻底改变全球的行业。让我们更深入地了解大数据和人工智能如何合作，以及释放其全部潜力的策略。

2024-05-07 11:29:59

大数据人工智能算法
一文带你了解大数据基石-Hadoop
基于存储以及计算Hadoop量大两大功能模块-分布式存储HDFS以及分布式计算MapReduce，下面分别针对这两大功能模块详细介绍。

2024-05-07 08:49:36

Hadoop数据存储-分布式存储
基于SpringBoot3.x和Apache Doris构建高效大数据分析系统
在传统数据处理过程中，我们面临的数据多数是结构化的，该数据保存在预定义的数据模型中，如关系型数据库的表。然而，随着科技发展，尤其是互联网、物联网和移动设备的普及，非结构化数据（如文本、图片、音频、视频、社交媒体数据等）的产生量正在急剧增加，它们共同构成了大数据的特征--多样性。

2024-05-07 08:16:17

大数据分析系统
vivo 超大数据规模分布式消息中间件架构演进实践
新一代数据架构覆盖数据全链路，包括数据的采集层、接入层，以及下游的海量计算、分布式存储等。本次分享题目为 vivo 超大数据规模分布式消息中间件架构演进实践。

2024-05-07 07:58:10

数据架构大数据中间件架构
数据分析，高手只比你多做了这一步
深入分析、建模、提业务建议，标签是很重要的一环。同学们可以试着多建有业务含义的标签，特别是涉及“盲盒”状态的业务，比如线上广告投放，线下销售跟进，商品选品等，标签的作用更大。​

2024-05-06 09:02:57

数据分析标签模型
时空图神经网络原理及Pytorch实现
在我们生活的这个充满联系的世界中，从微观的分子结构到宏观的社交网络，再到复杂的城市设计结构，都隐藏着一张张相互关联的图数据。这些图数据仿佛一张张神秘的网，将世界万物紧密相连。

2024-04-30 14:54:10

Pytorch时空图神经网络
蚂蚁集团 EB 级大数据治理架构与实践
本文将分享蚂蚁集团在大数据治理实践过程中沉淀的经验。蚂蚁的数据来源众多，包括行为日志、系统服务端收集的数据等。从类型上看，有DB 类、日志类、log 类等，还有消息类的和非结构化的数据。

2024-04-30 08:05:53

大数据数据治理数据质量治理
深入解析数仓维度建模中的维度
对于桥接维度可能就更加好理解了，就是两个维度表之间通过第三张维度表进行关联，其中存储另外两个维度表的关系。如图9-6所示，维度表A与维度表B之间某个字段的属性存在多对多关系，基于这种多对多关系设计维度表C，用来存储这两个属性的关系。

2024-04-30 00:00:00

数仓维度建模
大数据存储压缩算法调研：snappy、gzip还是lz4？
压缩比是衡量压缩算法效率的重要指标之一，它表示压缩后的数据大小与原始数据大小之间的比率。一般来说，压缩比越高，表示压缩算法越有效，可以更好地减小数据存储空间或网络传输带宽的占用。

2024-04-29 08:53:10

大数据存储数据
平安银行智能化数据安全分类分级实践分享
随着国家对数据安全的高度重视，以及相关法律法规的出台，数据安全领域工作得到了极大的提升。本文将分享平安银行运用智能化手段实现数据安全分类分级的背景、思路和方法。

2024-04-29 07:13:13

数据安全数据分类分级智能打标模型
解读数据，我发现了超好用的七步标准法
数据分析师想要加强数据洞察能力，就得多积累分析经验，针对具体业务问题，收集业务动作，多复盘，这样才能认识得越来越深入。每次具体问题来了，才有丰富的弹药库可用。

2024-04-28 12:47:03

数据业务业务
轻松处理CSV文件，csvkit助你高效数据分析！
在本文中，我们将介绍csvkit库的基本用法，并通过一个实际的案例来演示如何使用csvkit进行数据分析。

2024-04-28 11:39:17

绍csvkit数据分析
大数据序列化框架选型：Avro还是Json?
选择合适的序列化和反序列化协议需要根据实际需求和场景特点综合考虑。在不同的场景下，选择适合的序列化协议能够提高系统的性能、可维护性和开发效率，为系统的稳定运行提供保障。

2024-04-28 08:56:58

大数据框架Json
常用的时间序列分析方法总结和代码示例
时间序列是最流行的数据类型之一。视频，图像，像素，信号，任何有时间成分的东西都可以转化为时间序列。

2024-04-26 12:29:36

时间序列数据分析
放大招，数据运营全流程SOP
用户需求是客观存在的，最大难题是如何收集数据，了解到用户需求。有些人会说：这还不简单，直接让用户填问卷不就好了。问题是，你自己去买东西的时候会填问卷吗，填个屁。用户都是不想被过度打扰的，因此设计顾客旅程，分步骤引导用户留下数据，很重要。

2024-04-26 12:28:32

数据运营SOP
NameNode锁细粒度优化在B站的实践
NameNode是整个HDFS的核心组件，集中管理HDFS集群的所有元数据，主要包括文件系统的目录树、数据块集合和分布以及整个集群的拓扑结构。

2024-04-26 12:13:45

NameNodeHDFS核心
Hudi 1.0 新功能预览
本文将详细阐述 Hudi 1.0 在设计上的重新思考和设计思路，并深入探讨 1.0 版本中发布的一些新功能。Hudi 是一个高效的事务型数据湖仓平台，其核心特色是一个开放性的表格式定义和一套全面的事务数据库核心层。

2024-04-26 07:36:42

Hudi 1.0数据湖仓数据查询
学数据分析的八大误区，你中招了吗？
在设定学习目标的时候，到底是想提升目前岗位/行业的适应能力，还是提高自己在人才市场的竞争能力，是两个根本方向性问题。

2024-04-26 00:15:51

数据分析能力
我最常用的六个数据可视化工具，强烈推荐
今天给大家分享机器学习中用于数据可视化的 6 个 Python 库。

2024-04-25 16:27:07

数据可视化Python
探讨大数据在财政方面的潜力
当与大数据分析的力量相结合时，商品及服务税为政府、企业和消费者等打开了新机遇的大门。本文探讨了商品及服务税与大数据的融合，揭示了这种合作的潜在好处、创新应用，以及对经济和利益相关者可能产生的深远影响。

2024-04-24 15:08:17

大数据财政
探讨金融行业的大数据
金融生态系统中生成的数据量巨大且复杂，为彻底改变传统银行业务提供了巨大潜力。本文深入探讨银行业大数据领域，探讨其应用、优势、挑战及其对行业的变革性影响。

2024-04-24 14:59:08

大数据
系统设计：通过示例理解 MapReduce
MapReduce是一种专门设计用于处理无法在单台计算机上处理的大规模数据挑战的编程模型。

2024-04-24 11:05:03

MapReduce编程大数据
数据中台、数据仓库、数据治理与主数据的定位与差异
在数字化时代，大数据已经成为企业运营和决策的重要资产。为了更好地管理和利用这些数据，数据中台、数据仓库、数据治理和主数据管理等概念应运而生。这些概念听起来可能有些抽象，但实际上它们与我们的日常生活息息相关。

2024-04-22 13:36:00

数据中台数据仓库大数据
快手大数据安全治理实践
快手的数据平台旨在提升决策效率和业绩。该平台通过数据中台构建数据仓库和数据服务，包括分析决策、实验决策、AB 测试和核心资产服务等。目前，快手的数据量已达到万亿级，总数据量达到 EB 级。

2024-04-22 07:56:32

数据仓库数据中台数据服务
大数据是如何改变游戏业的?
自在线游戏诞生以来，技术的进步和数据的消费方式意味着这一领域一直在不断发展。近年来，该领域的大数据变化改变了游戏的开发、体验和营销方式。

2024-04-22 07:30:00

大数据
金融分布式系统中数据治理的四大陷阱
分布式系统的复杂性，需要整合来自多个不同来源的数据，进一步增加了数据治理的复杂性，这些系统需要复杂的策略来有效管理数据的完整性和安全性。

2024-04-19 16:12:23

大数据数据治理
用户行为分析模型实践（四）—— 留存分析模型
本文详细介绍了留存分析模型的概念及基本原理，并阐述了其在产品中具体实现。针对在实际使用过程问题，探索了基于ClickHouse留存分析模型实践方案。

2024-04-18 08:30:00

留存分析模型数据分析
一文带您了解权重证据(WoE)与信息价值(IV)：数据分析的重要利器
WOE和IV是数据分析和建模中的重要工具，它们能够帮助我们发现特征与目标变量之间的关系，并指导我们做出更好的决策。通过深入理解这些技术的原理和应用，我们可以更好地优化模型，提高预测准确性，从而实现更好的业务结果。​

2024-04-17 08:46:17

数据分析工具WoE
物化视图在 MaxCompute 中的探索与实践
物化视图（Materialized View，以下简称 MV）是将查询结果预先计算并存储的一种特殊的物理表，当执行相关查询时，可以自动复用预计算结果，提高查询性能。物化视图作为一种查询加速器，在云计算和大数据时代有着广泛的用途。今天和大家分享物化视图在 MaxCompute 的实践。

2024-04-17 07:21:52

物化视图查询加速器数据仓库
第三代指标平台定义、能力与技术详解
今天分享的主题是第三代指标平台如何做“轻”数仓。传统数仓的应用层需要面向业务场景做大量的宽表和汇总表开发，今天我们来探讨是不是有新的解决思路。

2024-04-16 07:18:54

指标平台数仓数智化分析
蚂蚁数科入选IDC《数据要素全景研究》代表技术厂商
作为国内最早布局区块链、隐私计算等前沿技术的厂商之一，蚂蚁数科在数据要素领域持续深耕，围绕数据要素价值释放全流程，在数据安全、数据合规、数据流通与数据应用等环节，都推出了针对性的技术产品与解决方案，促进数据安全合规、高效流通，加速数据要素价值释放。

2024-04-12 20:29:31

蚂蚁数科数据要素数据应用
全生命周期数据收集与管理：实现可持续建筑的关键
今天，我们一起来聊聊在建筑全生命周期内进行数据采集和管理的重要性及应用。通过对设计、施工和运营阶段的数据收集和管理，可以实现建筑的可持续发展目标，提高效率、降低成本、优化设计和运营，并促进智能化建筑的发展。本文将重点探讨数据收集与管理的方法、技术和应用，以及在实践中的价值和挑战。

2024-04-12 10:11:29

数据收集数据管理建筑
数据如何影响产业数字化进程 译文
数据因行业不同而不同，这也影响着不同行业的数字化进程——在某个行业中有效的策略在另一个行业中却行不通。而信息的多样性和可用性如何影响不同领域的数字化转型过程呢？

2024-04-11 10:09:49

数字化转型
如何更有效地利用大数据优化智能建筑运营
尽管智能建筑数据利用面临一些挑战，但通过大数据技术的应用和持续优化管理策略，可以充分发挥数据的价值，实现智能建筑运营管理的更高水平……

2024-04-11 09:30:00

大数据物联网楼宇自控
构建数字化、脱碳能源未来：技术驱动的绿色转型
数字化、脱碳能源未来是实现可持续发展和保护地球家园的关键路径之一。利用人工智能、物联网、大数据等技术，我们可以提高能源利用效率，减少碳排放，为人类创造一个更加绿色、健康、可持续的未来。

2024-04-10 11:02:48

物联网大数据人工智能
又踩坑了！BigDecimal使用的五个坑！
由于计算机的资源是有限的，所以是没办法用二进制精确的表示 0.1，只能用「近似值」来表示，就是在有限的精度情况下，最大化接近 0.1 的二进制数，于是就会造成精度缺失的情况。

2024-04-10 08:39:56

BigDecimal浮点数二进制
指标平台加速零售数字化转型--Kyligence Zen 智能一站式指标平台
宗正老师是大数据资深技术布道师，本次聚焦零售行业，分享如何利用指标平台及相应的技术方法，加速零售的数字化转型。

2024-04-10 07:24:58

数字化转型指标平台数据驱动
肯睿Cloudera宣布新任大中华区副总裁
刘汨春担任肯睿Cloudera大中华区副总裁，大数据和大模型赋能中国企业加速数字化转型

2024-04-09 11:49:07

数据云AI
2024年治理革命：大数据和GenAI
2024年，在大数据和生成式人工智能（GenAI）融合的推动下，治理格局正在经历深刻的变革。这种革命性的结合正在重塑政府收集、分析和利用数据，以做出明智决策和应对复杂社会挑战的方式。

2024-04-09 10:58:11

大数据人工智能GenAI
大数据泄露！boAt 的750万客户记录在暗网上被曝光
这次泄露最初由《福布斯印度》报道，据报道包括用户的敏感个人身份信息(PII)，如姓名、地址、电话号码、电子邮件地址、客户ID等。

2024-04-08 11:28:14

大数据泄露安全专家网络安全
掌握数据：AI和嵌入式分析如何驱动业务成果
能够有效利用数据作为战略资产的组织将不可避免地建立竞争优势，并在长期内超越同行。然而，这是一把双刃剑。如果不优先考虑，劣质数据最终会让组织付出代价。70%难以信任其数据的专业人士声称数据质量是最大的问题。

2024-04-08 08:20:00

大数据
上一页 1 ··· 45678 ··· 182
点赞

51CTO技术栈公众号

业务
速览
在线客服