51CTO首页
AI.x社区
博客
学堂
精品班
直播训练营
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

大数据

8819内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 8819 条
数据分析经典方法之：周期性分析法
周期分析法，还是更深入分析的基础。比如做预测，如果能拆分出整体数据中周期规律，预测就非常简单！比如做指标异动分析，如果已知有几个因素在影响，每个因素自身周期规律，那么追溯真实原因也很容易。很多同学做得不深入的原因，就是对基础规律了解不够。​

2023-11-26 08:20:35

数据分析周期性
Python：打造可视化数据分析应用的实战指南！
本文介绍了如何使用Python打造可视化数据分析应用，以及NumPy、Pandas和Matplotlib这些常用模块的使用方法和代码案例。

2023-11-24 14:02:00

Python数据分析
腾讯 PCG 数据治理体系
本次分享题目为腾讯 PCG 数据治理体系。腾讯 PCG 内容与平台事业群，包括大家所熟知的 QQ、腾讯视频、腾讯新闻、阅文集团，以及腾讯音乐等业务。

2023-11-24 07:10:44

数据治理PCG
大话数仓，数据仓库，维度建模方法（二）
前文已经简单介绍了什么是数据仓库，数据仓库事实表、维表等相关概念。在了解这些概念之后，我们要建设符合企业要求，能支持业务使用、运营分析的数据仓库。

2023-11-23 16:59:37

数据仓库建模
大话数仓，数据仓库（一）
数据仓库，是越来越流行的数据解决方案。传统烟囱式的数据开发模式，显然不能满足日益增长的数据需求，而作为大数据量化方案、解决大数据问题、发掘数据价值的大数据仓库被很多公司采纳使用。

2023-11-23 16:53:56

数据仓库大数据
大数据在推动心理健康研究中的作用
大数据在心理健康研究中的作用是变革性的。它使研究人员能够利用统计方法，考虑到遗传和环境因素，并解决建立因果关系的挑战，来解决心理健康的复杂性。

2023-11-23 10:08:06

大数据心理健康
如何通过提高数据质量来做出可靠有效的决策
当企业的数据出错时，没有简单的方法来指导企业。随着数据规模的显著增长，人们可能会觉得真正的数据质量几乎不可能实现，然而，通过意识到劣质数据的症状，企业可以迅速采取行动并解决更深层次的问题，使它们重新走上高质量数据的道路，并增强决策信心。

2023-11-22 16:08:29

大数据提高数据质量
AI如何扩展数据分析并使其更高效
通过自动化各种分析任务和简化分析生命周期，AI将错误降至最低，释放人力资源用于战略工作，并削减运营成本。在AI和数据之间的这种共生关系中，企业为扩展分析和推动数据驱动的决策找到了一个强大的支持力量。

2023-11-21 16:02:56

数据分析人工智能
火山引擎 DataLeap 计算治理自动化解决方案实践和思考
本文旨在探讨火山引擎 DataLeap 在处理计算治理过程中所面临的问题及其解决方案，并展示这些解决方案带来的实际收益。

2023-11-21 07:21:39

火山引擎计算治理自动化
知乎是怎样进行埋点平台建设升级的？
在望海，京东，美团等公司参与过基础引擎研发和业务系统研发工作，目前在知乎负责埋点数据系统研发工作。埋点是大数据时代不可或缺的核心数据来源，其价值和作用在不断扩大和提升。在未来的数据时代，埋点将继续扮演着重要的角色，为数据分析和决策提供有力支持。

2023-11-21 07:14:43

埋点大数据
GenAI时代的数据治理蓝图
随着GenAI的不断发展，掌握数据治理变得更加关键，这不仅仅是为了维护数据质量，也是为了理解这些数据与利用它的AI模型之间的复杂关系。这种洞察力对于技术进步、业务健康以及维护利益相关者和更广泛公众的信任至关重要。

2023-11-20 15:52:18

GenAI人工智能
探索大数据的阴暗面
大数据在改变企业及其经营方式方面有着巨大的力量。如今，企业正贪婪地寻找在日益激烈的竞争环境中脱颖而出的方法，大数据为其实现目标铺平了道路。

2023-11-20 14:32:48

大数据企业
布隆vs布谷鸟：哪种过滤器最适合你的大数据需求？
布隆过滤器（Bloom Filter）和布谷鸟过滤器（Cuckoo Filter）是两种概率型数据结构，用于快速而高效地检查一个元素是否属于一个集合。尽管它们都能够用于这一目的，但在实现细节、性能特点和使用场景上存在不同。

2023-11-20 14:18:55

大数据布隆过滤器布谷鸟过滤器
从Clickhouse迁移到Doris，数据仓库性能大提升
本文分享如何从ClickHouse迁移到Doris的过程，包括为什么需要更改，需要注意什么以及如何比较两个数据库在各自环境中的性能。

2023-11-17 18:02:19

数据仓库性能Doris
聊一聊几款主流消息队列之间的差异，我们应该如何选择
消息队列是历史最悠久的中间件之一，它可以和不同的进程进行通信，从而实现上下游之间的消息传递。基于此特性，我们可以在以下三个场景中使用消息队列。

2023-11-17 15:08:24

消息队列大数据
BI 数据可视化平台建设（2）—筛选器组件升级实践
本文主要介绍了BI数据可视化平台建设中比较核心的筛选器组件， 涉及组件分类、组件库开发等升级实践经验，通过分享一些对交互和业务耦合度高的组件开发迭代的思考，希望可以给正在做组件重构解耦的读者带来启发。

2023-11-16 11:34:05

BI大数据
小米数据中台建设实践赋能业务增长！
本文将介绍小米数据中台部门在销售数仓建设方面的实践。文章将从小米销售数仓的发展历程开始，介绍其定位、内容、作用、规模等，并分享数仓建设常用的维度建模和分层理论，以及小米销售数仓的架构演进和能力沉淀。

2023-11-15 13:36:00

数仓建设数据中台
如何通过数据分析推动数字时代营销的演变
在这个数字时代，技术和数据引导成功的营销活动，数据分析已成为企业在这个动态环境中生存和发展不可或缺的工具。通过利用数据分析，企业可以根据洞察做出决策，个性化营销策略，精确定位目标受众，并准确评估营销计划的结果。

2023-11-15 10:08:33

数据分析大数据
从零开始学习数据分析之MySQL入门
最近，我的一位证券行业的铁哥们想要学习SQL，来取代Excel做数据处理。因此，我决定开设一个系列，从基础知识开始，介绍数据分析的相关内容。这个系列不仅涵盖MySQL的SQL语句，还将涉及使用pymysql操作、Pandas用法、PySparkSQL、PySpark算子的使用以及商业智能（BI）报表平台等方面的内容。

2023-11-14 16:14:49

数据分析MySQL大数据
数据湖成功的七个优秀实践
如果没有适当的管理和实施，数据湖很快就会变得难以管理且难以使用。在本文中，我们将讨论一些关键的数据湖最佳实践，以确保数据管理从一开始就得到优化。

2023-11-14 14:25:09

数据湖大数据
流式图计算在蚂蚁大数据场景的应用
今天主要介绍蚂蚁集团实时数据体系和关键技术、基于流式图计算的实时流量归因场景应用，以及基于流式图计算在支付宝营销场景实时 OLAP 和数金场景实时用户行为意图分析的探索。

2023-11-14 07:21:44

大数据流式图计算
大数据治理的"黑科技"：场景驱动的数据管理
随着数字世界的不断扩大，大数据已经渗透到我们生活的每一个角落。那么，在这个大数据的时代，如何有效管理数据，确保数据的质量和安全，进而实现数据的最大价值呢？

2023-11-13 14:53:23

大数据数字化
Python好用的可视化库（从低级到高级）
今天，我将深入探讨Python中的数据可视化世界，更具体地说，我们如何利用一些官方库来可视化SQL查询的结果，已有的“轮子”可以让这个过程变得轻松愉快。

2023-11-10 09:55:09

Python数据可视化
如何构建六层大数据堆栈架构
大数据堆栈是一套互补的软件技术，用于管理和分析对于传统技术来说太大或太复杂的数据集。大数据堆栈技术——最常用于分析——是专门为应对数据大小、速度和种类的增长而设计的。

2023-11-09 16:12:06

大数据大数据堆栈
从数据池或大数据仓库到数据湖
这篇博文讨论了从数据池/大数据仓库到数据湖的演变。它探讨了传统数据仓库的局限性以及数据湖在可扩展性、敏捷性和自助服务方面的优势

2023-11-09 15:56:26

数据仓库数据湖
2023 年数据仓库终极指南：概念、技术和新兴趋势
在当今数据驱动的世界中，管理和分析大量数据是业务成功的关键方面。数据仓库是一种强大的解决方案，可帮助组织有效地存储、管理和分析数据，从而推动明智的决策。

2023-11-09 15:02:45

数据仓库数据湖架构师
使用Python自动与微信交互：获取聊天记录
当需要从客户端应用程序中采集数据时，使用自动化工具来模拟操控并获取数据是一种有效的方法。

2023-11-09 14:40:56

大数据自动化工具
数字前沿：释放大数据生态系统的潜力并克服障碍
从传统的业务方法转变，利用和分析数据洞察的企业可以有效地深入研究消费者行为、市场趋势和运营效率。数据驱动模型对企业的新增长产生深远影响。通过在当前不断动荡的市场环境中获得竞争优势，现代企业可以将自己定位为在技术先进的环境中面向未来和向...

2023-11-09 10:05:09

大数据
BI 数据可视化平台建设（1）—交叉表组件演变实战
本文主要通过交叉表组件的升级实践给大家讲解一下如何设计开发高性能的表格组件。

2023-11-09 08:38:25

交叉表组件大数据
深算院重磅发布原创数据库YashanDB 助力国产数据库高质量发展 原创
11月8日，YashanDB 2023年度产品发布会成功召开

2023-11-08 14:18:49

数据库
数据可视化，到底解决了什么问题？
数据可视化，是数字化技术在业务应用中十分常见的一种具体落地形式，随着前端展示技术不断成熟，以及基于地图、3D等渲染形式日益丰富，数据可视化的产业应用价值也飞快地得到提升拔高。那么，在数字化转型浪潮下，数据可视化技术到底帮助我们解决了什么问题呢？

2023-11-08 14:03:47

数据可视化数字化转型
2023年重塑CRM和数据行业的趋势
物联网已经成为大多数行业的游戏规则改变者，但2023年CRM和物联网的合作将有所增加。这种集成带来了许多优势，如销售自动化、高度定制的营销活动、提高客户忠诚度等。

2023-11-08 07:00:10

CRM数据行业趋势
Hadoop高可用集群部署
在master节点中使用yarn rmadmin -getAllServiceState命令查看各个节点ResourceManager状态，接下来停止active状态节点的ResourceManage进程，ResourceManage active自动跳转到其他节点，集群仍可用，随后再启动该节点ResourceManager进程，最后再次查看状态，Failed状态恢复为standby。

2023-11-07 07:30:18

Hadoop高可用
“数据”如何影响“业务决策” ？
在数字化时代，数据已经成为企业成功的关键因素之一。对于许多公司而言，如何利用数据来影响业务决策已经成为了一个越来越重要的问题。

2023-11-06 11:12:08

大数据数据治理
商业数据科学：利用洞察力促进增长
数据科学不再是科技巨头或专注于数据的企业的专利。对于任何想要在现代环境中蓬勃发展的企业来说，它都是不可或缺的工具。利用数据科学可以使企业能够做出数据驱动的决策，增强客户体验，预测未来趋势，优化运营，促进创新并扩大市场范围。

2023-11-06 10:34:19

数据科学数据驱动
字段抽取：异构数据结构化的利器
鸿鹄系统旨在提供一站式的异构数据平台，提供了一套完整的关于数据分析的开箱即用的用户界面，简化整体的数据分析过程。字段抽取功能，实现了鸿鹄系统中重要的技术特点——读时建模，提供了端到端的海量异构数据处理工具，提高了数据分析的效率和准确性。

2023-11-06 07:39:36

数据处理异构数据平台
如何做内容推荐策略产品？
本次将分享内容推荐策略的道与术，其中“道”指价值观，“术”指方法论。本篇内容比较口语化，既适合一线同学，又适合从事搜广推的团队管理者阅读。

2023-11-06 07:33:01

推荐策略数据分析
Ydata_Profiling：自动生成数据探索报告的Python库
Ydata_profiling能够直接完成数据探索的工作，只需要几行代码，它会生成互动网页形式的报告，里面包含数据概览、字段分布、统计学特征、相关性、缺失值、样本信息等。

2023-11-06 06:39:36

数据分析Python
Filebeat on k8s 日志采集实战操作
Filebeat​ 提供了丰富的配置选项，可以根据您的需求对日志数据进行高度定制和筛选。它还支持自动发现新容器、节点和服务，并动态调整采集策略。这使得它成为 Kubernetes 环境中日志采集的有力工具。

2023-11-06 01:17:25

主机容器选项
大数据管理面临的挑战及其解决方案
大数据管理面临的主要障碍与组织、技术和运营限制有关，例如缺乏基础设施或熟练人员。让我们将这些障碍解构为可管理、易于理解的问题，并提供具体的解决方案。

2023-11-03 19:52:43

大数据
如何将数据治理应用于AI/ML系统
AI/ML系统的功能与传统的固定记录系统不同，目标不是返回单个事务的值或状态，相反，AI/ML系统筛选数PB的数据，寻找可能是巨大和多方面的查询的答案。

2023-11-03 15:12:44

数据治理AI/ML系统
数据分析终极一问：指标波动有多大，才算是大！
所谓盲人骑瞎马，大概就是这个感觉。至于指望着“从头、腾、阿公司，请一个高级数据科学家，建立人工智能大数据模型，一张嘴就天知地知”，则已经是病入膏肓指望着救命仙丹的想法了。

2023-11-03 11:51:31

指标波动数据模型
大数据管理：挑战与解决方案
大数据对几乎每一个行业的企业决策、产品创造和运营管理都产生了巨大影响。大数据的主要障碍与组织、技术和运营方面的限制有关，例如缺乏基础设施或熟练人员。

2023-11-02 17:48:20

大数据
大数据分析在智慧城市发展中的作用
大数据分析通过实现数据驱动的决策、资源优化、增强公共服务和可持续性举措，在智慧城市的发展中发挥着关键作用。

2023-11-02 11:55:36

大数据智慧城市
2023年大数据行业预测
大数据在2023年将变得触手可及的一年。大多数公司现在都明白数据作为一种资产的价值，但许多企业仍在努力挖掘它的真正价值。尝试这样做在一定程度上推动了托管数据库即服务和/或数据管理即服务的增长，从而降低了复杂性。

2023-11-02 07:24:41

大数据行业预测
把握数据，在AI领域取胜的方法
虽然大多数将AI应用到他们的运营中的公司都不会处理像人命这样重要的事情，但这里有一个突出的教训：向AI系统提供糟糕的数据，你会得到糟糕的结果。AI无疑将成为下一个重要的业务差异化因素，但只有那些能够控制数据的公司才会如此。

2023-11-01 17:04:31

AI大数据
数据湖如何为企业赋能
数据湖可以帮助组织执行SQL查询、大数据分析、全文搜索、实时分析和机器学习(ML)等分析来发现见解。调查结果显示，一般企业的数据每年都会膨胀50%。除了数据量之外，这些企业还管理来自33个独特来源的数据。除非他们实施数据湖技术，否则他们会发现导航大量和多样化的数据具有挑战性。

2023-11-01 11:36:47

数据湖大数据分析
我不建议你抄大厂的用户画像，为什么？
用户数据少、做出来没有用。还有些传统企业傻乎乎，觉得：我找一些中间商，买一些用户数据补个缺，是不是就OK了？当然不是！国家对于用户隐私的保护级别一直在上升。

2023-11-01 11:34:40

用户画像企业
Intent数据传递为什么需要Bundle？
使用序列化的好处是可以方便地传递复杂的对象，包括对象的属性和方法等。而如果不通过序列化，直接传递对象的引用，可能会导致对象的属性和方法在传递过程中丢失或无法正常使用。

2023-11-01 08:20:51

Intent数据传递对象
银行如何通过数据治理提高收益
通常，数据治理包括挖掘数据、对数据进行分类、设置适当的指导方针和标准，并通过规则实施这些标准。归根结底，这是为了管理和治理数据风险，但对于大多数企业来说，这感觉像是一项无穷无尽的任务。通常，个别业务线将采用自己的数据流程和标准，而不是通过更广泛的治理计划创建的数据流程和标准。

2023-10-31 17:50:58

数据治理银行业
上一页 1 ··· 45678 ··· 177
点赞

51CTO技术栈公众号

业务
速览
在线客服