51CTO首页
AI.x社区
博客
学堂
精品班
直播训练营
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

大数据

8805内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 8805 条
五分钟技术趣谈 | Apache Paimon浅析及在威胁情报中的应用
Flink团队开发了一种新的数据湖架构——Apache Paimon，支持高速数据摄取、变更数据跟踪和实时分析，并为读/写操作提供灵活的架构，并与各种计算引擎集成。目前Apache Paimon已经成功在威胁情报云应用落地，并取得良好的效果。

2023-09-03 19:21:07

大数据架构
15个基本且常用Pandas代码片段
Pandas提供了强大的数据操作和分析功能，是数据科学的日常基本工具。在本文中，我们将介绍最常用的15个Pandas代码片段。这些片段将帮助简化数据分析任务，从数据集中提取有价值的见解。

2023-09-03 16:46:09

Pandas工具
这是一份完整的用户分析攻略
如果用户行为本身发生得很随机，则测算可以简化。比如啤酒、瓜子、矿泉水一类零食，用户购买可能完全是临时起意，没啥深入思考，也没啥忠诚度可言。此时只靠按单次广告投放核算成本即可。只要每次投出去的商品能赚钱就行。

2023-09-01 14:02:25

用户分析攻略
如何构建与优化数据仓库架构与模型设计？
数据仓库是企业中存储和管理大量结构化数据的核心组件，用于支持业务分析和决策制定。构建和优化数据仓库的架构和模型设计是确保数据仓库能够高效、可扩展地满足业务需求的关键要素。

2023-08-31 17:10:56

数据仓库高级互联网架构架构
数据管理如何实现可持续发展？
我们没有以正确的频率收集正确的数据，无法以最有意义的方式体现我们的环境足迹，传统的环境、社会和治理(ESG)报告无法动态描绘影响，并且对供应链活动缺乏监督。可持续发展数据管理仍然是一个令人头痛的问题，以下五种技术有望改变这一现状。

2023-08-31 16:04:16

数据管理可持续发展
它是最给力的数据分析体系，却被90%的人忽略！
报表是整体数据分析体系核心。报表做好，处处好，报表做不好，人肉sql写到老。而且，日、周、月、季、年报，不是简单地把同一个字段按五个时间周期统计五遍，五种工具间相互配合，才能起到更好效果。

2023-08-31 12:01:14

数据分析体系
你是否知道如何使用Python Matplotlib创建令人惊叹的数据可视化？
本文将深入介绍 Python Matplotlib 的使用，包括常用的 API、参数、返回值，以及各种详细的示例代码，帮助读者更好地掌握这个强大的数据可视化工具。

2023-08-31 08:45:39

Python数据可视化工具
活动效果评估体系，该怎么搭建？
在分析这些指标的时候，要注意先后顺序。比如有关新用户注册问题。要先看各个用户来源渠道的投放力度，活动是否及时上架，何时与投放结合。之后才是深入分析文案、活动礼品、领取后行为等等。​

2023-08-30 11:41:17

活动效果评估体系注册
解读大数据分析与战略之间的复杂联系
本文踏上了探索之旅，通过独特的符号学视角，探索这种关系的未知维度。通过仔细研究数据驱动战略中嵌入的微妙指标和复杂性，目标是更深入地理解数据如何塑造和指导不同部门的战略格局。这一旅程旨在阐明利用符号学见解所产生的变革潜力，为在制定未来有效战略时加强大数据的利用提供一条途径。

2023-08-30 11:35:29

大数据分析数据驱动
MaxCompute湖仓一体方案新能力
本次分享的题目为《MaxCompute增量更新和处理架构以及智能数仓新优化解密》。一般综合解决方案会采用Lambda架构去支持大数据的复杂业务，全量批处理使用 MaxCompute 链路，时效性要求高的使用增量处理实时链路。但该架构也存在大家所熟知的问题，如图中所示。

2023-08-30 07:14:27

MaxCompute湖仓一体
效率提升 10 倍！达达基于 StarRocks 极速统一的智能配送再升级
随着国内大数据架构技术的不断演进，达达快速构建了以 Apache Hive 和 Apache Spark 为核心的离线数据仓库，以及以 Apache Flink 和 Apache Kafka 为核心的实时数据处理链路。在业务发展和整体架构的不断迭代过程中，我们尝试了不同时期出现的优秀 OLAP 产品来解决我们在数据分析中对查询加速的需求。

2023-08-29 18:55:25

StarRocks大数据架构
实时数仓混沌演练实践
基于中间件、数据库、JVM、基础资源、网络、服务等注入常见的异常，根据实际业务中梳理的应用核心场景进行混沌演练，检验系统的脆弱性和应急响应能力，从而提升团队的稳定性保障处理能力。

2023-08-29 10:20:00

JVM数据库网络
基于Lambda架构的实时电商数仓建设经验分享
文章分享了某电商平台离线数仓、实时数仓、数据应用等方面的实践经验。电商平台以APP作为载体，最重要的数据就是以订单为核心的结构化数据和以日志流为核心的半结构化数据，这也互联网业务最典型的应用场景。

2023-08-29 07:42:21

离线数仓实时数仓
可视化数据分析：从数据中获得洞察力
在当今数字化的世界中，数据被广泛收集和储存，但这些数据本身并没有意义。要从数据中获得洞察力和价值，可视化数据分析成为一种强大的工具。

2023-08-28 16:19:32

数据分析数字化
我总结了数据推动业务的七大坑点，千万注意！
理论说起来容易，执行起来只能看菜下饭，且行且珍惜了。况且这还是在业务部门推动的情况下，如果是数据部门自己想推动，那就更得付一番精力。​

2023-08-28 12:09:53

数据推动业务
货拉拉大数据Doris稳定性保障实践
本文将介绍货拉拉大数据在Doris稳定性保障方面的实践。我们从2022年初开始使用Doris，在这一年半的时间里，Doris还是相对稳定的，同时提供了高性能的查询。上图右侧是Doris的整体架构图。Doris的数据源来自IOT、埋点和数据库，通过实时数仓和离线数仓两个方式写入。以Doris作为主引擎构建了大数据OLAP平台，服务于上层应用。

2023-08-28 06:58:40

Doris大数据
一个完整的案例，看懂用户画像怎么做
如果走鬼大叔见了家长，不问人家买什么，在那谈天说地瞎聊天。他还能卖出风筝吗？当然不行，可能扯淡是扯个爽的。这就是有目标和无目标的区别。对应到工作中，很多人做用户画像是基于：“领导要求做”“我看人家都在做”。

2023-08-27 21:25:20

用户画像数据数据分析
大数据开发技巧：解锁数据的价值
随着信息时代的到来，大数据已经成为各个领域的重要资源。企业、政府机构以及科研机构都在努力收集、存储和分析海量的数据，以便从中获取有价值的洞察和决策支持。而大数据开发技巧，作为解锁数据价值的关键钥匙，扮演着至关重要的角色。

2023-08-27 15:25:49

大数据
做经营分析，只会同比环比，怎么办！
所谓策略，就是业务开展的前后顺序，轻重缓急。比如上文提到的“A产品销售差3%”达标。如果站在产品策略的角度，就不是这么头疼医头，脚疼医脚地把每一个产品的涨跌列出来。

2023-08-26 20:41:34

策略经营分析角度
一个数据分析师的自述：数据建模
我的职业生涯始于数据分析分析师，之前没有数据建模经验。我只是使用转换后的数据和一些参考表构建了报告和仪表板。我不知道维度数据建模的使用，也不明白为什么其他开发人员使用事实表。

2023-08-25 16:33:10

数据分析师数据建模
大数据与云计算架构：构建弹性高效的数据处理平台
随着数字化时代的到来，大数据已经成为了各行各业的重要资源。然而，要充分发挥大数据的价值，需要一个强大的数据处理平台。

2023-08-25 15:13:16

大数据云计算
当今数据时代正在发生的五个关键转变
如今，我们每秒都拥有千兆字节的数据，而且还有智能计算基础设施、软件和算法，可以迅速将这些数据转化为有意义的见解。如果企业想要在数据时代成为一家具有领导地位的智能企业，现在比以往任何时候都更需要重新思考数据管理。

2023-08-24 15:43:05

大数据数据管理
数据仓库与数据分析：驱动数据驱动决策
在当今信息爆炸的时代，数据已经成为企业和组织最宝贵的资源之一。数据的价值不仅在于收集和存储，更在于对数据进行深入的分析和挖掘。数据仓库和数据分析作为数据驱动决策的重要工具，正在被越来越多的企业所采用。

2023-08-23 15:33:15

数据仓库数据分析
数据分析如何应用于商业地产？
随着商业物业业主越来越依赖数据分析和数字工具，确保所收集数据的安全性和隐私性将变得至关重要。物业管理软件提供商，需要优先考虑强有力的网络安全措施，并遵守严格的数据隐私法规，以保护业主和租户。这意味着他们需要彻底审查与之合作的任何物业管理软件供应商，以确保网络安全和数据隐私健全。

2023-08-22 17:59:23

数据分析
数据驱动方案助力企业创建一个净零办公空间 译文
净零办公空间产生的排放量等于或小于从空气中吸收的量。为了完成这一目标，企业可以选择使用可再生能源或减少浪费。数据驱动方案可以帮助决策者实现净零办公空间目标。

2023-08-21 16:25:12

数据驱动
阿里云 AnalyticDB MySQL Spark 助力构建低成本数据湖分析的最佳实践
文章分享阿里云AnalyticDB MySQL（以下简称ADB） Spark助力构建低成本数据湖分析的最佳实践。我们希望通过在做深自研的同时，也充分拥抱开源技术，来满足不同客户的不同业务场景，帮助客户实现降本增效。

2023-08-21 08:19:22

ADB数据湖分析
人工智能与大数据：发现商业价值的数据洞察
本文将深入探讨人工智能与大数据相互结合的重要性，以及如何通过这种结合发现商业价值的数据洞察。

2023-08-20 12:23:39

人工智能大数据
创意大爆发！分享八款在线3D可视化制作软件
这对于许多人来说可能是一个挑战。但是随着越来越多简单易上手的在线3D可视化制作软件的出现，快速创建逼真的3D模型和场景将变得不再困难。本期就为大家推荐8款好用的在线3D可视化制作软件，让你的创意大爆发！

2023-08-18 06:59:58

3D可视化制作软件3D模型
2024 年需要关注的五大数据架构趋势
进入2024年，数据架构的创新不断加速，一些趋势正在显现。2024 年我们应该关注五种关键数据架构。当我们踏上 2024 年的征程时，数据架构继续发生变化，呈现出引人注目的新趋势，不容忽视。

2023-08-17 15:36:50

数据架构无服务器
AIGC + BI = ChatBI，网易数帆让人人都拥有数据分析能力 原创
近日，网易数帆发布了有数 ChatBI，将 AIGC 技术与 BI 技术结合，让用户通过日常对话的方式就可以拥有数据分析能力，降低了数据消费门槛，让人人都能拥有数据分析的能力。

2023-08-17 15:06:06

网易数帆ChatBIBI
使用Pandas进行数据清理的入门示例
数据清理是数据分析过程中的关键步骤，它涉及识别缺失值、重复行、异常值和不正确的数据类型。获得干净可靠的数据对于准确的分析和建模非常重要。

2023-08-15 16:20:42

Pandas数据分析
Cloudera助力华金证券构建现代化数据平台，赋能统一高效运营
2023年8月15日，混合数据公司Cloudera宣布，成功助力华金证券股份有限公司构建现代化数据平台，赋能重要商业决策，进一步助推其转型成为一家数据驱动的现代化金融企业。

2023-08-15 14:49:35

Cloudera华金证券
利用大数据分析彻底改变旅游业
大数据可以为旅游企业提供有关客户行为和偏好的关键见解。通过分析这些数据，企业可以为其客户提供量身定制的服务和体验。例如，如果旅行者经常携带宠物旅行，企业可以推荐宠物友好的酒店和住宿。同样，通过根据客户的偏好对客户进行细分，企业可以创建满足其独特需求的定制旅行套餐。

2023-08-15 09:50:32

大数据旅游企业
数仓建模平台在网易严选的探索实践
本次分享题目为数仓建模平台在网易严选的探索和实践，数仓建设的意义，简单来说就是将业务数据通过整合、转换、计算以及其它一些操作，提取出有价值的信息，最终把这些信息反馈给业务，为业务的发展持续赋能。

2023-08-15 08:12:12

数仓建模数仓建设
谈谈数据仓库中的数据建模
数据建模是创建数据及其在组织或系统内的关系的概念表示的过程。维度建模是一种以用户直观且易于理解的方式呈现数据。它还提供高性能访问、灵活性和可扩展性，以适应业务需求的变化。

2023-08-14 16:56:53

数据仓库数据建模
标签 VS 数据指标体系，终于有人讲清楚了
流程式也不止漏斗这一种，比如在生产、服务、售后等环节，也是一个完整的流程，但不是逐步递减的。比如生产任务，是肯定要完成的，但随着生产工序增加，每一步会增加新的原料、生产费用、人工成本，此时整个流程所消耗的成本、时间是逐级递增的。

2023-08-14 11:35:16

流程式转化率数据指标
指标中台核心能力建设实践
本文将从数据分析的发展历程和面临的问题，引出为什么需要通过指标去解决这些问题，并分享滴普科技指标中台的核心能力以及技术实践。

2023-08-14 07:28:02

数据分析指标中台
四个将Pandas转换为交互式表格的Python包
Pandas是我们日常处理表格数据最常用的包，但是对于数据分析来说，Pandas的DataFrame还不够直观，所以今天我们将介绍4个Python包，可以将Pandas的DataFrame转换交互式表格，让我们可以直接在上面进行数据分析的操作。

2023-08-11 17:26:51

Pandas数据分析Python
全球大数据分析对网络性能产生哪些影响？
大数据分析的另一个重大影响是客户体验的改善。通过分析客户数据，电信企业可以深入了解客户的行为、偏好和需求。这可以使他们能够个性化服务、提供有针对性的促销并提高客户保留率，大数据分析还可以帮助企业更有效地识别和解决客户投诉和问题，从而提高客户满意度。

2023-08-11 09:54:18

大数据数据分析
爱奇艺魔镜-解决大数据平台分析化难题
随着互联网行业的快速发展，业务逐步多样化，固定的报表开发难以满足业务方的数据需求，数据工程师逐渐成为业务获取数据的瓶颈，难以满足业务的需求。今天分享的主题是爱奇艺魔镜如何解决大数据分析平台化的难题，提升业务分析效率。

2023-08-11 07:44:09

大数据数据分析
面试官眼前一亮：Hash冲突解决方案一览
面试题中的Hash冲突问题，不仅仅是一个技术问题，更是一个思维的考验。通过深入研究不同的解决方案，我们可以更好地理解哈希表背后的原理和技术，也能够更加灵活地应对实际的工程挑战。

2023-08-10 08:16:41

Hash技术哈希表
从数据仓库到数据结构：数据架构的演变之路 译文
在上个世纪，从电子商务巨头到医疗服务机构和政府部门，数据已成为每家组织的生命线。有效地收集和管理这些数据可以为组织提供宝贵的洞察力，以帮助决策，然而这是一项艰巨的任务。

2023-08-09 08:00:00

数据仓库数据架构
技术分析在大数据时代正在迅速发生变化
大数据在技术分析领域的兴起带来了交易模式的转变。从推动我们预测的历史和真实数据到大规模数据集和先进处理框架的利用，我们现在拥有前所未有的知识和工具来驾驭市场。

2023-08-09 07:05:59

大数据技术交易模式
电子学习中的大数据分析：每个人都应该知道的这些方面
随着技术的进步，数据革新了许多业务流程。专家断言，大企业所享有的杠杆之一是利用数据来巩固它们在市场上的垄断地位。

2023-08-08 07:00:24

大数据业务流程
”人货场”模型搞懂没？数据分析大部分场景都能用！
人货场三个维度之所以经常用，是因为这三者与用户行为有直接关系，并且商品属性、卖场属性、用户习惯都有一些天生的规律可循。

2023-08-07 11:56:43

模型人货场数据
元数据和配置驱动的Python框架如何使用Spark处理大数据 译文
本文介绍使用 Spark 进行数据处理的元数据和配置驱动的 Python 框架。该框架提供了一种简化且灵活的大数据处理方法。

2023-08-07 09:00:00

大数据Python
数仓 Hive HA 介绍与实战操作
Hive是建立在Hadoop生态系统之上的一种数据仓库解决方案，用于处理大规模数据的查询和分析。为了确保Hive服务的连续性和可用性，特别是在出现硬件故障、软件问题或其他中断情况时，实施Hive的高可用性解决方案非常重要。

2023-08-07 01:25:39

数仓HadoopHive
大数据成功实施三个V
在全球范围内，很多企业都专注于利用大数据的力量。这一过程的第一步通常是理解大数据与更传统的数据环境之间的区别。

2023-08-04 16:22:09

大数据
业务型 VS 技术型数据分析师，哪个更有前途？
因为在校生对数据分析工作，经常叶龙好龙。觉得自己很适合干数据分析，可每天搓个200行SQL，核对一下数据，清洗一下数据，就觉得很枯燥，无聊，想跑。所以找个实习体验下真实感觉非常重要。

2023-08-04 11:37:31

业务型技术型数据分析
深入理解VTK数据结构：为科学可视化和工程计算提供强有力的支持
在 VTK 中，VtkPoints、VtkCellArray、VtkPolyData、VtkImageData 、VtkStructuredGrid、VtkUnstructuredGrid、VtkTable 是最常用的数据结构之一。VtkPoints 用于表示点集合，VtkCellArray 用于存储各种类型的拓扑单元，VtkPolyData 表示由点和线或面组成的几何图形，VtkImageDat

2023-08-04 09:08:58

VTK数据结构
上一页 1 ··· 7891011 ··· 177
点赞

51CTO技术栈公众号

业务
速览
在线客服