51CTO首页
AI.x社区
博客
学堂
精品班
直播训练营
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

大数据

8791内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 8791 条
数据偏度介绍和处理方法
偏度（skewness）是用来衡量概率分布或数据集中不对称程度的统计量。它描述了数据分布的尾部（tail）在平均值的哪一侧更重或更长。偏度可以帮助我们了解数据的偏斜性质，即数据相对于平均值的分布情况。

2023-05-29 16:11:37

数据偏度数据集中
使用数据治理框架的三个经验和教训
国际数据治理研究所发布的这个数据治理框架包含了他们认为应该包含在数据治理程序中的组件。在全球首个数据治理框架发布20年之后，一个新版本被发到网上。

2023-05-29 14:32:48

数据治理数据治理
2023年数据架构要关注的五个重要方面
2023 年已经过去五个月，我想谈谈 2023 年需要关注的一些数据架构趋势。

2023-05-28 23:29:20

数据架构湖仓架构数据仓库
聊聊得物数据研发优化策略
在数据研发领域，数据的技术手段无论多么丰富，平台发展何等完善，都不能说能解决业务的所有问题。一定是先有业务，才会有对应的问题。

2023-05-26 18:52:55

得物数据研发
数据分析师，怎么做可以让领导满意？
从本质上看，这是因为不管是汇报ppt也好，还是BI工具也好，都只是数据的展示形式。到底在什么业务场景会被用上，这才是关键。想提升满意度，一定要尽可能在固定的业务场景输出，混个脸熟，这样后边才有更多机会让大家满意。

2023-05-26 07:50:17

数据分析师BI工具
阿里云数据湖统一元数据与存储管理实践
随着数据湖的发展和日渐增长的需求，对数据湖进行统一元数据和存储管理也显得日趋重要。本文将分享阿里云在数据湖统一元数据与存储管理方面的实践。

2023-05-26 06:49:44

数据湖元数据和存储管理
秒级响应！B站基于 Iceberg 的湖仓一体平台构建实践
本文将介绍 B 站基于 Iceberg 构建秒级响应湖仓一体平台的技术实践。首先介绍使用 Iceberg 做湖仓一体的背景，接着分享针对湖仓一体平台做的一些查询加速和智能优化，以及一些重点研发方向，最后介绍平台目前的落地情况。

2023-05-26 06:45:08

湖仓一体Hive
2023年需要了解的15大数据恢复工具
数据恢复是数据安全功能中不可或缺的一部分。恶意攻击和安全程序可能导致文件丢失；或者，这种情况可能只是由于人为错误而出现。在保护数据和应用的同时，拥有一个良好的数据恢复工具非常重要，这样就可以快速行动并在为时已晚之前挽救文件！

2023-05-25 14:25:55

大数据
Kafka实时数据即席查询应用与实践
在定位一些实时数据的Case时，如果没有对实时数据进行历史归档，在排查问题时，没有日志追述，会很难定位是哪个环节的问题。因此，我们需要对处理的这些实时数据进行记录归档并存储。

2023-05-25 08:24:46

Kafka大数据
为何监控机器学习模型将变得至关重要？ 译文 精选
随着企业对机器学习模型的信任度增强，确保机器学习的成果符合企业预期至关重要。因此，对机器学习模型的监控逐渐受到企业的关注。简而言之，监控机器学习的过程主要是指对其表现情况进行持续评估，包括收集模型输出的数据、与预期效果进行对比及识别差异。

2023-05-24 16:24:40

机器学习大数据
读时建模技术在异构数据分析平台的应用
本文将从日志分析的价值和日志处理的难点和挑战入手，进而引出读时建模的技术理念，并介绍鸿鹄数据分析平台在设计和技术实现的时候，是如何去考虑做读时建模的。希望为大家的日志相关处理平台选型提供一些新的思路。

2023-05-22 09:09:00

数据分析日志分析
企业可观测性的演进之路
本文通过介绍《可观测性成熟度模型》，描述了企业可观测性演进的阶段性参考。

2023-05-18 22:44:09

可观测性数据
数据工程——从数据到价值
无论是站在企业内部的发展诉求还是站在企业所处的社会大环境，都在要求企业加速自己转型、完善自己的数据能力，在激烈的市场竞争过程中获得有利地位才能在未来数字经济繁荣成熟期到来之前占据有利战略发展位置。

2023-05-17 19:37:53

数据数据工程
Dagster：让数据更接近业务价值的新的数据编排器 译文
本文将介绍新一代数据编排器Dagster，它将改变数据世界，并使其更接近业务价值。

2023-05-17 09:00:00

Dagster数据编排器工具
《狂飙》爆火背后：爱奇艺的大数据大规模落地实践
爱奇艺拥有海量视频内容和海量用户，因此我认为，爱奇艺在拥有丰富的大模型应用场景，在大模型应用层有巨大想象空间，未来爱奇艺也将会把研发重点聚焦于大模型应用层。

2023-05-17 07:42:11

大数据视频场景
克服大数据障碍的三种方法
组织需要投资先进的数据管理工具，采用机器学习技术，并确保数据质量和治理。

2023-05-16 16:07:07

大数据数据管理工具
数据仓库的五个优秀实践
开始使用数据仓库是一项艰巨的任务，因此在开始时考虑一些最佳实践很重要。

2023-05-16 15:27:31

数据仓库安全IT
快手流批一体数据湖构建实践
本次将介绍快手为什么建设数据湖，在数据湖建设过程中遇到的问题和取得的成果，并对未来发展进行展望。

2023-05-16 07:24:25

数据湖快手
数据收集和高级分析带给制造业的三大好处 译文
制造商经常利用数字化策略提高自身竞争力，解决劳动力短缺问题，提高生产效率。这些努力是基于保持行业领先地位的愿景，而不单单是降低竞争力风险的措施。然而，收集数据会推动一波又一波的创新，以创造快速、大胆、有竞争力且灵巧的组织，实现降本增效。

2023-05-15 17:12:27

制造业数据收集数据分析
数据信息汇总的七种基本技术总结
数据汇总是一个将原始数据简化为其主要成分或特征的过程，使其更容易理解、可视化和分析。本文介绍总结数据的七种重要方法，有助于理解数据实质的内容。

2023-05-15 15:24:54

数据汇总数据分析
运营数据分析体系，该怎么搭建？
运营工作，和销售、供应有明显区别。比如销售工作，核心关注收入、利润、转化率，能赚钱就行。比如供应，核心关注商品供应、库存周转、成本控制，不缺货，少积压就行。这些工作的目标聚焦，流程清晰。

2023-05-15 12:56:32

运营数据分析
数据分析实战，用Python热力图分析房地产市场
地理热力图工具使我们能够直观地看到欧盟各地不良房地产的折扣情况。通过分析房地产数据并将其在地图上可视化，投资者能够确定折扣最高的地区，并优先在这些地区寻找不良房地产。这项技术帮助投资者发现了可能会错过的潜在投资机会。

2023-05-15 12:41:26

数据分析Python热力图
【大数据】通过 Docker-compose 快速部署 Presto（Trino）
Presto的核心特点是支持远程数据访问，可以查询包括Hadoop、Cassandra、Relational databases、NoSQL databases在内的多个数据源。Presto支持标准的SQL语法，同时提供了一些扩展功能，如分布式查询、动态分区、自定义聚合和分析函数等。

2023-05-14 23:30:38

PrestoHadoop函数
数据基础设施：存储技术的核心地位
2023数据基础设施技术峰会

2023-05-12 15:15:23

数字化转型大数据
Gartner发布2023年十大数据和分析趋势
Gartner近日公布了2023年十大数据和分析（D&A）趋势。

2023-05-12 12:45:54

Gartner数据分析
五个等级的数据分析，哪个最深入？
如果在某个业务场景下，我们已经做了很多次验证，论证了业务问题的关键指标+判断标准+因果关系，这时候就可以直接套用，这就是我们说的：业务分析模型。不过在沉淀出来之前，还是得多做论证的，特别是因果关系论证，做的不够细致，分分钟被打脸。​

2023-05-12 11:49:46

业务场景因果关系
对于非结构化数据，EDA探索性数据分析该怎么做？
本文的讨论到此结束。当然，在EDA中还有很多技术比本文在这里介绍的要多得多，这取决于用户在问题陈述中要使用的数据集。

2023-05-11 13:39:39

EDA数据分析
【大数据】Hive 小文件治理和 HDFS 数据平衡讲解
如果数据分布不均匀，会导致一些Reduce任务处理了完全不同的分区，这会使某些Reduce任务的运行速度与其他Reduce任务相比非常慢。

2023-05-11 00:17:44

分区HiveReduce
集成大数据的三个数据管理技巧
分析数据管理外包趋势有助于企业及其员工做出更好的决策，保护企业利益相关者并提高公司的盈利能力。当管理来自各种来源的大量结构化和非结构化数据并将其用于业务利益时，它会派上用场。

2023-05-10 16:42:35

大数据非结构化数据
为什么85%的大数据项目总是失败？
企业在推行大数据项目时往往把项目规模和范围做得很大，但是事实却是，很多大数据项目通常都会失败。2016年，Gartner估算约60%的大数据项目都会失败。一年后，Gartner分析师Nick Heudecker表示，这个数据“过于保守”，大数据项目失败率应接近85%。直至现在他也是这样认为的。

2023-05-10 16:04:38

大数据架构
企业集成楼宇管理系统(BMS)的好处
建立一个BMS系统，从一个位置到另一个位置精确地传输数据可以提供宝贵的分析、报告、图表和实时数据。

2023-05-10 15:08:36

BMS系统物联网大数据
政务数据要素构建思路及案例分享
本期邀请到中移系统集成有限公司李仪平，分析近年国家对数据资源体系建设的要求，并结合中国移动能力布局及集成公司项目经验，简要分享政务大数据体系建设的思路。

2023-05-10 10:46:38

政务大数据
详解基于凸集投影方法的聚类算法 译文 精选
聚类分析（或聚类）是一种数据分析技术，它能够探索和分组一组向量（或数据点），使同一聚类中的向量彼此之间比其他聚类中的向量更相似。聚类算法被广泛应用于例如数据分析、模式识别和图像处理等许多应用场景中。

2023-05-10 08:00:00

聚类分析数据分析聚类算法
数据分析在设施管理和维护运营中的作用
数据分析是一门分析和处理原始数据以获得有意义且可操作的见解的科学，这些见解可用于为业务决策提供信息。

2023-05-09 16:42:50

数据分析
数据分析在设施管理和维护操作中的作用
数据分析在设施管理软件中发挥着至关重要的作用，其提供了有价值的见解，并使企业能够优化设施性能、提高运营卓越性、加强资产管理和降低成本。

2023-05-09 16:11:05

数据分析设施管理软件
大数据时代的人工智能和神经网络
随着组织和行业努力利用信息的力量来改进决策、优化运营和增强客户体验，人工智能(AI)和神经网络在大数据时代变得越来越重要。

2023-05-09 14:24:32

大数据人工智能
数据分析实战，用Pandas分析二手车市场行情
本文将展示如何从汽车销售商网站Cars24上抓取所有的搜索结果，并建立一个包含所有找到的列表的数据库。

2023-05-09 12:40:40

数据分析Cars24Pandas
【大数据】Yarn Proxyserver 和 Historyserver 讲解
start-history-server.sh 脚本默认情况下启动Spark History Server只是将文件存储在/tmp/spark-events目录下，这是本地文件系统路径。如果您没有在配置文件中指定spark.history.fs.logDirectory属性，则Spark History Server将在该目录下保存事件日志和历史记录。

2023-05-09 07:46:32

大数据脚本系统
【大数据】yarn 任务中的几种状态变化详细过程
YARN Proxy可以让您通过Web界面对集群进行监视和管理，而不必直接连接到每个节点。YARN Proxy服务是一个Web代理服务器，运行在YARN集群之外，并提供对集群资源管理器和节点管理器的访问。

2023-05-08 23:20:49

WebYARN管理
数据可视化有哪些方式？
我们通常所说的数据可视化是指狭义的数据可视化，即将数据以图表的方式进行呈现，常见于PPT、报表、新闻等场景。图表是数据可视化最基础的应用，它代表图形化的数据，通常以所用的图形符号命名，例如使用圆形符号的饼图、使用线条符号的折线图等。下面介绍一些常见的图表，并结合一些应用场景给出图表示例。

2023-05-08 16:29:34

数据可视化图表
数据处理单元：什么是DPU，为什么需要它们？
在本文中，我们将基本了解什么是DPU、DPU的工作原理、DPU的优势、如何选择合适的DPU供应商以及常见问题解答。

2023-05-08 14:49:54

数据处理DPU
大数据正在改变教育
大数据为教育工作者提供了前所未有的机会，以新的方式接触和指导学生。其还可以更深入地了解学生的教育经历，减少辍学率，并帮助学校调整资金和招生策略。本文总结了大数据影响任何国家教育系统的一些关键方式。

2023-05-08 09:47:46

大数据教育系统
数据标准和数据质量：技术解析与典型案例
数据质量的考量维度有很多分法，最重要的一个就是数据的真实性，它必须真实地去表达客观实体或者真实的业务。其次还有准确性或者叫可靠性，它适用于分析和识别那些不准确无效数据的一些方法。

2023-05-08 07:25:47

数据质量数据标准
Apache Doris 极速数据湖分析技术细节公开！
本文将介绍 Apache Doris 的前世今生，数据湖分析的技术细节以及后期的规划。

2023-05-08 07:20:22

Doris分析型数据库
【大数据】Hive Join 的原理与机制
Map Join 通常用于一个很小的表和一个大表进行 join 的场景，具体小表有多小，由参数hive.mapjoin.smalltable.filesize​ 来决定，默认值为 25M。满足条件的话 Hive 在执行时候会自动转化为 MapJoin，或使用 hint 提示 /*+ mapjoin(table) */ 执行 MapJoin。

2023-05-08 00:08:51

Hive机制场景
你和数据分析高手之间，真的只差这一点
在开发的时候，先做能用基础标签+现有数据指标，直接计算出来的标签。这种标签也被称作：规则标签。即业务给到计算规则后，可以基于基础标签+现有指标直接计算。这种标签获得速度快，也容易验证。

2023-05-08 00:01:29

数据分析指标标签
数据监控在商业建筑中的重要作用
数据监控有助于更好地了解能源消耗模式并确定需要改进的领域，从而提高效率、节约成本并减少对环境的影响。在本篇文章中，我们将讨论数据监控在商业建筑中的重要性，以及它如何为可持续发展做出贡献。

2023-05-06 14:34:23

数据监控商业建筑
解读数据的七步标准，讲得太明白了
数据分析师想要加强数据洞察能力，就得多积累分析经验，针对具体业务问题，收集业务动作，多复盘，这样才能认识得越来越深入。每次具体问题来了，才有丰富的弹药库可用。​

2023-05-06 11:54:16

数据经验业务
【大数据】Hive DDL 操作与视图讲解
Hive中的DDL操作和视图操作可以帮助用户定义和管理表、视图等数据结构，从而更加灵活和高效地管理和查询数据。用户可以根据实际需求选择使用哪种操作方式，以达到更好的数据管理和操作效果。​

2023-05-06 07:20:27

HiveDDL管理表
网易云音乐实时数仓架构与低代码实践
本文将介绍网易云音乐的实时数仓架构和低代码平台的实践。分享包括四部分，第一部分总体介绍网易云音乐的实时数仓架构和技术架构。第二部分介绍流批模型的一致性实现思路。第三部分介绍网易云音乐在低代码实践中的成果。第四部分介绍网易云音乐实时数仓未来的规划。

2023-05-06 07:19:48

数仓架构技术架构
上一页 1 ··· 1112131415 ··· 176
点赞

51CTO技术栈公众号

业务
速览
在线客服