51CTO首页
内容精选
博客
学堂
精培
企业培训
CTO训练营
鸿蒙开发者社区
WOT全球技术创新大会
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
精品班厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
CTO训练营技术经理研习营LeaTech峰会
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

大数据

8596内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 8596 条
谈谈企业需要什么样的数据架构
在大数据和数据科学的新时代，企业拥有一个与业务流程保持一致的集中式数据架构至关重要，该架构可以随着业务增长而扩展，并随着技术进步而发展。

2023-06-05 16:45:52

数据架构大数据
大数据分析如何重塑智慧城市的未来
随着全球城市中心利用数据的力量来改善基础设施、公共服务和整体生活质量，大数据分析在可持续智慧城市的发展中发挥着至关重要的作用。

2023-06-05 11:35:17

大数据分析智慧城市
做有用的商品分析，别再罗列进销存
一提到商品搭配，很多人脑子里第一时间蹦出来：啤酒与尿布。实际上即使不用数据去算，商品之间固定搭配。就像比起啤酒配尿布，啤酒配鸡爪，啤酒配花生米，啤酒配小龙虾更常见一样。

2023-06-05 11:33:43

商品销存编码
爱奇艺数据湖平台建设实践
本文将介绍 Iceberg 在爱奇艺的落地与实践。为什么要有数据湖？数据湖其实就是为了加速数据流通。

2023-06-05 07:36:30

数据湖大数据架构
如何采用大数据掌握部门效率
在当今数据驱动的经济中，利用数据的力量对企业的发展至关重要。企业需要利用数据来提高部门效率，并做出更明智的决策。而企业发现可操作的见解和策略，以优化业务运营并在数字时代取得成功。

2023-06-05 05:39:35

大数据
Hyperion Essbase的技术功能 译文
在这篇文章中，我们将深入探讨Hyperion Essbase的技术功能，并探讨它如何使企业释放出有价值的观点。

2023-06-02 15:44:53

数据分析大数据
天天在写同环比，深入的数据分析到底怎么做？？
假设方向不止一个。比如我们给出“营销力度不足”的结论以后，大家会自然反问：难道只有营销的问题吗？难道分公司管理没有问题吗？难道产品没有问题吗？

2023-06-02 11:55:02

数据分析营销
经营分析，如何赋能业绩增长
某企业有100间门店，平均每间门店贡献120万年收入，全年1.2亿收入。现在想在下一年增加50%，达到1.8个亿，该怎么做？

2023-05-31 11:48:45

经营分析测算
网易有数 BI 图表查询性能优化实践
本文将介绍有数 BI 在图表查询性能方面的优化和实践，包括有数 BI 图表的数据查询原理，以及对图表查询过程进行的相关优化。

2023-05-31 06:49:54

图表查询数据查询
微软推出Fabric数据分析平台，帮企业在AI时代洞察数据
微软在本周三于西雅图举行的微软年度开发者大会Build 2023上宣布推出了该平台，它将数据工厂、Synapse和Power BI等平台集成到一个统一的软件即服务产品中。

2023-05-30 11:11:46

微软Fabric数据分析平台
企业如何使用规范性分析进行物流管理
规范性分析是一种数据分析，其使用数学模型、算法和其他技术来生成针对问题或决策情况的具体建议或解决方案。其用于确定实现预期结果的最佳行动方案，同时考虑到限制和不确定性。

2023-05-30 10:24:17

规范性分析数学模型
建立高性能风险数据集市的分步指南 译文
开发人员追求数据驱动的管理，他们的目标是在数据平台开发中满足四个需求：监控和警报、查询和分析、仪表板和数据建模。出于这些目的，他们基于Greenplum和CDH构建了数据处理架构。其中最重要的部分是风险数据集市。

2023-05-30 09:00:00

数据集市开发数据平台
数据偏度介绍和处理方法
偏度（skewness）是用来衡量概率分布或数据集中不对称程度的统计量。它描述了数据分布的尾部（tail）在平均值的哪一侧更重或更长。偏度可以帮助我们了解数据的偏斜性质，即数据相对于平均值的分布情况。

2023-05-29 16:11:37

数据偏度数据集中
使用数据治理框架的三个经验和教训
国际数据治理研究所发布的这个数据治理框架包含了他们认为应该包含在数据治理程序中的组件。在全球首个数据治理框架发布20年之后，一个新版本被发到网上。

2023-05-29 14:32:48

数据治理数据治理
2023年数据架构要关注的五个重要方面
2023 年已经过去五个月，我想谈谈 2023 年需要关注的一些数据架构趋势。

2023-05-28 23:29:20

数据架构湖仓架构数据仓库
聊聊得物数据研发优化策略
在数据研发领域，数据的技术手段无论多么丰富，平台发展何等完善，都不能说能解决业务的所有问题。一定是先有业务，才会有对应的问题。

2023-05-26 18:52:55

得物数据研发
数据分析师，怎么做可以让领导满意？
从本质上看，这是因为不管是汇报ppt也好，还是BI工具也好，都只是数据的展示形式。到底在什么业务场景会被用上，这才是关键。想提升满意度，一定要尽可能在固定的业务场景输出，混个脸熟，这样后边才有更多机会让大家满意。

2023-05-26 07:50:17

数据分析师BI工具
阿里云数据湖统一元数据与存储管理实践
随着数据湖的发展和日渐增长的需求，对数据湖进行统一元数据和存储管理也显得日趋重要。本文将分享阿里云在数据湖统一元数据与存储管理方面的实践。

2023-05-26 06:49:44

数据湖元数据和存储管理
秒级响应！B站基于 Iceberg 的湖仓一体平台构建实践
本文将介绍 B 站基于 Iceberg 构建秒级响应湖仓一体平台的技术实践。首先介绍使用 Iceberg 做湖仓一体的背景，接着分享针对湖仓一体平台做的一些查询加速和智能优化，以及一些重点研发方向，最后介绍平台目前的落地情况。

2023-05-26 06:45:08

湖仓一体Hive
2023年需要了解的15大数据恢复工具
数据恢复是数据安全功能中不可或缺的一部分。恶意攻击和安全程序可能导致文件丢失；或者，这种情况可能只是由于人为错误而出现。在保护数据和应用的同时，拥有一个良好的数据恢复工具非常重要，这样就可以快速行动并在为时已晚之前挽救文件！

2023-05-25 14:25:55

大数据
Kafka实时数据即席查询应用与实践
在定位一些实时数据的Case时，如果没有对实时数据进行历史归档，在排查问题时，没有日志追述，会很难定位是哪个环节的问题。因此，我们需要对处理的这些实时数据进行记录归档并存储。

2023-05-25 08:24:46

Kafka大数据
为何监控机器学习模型将变得至关重要？ 译文 精选
随着企业对机器学习模型的信任度增强，确保机器学习的成果符合企业预期至关重要。因此，对机器学习模型的监控逐渐受到企业的关注。简而言之，监控机器学习的过程主要是指对其表现情况进行持续评估，包括收集模型输出的数据、与预期效果进行对比及识别差异。

2023-05-24 16:24:40

机器学习大数据
读时建模技术在异构数据分析平台的应用
本文将从日志分析的价值和日志处理的难点和挑战入手，进而引出读时建模的技术理念，并介绍鸿鹄数据分析平台在设计和技术实现的时候，是如何去考虑做读时建模的。希望为大家的日志相关处理平台选型提供一些新的思路。

2023-05-22 09:09:00

数据分析日志分析
企业可观测性的演进之路
本文通过介绍《可观测性成熟度模型》，描述了企业可观测性演进的阶段性参考。

2023-05-18 22:44:09

可观测性数据
数据工程——从数据到价值
无论是站在企业内部的发展诉求还是站在企业所处的社会大环境，都在要求企业加速自己转型、完善自己的数据能力，在激烈的市场竞争过程中获得有利地位才能在未来数字经济繁荣成熟期到来之前占据有利战略发展位置。

2023-05-17 19:37:53

数据数据工程
Dagster：让数据更接近业务价值的新的数据编排器 译文
本文将介绍新一代数据编排器Dagster，它将改变数据世界，并使其更接近业务价值。

2023-05-17 09:00:00

Dagster数据编排器工具
《狂飙》爆火背后：爱奇艺的大数据大规模落地实践
爱奇艺拥有海量视频内容和海量用户，因此我认为，爱奇艺在拥有丰富的大模型应用场景，在大模型应用层有巨大想象空间，未来爱奇艺也将会把研发重点聚焦于大模型应用层。

2023-05-17 07:42:11

大数据视频场景
克服大数据障碍的三种方法
组织需要投资先进的数据管理工具，采用机器学习技术，并确保数据质量和治理。

2023-05-16 16:07:07

大数据数据管理工具
数据仓库的五个优秀实践
开始使用数据仓库是一项艰巨的任务，因此在开始时考虑一些最佳实践很重要。

2023-05-16 15:27:31

数据仓库安全IT
快手流批一体数据湖构建实践
本次将介绍快手为什么建设数据湖，在数据湖建设过程中遇到的问题和取得的成果，并对未来发展进行展望。

2023-05-16 07:24:25

数据湖快手
数据收集和高级分析带给制造业的三大好处 译文
制造商经常利用数字化策略提高自身竞争力，解决劳动力短缺问题，提高生产效率。这些努力是基于保持行业领先地位的愿景，而不单单是降低竞争力风险的措施。然而，收集数据会推动一波又一波的创新，以创造快速、大胆、有竞争力且灵巧的组织，实现降本增效。

2023-05-15 17:12:27

制造业数据收集数据分析
数据信息汇总的七种基本技术总结
数据汇总是一个将原始数据简化为其主要成分或特征的过程，使其更容易理解、可视化和分析。本文介绍总结数据的七种重要方法，有助于理解数据实质的内容。

2023-05-15 15:24:54

数据汇总数据分析
运营数据分析体系，该怎么搭建？
运营工作，和销售、供应有明显区别。比如销售工作，核心关注收入、利润、转化率，能赚钱就行。比如供应，核心关注商品供应、库存周转、成本控制，不缺货，少积压就行。这些工作的目标聚焦，流程清晰。

2023-05-15 12:56:32

运营数据分析
数据分析实战，用Python热力图分析房地产市场
地理热力图工具使我们能够直观地看到欧盟各地不良房地产的折扣情况。通过分析房地产数据并将其在地图上可视化，投资者能够确定折扣最高的地区，并优先在这些地区寻找不良房地产。这项技术帮助投资者发现了可能会错过的潜在投资机会。

2023-05-15 12:41:26

数据分析Python热力图
【大数据】通过 Docker-compose 快速部署 Presto（Trino）
Presto的核心特点是支持远程数据访问，可以查询包括Hadoop、Cassandra、Relational databases、NoSQL databases在内的多个数据源。Presto支持标准的SQL语法，同时提供了一些扩展功能，如分布式查询、动态分区、自定义聚合和分析函数等。

2023-05-14 23:30:38

PrestoHadoop函数
数据基础设施：存储技术的核心地位
2023数据基础设施技术峰会

2023-05-12 15:15:23

数字化转型大数据
Gartner发布2023年十大数据和分析趋势
Gartner近日公布了2023年十大数据和分析（D&A）趋势。

2023-05-12 12:45:54

Gartner数据分析
五个等级的数据分析，哪个最深入？
如果在某个业务场景下，我们已经做了很多次验证，论证了业务问题的关键指标+判断标准+因果关系，这时候就可以直接套用，这就是我们说的：业务分析模型。不过在沉淀出来之前，还是得多做论证的，特别是因果关系论证，做的不够细致，分分钟被打脸。​

2023-05-12 11:49:46

业务场景因果关系
对于非结构化数据，EDA探索性数据分析该怎么做？
本文的讨论到此结束。当然，在EDA中还有很多技术比本文在这里介绍的要多得多，这取决于用户在问题陈述中要使用的数据集。

2023-05-11 13:39:39

EDA数据分析
【大数据】Hive 小文件治理和 HDFS 数据平衡讲解
如果数据分布不均匀，会导致一些Reduce任务处理了完全不同的分区，这会使某些Reduce任务的运行速度与其他Reduce任务相比非常慢。

2023-05-11 00:17:44

分区HiveReduce
集成大数据的三个数据管理技巧
分析数据管理外包趋势有助于企业及其员工做出更好的决策，保护企业利益相关者并提高公司的盈利能力。当管理来自各种来源的大量结构化和非结构化数据并将其用于业务利益时，它会派上用场。

2023-05-10 16:42:35

大数据非结构化数据
为什么85%的大数据项目总是失败？
企业在推行大数据项目时往往把项目规模和范围做得很大，但是事实却是，很多大数据项目通常都会失败。2016年，Gartner估算约60%的大数据项目都会失败。一年后，Gartner分析师Nick Heudecker表示，这个数据“过于保守”，大数据项目失败率应接近85%。直至现在他也是这样认为的。

2023-05-10 16:04:38

大数据架构
企业集成楼宇管理系统(BMS)的好处
建立一个BMS系统，从一个位置到另一个位置精确地传输数据可以提供宝贵的分析、报告、图表和实时数据。

2023-05-10 15:08:36

BMS系统物联网大数据
政务数据要素构建思路及案例分享
本期邀请到中移系统集成有限公司李仪平，分析近年国家对数据资源体系建设的要求，并结合中国移动能力布局及集成公司项目经验，简要分享政务大数据体系建设的思路。

2023-05-10 10:46:38

政务大数据
详解基于凸集投影方法的聚类算法 译文 精选
聚类分析（或聚类）是一种数据分析技术，它能够探索和分组一组向量（或数据点），使同一聚类中的向量彼此之间比其他聚类中的向量更相似。聚类算法被广泛应用于例如数据分析、模式识别和图像处理等许多应用场景中。

2023-05-10 08:00:00

聚类分析数据分析聚类算法
数据分析在设施管理和维护运营中的作用
数据分析是一门分析和处理原始数据以获得有意义且可操作的见解的科学，这些见解可用于为业务决策提供信息。

2023-05-09 16:42:50

数据分析
数据分析在设施管理和维护操作中的作用
数据分析在设施管理软件中发挥着至关重要的作用，其提供了有价值的见解，并使企业能够优化设施性能、提高运营卓越性、加强资产管理和降低成本。

2023-05-09 16:11:05

数据分析设施管理软件
大数据时代的人工智能和神经网络
随着组织和行业努力利用信息的力量来改进决策、优化运营和增强客户体验，人工智能(AI)和神经网络在大数据时代变得越来越重要。

2023-05-09 14:24:32

大数据人工智能
数据分析实战，用Pandas分析二手车市场行情
本文将展示如何从汽车销售商网站Cars24上抓取所有的搜索结果，并建立一个包含所有找到的列表的数据库。

2023-05-09 12:40:40

数据分析Cars24Pandas
【大数据】Yarn Proxyserver 和 Historyserver 讲解
start-history-server.sh 脚本默认情况下启动Spark History Server只是将文件存储在/tmp/spark-events目录下，这是本地文件系统路径。如果您没有在配置文件中指定spark.history.fs.logDirectory属性，则Spark History Server将在该目录下保存事件日志和历史记录。

2023-05-09 07:46:32

大数据脚本系统
上一页 1 ··· 678910 ··· 172
点赞

51CTO技术栈公众号

业务
速览
在线客服