51CTO首页
AI.x社区
博客
学堂
精品班
直播训练营
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

大数据

8799内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 8799 条
观远数据荣膺Gartner2022中国分析平台Cool Vendor
近日，全球权威的技术研究与咨询公司Gartner正式发布了《2022 中国分析平台最酷厂商》(Cool Vendors for Analytics Platforms in China )。观远数据也是唯一入选该报告的国内BI厂商。

2022-11-17 19:14:35

观远数据数据分析
对比Pandas，学习PySpark大数据处理
在这篇文章中，我们将对比用于基本数据操作任务的 pandas 代码片段和它们在 PySpark 中的对应功能的代码片段。利用 pandas 数据操作技能来学习 PySpark 。

2022-11-17 11:52:35

pandasPySpark大数据
如何从边缘分析中推动业务价值
随着数据以指数级增长，超出集中存储和管理的能力，以下是边缘分析如何帮助组织克服这一挑战。

2022-11-17 11:30:34

边缘分析物联网
数据中心芯片市场风起云涌
数据中心正在加速朝着绿色低碳方向转型升级。

2022-11-17 10:01:31

数据中心低碳
互联网都在说降本增效，小红书技术团队是怎么做的？
目前，这一平台已覆盖小红书搜索、推荐、广告的 S0 服务，运行两个多月以来，辅助业务团队存量优化超1万 CPU 核；发现性能退化超1万 CPU 核并跟进优化。

2022-11-16 22:30:06

大数据
谈谈如何跨越数据架构的漩涡
创建数据湖和数据集市是为了满足当时数据工程领域的实际需求。即使在今天，数据仓库仍然无法支持企业的所有不同应用。即使对于较新的云数据仓库也是如此。

2022-11-16 14:18:03

数据湖数据仓库数据架构
数据分析能力分级模型，你在哪一级？
很多做数据的新人都有这个困惑，今天陈老师给大家解这个局。这里问题的核心在于：如果不能按自己的建议做项目，是不是就不能提升数据分析能力了？回答当然是：否！数据分析的能力晋级分为四个层级，所谓“按我的意见做”根本就不在这个晋级体系里。

2022-11-15 11:46:17

数据分析能力分级模型
这才是真正的数据分析项目，而不是爬表
作为数据部门的领导，可能最想承接的就是计划类工作，虽然技术含量低，但这是一个直接服务大老板的机会。能多在大老板面前露脸，本身就是一个绝好的立功机会。

2022-11-14 11:55:39

数据分析项目
数据科学与数据分析
数据科学是一个令人兴奋的领域，因为它的本质是收集、存储和处理大量信息，可以产生在任何其他学科都不可能达到的知识水平。

2022-11-14 10:36:55

数据科学数据分析
供应链技术如何解决供应链中断和员工倦怠问题
美国劳动力的持续短缺正在影响各行业组织，供应链是受冲击最严重的行业之一。不断变化的消费者行为使得新职位的空缺激增，以满足企业需求。然而，尽管从港口、仓库到船运公司和物流部门，供应链的各个层面都做出了最大努力，但短缺问题依然存在。在此期间，技术如何帮助企业适应这些挑战，提高效率，并且少花钱多办事。

2022-11-14 10:32:56

供应链技术
Pandas 探索性数据分析综合实战
本文的内容是关于对数据集进行特别分析，并试图找到关于数据的洞察力。我们做了处理缺失值、异常值的工作，并将单变量、双变量和多变量的分析可视化。

2022-11-11 11:35:14

Pandas数据分析
大数据与物联网如何帮助企业
大数据包含大量的信息。这些数据随后被社交媒体网络等组织和其他企业收集，并用于各种项目，如预测分析和机器学习项目。它使用支持大数据分析的工具进行处理。

2022-11-11 10:12:38

大数据物联网
数据治理体系演进简介
随着网易数帆商业化的发展，遇到很多金融及大型国企客户，我们发现互联网的这套数据治理的打法并不能全部适应传统行业客户的场景。我们开始向客户和竞争对手学习，为此打磨出元数据管理，数据标准，数据资产目录等子产品，沉淀出一套数据治理的产品体系。

2022-11-10 20:43:57

数据治理数据湖
从Delta 2.0开始聊聊我们需要怎样的数据湖
盘点行业内近期发生的大事，Delta 2.0 的开源是最让人津津乐道的，尤其在 Databricks 官宣 delta2.0 时抛出了下面这张性能对比，颇有些引战的味道。

2022-11-10 20:29:21

数据湖
网易传媒基于 Arctic 的低成本准实时计算实践
基于对开源数据湖方案的调研，我们注意到了网易数帆开源的基于 Apache Iceberg 构建的 Arctic 数据湖解决方案。

2022-11-10 08:48:20

开源数据湖Arctic
为什么建设智慧城市需要实时数据处理？
数据以及快速、无缝地处理数据的能力，对于互联的智能网络至关重要。这些网络为当今的城市提供了命脉，也为连接一个国家城市的交通系统提供了联系。

2022-11-09 10:26:48

智慧城市物联网
人工智能和大数据是工业4.0背后的驱动力
大数据和人工智能是由一些技术进步推动的，这些技术进步定义了当前的数字环境和工业4.0。

2022-11-08 14:49:17

人工智能大数据
合成数据定义：重大的机会和陷阱详解 译文
尽管人类每天生成海量数据，但仍然缺乏可用的真实数据。当建模目标只有少量的真实数据或根本没有数据时，合成数据用作解决方案最好不过了。

2022-11-08 07:40:55

合成数据AI真实数据
ETL工具算法构建企业级数据仓库五步法
ETL是数据抽取（Extract）、转换（Transform）、加载（Load ）的简写，它是将OLTP系统中的数据经过抽取，并将不同数据源的数据进行转换、整合，得出一致性的数据，然后加载到数据仓库中。简而言之ETL是完成从 OLTP系统到OLAP系统的过程。

2022-11-07 18:35:09

企业级数据仓库ETL工具
Arctic助力传媒实现低成本的大数据准实时计算
基于对开源数据湖方案的调研，我们注意到了网易数帆开源的基于 Apache Iceberg 构建的 Arctic 数据湖解决方案。

2022-11-07 18:19:14

Arctic大数据
处理数据？不要一概而论
如今，创建和使用这类数据集的企业数量有所增加。这类数据并不是大型社交媒体和网络企业的专利，而是在数千家企业中涌现出来。“大数据”这个称呼现在已经成为很多人的常态。这些数据集很大，更新速度很快，而且有序。这使得数据分析更容易，pb级的...

2022-11-07 12:54:22

大数据数据分析
企业如何从大数据中获得价值?
大数据是有价值的，但这需要正确的策略和执行力。简单地说，为了获得适度的投资回报，必须利用和优化传统和大数据技术的组合，以取代日益陈旧老化的基础设施。

2022-11-07 11:16:30

大数据数据仓库Hadoop
数据驱动增长，我立了个大功
需要数据分析的能力更高。但往好处看：这是数据分析师建功立业的最好机会！想想看，项目组一般都是按项目效益拿提成，凭什么数据分析师要背着锅领死工资呢。比起坐在后台等着别人来问：“你来个人工智能大数据精准预测一下”，能亲手做出好的结果，不是更有吸引力吗。​

2022-11-05 18:25:18

数据驱动数据分析项目
数仓如何建模？四种方法与实例都在这了
数据仓库，这个几乎是所有大数据开发面试必问的话题。比如数据仓库的分层架构？为什么需要数据仓库建模？数据仓库建模的原则是什么？结合业务举例说明数据仓库建模的步骤，以及注意事项？什么是缓慢变化维？维度该如何选择建设，原则是什么，主键如何设计等等？

2022-11-04 18:28:31

数仓建模大数据
中小企业能负担得起大数据解决方案的成本吗?
目前很多人仍然存在的一个最大的误区是，只有大企业才能负担得起大数据驱动的解决方案的成本，这是因为采集和分析大量数据成本很高。现在这种情况已经不存在了，几次革命已经改变了这种思维状态。

2022-11-04 12:30:15

大数据
互联网时代，游戏和数据中心协同发展
在未来，游戏行业将会更密切的融合与IDC行业，数据中心也将不断响应变革和创新，游戏为数据中心带来的效益也将形成产业链，互相协同发展。

2022-11-04 09:35:29

数据中心游戏
甲骨文发布 Oracle Alloy服务 译文
新的Oracle Alloy服务为国家和行业提供了一种使用Oracle云服务的方式，而不必放弃对运营决策的控制权。

2022-11-03 14:44:52

甲骨文数据中心
Cloudera扩大合作伙伴机会，加速产品上市
混合数据公司​​Cloudera​​于今日宣布推出Cloudera合作伙伴网络（Cloudera Partner Network），这是一项经过重新设计的会员计划，旨在表彰及奖励对Cloudera产品上市成功做出贡献的合作伙伴。

2022-11-03 13:58:06

​​Cloudera合作伙伴网络
从0到1，认识结构分析法
人们天生讨厌平均数，总觉得用平均数很扯淡，有种“我和姚明平均身高，有毛用”的感觉。但是反问：为啥平均数这么不好用，但是大家还喜欢用呢？

2022-11-03 11:31:43

结构分析法监测
Pandas实用技巧：SAC机制！
我们将数据进行group分组操作，切分成3种颜色，3种颜色代表3个不同的组别；对3个不同的组别使用函数foo()，函数可以内置或者自定义。

2022-11-03 10:28:59

PandasSAC机制
大数据驱动的创新对智慧城市发展至关重要
大数据是智慧城市创新的核心。而利用来自互联设备、公共机构、普通公民等方面的数据，智慧城市将能够优化它们的运营，并有效地管理变化。

2022-11-03 09:24:13

智慧城市大数据
Kaggle全球数据科学家薪酬大揭秘：俄罗斯竟力压美国成第一！
Kaggle的全球数据科学家的薪资可视化数据出炉！美国薪酬被俄罗斯赶超，排名前十竟然有这个国家？

2022-11-02 13:55:33

数据科学
数据飞轮：数据战略四步法
数据和分析正在显露出潜力，各种组织每天都利用数据和分析完成各种工作，许多公司都需要制定数据战略。

2022-11-02 13:16:58

数据分析
DataLeap 的 Catalog 系统近实时消息同步能力优化 精选
Apache Atlas 对于实时消息的消费处理不满足性能要求，内部使用 Flink 任务的处理方案在 ToB 场景中也存在诸多限制，所以团队自研了轻量级异步消息处理框架，很好的支持了字节内部和火山引擎上同步元数据的诉求。本文定义了需求场景，并详细介绍框架的设计与实现。

2022-11-02 09:58:26

Flink数据中台DataLeap
终于有人将数据埋点讲明白了
数据埋点是指基于业务需求(如淘宝双 11 促销页面统计每个 banner 的点击 次数)、产品需求(如推荐系统统计推荐商品的曝光次数及点击人数)，对每一个用户行为事件对应的位置进行埋点，并通过 SDK 上报埋点的数据结果，将记录数据汇总后进行分析，以推动产品优化或指导运营。

2022-11-01 18:21:14

数据埋点SDK
数据分析，如何支持决策
很多同学一听到“决策”俩字就怂了。对“决策”的第一印象，就是各种听不懂的高大上词语，什么“把握机遇”“苦练内功”“真抓实干”……这些东西咋个和数据扯上关系？

2022-11-01 11:30:51

数据分析模型数据
版本更新 | 有数BI LTS8.0发布啦
有数BI的LTS8.0（Long Term Support即长期支持版本&私有化部署）版本更新啦！此次新版本在数据大屏、数据源、报告、数据门户、自助取数、数据填报等模块均有优化，快来看看吧！

2022-10-31 17:50:47

BI LTS8.0大数据
用户画像的五个底层问题
好的数据是好的运营产生的，不是从天上掉下来的，大家切记切记。不过有的同学会好奇：说用户不会好好填信息，这个好理解，问题是员工为啥也不好好填？

2022-10-31 11:35:48

用户画像底层模型
领导对数据的期望值太高了！该怎么破
生产数据是数据部门的事，但应用数据是每个部门的事，甚至很多资深的业务，要比每天跑数的表哥更懂数据的含义和用处。所以从一开始，就不能拿技术能力去要求业务部门，而是得看这些人懂不懂如何用数据。

2022-10-30 14:34:30

数据业务
创建有效大数据模型的六个技巧
大数据(现在占管理数据的很大一部分)不能在关系数据库上运行。它在NoSQL等非关系数据库上运行。这让人们相信不需要创建大数据模型。

2022-10-28 15:30:27

大数据大数据模型
大数据企业获得创新的见解
随着数据量的爆炸式增长，现在可以训练算法来提供更好的结果，帮助人们更有效地完成工作。

2022-10-28 15:22:06

大数据算法人工智能
现代化BI全面崛起，观远数据让业务快速、广泛、活跃用起来！
2022年，也是观远数据成立的第六年。基于“让业务用起来 让决策更智能”的使命，观远数据与各行业最领先的500+家客户，不断定义和发布现代化BI的先进实践。在刚刚结束的「让业务用起来·观远数据2022智能决策峰会暨产品发布会」云上直播中，观远数据创始人兼CEO苏春园、联合创始人兼CTO张进，分别分享了观远数据对“现代化BI"的深度思考、实现路径以及未来规划，正式对外发布了「观远数据一站式智能分析平

2022-10-28 11:36:28

观远数据BI
数字孪生与未来城市建设
数字孪生技术的引入是 21 世纪最具开创性的创新。如今，数字孪生技术已在各个经济领域得到直接应用，尤其是在制造、医疗保健等领域。

2022-10-28 11:28:42

数字孪生物联网人工智能
探究Presto SQL引擎(4)-统计计数
本篇文章介绍了统计计数的基本原理以及Presto的实现思路，精确统计和近似统计的细节及各种优缺点，并给出了统计计数在具体业务使用的建议。

2022-10-27 11:31:10

Presto SQL统计计数大数据
探究Presto SQL引擎(3)-代码生成
本文旨在探究 where 关键词的实现思路，探究where语句内部实现的基本思路以及性能优化的基本思想。

2022-10-27 11:07:40

Presto SQL代码生成大数据
探究Presto SQL引擎(2)-浅析Join
本文梳理了Join的原理，以及Join算法在Presto中的实现思路。通过理论和实践的结合，可以在理解原理的基础上，更加深入理解Join算法在OLAP场景下的工程落地技巧，比如火山模型，列式存储，批量处理等思想的应用。

2022-10-27 10:32:09

Presto SQLJoin大数据
关于智慧城市你需要了解那些事
把智慧城市想象成一个有机体。大数据、物联网设备和传感器以及物联网连接将成为神经系统，使其能够对环境变化做出反应和调整。这些组件加上5G网络，帮助城市规划者改善居民生活。

2022-10-27 10:29:15

智慧城市大数据物联网
探究Presto SQL引擎(1)-巧用Antlr
本文基于四则运算器和使用SQL查询csv数据两个案例阐述了ANTLR4在项目开发中的应用思路和过程，相关的代码可以在github上看到。

2022-10-27 10:06:16

Presto SQLAntlr大数据
一篇数据分析报告写作指南，你学会了吗？
其实做报告的过程，就是把陈老师大量的分析方法总结归纳的过程。没错！因为本身，报告是数据分析的最后一步。只有做好了各种具体的分析，才能写出优质的报告。因此，优质的报告绝不是按模板抄出来的。

2022-10-26 11:37:08

数据分析方法报告
聊聊大数据下的存算分离
回过头来看看开头的两个问题：集群经常出问题，需要做存算分离改造，其实还可以有较大的优化空间，比如：增加NameNode JVM的内存，或者合并小文件减少元数据信息等等，一般情况下，几十台的规模远不会达到HDFS性能瓶颈。

2022-10-25 18:02:31

大数据存算分离
上一页 1 ··· 1617181920 ··· 176
点赞

51CTO技术栈公众号

业务
速览
在线客服