51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
信创认证
公众号矩阵
移动端
视频课免费课排行榜短视频直播课软考学堂
全部课程软考信创认证华为认证厂商认证IT技术PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9248内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9248 条
Flink为什么比Spark快？大数据流处理的框架比较
大数据处理的新趋势，流处理和批处理是非常重要的两个概念，而基于流处理和批处理的大数据处理框架，Flink和Spark，也是常常被大家拿来做比较的对象。而在实时流数据处理上，Flink性能似乎更加强劲，那么Flink为什么比Spark快呢，今天我们就来聊聊这个话题。

2020-04-14 15:18:16

SparkFlink框架
大数据可视化技术面临的挑战及应对措施
本文从大数据本身的特点及其应用需求出发，结合数据可视化的研究现状，介绍了适用于大数据的数据可视化技术；分析在大数据条件下数据可视化所要解决的8个关键问题；讨论了针对大数据可视化应用需求自主研发的交互式可视化设计平台AutoVis及其应用。

2020-04-14 11:18:11

大数据IT技术
用户留存分析真的不难，只要能搞清楚这3个模型
多长时间算留存，怎么样才算留存，这个因业务类型而异。就拿滴滴来说，他的用户分为B/C两端。对于B端用户，也就是司机，开车是职业，所以是一个高频的行为。

2020-04-11 11:21:22

留存分析模型分析
AI+咨询：数据科学家会成为顾问吗？
咨询公司未来将会是怎样?受科技巨头威胁的咨询行业该何去何从?数据科学家会成为顾问吗?不如来听听笔者的看法。

2020-04-10 11:58:56

AI咨询数据科学
为何Spark在编程界越来越吃香？Spark将成为数据科学家的统一平台
统计科学家使用交互式的统计工具(比如R)来回答数据中的问题，获得全景的认识。与之相比，数据工程师则更像一名程序员，他们在服务器上编写代码，创建和应用机器学习模型，熟悉C++和Java等系统级语言，经常需要和企业级数据中心的某些组件打交道,比如Hadoop。

2020-04-10 11:53:03

Spark数据科学工具
一场HBase2.x的写入性能优化之旅
对每一个RegionServer进程，我们正常的线上配置是50GB堆内内存和50GB堆外内存(RS合计占用100GB内存)，其中堆内内存主要用于Memstore(~36GB)，堆外内存主要用于BucketCache(~36GB)。

2020-04-10 09:37:47

HBase2.x集群CPU
AutoML 2.0：数据科学家过时了吗？
业界现在推出的各种新平台(https://dotdata.com)都具有更多的自动化功能。人工智能现在可以驱动所谓的要素工程(Feature Engineering)，允许用户自动发现和创建数据科学处理功能。这种做法开启了一种全新的数据科学方法，似乎会威胁到数据科学家的作用。

2020-04-09 15:32:20

数据科学AutoML代智能
被仰望和遗忘过的Cloudera是否能王者归来？
Hadoop曾经是大数据的代名词，然而经过了时间的洗礼，以Hadoop为核心的企业也开始走向下坡路。Cloudera经过了被仰望，被遗忘，如今在混合多云时代，能否王者归来呢？

2020-04-09 11:03:29

ClouderaHadoopCDP
大数据分析系统Hadoop的13个开源工具，你知道几个？
本次为大家分享Hadoop生态系统中最常用的13个开源工具，其中包括资源调度、流计算及各种业务针对应用场景。首先，我们看资源管理相关。

2020-04-08 16:41:18

大数据Hadoop工具
数据大佬教你简单粗暴的绘制Excel中的箱线图
本节内容我将为大家介绍一个用于观察顺序的图形——箱形图(又叫箱线图)。箱形图适用于展示顺序数据，通过它我们可以观察出顺序数据的集中趋势和离散程度。

2020-04-08 16:16:52

箱经图Excel数据
不会Python也能分析？从业以来，我写过最心痛的一次数据分析
几天前，四川凉山这个熟悉的名字，又再次上了热搜：那些英雄，永远离开了我们。悲痛之余，我开始思考：究竟是什么原因让这种情况经常发生?

2020-04-08 16:14:50

Python数据可视化
中移雄研咨询洞察：政务大数据产业地图
政务大数据是指政务部门在履行职能、办理业务和事项中而产生、采集、加工、使用的数据资源。形成“逻辑上集中”的政务数据资源体系，通过统筹数据采集、存储、管理、服务和标准等环节，支撑政务数据资源共享和业务协同，最后实现数据价值的挖掘。

2020-04-08 08:20:27

政务大数据大数据产业信息化
新基建带来新机遇！大数据产业发展需“四驱”推动
在国家的积极推进下，新基建也成为了资本市场关注的焦点，有望对相关产业链的成长带来额外利好。例如，对于大数据产业来说，新基建的发展就十分关键。

2020-04-07 12:23:24

大数据5G新基建
SaaS公司应该采用大数据跟踪的4个关键指标
大数据是软件即服务(SaaS)业务模型的关键。大数据创新者Panoply曾经对一种名为数据即服务的新模型进行探讨，而该模型是软件即服务(SaaS)这一模型的变体。

2020-04-07 11:00:30

大数据大数据是软件即服务SaaS
如何在Hadoop上建立数据仓库
大数据平台上的数据仓库是许多组织正在探索的标准用例。采用这种方法的原因可能是大数据平台提供的许多灵活性之一。

2020-04-06 13:52:45

数据仓库大数据平台Hadoop
初学者如何快速上手数据可视化设计
数据可视化是数据内在价值的最终呈现手段，它利用各类图表及图形化的设计手段将复杂不直观的数据有逻辑地展现出来，使用户找到内在规律，发现问题，从而指导经营决策，挖掘数据背后的商业价值。

2020-04-06 12:26:32

数据可视化场景设计
中国数据科技集团CEO林道进：把无序变有序 让数据更有价
林道进认为，随着企业的精细化运营、品牌转型升级的需求，受众的个性化以及受众需求和生产的全球化等诸多新趋势，使得专注大数据和人工智能的企业有着巨大的服务领域和生存空间，大数据企业在未来发展中将发挥至关重要的多重作用。

2020-04-03 21:36:54

数据科技
关于大数据的这些你该知道
在搭建大数据分析平台之前，要先明确业务需求场景以及用户的需求，通过大数据分析平台，想要得到哪些有价值的信息，需要接入的数据有哪些，明确基于场景业务需求的大数据平台要具备的基本的功能，来决定平台搭建过程中使用的大数据处理工具和框架。

2020-04-03 18:43:21

大数据Hadoop数据
基于运营商数据的疫情流向感知分析
2020年初一场又新型冠状病毒引发的疫情席卷全中国。各大运营商积极响应国家工信部号召，将利用自身大数据优势，以手机信令为主，通过位置轨迹、用户漫游识别、交往圈、返乡用户识别等模型构建一个疫情流向分析辅助决策系统，辅助相关部门疫情决策的大数据分析应用，并实现特定人群通知警示类公益短信发送。

2020-04-03 16:15:38

运营商数据疫情
三分钟读懂Hadoop、HBase、Hive、Spark分布式系统架构
我们来分别部署一套hadoop、hbase、hive、spark，在讲解部署方法过程中会特殊说明一些重要配置，以及一些架构图以帮我们理解，目的是为后面讲解系统架构和关系打基础。

2020-04-03 15:35:53

HadoopHBaseSpark
探索Hadoop与数据仓库之间的关系
在大数据世界中用于BI和分析的新平台的需求，并描述了三种常用的基本数据架构：数据仓库，大规模并行处理系统(MPP)和Hadoop。

2020-04-03 15:22:49

Hadoop数据仓库数据库
12个很棒的Pandas和NumPy函数，让分析事半功倍
今天，小芯将分享12个很棒的Pandas和NumPy函数，这些函数将会让生活更便捷，让分析事半功倍。

2020-04-03 13:50:19

数据分析PandasNumPy
一天有24个小时？别开玩笑了！
今天清理邮件，发现这样一条垃圾信息。虽然美股最近的表现很暴躁，但我没有银子花在这无聊的事情上。我有一笔钱，蹲在A股的一只退市股上。由于亏的太多，所以现在只剩下梦想。

2020-04-03 12:08:24

美股时间GMT
每个程序员都必须知道的8种数据结构
数据结构是一种特殊的组织和存储数据的方式，可以使我们可以更高效地对存储的数据执行操作。数据结构在计算机科学和软件工程领域具有广泛而多样的用途。

2020-04-02 15:37:58

数据结构存储
这些Pandas演示tips，你一定相见恨晚……
使用Pandas，就不必再将数据帧(DataFrame)里的值逐一复制到另一个软件中，它的格式化函数能够将数据帧转换成多种格式。无论是学生、数据科学家还是博士研究人员，这些技巧都一定能帮到你。

2020-04-01 14:16:05

Pandastips数据分析
如何规划数据科学和人工智能职业生涯
随着数据科学和人工智能领域提供越来越多的职位，行业专家对希望在这两个领域中进行职业生涯规划的人士提出了一些建议。

2020-04-01 11:21:22

数据科学人工智能职业生涯
带你快速搭建Hadoop运行环境
Hadoop 是一个分布式系统基础架构，在大数据领域被广泛的使用，它将大数据处理引擎尽可能的靠近存储，Hadoop 最核心的设计就是 HDFS 和 MapReduce，HDFS 为海量的数据提供了存储，MapReduce 为海量的数据提供了计算。这篇文章主要就是介绍一下如何搭建一个 Hadoop 运行环境。

2020-04-01 11:11:35

Hadoop运行环境分布式
解决 Spark 数据倾斜的 8 大实用方法
对 Spark/Hadoop 这样的分布式大数据系统来讲，数据量大并不可怕，可怕的是数据倾斜。对于分布式系统而言，理想情况下，随着系统规模(节点数量)的增加，应用整体耗时线性下降。

2020-04-01 11:05:24

Spark数据倾斜Hadoop
Apache HBase内核深度剖析
今天讲述一下HBase相关的知识。首先HBase作为大数据发展初期伴随Google三大论文问世的一个组件，在今天依旧被广泛的应用，今天我们来仔细的分析一下HBase的内部原理，了解一下HBase的具体内幕，以便在工作中更好使用它。

2020-04-01 10:28:12

Apache HBas数据结构算法
干货：数据仓库、OLAP和 数据挖掘、统计分析的关系和区别分析
数据挖掘(Data Mining)，又称为数据库中的知识发现(Knowledge Discovery in Database, KDD)，就是从大量数据中获取有效的、新颖的、潜在有用的、最终可理解的模式的非平凡过程，简单的说，数据挖掘就是从大量数据中提取或“挖掘”知识。

2020-03-31 14:57:56

数据挖掘OLAP统计
建好公安大数据 助力智慧警务转型
大数据破案、视频抓逃、指尖办事……在人工智能、物联网、云计算等信息化技术迅速发展的当下，公安大数据已经成为构成公安战斗力的重要因素。

2020-03-31 14:09:05

大数据公安技术
十年经验的我详解阿里数据中台，小白都能看懂
造概念这个词，IT行业的各位可能并不陌生。中文博大精深，我很佩服可以发明出新名词、新概念的人，这些词简单准确，既可以被大众接受，又可以被专家把玩，真正做到雅俗共赏、各有趣味。

2020-03-31 10:36:07

数据平台架构
大数据与AI如何助力食品饮料行业发展？
数字化几乎颠覆了每一个行业，从金融服务到医疗保健，而食品和饮料行业也不例外。从历史上看，风味特点、潮流和新的食品主要归功于厨师和产品开发人员。而在将一个创意转化成产品并推向市场之前，可能需要花费几个月甚至是几年的时间。

2020-03-30 19:16:24

AI人工智能大数据
Kafka为什么会这么快
在系统设计中，会用到消息中间件来做服务异步化，系统解耦，或者是做流量削峰，常用的消息中间件有rabbitMq，activeMq以及阿里的RocketMq等等，都各自有各自的优势，但是就吞吐量来说，kafka是其中的佼佼者。

2020-03-30 15:05:46

Kafka消息数据
中国银行金融科技建设实践与经验谈 原创
这些年，中国银行持续加大金融科技投入力度，加强金融与新技术的融合，并实实在在应用于各大业务场景，对运营效率有显著的影响。

2020-03-30 14:33:30

中国银行金融科技实践
Excel、Tableau……五大可视化工具，你真的知道怎样用吗？
随着技术的发展，新的数据可视化工具不断涌现。下面将介绍五大可视化工具，并结合具体使用情况解释该在何时使用这些工具。

2020-03-30 14:13:15

可视化工具数据可视化
大数据正在改变人们学习新语言的方式
大数据的应用正在发生变化，并且可能会改变人们学习新语言的方式。事实上，语言是人们所寻求的信息中最复杂却又最受追捧的一种。

2020-03-30 10:25:41

大数据语言大数据应用
老友记即将回归！用数据来重温经典剧情：老友记里到底说了多少次Oh my God？
对于很多八零后九零后来说，老友记不仅仅是我们的美剧启蒙，也是我们的青春记忆。事实上，剧中“Oh my God”出现频率真的非常地高。让我们来这个数据分析师如何算出老友记中到底出现了多少次“Oh my God”。

2020-03-29 09:38:15

老友记数据数据分析
Python数据分析条形图的各种绘制方式
Python数据分析条形图的各种绘制方式，包括：简单垂直条形图、简单水平条形图、水平交错条形图、垂直堆叠条形图等。

2020-03-28 16:08:32

条形图Python分析
Python 数据科学入门：Matplotlib 基本的自定义
在 Matplotlib 教程中，我们将讨论一些可能的图表自定义。 为了开始修改子图，我们必须定义它们。 我们很快会谈论他们，但有两种定义并构造子图的主要方法。 现在，我们只使用其中一个，但我们会很快解释它们。

2020-03-28 16:04:26

数据科学Matplotlib图表
介绍常用的数据结构：数组，栈，链表，队列，树，图，堆，散列表
常用的数据结构有：数组，栈，链表，队列，树，图，堆，散列表等。每一种数据结构都有着独特的数据存储方式，下面为大家介绍它们的结构和优缺点。

2020-03-27 14:29:30

数据结构栈堆
新基建下的大数据中心，“受益人”是谁？
新基建的大数据中心建设，对服务器行业、云计算、中小企业等多个方面都会有直接、间接的正面影响，新基建兴建大数据中心的主导方向，从历史的视界来看，或会让国内的智能化水平进入到世界一线行列，而这个未来，已经不再是幻想。

2020-03-27 11:39:24

大数据云计算综合科技
数据分析如何解决消防安全的重大挑战
数据分析如今已经成为解决消防安全重大挑战的有用工具。人们需要了解帮助避免火灾风险的知识。

2020-03-27 10:28:51

数据分析消防安全大数据
开源数据湖方案选型：Hudi、Delta、Iceberg深度对比
我们来逐一分析为何各技术公司要推出他们的开源数据湖解决方案，他们碰到的问题是什么，提出的方案又是如何解决问题的。我们希望客观地分析业务场景，来理性判断到底哪些功能才是客户的痛点和刚需。

2020-03-26 10:05:18

大数据IT互联网
大数据技术对于视频监控有什么帮助
大数据 ，IT行业术语，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

2020-03-25 20:06:39

大数据视频监控技术
数据挖掘的4个思维原理，帮你快速解决问题
大数据时代，计算模式也发生了转变，从“流程”核心转变为“数据”核心。Hadoop体系的分布式计算框架已经是“数据”为核心的范式。非结构化数据及分析需求，将改变IT系统的升级方式：从简单增量到架构变化。

2020-03-25 15:07:21

数据挖掘大数据思维
从数据到洞察 数据湖时代到来 原创
我们经历过数据库、数据仓库、数据湖等不同概念时期，应对了不同种类、量级、形式的数据。随着人工智能的快速发展，以及产业互联网的转型，处理数据的技术也在升级，再加上云计算的计算能力，企业可以快速获取洞察，实现业务创新。

2020-03-25 09:39:03

数据数据湖数据仓库
为什么大数据项目总失败？你没问对这四个问题
当今时代，数据已经成为我们经营业务的核心手段。事实上，据全球市场情报公司IDC预计，到2020年，全球花费在数据分析项目上的支出将达到2743亿美元。然而，其中的大部分钱并没有得到合理地利用。据高德纳咨询公司(Gartner)的分析师尼克•赫尔德克的估算，高达85%的大数据项目是失败的。

2020-03-24 17:49:27

大数据IT技术
采用大数据解读Salesforce Einstein分析的价值点
很多人阅读了有关大数据在营销中的好处的文章。Louis Columbus在《福布斯》上发表了一篇精彩的文章，内容涉及大数据改变营销部门的10种方式。

2020-03-24 15:16:09

Salesforce大数据Einstein An
2020年商业智能软件发展趋势
随着2020年的到来，事情必将变得越来越有趣。通过其多面性，商业智能将再次支持许多旨在以合理成本做出更明智和数据驱动的决策的发展。

2020-03-24 10:45:22

商业智能软件数据
上一页 1 ··· 7374757677 ··· 185
点赞

51CTO技术栈公众号

业务
速览
在线客服