51CTO首页
AI.x社区
博客
学堂
精品班
直播训练营
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

大数据

8810内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 8810 条
由浅到深学习Kafka：生产者消息分区机制原理
在使用Apache Kafka生产和消费消息的时候，肯定是希望能够将数据均匀地分配到所有服务器上。比如很多公司使用Kafka收集应用服务器的日志数据，这种数据都是很多的，特别是对于那种大批量机器组成的集群环境，每分钟产生的日志量都能以GB数，因此如何将这么大的数据量均匀地分配到Kafka的各个Broker上，就成为一个非常重要的问题。

2020-04-17 14:49:34

Kafka分区数据
基于工业互联网的智慧物流建设探讨
随着中国人口红利的慢慢减退，依赖人力的物流行业，也正努力从劳动密集型向技术密集型转变，大数据和工业互联网技术的应用已经把物流业从肩扛手提的传统模式，带入了科技驱动的新物流时代。

2020-04-17 14:37:09

大数据工业互联网技术
Hive任务执行很慢，但是导入数据非常的快？
Hive使用Hadoop来执行查询，其查询执行速度是很慢的，但是使用load data向Hive中导入数据却非常快，这是因为Hive采取的是读时模式(Schema On Read)。

2020-04-17 14:23:12

HiveHadoop数据
进阶必备！写给设计师的数据分析基础指南
本篇文章主要介绍设计师在支持业务的过程中，可能会遇到的数据分析场景及应对的思路、方法，希望能给大家带来启发。

2020-04-17 10:51:26

数据分析设计师数据
数据科学家和软件工程师都在用的Pandas函数有哪些?
软件工程师该像是索引，而不是教科书。你无法记住所有内容，但得知道如何快速查找它们。能够快速查找和使用函数让我们在编写代码时可以达到一定的流畅程度。因此笔者创建了这份自己每天都在使用的、用于构建网络应用程序和机器学习模型的函数备忘清单。

2020-04-16 18:09:10

Pandas函数开发
26道数据科学技能测试题，你能做完几题？
以下是26个数据科学的问题和供参考的答案。这些问题的难度和主题各不相同，但都与机器学习和数据科学相关。不管是大学生还是专业人士，都可以来测试(或更新)一下自己的技能!

2020-04-16 16:52:29

数据科学测试数据
大学里的大数据专业，应该都教什么？
对于大数据相关本科专业的学生，教师首先应让其系统掌握数据分析的相关理论，包括高等数学、线性代数、数据统计、应用统计、数据分析、自然语言处理以及编程这些理论知识。

2020-04-16 15:19:22

大数据学校课程
数据科学技能测试：快来看看你能通关吗？
以下是26个数据科学的问题和供参考的答案。这些问题的难度和主题各不相同，但都与机器学习和数据科学相关。不管是大学生还是专业人士，都可以来测试(或更新)一下自己的技能!

2020-04-16 09:35:53

数据科学机器学习数据分析
一篇文章说清楚如何提升大数据质量
正如大家所知，大数据建设的目标是为了融合组织数据，增加组织的洞察力和竞争力，实现业务创新和产业升级。而提高数据质量是为了巩固大数据建设成果，解决大数据建设成果不能满足业务要求的问题。

2020-04-15 16:34:48

大数据质量标准
大数据在企业中的4个主要竞争优势
控制企业拥有的数据不仅可以提高其内部信息可访问性，而且还可以提供一系列好处，这些好处可能是在其市场中获得竞争优势的驱动力。以下将探讨大数据可以为企业业务提供的一些主要竞争优势。

2020-04-15 10:43:43

大数据企业数据
用Python画中国地图，实现各省份数据可视化
用Python画中国地图，实现各省份数据可视化，pyecharts是一款将python与echarts结合的强大的数据可视化工具，本文使用了0.1.9.4版本

2020-04-15 10:34:05

数据Excel地图
508个人工智能抗疫案例数据分析 各地AI抗疫表现如何
经过数据汇总统计，目前已收集到的AI抗疫产品案例的生产企业所在地区(基于企业工商注册地)共覆盖18个省份，主要集中在北上广和江浙地区。总体来看呈梯队效应，一线城市、新一线城市凭借在经济、政策、人才、产业链等方面的天赋资源要素优势，各项数据遥遥领先。

2020-04-14 16:32:21

人工智能数据分析疫情
大数据可视化技术面临的挑战及应对措施
本文从大数据本身的特点及其应用需求出发，结合数据可视化的研究现状，介绍了适用于大数据的数据可视化技术;分析在大数据条件下数据可视化所要解决的8个关键问题;讨论了针对大数据可视化应用需求自主研发的交互式可视化设计平台AutoVis及其应用。

2020-04-14 16:13:13

数据可视化大数据数据
对全球大流行新冠肺炎数据的深度分析揭示出重要发现
世界上每天都会产生大量关于这种全球大流行疾病的数据。尽管世界卫生组织(WHO)、美国疾病控制中心(CDC)、约翰.霍普金斯大学(Johns Hopkins University)和Worldometers之类的组织每天都在公布重要的统计数据，但是这些数据并没有以有效的方式进行分析，因此无法提供见解。

2020-04-14 15:54:02

COVID-19分析流行病
Flink为什么比Spark快？大数据流处理的框架比较
大数据处理的新趋势，流处理和批处理是非常重要的两个概念，而基于流处理和批处理的大数据处理框架，Flink和Spark，也是常常被大家拿来做比较的对象。而在实时流数据处理上，Flink性能似乎更加强劲，那么Flink为什么比Spark快呢，今天我们就来聊聊这个话题。

2020-04-14 15:18:16

SparkFlink框架
大数据可视化技术面临的挑战及应对措施
本文从大数据本身的特点及其应用需求出发，结合数据可视化的研究现状，介绍了适用于大数据的数据可视化技术；分析在大数据条件下数据可视化所要解决的8个关键问题；讨论了针对大数据可视化应用需求自主研发的交互式可视化设计平台AutoVis及其应用。

2020-04-14 11:18:11

大数据IT技术
用户留存分析真的不难，只要能搞清楚这3个模型
多长时间算留存，怎么样才算留存，这个因业务类型而异。就拿滴滴来说，他的用户分为B/C两端。对于B端用户，也就是司机，开车是职业，所以是一个高频的行为。

2020-04-11 11:21:22

留存分析模型分析
AI+咨询：数据科学家会成为顾问吗？
咨询公司未来将会是怎样?受科技巨头威胁的咨询行业该何去何从?数据科学家会成为顾问吗?不如来听听笔者的看法。

2020-04-10 11:58:56

AI咨询数据科学
为何Spark在编程界越来越吃香？Spark将成为数据科学家的统一平台
统计科学家使用交互式的统计工具(比如R)来回答数据中的问题，获得全景的认识。与之相比，数据工程师则更像一名程序员，他们在服务器上编写代码，创建和应用机器学习模型，熟悉C++和Java等系统级语言，经常需要和企业级数据中心的某些组件打交道,比如Hadoop。

2020-04-10 11:53:03

Spark数据科学工具
一场HBase2.x的写入性能优化之旅
对每一个RegionServer进程，我们正常的线上配置是50GB堆内内存和50GB堆外内存(RS合计占用100GB内存)，其中堆内内存主要用于Memstore(~36GB)，堆外内存主要用于BucketCache(~36GB)。

2020-04-10 09:37:47

HBase2.x集群CPU
AutoML 2.0：数据科学家过时了吗？
业界现在推出的各种新平台(https://dotdata.com)都具有更多的自动化功能。人工智能现在可以驱动所谓的要素工程(Feature Engineering)，允许用户自动发现和创建数据科学处理功能。这种做法开启了一种全新的数据科学方法，似乎会威胁到数据科学家的作用。

2020-04-09 15:32:20

数据科学AutoML代智能
被仰望和遗忘过的Cloudera是否能王者归来？
Hadoop曾经是大数据的代名词，然而经过了时间的洗礼，以Hadoop为核心的企业也开始走向下坡路。Cloudera经过了被仰望，被遗忘，如今在混合多云时代，能否王者归来呢？

2020-04-09 11:03:29

ClouderaHadoopCDP
大数据分析系统Hadoop的13个开源工具，你知道几个？
本次为大家分享Hadoop生态系统中最常用的13个开源工具，其中包括资源调度、流计算及各种业务针对应用场景。首先，我们看资源管理相关。

2020-04-08 16:41:18

大数据Hadoop工具
数据大佬教你简单粗暴的绘制Excel中的箱线图
本节内容我将为大家介绍一个用于观察顺序的图形——箱形图(又叫箱线图)。箱形图适用于展示顺序数据，通过它我们可以观察出顺序数据的集中趋势和离散程度。

2020-04-08 16:16:52

箱经图Excel数据
不会Python也能分析？从业以来，我写过最心痛的一次数据分析
几天前，四川凉山这个熟悉的名字，又再次上了热搜：那些英雄，永远离开了我们。悲痛之余，我开始思考：究竟是什么原因让这种情况经常发生?

2020-04-08 16:14:50

Python数据可视化
中移雄研咨询洞察：政务大数据产业地图
政务大数据是指政务部门在履行职能、办理业务和事项中而产生、采集、加工、使用的数据资源。形成“逻辑上集中”的政务数据资源体系，通过统筹数据采集、存储、管理、服务和标准等环节，支撑政务数据资源共享和业务协同，最后实现数据价值的挖掘。

2020-04-08 08:20:27

政务大数据大数据产业信息化
新基建带来新机遇！大数据产业发展需“四驱”推动
在国家的积极推进下，新基建也成为了资本市场关注的焦点，有望对相关产业链的成长带来额外利好。例如，对于大数据产业来说，新基建的发展就十分关键。

2020-04-07 12:23:24

大数据5G新基建
SaaS公司应该采用大数据跟踪的4个关键指标
大数据是软件即服务(SaaS)业务模型的关键。大数据创新者Panoply曾经对一种名为数据即服务的新模型进行探讨，而该模型是软件即服务(SaaS)这一模型的变体。

2020-04-07 11:00:30

大数据大数据是软件即服务SaaS
如何在Hadoop上建立数据仓库
大数据平台上的数据仓库是许多组织正在探索的标准用例。采用这种方法的原因可能是大数据平台提供的许多灵活性之一。

2020-04-06 13:52:45

数据仓库大数据平台Hadoop
初学者如何快速上手数据可视化设计
数据可视化是数据内在价值的最终呈现手段，它利用各类图表及图形化的设计手段将复杂不直观的数据有逻辑地展现出来，使用户找到内在规律，发现问题，从而指导经营决策，挖掘数据背后的商业价值。

2020-04-06 12:26:32

数据可视化场景设计
中国数据科技集团CEO林道进：把无序变有序 让数据更有价
林道进认为，随着企业的精细化运营、品牌转型升级的需求，受众的个性化以及受众需求和生产的全球化等诸多新趋势，使得专注大数据和人工智能的企业有着巨大的服务领域和生存空间，大数据企业在未来发展中将发挥至关重要的多重作用。

2020-04-03 21:36:54

数据科技
关于大数据的这些你该知道
在搭建大数据分析平台之前，要先明确业务需求场景以及用户的需求，通过大数据分析平台，想要得到哪些有价值的信息，需要接入的数据有哪些，明确基于场景业务需求的大数据平台要具备的基本的功能，来决定平台搭建过程中使用的大数据处理工具和框架。

2020-04-03 18:43:21

大数据Hadoop数据
基于运营商数据的疫情流向感知分析
2020年初一场又新型冠状病毒引发的疫情席卷全中国。各大运营商积极响应国家工信部号召，将利用自身大数据优势，以手机信令为主，通过位置轨迹、用户漫游识别、交往圈、返乡用户识别等模型构建一个疫情流向分析辅助决策系统，辅助相关部门疫情决策的大数据分析应用，并实现特定人群通知警示类公益短信发送。

2020-04-03 16:15:38

运营商数据疫情
三分钟读懂Hadoop、HBase、Hive、Spark分布式系统架构
我们来分别部署一套hadoop、hbase、hive、spark，在讲解部署方法过程中会特殊说明一些重要配置，以及一些架构图以帮我们理解，目的是为后面讲解系统架构和关系打基础。

2020-04-03 15:35:53

HadoopHBaseSpark
探索Hadoop与数据仓库之间的关系
在大数据世界中用于BI和分析的新平台的需求，并描述了三种常用的基本数据架构：数据仓库，大规模并行处理系统(MPP)和Hadoop。

2020-04-03 15:22:49

Hadoop数据仓库数据库
12个很棒的Pandas和NumPy函数，让分析事半功倍
今天，小芯将分享12个很棒的Pandas和NumPy函数，这些函数将会让生活更便捷，让分析事半功倍。

2020-04-03 13:50:19

数据分析PandasNumPy
一天有24个小时？别开玩笑了！
今天清理邮件，发现这样一条垃圾信息。虽然美股最近的表现很暴躁，但我没有银子花在这无聊的事情上。我有一笔钱，蹲在A股的一只退市股上。由于亏的太多，所以现在只剩下梦想。

2020-04-03 12:08:24

美股时间GMT
每个程序员都必须知道的8种数据结构
数据结构是一种特殊的组织和存储数据的方式，可以使我们可以更高效地对存储的数据执行操作。数据结构在计算机科学和软件工程领域具有广泛而多样的用途。

2020-04-02 15:37:58

数据结构存储
这些Pandas演示tips，你一定相见恨晚……
使用Pandas，就不必再将数据帧(DataFrame)里的值逐一复制到另一个软件中，它的格式化函数能够将数据帧转换成多种格式。无论是学生、数据科学家还是博士研究人员，这些技巧都一定能帮到你。

2020-04-01 14:16:05

Pandastips数据分析
如何规划数据科学和人工智能职业生涯
随着数据科学和人工智能领域提供越来越多的职位，行业专家对希望在这两个领域中进行职业生涯规划的人士提出了一些建议。

2020-04-01 11:21:22

数据科学人工智能职业生涯
带你快速搭建Hadoop运行环境
Hadoop 是一个分布式系统基础架构，在大数据领域被广泛的使用，它将大数据处理引擎尽可能的靠近存储，Hadoop 最核心的设计就是 HDFS 和 MapReduce，HDFS 为海量的数据提供了存储，MapReduce 为海量的数据提供了计算。这篇文章主要就是介绍一下如何搭建一个 Hadoop 运行环境。

2020-04-01 11:11:35

Hadoop运行环境分布式
解决 Spark 数据倾斜的 8 大实用方法
对 Spark/Hadoop 这样的分布式大数据系统来讲，数据量大并不可怕，可怕的是数据倾斜。对于分布式系统而言，理想情况下，随着系统规模(节点数量)的增加，应用整体耗时线性下降。

2020-04-01 11:05:24

Spark数据倾斜Hadoop
Apache HBase内核深度剖析
今天讲述一下HBase相关的知识。首先HBase作为大数据发展初期伴随Google三大论文问世的一个组件，在今天依旧被广泛的应用，今天我们来仔细的分析一下HBase的内部原理，了解一下HBase的具体内幕，以便在工作中更好使用它。

2020-04-01 10:28:12

Apache HBas数据结构算法
干货：数据仓库、OLAP和 数据挖掘、统计分析的关系和区别分析
数据挖掘(Data Mining)，又称为数据库中的知识发现(Knowledge Discovery in Database, KDD)，就是从大量数据中获取有效的、新颖的、潜在有用的、最终可理解的模式的非平凡过程，简单的说，数据挖掘就是从大量数据中提取或“挖掘”知识。

2020-03-31 14:57:56

数据挖掘OLAP统计
建好公安大数据 助力智慧警务转型
大数据破案、视频抓逃、指尖办事……在人工智能、物联网、云计算等信息化技术迅速发展的当下，公安大数据已经成为构成公安战斗力的重要因素。

2020-03-31 14:09:05

大数据公安技术
十年经验的我详解阿里数据中台，小白都能看懂
造概念这个词，IT行业的各位可能并不陌生。中文博大精深，我很佩服可以发明出新名词、新概念的人，这些词简单准确，既可以被大众接受，又可以被专家把玩，真正做到雅俗共赏、各有趣味。

2020-03-31 10:36:07

数据平台架构
大数据与AI如何助力食品饮料行业发展？
数字化几乎颠覆了每一个行业，从金融服务到医疗保健，而食品和饮料行业也不例外。从历史上看，风味特点、潮流和新的食品主要归功于厨师和产品开发人员。而在将一个创意转化成产品并推向市场之前，可能需要花费几个月甚至是几年的时间。

2020-03-30 19:16:24

AI人工智能大数据
Kafka为什么会这么快
在系统设计中，会用到消息中间件来做服务异步化，系统解耦，或者是做流量削峰，常用的消息中间件有rabbitMq，activeMq以及阿里的RocketMq等等，都各自有各自的优势，但是就吞吐量来说，kafka是其中的佼佼者。

2020-03-30 15:05:46

Kafka消息数据
中国银行金融科技建设实践与经验谈 原创
这些年，中国银行持续加大金融科技投入力度，加强金融与新技术的融合，并实实在在应用于各大业务场景，对运营效率有显著的影响。

2020-03-30 14:33:30

中国银行金融科技实践
Excel、Tableau……五大可视化工具，你真的知道怎样用吗？
随着技术的发展，新的数据可视化工具不断涌现。下面将介绍五大可视化工具，并结合具体使用情况解释该在何时使用这些工具。

2020-03-30 14:13:15

可视化工具数据可视化
上一页 1 ··· 6465666768 ··· 177
点赞

51CTO技术栈公众号

业务
速览
在线客服