开源基础软件社区

WOT全球技术创新大会

公众号矩阵

移动端

免费课程课程排行直播课软考学堂

精品班厂商认证 IT技术 2023年软考 PMP项目管理

在线学习企业服务

CTO训练营技术经理研习营 LeaTech峰会

文章资源问答开源课堂专栏直播

51CTO

开源基础软件社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

开源基础软件社区订阅号

51CTO学堂APP

51CTO学堂企业版APP

开源基础软件社区视频号

账号设置退出

大数据

8136内容

关注

大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。

文章博文帖子课程

共 8136 条

Spark性能调优-RDD算子调优篇

Java的序列化机制使用方便，不需要额外的配置，在算子中使用的变量实现Serializable接口即可，但是，Java序列化机制的效率不高，序列化速度慢并且序列化后的数据所占用的空间依然较大。

2021-03-04 08:39:21

Spark RDD 调优

不用代码趣讲 ZooKeeper 集群

引入了集群前，原本一个节点数据自己内部运作管理就行，非常方便，但是引入集群后，集群间的节点如何沟通成了问题，让我们一起来看看马果果的新员工们是怎么做的吧?

2021-03-04 08:06:15

ZooKeeper 集群代码

2021年后求职分析：你敢裸辞吗？

春节假期已经过完了，对于打工人来说，即将迎来“金三银四”的招聘和求职旺季，我们知道，年后求职机会多，同样竞争压力也比较大。

2021-03-03 23:15:53

数据分析就业辞职

关于构建数据仓库的几个问题

数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、集成的(Integrated)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合，用于支持管理决策(Decision Making Support)。

2021-03-03 21:24:57

数据仓库工具

大数据和分析解决方案如何在数字时代彻底改变业务?

随着其采用率的快速上升，大数据分析市场规模预计到2022年将达到2743亿美元，2018～2022年的复合年增长率为13.2%。

2021-03-03 11:05:08

大数据云计算大数据分析

大数据的关键技术有哪些？

大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

2021-03-03 09:32:21

大数据关键技术数据存储

最接地气的数据分析详细流程，看这篇就够了！

无论你是刚接触数据分析，还是一位分析大神，我想很多人都不知道，数据分析究竟是什么，或者说数据分析的本质是什么。

2021-03-03 05:59:20

数据分析互联网运营大数据

大数据杀熟、算法困住骑手？民进中央建议推算法开发者责任制

在过去的一年里，东莞公厕停用人脸识别厕纸机、售楼处暗中使用人脸识别区分客户、“外卖骑手困在系统”、在同一外卖平台会员的配送费比非会员高等多个热点事件频频引发民众对于人脸识别等新兴人工智能应用、算法的讨论。

2021-03-02 22:13:15

大数据人脸识别人工智能

聊聊Hive中的集合数据类型

除了使用础的数据类型string等，Hive中的列支持使用struct, map, array集合数据类型。

2021-03-02 21:52:48

Hive 数据类型

2021年我还能选择大数据这个行业吗？

众所周知，我们经常可以听到说程序员月薪几万，年薪几十万上百万，可能很多不了解的外行朋友听来会觉得是不是有些浮夸，但是可以负责任的告诉你，这些都是真的。

2021-03-02 16:27:32

大数据程序员 IT

云计算、大数据与人工智能三者的关系

当今智能行业最为热门的话题无非就是云计算、大数据与人工智能。它们之间好像互相有关系，一般谈云计算的时候会提到大数据，谈人工智能的时候会提大数据，谈人工智能的时候会提云计算……它们相辅相成、不可分割。若非技术人员，可能会较难理解这三者间的相互关系，所以有必要解释一下。

2021-03-02 11:32:03

云计算大数据人工智能

聊聊工业互联网数据分类分级那些事儿

技术的发展与变化，推动了社会的变革。当今社会向着工业化、信息化和经济一体化的生产力高度发达的现代化形态发展。

2021-03-02 11:06:17

工业互联网

大数据时代年轻人更关注哪些领域

首先，在大数据时代背景下，年轻人更应该关注如何借助于大数据来实现自身的价值，从当前的技术发展趋势和社会发展趋势来看，年轻人未来会重点关注三个领域，其一是创新、创业的热点领域，其二是高附加值领域，其三是娱乐、消费领域。

2021-03-01 19:11:10

大数据技术金融

大数据的调查表明多样性可以有效阻止勒索软件攻击

通过采用大数据技术进行的调查，如今的组织面临着更大的网络攻击风险，采用适当的预防措施应该有助于最大程度地减少这些担忧。

2021-03-01 13:39:56

2021年大数据和分析4大趋势

大数据是一个术语，它被用来描述处理数据的技术和实践，这些数据不仅数量大，速度快，而且有许多不同的形式。埃隆·马斯克的自动驾驶汽车以及杰夫·贝佐斯的无人便利店背后，都有一个复杂的大数据系统和一支聪明的数据科学家队伍，他们已经把愿景变成了现实。

2021-03-01 10:38:26

大数据数据分析

RBAC模型整合数据权限

在项目实际开发中我们不光要控制一个用户能访问哪些资源，还需要控制用户只能访问资源中的某部分数据。

2021-03-01 09:29:55

数据权限模型

大数据和人工智能-从机械思维到统计思维

今天准备写一篇文章来谈大数据，人工智能和事物认知问题解决之间的关系逻辑。因此这篇文章不会谈底层的实现技术，而更多的会谈在整个信息技术革命下思维逻辑的发展演进过程，并对相互之间的关系做进一步思考。

2021-02-28 13:57:51

大数据人工智能信息

避免7个常见的数据管理陷阱

在当今的大数据世界中，云技术是必不可少的，因此大数据投资显然是有优势的，但是管理不善可能意味着未来的工作量更多。

2021-02-28 13:19:42

大数据 IT 数据管理

4种数据分析基础方法，终于有人讲明白了

提到数据分析的基础方法，大家肯定很容易想到对比、细分和趋势，但是这些都是非常基础的入门理论，本文不会涉及。本文主要介绍产品经理在管理整个项目、解决整个项目的问题的时候，需要用到的数据分析方法。

2021-02-28 12:47:27

数据分析科学技术

Zookeeper实现分布式锁的原理

相信大部分面试都是说用 Redis 去实现分布式锁，用 Zookeeper 实现分布式锁相对而言遇到的较少，最近在整理之前的面经答案，因此特意写篇博客解释一下。

2021-02-28 07:49:28

Zookeeper 分布式锁

一日一技：可视化分析 Redis Key 资源占用情况

Redis 在日常的开发中，会积累大量的 Key，占用不少内存空间。有时候，我们想知道当前 Redis 里面有多少个 Key，是哪个 Key 占用了最大的内存。

2021-02-27 10:49:13

可视化分析资源

数据科学中的三大统计悖论

观察到令人惊讶的现象，例如在汇总数据中完全还原的子组趋势，的确不罕见。在本文中，我们研究了数据科学中遇到的三种最常见的统计悖论。

2021-02-27 09:28:09

数据科学数据

Gartner 2021 年数据和分析领域十大趋势

从AI到小数据和图形技术，数据和分析领导者应考虑充分利用这些趋势。

2021-02-26 11:09:09

Gartner 数据技术

大数据全系技术概览

随着信息化程度的不断发展，大数据技术变得越来越重要。大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

2021-02-26 10:51:15

数组，你不一定了解的全面

数组是使用最广泛的一种数据结构，它是相同数据类型(可以是基本类型也可以是自定义类型)的元素按一定顺序排列的集合，它们在内存中按照这个先后顺序连续存放在一起。有一维数组，二维数组，多维数组。

2021-02-26 09:04:22

数组 ArrayList HashMap

如何面对繁杂的数据需求？

，最近有一位数据新人小伙伴伴私聊我：在平时的工作中会面临着大量的数据需求，不仅多，而且杂，请问如何处理面对这些问题?有没有什么好的提高工作效率的方法?

2021-02-26 07:56:31

数据业务 Sql

数据分析方法和思维—5w2h

5W2H分析方法从问题出发，有一套科学完整的分析思路，对造成问题的原因进行推测，并提出相应的解决方案，最终解决问题，形成闭环。

2021-02-26 05:27:05

Gartner 2021年十大数据和分析趋势

Gartner发布的2021年十大数据和分析趋势之一便是从大数据转向小而宽的数据。这十大趋势是数据和分析领导者必须重视的业务、市场和技术动态。

2021-02-26 00:34:56

数据分析大数据数据

数据分析带给企业的九个重大作用

如今数据对企业用户来说是至关重要的，这将标志客户向数据化管理的转变过程，也标志着一个大数据新时代的到来。数据化时代就是数据产生价值的时代，数据化是当今时代发展的大趋势，代表着我们先进生产力。

2021-02-25 23:57:09

数据分析大数据技术

通过集成数据安全和数据治理来实现创新

正确的解决方案可以帮助保护、控制和监视对数据的访问，从阻止或隔离危险或可疑用户到扫描整个环境中的漏洞。

2021-02-25 18:03:07

大数据“杀熟”，究竟是谁动了我们打车的费用？

打车是我们出行时较为常用的一种方式，对比传统的出租车，网约车因其便捷、价格较低等优势成为了我们首选的对象。不知道您是否留意过这样一个现象，即便是去同一个地方费用也会有所不同，又或者行程预估价格与实际价格差异较大的问题。

2021-02-25 17:54:25

大数据网约车科技

大数据分析工程师入门4-SQL进阶

数据分析工作中，免不了与SQL数据库打交道，尤其是对库表的使用，所以如何对库表进行创建、修改和删除，是一项基础技能。本文主要讲讲数据分析工作中可能会用到的SQL进阶知识点。

2021-02-25 11:42:23

大数据数据分析 sQL

如何成为大数据工程师，大数据是未来的职业

大数据是未来的职业。我还要说更多：开发人员的数据工程技能是迫切需要的。在2003年之前，我们每两天创建的数据量达到今天的PB级。Gartner分析师将云服务和网络安全列为2021年的主要技术趋势之一。

2021-02-25 11:36:28

大数据 Gartner

2021年大数据和分析的四大趋势

大数据是一个术语，它被用来描述处理数据的技术和实践，这些数据不仅数量大，速度快，而且有许多不同的形式。

2021-02-24 16:35:08

大数据 IT 互联网

图样图森破-Pyecharts之柱状图

pyecharts团队将其支持的图表类型归纳为以下几个类型：基本图表、直角坐标系图表、树型图表、地理图表、3D图表、组合图表。

2021-02-24 11:23:22

Pyecharts 可视化工具柱状图

国务院反垄断委员会发布指南大数据杀熟有了判断标准

近日，国务院反垄断委员会制定发布《平台经济领域反垄断指南》（以下简称《指南》），强调反垄断法及配套法规规章适用于所有行业，对各类市场主体一视同仁、公平公正对待，旨在预防和制止平台经济领域垄断行为，促进平台经济规范有序创新健康发展。

2021-02-23 11:58:35

大数据大数据杀熟监管

你想了解的大数据分析知识都在这里

大数据时代和大数据分析时代已经来临。到2025年，全球数据领域估计将增长到175ZB。我们如何处理所有这些数据？通过网络，个人设备，物联网等不断收集数据有什么好处？本文介绍了大数据分析的基础知识，并帮助理解为什么它如此重要。你将了解它带来的好处、面临的挑战、如何分析数据以及大数据分析领域的诸多问题。

2021-02-23 09:28:48

大数据数据分析

大数据透露春节消费新趋势

今年春节黄金周期间，全国零售和餐饮企业销售额首次突破万亿元，根据电商大数据显示，春节消费市场正在处于从量变到质变的过程中，消费者的购物选择也更加的多元化和品质化，各大互联网平台的消费大数据则透露出本地过年大背景下的消费新趋势。

2021-02-23 00:05:04

大数据春节电商

如何构建业务数据分析体系

提及 “体系” 二字，我的脑海里浮现出老板说的 “对于工作的规划要从全局出发，内容要全面、要成体系!” 那么对于一个数据分析师而言我们的体系是什么? 是“目标监控体系?”，是 “运营分析体系?” ，还是 “APP 指标体系?” 到底该如何构建数据分析体系赋能业务呢?今天就来跟大家聊聊体系构建的话题。

2021-02-22 17:29:41

体系数据分析模块

推荐：在数据科学中需要多少数学技能？

本文为大家介绍了在数据科学和机器学习中所需要的基本数学技能，并且分类给出了相应的主题建议。

2021-02-22 17:25:19

数据科学数据技能可视化

刷手机为何易上瘾？APP暗藏诱饵大数据捕捉用户习惯

为什么人们用手机时间的这么长？香港《南华早报》网站1月19日刊文解析原因。

2021-02-22 14:53:28

大数据手机技术

超强盘点！让Excel效率起飞的5个Python库

Excel作为Office的数据处理软件，我们几乎每天都在使用。虽然好用，但在大量录入、处理数据的时候，效率未免有点低。因此，很多学了Python的同学，会利用Python的第三方库来批量操作Excel，提升效率。

2021-02-22 11:12:24

Excel Python 数据

如何做一个好的大数据平台架构

2012年Storm的作者Nathan Marz提出的Lambda数据处理框架。Lambda架构的目标是设计出一个能满足实时大数据系统关键特性的架构，包括有：高容错、低延时和可扩展等。本文详细的讲述了Lambda架构的需求、关键以及分层。

2021-02-22 11:03:25

大数据大数据平台架构

大数据平台架构：数据平台建设的几种方案

随着大数据在越来越多的企业当中落地，企业要开展大数据相关的业务，那么首先要搭建起自身的数据平台。而企业搭建大数据平台，往往需要结合成本、业务、人员等各方面的因素，来规划数据平台建设方案。今天我们就来聊聊数据平台建设的几种方案。

2021-02-22 10:55:59

大数据大数据平台数据平台建设

2021年值得关注的5大数据趋势

现代元数据解决方案，数据质量框架，基础结构，工作角色以及其他重大变化都在进行中。就像其他领域一样，2020年颠覆了数据世界。当COVID关闭企业并派遣员工在家工作时，企业必须迅速适应“新常态”。今年，我们将看到几个新的数据趋势：新数据角色和数据质量框架的出现，现代数据堆栈和现代元数据解决方案的兴起以及数据湖和仓库的融合。

2021-02-22 10:49:45

大数据数据湖数据仓库

中小企业使用数据分析进行支出跟踪的7种方法

使用大数据的最重要好处之一就是支出跟踪，这将有助于许多资金短缺的中小企业在经济衰退中变得更有弹性。

2021-02-22 10:48:49

数据分析支出跟踪大数据

大数据平台架构及主流技术栈

互联网和移动互联网技术开启了大规模生产、分享和应用数据的大数据时代。面对如此庞大规模的数据，如何存储？如何计算？各大互联网巨头都进行了探索。本文主要介绍了大数据平台架构及主流技术栈。

2021-02-22 10:32:53

大数据大数据平台大数据技术栈

数据分析在医疗保健中的作用

过去的一年教会了我们许多关于医疗保健行业的事情——尤其是大数据分析的非凡影响。

2021-02-22 09:12:19

大数据物联网可穿戴设备

抽象数据类型确实有点抽象

抽象数据类型英文名叫( Abstract Data Type )，这里有两个关键词，一个叫“数据类型”，一个叫“抽象”，它们分别是什么意思呢?首先说什么是数据类型呢?

2021-02-22 09:02:16

数据抽象类型

促进企业业务繁荣发展的十大数据分析趋势译文

企业领导者需要了解数据分析的行业趋势，以预测客户需求、提供个性化服务，以及实现业务目标。

2021-02-22 08:00:00

数据分析人工智能技术

上一页 1 ··· 30 31 32 33 34 ··· 163 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客开源基础软件社区

教育

51CTO学堂精培企业培训 CTO训练营