直播训练营

鸿蒙开发者社区

WOT技术大会

AIGC创新中国行

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 2024年软考 PMP项目管理软考资讯

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO题库小程序

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

账号设置退出

大数据

8805内容

关注

大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。

文章博文帖子课程

共 8805 条

从源码解密Spark内存管理

我们都知道spark之所以比mapreduce计算的快，是因为他是基于内存的，不用每次计算完都写磁盘，再读取出来进行下一次计算，spark直接把内存作为数据的临时储存介质。所以mapreduce就没有强调内存管理，而spark需要管理内存。

2019-10-10 16:20:23

spark 内存管理

智能数据降低业务成本的7种方法

智能数据可以通过许多有用且功能强大的方式降低企业的运营成本。智能化设备和产品如今构成了现代生活的大部分。人们拥有智能手机、智能扬声器、智能汽车以及无处不在的物联网设备，旨在使人们的工作和生活更轻松、更直观。

2019-10-10 10:19:23

智能数据大数据软件

辨析BI、数据仓库、数据湖和数据中台内涵及差异点

随着大数据技术的不断更新和迭代，数据管理工具得到了飞速的发展，相关概念如雨后春笋一般应运而生，如从最初决策支持系统(DSS)到商业智能(BI)、数据仓库、数据湖、数据中台等。

2019-10-09 16:38:50

数据平台架构

文旅部将出台规定在线旅游“大数据杀熟”或被处罚

据文化和旅游部网站消息，近日，文化和旅游部在官网发布《在线旅游经营服务管理暂行规定（征求意见稿）》（以下简称《暂行规定》），向社会公开征求意见。

2019-10-09 15:45:29

大数据 IT 互联网

商业智能停车的三大好处

随着每年超过8800万辆汽车和轻型车辆的销售，商业部门和大型企业正面临着越来越多的停车问题。确保顾客、员工和访客有足够的停车位是零售商、酒店、医院和企业的首要任务。

2019-10-09 14:21:25

物联网智能停车传感器

数据分析常用的18个概念，终于有人讲明白了！

大多数情况下，数据分析的过程必须包括数据探索的过程。下面给大家介绍一下数据分析常用的18个概念，一起来看一下吧。

2019-10-09 10:10:36

数据分析大数据数据探索

一个简单的算法，分布式系统的性能瞬间被提升10倍以上

这篇文章，给大家聊聊分布式文件系统HDFS在大量客户端并发写数据时，如何进行性能优化?先引入一个小的背景，假如多个客户端同时要并发的写Hadoop HDFS上的一个文件，这个事儿能成吗?

2019-10-08 14:22:43

分布式 HDFS 算法

2019年智慧城市大数据平台发展的如何？

随着移动互联网、物联网、云计算等新一代信息技术的不断成熟与普及，产生了海量的数据资源，人类社会进入大数据时代。大数据不仅增长迅速，而且已经渗透到各行各业，发展成为重要的生产要素和战略资产，蕴含着巨大的价值。那么城市大数据平台对于智慧城市的建设有什么重要意义?

2019-10-08 14:19:47

智慧城市大数据平台城市大数据

大数据发展的8个要点

在我们讲清楚大数据的含义之后，我们来聊聊大数据目前到底处在一个什么样的位置。从历史发展的角度来看，每一项新技术都会经历下面这样一个技术成熟度曲线。

2019-10-08 14:16:08

大数据数据产业云

大数据无处不在，安全性也需要如此

从大数据分析中获得的见解对于企业来说是非常有价值的。但是，每个新数据流都会创建一个新的潜在攻击向量，从而使传统的外围防御措施变得过时，并使组织容易受到攻击。

2019-10-08 11:35:33

大数据安全网络

Apache Spark Delta Lake写数据使用及实现原理代码解析

Delta Lake 写数据是其最基本的功能，而且其使用和现有的 Spark 写 Parquet 文件基本一致，在介绍 Delta Lake 实现原理之前先来看看如何使用它，具体使用如下。

2019-09-30 08:28:53

Delta Lake Spark 数据原理

大数据之什么是Hash表

大数据之什么是Hash表，Hash，一般翻译做“散列”，也有直接音译为“哈希”的，它是基于快速存取的角度设计的，也是一种典型的“空间换时间”的做法。顾名思义，该数据结构可以理解为一个线性表，但是其中的元素不是紧密排列的，而是可能存在空隙。

2019-09-30 08:23:47

Hash表哈希表 Java

大数据才是核心竞争力，揭开年薪百万的数据科学家的神秘面纱

我们正处于一个大数据飞速发展的时代，随着网络和硬件的发展，数据存储与计算能力大幅度提升，我们所做的一切事，不论是在互联网中或者是互联网之外，都会留下数字的痕迹。比如刷卡购物，网络搜索，手机上网，乃至在网上每一个小小的点击都可以被一一记录下来。

2019-09-27 17:01:58

数据科学家大数据数据分析

如何高效地进行数据建模

理解数据是控制任何企业的先决条件。但只有当这些知识能够被分享和传播时，理解才是有用的。有效的数据建模应该是任何企业架构师的首要关注点。

2019-09-27 12:44:03

数据建模企业数据存储

预测分析：重新考虑组织中的时间和数据

时间序列是一种标准的分析方法，但是较为先进的机器学习工具引入了统计技术，来建立更精确的预测模型。时间是无法倒流的，但是使用现有的工具，您有更多的机会预测时间，更准确地说，是可以预测时间序列样本中的事件是否会继续影响决策趋势。

2019-09-27 09:57:09

大数据机器学习神经网络

8个可靠的开源数据可视化工具

数据可视化在数据科学领域中发挥着重要的作用。在不清楚数据的情况下，要监视和调整数据以使其按照应有的方式执行并不容易。这就是数据可视化发挥作用的地方，它把收集到的数据放到一个可视的上下文中，使数据更容易找出模式、跟踪趋势等。

2019-09-27 09:12:18

开源数据可视化大数据

带你认识HDFS和如何创建3个节点HDFS集群

在本文中，大数据专家将为您介绍如何使用HDFS以及如何利用HDFS创建HDFS集群节点。我们将从HDFS、Zookeeper、Hbase和OpenTSDB上的系列博客开始，了解如何利用这些服务设置OpenTSDB集群。在本文中，我们将探究HDFS。

2019-09-27 08:31:55

HDFS 集群 Hadoop

数据科学领域的核心技能和新兴技能分别有哪些？

近年来随着大数据的迅速发展，各种各样的数据分析技能也逐渐大热，为了找到数据科学领域目前最常用的技能和未来最流行的应用趋势，我们进行了一项调查。

2019-09-26 18:37:22

数据科学受访者技能

Hadoop之完全分布式集群

首先准备三台客户机（hadoop102，hadoop103，hadoop104），关闭防火墙，修改为静态ip和ip地址映射

2019-09-26 15:43:52

Hadoop 集群防火墙

美国国税局如何通过高级数据分析来打击欺诈

美国政府问责办公室(GAO)估计，2015年，犯罪分子在美国实施至少价值为140亿美元的身份盗窃退税欺诈行为，美国国税局(IRS)为了应对这些行为至少支付了22.4亿美元的成本。为了打击这种欺诈并保护纳税人，美国国税局采用了高级分析技术。

2019-09-26 12:44:32

美国国税局敏捷数据

7大云计算数据仓库

优秀云计算数据仓库展示了近年来云计算数据仓库市场发展的特性，因为很多企业更多地采用云计算，并减少了自己的物理数据中心足迹。

2019-09-26 10:56:04

云计算数据中心公共云

用Python爬取前程无忧网大数据岗位信息并分析！找到最合适你的

近期秋招进入高峰期，28号学校有一个秋招大型招聘会，本来想在网上爬一下自己专业的招聘岗位，结果检索结果寥寥无几(摊手)，于是我就无奈的爬取并分析了一波我准备转行的大数据行业的就业行情。

2019-09-25 20:32:26

Python 前程无忧职位

十个基本的Python数据科学软件包译文

过去五年人们对数据科学的兴趣显著上升。尽管有许多编程语言适合数据科学和机器学习，但Python是最受欢迎的。

2019-09-25 09:20:33

机器学习 Python 数据科学

非结构化数据在人工智能中的作用

非结构化数据对人工智能系统的发展至关重要。人工智能系统与用户的沟通越好，就越能自主学习，因此，它的效率也就越高。这一点很重要，因为如果一个人工智能系统只要求用户以结构化的格式进行交互，那么它的组件将受到极大的限制。为了让人工智能成功，它必须理解杂乱的信息。

2019-09-25 08:35:21

非结构化数据人工智能数据科学

人工智能和大数据存在什么隐患？

从数据稀缺到现在有大量的数据，近年来，可用的数据量呈指数级增长，大数据变得无处不在。这是由于数据记录设备数量的巨大增长，以及这些设备之间通过物联网连接。似乎每个人都有收集、分析大数据的力量。

2019-09-25 07:34:10

人工智能大数据数据科学

区块链如何改变大数据行业?

很多人都听到过大数据这个术语，它可能出现在与科技行业相关的视频中，也可能出现在人们的办公室里。大数据是2019年的热门话题之一，每个技术爱好者都在讨论它带来的变化和影响。

2019-09-24 19:21:08

区块链大数据

应该在云中存储大数据的5个理由

如果不确定如何正确存储大数据，则应该将大数据存储在云中。信息存储只能通过位于隐蔽位置的传统远程服务器来完成的日子已经一去不复返了。如今采用云端存储数据，其中信息和数据以电子方式在线存储。

2019-09-24 15:07:51

大数据存储技术

关于数据分析的8种思维

本文总结了数据分析的 8 种思维，分别是对比、细分、溯源、相关、假设、逆向、演绎、归纳，充分运用好这些思维，无论是工作，还是生活，相信都能够创造出更多的价值。

2019-09-24 14:36:38

数据分析思维大数据

面试系列：深入理解Hadoop架构体系

Hadoop架构体系面试题：HDFS的进程构成及其作用;nameNode进程：负责对外展示文件的层级结构、管理客户端对文件的访问(如：打开、关闭、重命名等)、决定文件block与dataNode的对应关系等。

2019-09-24 13:41:22

Hadoop 面试分布式

Hadoop 之 NameNode 元数据原理

在对NameNode节点进行格式化时，调用了FSImage的saveFSImage()方法和FSEditLog.createEditLogFile()存储当前的元数据。Namenode主要维护两个文件，一个是fsimage，一个是editlog。

2019-09-23 13:03:42

NameNode 元数据文件

使机器学习更容易采用的6种工具

如今，很多供应商通过提供自动化数据准备和算法选择的层次，可以使数据智能业务用户采用人工智能技术，从而消除了机器学习的神秘感。

2019-09-23 11:17:46

机器学习数据技术

Python学完工作不好找？看看数据分析可视化都可以做什么

大概一年多以前，和几个小伙伴均认同一个趋势：觉得通过技术手段获取网上越来越丰富的数据，并基于这些数据做分析及可视化，必能产生有价值的结果，帮助大家改善生活。(大数据被叫烂了，所以用低调的方式来解释我们的初心)

2019-09-21 21:45:55

Python 数据可视化数据分析

简单的介绍一下大数据中最重要的MapReduce

MapReduce是分布式运行的，由两个阶段组成：Map和Reduce，Map阶段是一个独立的程序，有很多个节点同时运行，每个节点处理一部分数据。

2019-09-21 21:15:36

MapReduce 大数据分布式

工业物联网大数据平台建设方案

工业物联网是将具有感知、监控能力的各类采集、控制传感器或控制器，以及移动通信、智能分析等技术不断融入到工业生产过程各个环节，从而大幅提高制造效率，改善产品质量，降低产品成本和资源消耗，最终实现将传统工业提升到智能化的新阶段。

2019-09-20 13:24:39

工业物联网大数据工业大数据

面试官问你B树和B+树，就把这篇文章丢给他

在介绍B+树之前，先简单的介绍一下B树，这两种数据结构既有相似之处，也有他们的区别，最后，我们也会对比一下这两种数据结构的区别。

2019-09-19 14:03:32

B树节点数据结构

数据分析师必看，老司机带你认识 AB 常见的10个错误

「没有数据，你只是一个有想法的人。」这是 W. Edwards 的依据名言，它表明，A/B 测试对于做出良好的商业决策来说至关重要。在 Manomano，我们向数百万用户展示数百万 DIY 和园艺产品，并每天进行数十个 A/B 测试，以改善我们网站的用户体验。

2019-09-19 08:17:02

数据分析 A B

想提高计算速度？作为数据科学家你应该知道这些Python多线程、进程知识

众所周知，数据科学是处理大量数据并从中提取有用见解的科学。通常情况下，我们对数据执行的操作很容易并行化，这意味着不同的处理代理可以一次对数据执行一个操作，最后进行组合以获得完整的结果。

2019-09-18 21:00:51

Python 数据科学多线程

加快数据科学项目的五个自动化工具

如今，自动化不仅应用于机器人领域，它还与其他领域相结合，使技术人员的工作变得更容易，其中一个领域就是数据科学。有很多公司正在为数据科学领域开发工具和产品。在本文中，我们将研究数据科学专业人员可以使用的一些自动化工具。

2019-09-18 20:39:07

数据科学自动化工具机器学习

大数据处理的五大关键技术及其应用

数据处理是对纷繁复杂的海量数据价值的提炼，而其中最有价值的地方在于预测性分析，即可以通过数据可视化、统计模式识别、数据描述等数据挖掘形式帮助数据科学家更好的理解数据，根据数据挖掘的结果得出预测性决策。

2019-09-18 20:28:26

大数据数据处理数据采集

促进电子邮件营销转换的5个大数据策略

大数据几乎在数字营销领域的每个方面都发挥着至关重要的作用，企业可以使用大数据来获得更高的转化率，其中包括电子邮件营销在内的数字营销媒介。

2019-09-18 18:39:07

大数据电子邮件营销邮件

数据湖里没有“水怪”，有的是，，，

什么是数据湖，它是什么工作原理？它又是如何作用于大数据分析的？它们的驱动因素和优缺点又是什么？

2019-09-18 09:40:48

数据湖数据分析数据

Hadoop发生了什么？我们该如何做？

许多组织都关注Hadoop生态系统的进一步发展，并承受着展示数据湖价值的压力。对于企业来说，至关重要的是确定如何在Hadoop失败后成功地实现应用程序的现代化，以及实现这一目标的更好策略。

2019-09-16 17:16:29

Hadoop 数据湖数据结构

一个数据科学负责人眼中的数据科学：太无聊了!

多人选择数据科学(或机器学习)中令人兴奋的东西来激励自己和他人。但我们必须面对一个现实：真正的工作往往是「无聊的」——与人们认为浪漫的东西相比是无聊的。

2019-09-16 13:14:37

数据科学家模型职业

技术干货分享：HBase数据迁移到Kafka实战

在实际的应用场景中，数据存储在HBase集群中，但是由于一些特殊的原因，需要将数据从HBase迁移到Kafka。正常情况下，一般都是源数据到Kafka，再有消费者处理数据，将数据写入HBase。但是，如果逆向处理，如何将HBase的数据迁移到Kafka呢?

2019-09-16 12:55:27

HBase Kafka 数据

为什么每个组织都需要数据分析师

如今，当组织需要从数据中获得一些见解时，他们首先倾向于寻找数据科学家的帮助。但这真的是一个更好的选择吗?人们需要了解数据科学家和数据分析师的角色有何不同，以及为什么希望聘用数据分析师。

2019-09-16 11:37:07

大数据数据分析工具

不同的语言，相同的信息：17种语言研究揭示如何以相似的速度交流

如果准备去另一个国家旅行，最令人头大的肯定是语言不通的问题，有时甚至还会抱怨语言的分类过于细化。但是，里昂大学研究人员的一项新研究表明，语言之间的差异可能比想象的要小。

2019-09-15 19:38:16

语言数据分析大数据

数据分析是如何推动游戏行业发展的？

数据分析师和BI开发人员可以仔细检查这些数据并将其转换为有价值的见解。因此，有了这些见解，游戏公司就能更好地定位自己的产品，设计更具沉浸感的游戏，带来更多的个性化以及同样重要的创造更多利润。

2019-09-12 09:21:06

数据分析游戏行业游戏设计

云数据仓库Snowflake、Panoply和Repods的全面大比拼译文

您在找合适的云数据仓库平台吗?本文为您比较三种常见的平台，全面为你分析它们在不同方面的优缺点。

2019-09-12 09:03:11

架构数据仓库云服务

Python数据可视化的四种简易方法

数据可视化是任何数据科学或机器学习项目的一个重要组成部分。人们常常会从探索数据分析(EDA)开始，来深入了解数据，并且创建可视化确实有助于让问题更清晰和更容易理解，尤其是对于那些较大的高维度数据集。

2019-09-12 09:00:32

数据可视化热图数据集

利用Kafka设置可靠的高性能分布式消息传递基础架构

Apache Kafka 已成为构建基于事件的高度可扩展系统的首选解决方案。Kafka 可为事件流平台提供快速升级换代的功能，以供开发者在现代化业务解决方案中使用。

2019-09-12 08:50:37

Kafka 分布式系统服务器

上一页 1 ··· 72 73 74 75 76 ··· 177 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区

教育

51CTO学堂精培企业培训 CTO训练营