鸿蒙开发者社区

WOT技术大会

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 25年5月软考 PMP项目管理免费题库

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

账号设置退出

大数据

9084内容

关注

大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。

文章博文帖子课程

共 9084 条

面试问：Kafka为什么速度那么快？该怎么回答

Kafka的消息是保存或缓存在磁盘上的，一般认为在磁盘上读写数据是会降低性能的，因为寻址会比较消耗时间，但是实际上，Kafka的特性之一就是高吞吐率。

2019-10-18 14:54:04

Kafka 写入磁盘

对PB级非结构化数据的要求

IT专业人员在试图找到支持PB级非结构化数据集的存储基础设施时面临的挑战之一是，必须将需求作为一个整体来考虑，因为所有元素都需要协同工作。

2019-10-18 13:07:14

PB数据非结构化数据数据集

数据科学中一些不常用但很有用的Python库

提到数据科学的python包，大家想到的估计是numpy，pandas，scikit-learn之类的，这里给大家介绍一些不常用，但是非常有用的python包，就像是痒痒挠，虽然大部分时间用不上，但是真要用起来，还是挺爽的。

2019-10-18 09:25:45

Python 苹果公司算法

大数据和人工智能如何协同工作

人工智能和机器学习如何帮助组织从大数据中获得更好的业务见解?需要了解人工智能和大数据分析的下一步发展。大数据技术并不像几年前那样广受关注，但这并不意味着大数据技术没有得到发展。如果说有什么不同的话，那就是大数据的规模正在变得越来越大。

2019-10-17 11:13:27

大数据人工智能

如何使Pandas来加速你的代码？

Pandas是为一次性处理整个行或列的矢量化操作而设计的—循环遍历每个单元格、行或列并不是这个库的设计用途。因此，在使用Pandas时，你应该考虑到矩阵操作是高度并行化的。

2019-10-17 09:57:08

Python 设计电脑

使用Spark Streaming SQL进行PV/UV统计

使用Spark Streaming SQL，并结合Redis可以很方便进行PV/UV的统计。本文将介绍通过Streaming SQL消费Loghub中存储的用户访问信息，对过去1分钟内的数据进行PV/UV统计，将结果存入Redis中。

2019-10-17 09:25:56

Spark Strea PV UV

大数据时代下如何打造“智慧交通”

当今时代，数据已经渗透到每一个行业和业务职能领域，对于海量数据的挖掘和运用，因为近年来，互联网和信息行业的发展而进一步引发关注。仅从交通管理角度出发，探索在大数据时代背景下，如何在智能交通的基础上进一步打造智慧交通警务

2019-10-17 09:19:49

大数据智慧交通

一文详解被阿里腾讯视作核心机密的大数据平台架构

提到大数据分析平台，不得不说Hadoop系统，Hadoop到现在也超过10年的历史了，很多东西发生了变化，版本也从0.x进化到目前的2.6版本。

2019-10-17 08:26:21

大数据平台架构腾讯

如何成为大数据领域的佼佼者？

在2019年，数据分析是企业发展需求最大的、最热门的的工作之一。数据分析需要的技术领域包括Python、C ++和Java等编程语言，机器学习和AI经验、定量分析能力、数据挖掘以及SQL / NoSQL数据库和算法开发等技能。

2019-10-16 19:03:09

大数据大数据技术

商业数据可视化可不是比谁图画得漂亮，这些常见误区你了解吗

数据可视化是指利用数据分析工具增加数据的视觉化效果，表达对数据信息的见解。商业领域是使用数据分析最多的地方，销售人员利用可视化数据向客户展示不同的产品，分析人员通过数据画像研究客户的偏好，企业的管理者也需要根据企业经营状况的绩效指标推算经营目标。

2019-10-16 16:40:17

数据可视化数据图表

互联网大数据与物联网大数据的区别你有必要了解下

互联网大数据和物联网大数据的最大区别是：互联网大数据来源更加广泛，数据也更加多样;物联网大数据的数据格式会比互联网大数据更加规范标准;互联网大数据产生者主要是人，物联网大数据产生者是物。

2019-10-15 15:30:03

互联网大数据物联网

Python处理大数据的2个神奇操作

Python有个处理大数据的库，结合xlrd库，在做一些大数据的处理统计工作的时候很好用，譬如做性能测试，你的结果数据如何统计，python有个库pandas，这个就很擅长做这个工作，这里就讲2个pandas的骚操作。

2019-10-15 15:15:31

Python 大数据函数

机器学习与预测分析的区别在何处？

如今，认知学习的应用比以往更为普遍。通常意义上讲，认知学习与认知计算就是涉及AI技术与信号处理的操作过程或技术平台。

2019-10-14 16:57:19

机器学习预测分析区别

5大数据分析方法，小白也能挑战的数据分析

在数据分析中，三种核心数据分析思维是框架型的指引，实际应用中还是需要很多技巧工具的，这里详细地介绍了7种数据分析技巧，它们分别是象限法，多维法，假设法，指数法，二八法。

2019-10-14 15:57:36

数据分析多维度二八法

微软数据可视化工具SandDance已经开源

SandDance是微软研究院很受欢迎的数据可视化工具，今年年早些时候微软已经将该工具开源，并在GitHub上发布。今天虫虫就和大家就一起来学习一下该工具。

2019-10-14 15:51:40

可视化技术微软数据库

大盘点：8月Github上7个值得关注的数据科学项目

本文带你来看看GitHub上创建于2019年8月的7个数据科学项目。笔者所选项目的范围十分广泛，涉及从机器学习到强化学习的诸多领域。

2019-10-14 15:41:37

数据科学 GitHub 机器学习

Apache Hive VS Spark：不同目的，同样成功

Hive和Spark凭借其在处理大规模数据方面的优势大获成功，换句话说，它们是做大数据分析的。本文重点阐述这两种产品的发展史和各种特性，通过对其能力的比较，来说明这两个产品能够解决的各类复杂数据处理问题。

2019-10-14 10:09:28

Apache Hive Spark

2019年六个不错的数据分析工具

数据科学家是21世纪的热门工作。工欲善其事必先利其器。数据分析工具何其多，究竟用哪样才合适?Lewis Chou在Medium上分析了3类6种工具的特点和适用场景，看完这篇文章，相信你就可以知道了。

2019-10-12 14:47:58

Excel 大数据数据库

如何为数据集选择正确的聚类算法

应用聚类算法比选择最佳算法要容易得多。每种类型都有其优缺点，如果您想要一个整洁的集群结构，就必须认真考虑。本文介绍了最广泛的聚类算法及其深入阐述。根据每种方法的特殊性，提供了对使用其应用的建议。

2019-10-12 10:11:02

数据集聚类算法

物联网解决方案中的大数据处理

物联网和大数据正在走向胜利之路。不过，要想从这一创新中获益，还需要解决一些挑战和问题。在本文中，我们很高兴与大家分享多年来在物联网咨询领域积累的知识。

2019-10-12 05:17:11

物联网大数据 IOT

Python分析信用卡反欺诈！骗我程序员，不存在的

本文试着从数据分析师的角度，设想“拿到数据该如何寻找规律、选哪种模型来构建反欺诈模型?”的角度来分析，以业务导向为主，不深究算法原理;

2019-10-11 19:51:19

Python 数据结构信用卡

SparkSQL访问Hive遇到的问题及解决方法

SparkSQL访问Hive遇到的问题及解决方法，需要先将hadoop的core-site.xml，hive的hive-site.xml拷贝到project中。

2019-10-11 19:45:28

SparkSQL Hive Hadoop

大数据世界中7种灾难性的网络安全错误

在人们生活的这个大数据世界中，需要防范一些网络安全错误。如今，大数据正在以多种方式改变世界。企业依靠数据来提供高效的服务，但也必须担心网络安全风险。

2019-10-11 14:36:47

大数据网络安全软件

Hadoop已死？Hadoop万岁！

各种博客文章、杂志投稿中，“Hadoop已死”的说法死灰复燃，且又开始甚嚣尘上。近年来，Cloudera不再满足于Hadoop开源平台的身份，转而以企业数据公司的身份进行营销。

2019-10-11 08:58:21

Hadoop 开源云

大数据分享：60多个有用的数据可视化图形库

在开源世界中，某些库为数据可视化提供了许多可能性，包括图形或网络表示。其他库仅专注于网络图表示。通常，这些库比通用库提供更多的功能。您还将找到商业图形可视化库。商业图书馆的优势在于可以保证持续的技术支持和先进的性能。

2019-10-10 18:57:49

数据可视化图形可视化库

企业选择数据湖架构的5大理由

随着大数据的重要性和接受度的提高，人们也越来越需要考虑如何组织和托管大数据。答案之一是数据湖，在数据准备和组织方面最广泛的数据体系结构系统。

2019-10-10 18:11:32

数据湖数据存储企业

详解大数据处理中的Lambda架构和Kappa架构

在本文中，我们简述了 Lambda 架构和 Kappa 架构这两种大规模数据处理架构，它们都各自有着自身的优缺点。我们需要按照实际情况来权衡利弊，看看在业务中到底需要使用到哪种架构。

2019-10-10 17:53:36

大数据平台架构 Lambda Kappa

大数据分析师学习入门，10个数据可视化技巧

在这篇文章，我想和大家分享 10 个基本的中级和高级的绘图工具。我发现在现实生活中，当涉及到绘图解释你的数据时，这些工具非常有用。

2019-10-10 17:40:54

数据科学可视化绘图

从源码解密Spark内存管理

我们都知道spark之所以比mapreduce计算的快，是因为他是基于内存的，不用每次计算完都写磁盘，再读取出来进行下一次计算，spark直接把内存作为数据的临时储存介质。所以mapreduce就没有强调内存管理，而spark需要管理内存。

2019-10-10 16:20:23

spark 内存管理

智能数据降低业务成本的7种方法

智能数据可以通过许多有用且功能强大的方式降低企业的运营成本。智能化设备和产品如今构成了现代生活的大部分。人们拥有智能手机、智能扬声器、智能汽车以及无处不在的物联网设备，旨在使人们的工作和生活更轻松、更直观。

2019-10-10 10:19:23

智能数据大数据软件

辨析BI、数据仓库、数据湖和数据中台内涵及差异点

随着大数据技术的不断更新和迭代，数据管理工具得到了飞速的发展，相关概念如雨后春笋一般应运而生，如从最初决策支持系统(DSS)到商业智能(BI)、数据仓库、数据湖、数据中台等。

2019-10-09 16:38:50

数据平台架构

文旅部将出台规定在线旅游“大数据杀熟”或被处罚

据文化和旅游部网站消息，近日，文化和旅游部在官网发布《在线旅游经营服务管理暂行规定（征求意见稿）》（以下简称《暂行规定》），向社会公开征求意见。

2019-10-09 15:45:29

大数据 IT 互联网

商业智能停车的三大好处

随着每年超过8800万辆汽车和轻型车辆的销售，商业部门和大型企业正面临着越来越多的停车问题。确保顾客、员工和访客有足够的停车位是零售商、酒店、医院和企业的首要任务。

2019-10-09 14:21:25

物联网智能停车传感器

数据分析常用的18个概念，终于有人讲明白了！

大多数情况下，数据分析的过程必须包括数据探索的过程。下面给大家介绍一下数据分析常用的18个概念，一起来看一下吧。

2019-10-09 10:10:36

数据分析大数据数据探索

一个简单的算法，分布式系统的性能瞬间被提升10倍以上

这篇文章，给大家聊聊分布式文件系统HDFS在大量客户端并发写数据时，如何进行性能优化?先引入一个小的背景，假如多个客户端同时要并发的写Hadoop HDFS上的一个文件，这个事儿能成吗?

2019-10-08 14:22:43

分布式 HDFS 算法

2019年智慧城市大数据平台发展的如何？

随着移动互联网、物联网、云计算等新一代信息技术的不断成熟与普及，产生了海量的数据资源，人类社会进入大数据时代。大数据不仅增长迅速，而且已经渗透到各行各业，发展成为重要的生产要素和战略资产，蕴含着巨大的价值。那么城市大数据平台对于智慧城市的建设有什么重要意义?

2019-10-08 14:19:47

智慧城市大数据平台城市大数据

大数据发展的8个要点

在我们讲清楚大数据的含义之后，我们来聊聊大数据目前到底处在一个什么样的位置。从历史发展的角度来看，每一项新技术都会经历下面这样一个技术成熟度曲线。

2019-10-08 14:16:08

大数据数据产业云

大数据无处不在，安全性也需要如此

从大数据分析中获得的见解对于企业来说是非常有价值的。但是，每个新数据流都会创建一个新的潜在攻击向量，从而使传统的外围防御措施变得过时，并使组织容易受到攻击。

2019-10-08 11:35:33

大数据安全网络

Apache Spark Delta Lake写数据使用及实现原理代码解析

Delta Lake 写数据是其最基本的功能，而且其使用和现有的 Spark 写 Parquet 文件基本一致，在介绍 Delta Lake 实现原理之前先来看看如何使用它，具体使用如下。

2019-09-30 08:28:53

Delta Lake Spark 数据原理

大数据之什么是Hash表

大数据之什么是Hash表，Hash，一般翻译做“散列”，也有直接音译为“哈希”的，它是基于快速存取的角度设计的，也是一种典型的“空间换时间”的做法。顾名思义，该数据结构可以理解为一个线性表，但是其中的元素不是紧密排列的，而是可能存在空隙。

2019-09-30 08:23:47

Hash表哈希表 Java

大数据才是核心竞争力，揭开年薪百万的数据科学家的神秘面纱

我们正处于一个大数据飞速发展的时代，随着网络和硬件的发展，数据存储与计算能力大幅度提升，我们所做的一切事，不论是在互联网中或者是互联网之外，都会留下数字的痕迹。比如刷卡购物，网络搜索，手机上网，乃至在网上每一个小小的点击都可以被一一记录下来。

2019-09-27 17:01:58

数据科学家大数据数据分析

如何高效地进行数据建模

理解数据是控制任何企业的先决条件。但只有当这些知识能够被分享和传播时，理解才是有用的。有效的数据建模应该是任何企业架构师的首要关注点。

2019-09-27 12:44:03

数据建模企业数据存储

预测分析：重新考虑组织中的时间和数据

时间序列是一种标准的分析方法，但是较为先进的机器学习工具引入了统计技术，来建立更精确的预测模型。时间是无法倒流的，但是使用现有的工具，您有更多的机会预测时间，更准确地说，是可以预测时间序列样本中的事件是否会继续影响决策趋势。

2019-09-27 09:57:09

大数据机器学习神经网络

8个可靠的开源数据可视化工具

数据可视化在数据科学领域中发挥着重要的作用。在不清楚数据的情况下，要监视和调整数据以使其按照应有的方式执行并不容易。这就是数据可视化发挥作用的地方，它把收集到的数据放到一个可视的上下文中，使数据更容易找出模式、跟踪趋势等。

2019-09-27 09:12:18

开源数据可视化大数据

带你认识HDFS和如何创建3个节点HDFS集群

在本文中，大数据专家将为您介绍如何使用HDFS以及如何利用HDFS创建HDFS集群节点。我们将从HDFS、Zookeeper、Hbase和OpenTSDB上的系列博客开始，了解如何利用这些服务设置OpenTSDB集群。在本文中，我们将探究HDFS。

2019-09-27 08:31:55

HDFS 集群 Hadoop

数据科学领域的核心技能和新兴技能分别有哪些？

近年来随着大数据的迅速发展，各种各样的数据分析技能也逐渐大热，为了找到数据科学领域目前最常用的技能和未来最流行的应用趋势，我们进行了一项调查。

2019-09-26 18:37:22

数据科学受访者技能

Hadoop之完全分布式集群

首先准备三台客户机（hadoop102，hadoop103，hadoop104），关闭防火墙，修改为静态ip和ip地址映射

2019-09-26 15:43:52

Hadoop 集群防火墙

美国国税局如何通过高级数据分析来打击欺诈

美国政府问责办公室(GAO)估计，2015年，犯罪分子在美国实施至少价值为140亿美元的身份盗窃退税欺诈行为，美国国税局(IRS)为了应对这些行为至少支付了22.4亿美元的成本。为了打击这种欺诈并保护纳税人，美国国税局采用了高级分析技术。

2019-09-26 12:44:32

美国国税局敏捷数据

7大云计算数据仓库

优秀云计算数据仓库展示了近年来云计算数据仓库市场发展的特性，因为很多企业更多地采用云计算，并减少了自己的物理数据中心足迹。

2019-09-26 10:56:04

云计算数据中心公共云

用Python爬取前程无忧网大数据岗位信息并分析！找到最合适你的

近期秋招进入高峰期，28号学校有一个秋招大型招聘会，本来想在网上爬一下自己专业的招聘岗位，结果检索结果寥寥无几(摊手)，于是我就无奈的爬取并分析了一波我准备转行的大数据行业的就业行情。

2019-09-25 20:32:26

Python 前程无忧职位

上一页 1 ··· 77 78 79 80 81 ··· 182 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区 AI.x社区

教育

51CTO学堂精培企业培训 CTO训练营