51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
信创认证
公众号矩阵
移动端
视频课免费课排行榜短视频直播课软考学堂
全部课程软考信创认证华为认证厂商认证IT技术PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9303内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9303 条
Excel，Python全都靠边站，这才是数据分析应该有的样子
面对这么庞大的数据，python还不太熟练的她束手无策，excel就更不用说了，这么大的数据卡死简直是分分钟的事，万般无奈之下，她向专业做数据分析的我请教该怎么办。

2019-10-24 15:11:10

数据分析PythonFineBI
10分钟零基础就可搞懂的Hadoop架构原理，阿里架构师详解
我今天花了大半个下午的时间，写了这篇hadoop的架构，全篇都是以大白话的形式，也算是为后面更加详细的每一部分开了个好头吧，如果喜欢请点转发和关注，如果有疑问，直接在评论里说出来，大家一起解决，才能进步。

2019-10-24 11:03:56

HadoopGoogle硬件
51信用卡被查引发“爬虫技术”争议 是否侵犯个人信息？
据中国之声报道：近日，“51信用卡”被查事件，让本就处在风口浪尖的大数据风险控制领域，再添一把“火”。业内人士透露，在隐私保护薄弱、数据安全存在漏洞的国内互联网环境中，爬虫技术往往与信息来源违法、滥用等问题交织在一起。

2019-10-24 10:40:40

技术爬虫互联网
官方调研重磅发布，Pandas或将重构？
为指引 Pandas 未来开发方向，Pandas 官方团队于 2019 年夏搞了一次调研，这次调研历时 15 天，共有 1250 条反馈数据。问卷数据保存在 data 文件夹的 2019.csv.zip 文件里。

2019-10-24 09:45:03

Pandas数据分析重构
数据科学：合成数据如何解决匿名化问题？
现在，随着GDPR的生效，企业在保护数据时必须格外小心。传统匿名通常不是真正的匿名，最终个人身份是可以识别的。对数据添加额外级别匿名化的一种方法是引入合成数据。

2019-10-23 19:33:24

数据科学保护数据匿名化
数据分析必会的六大实用模型
对于刚刚接触数据分析的人来说，经常会有这样的困惑和疑问：数据分析究竟难不难?难的话难在哪?为什么有时候作分析不知道从何下手，只能眉毛胡子一把抓?

2019-10-23 19:27:38

数据分析模型分析
公司如何选择数据库？DynamoDB、Hadoop和MongoDB 大比拼
随着公司数据存储方式的不断扩展，本文旨在比较公司使用的一些更现代的数据库系统——了解DynamoDB，Hadoop和MongoDB可以提供哪些功能将帮助用户针对业务模型做出更好的决策。

2019-10-23 15:06:23

HadoopMongoDB数据库
如何用通俗地解释大数据
根据调研机构Forrester公司的调查，目前全球32%的电信决策者正在应用或扩展边缘计算设施，另有27%的电信决策者表示计划在一年内构建边缘基础设施。而组织采用边缘计算的主要动力包括对带宽、成本和延迟的敏感性。

2019-10-23 14:51:49

大数据存储技术
数据分析师：数据驱动型业务决策的关键角色
随着组织快速发展其分析能力，数据分析师的角色需求很大。根据调研机构IDC公司今年4月预测，大数据和业务分析解决方案的收入将达到1,891亿美元，到2022年将实现两位数的增长。

2019-10-23 14:29:09

数据分析师数据科学统计
以“矩·变”为主题 神策2019数据驱动大会于北京举行
10月22日，以“矩•变”为主题的神策2019数据驱动大会在北京维景国际大酒店顺利举行，来自全球大数据各大行业的专家聚首北京，融合国际前沿技术与行业实践，深入探讨大数据时代下的新生态、新洞察、新趋势。

2019-10-22 13:58:11

神策数据驱动大会
改进大数据分析以应对网络安全挑战
为了应对网络安全挑战和威胁，组织必须改进大数据分析。这就是大数据分析很重要的原因。大容量存储和移动计算的进步带来了“大数据”这个新兴技术。而其这些技术的进步和发展带来了可以实时处理大量信息的解决方案和工具。这就是大数据分析的需求变得如此“巨大”的原因。

2019-10-22 13:33:44

大数据数据分析技术
适用于数据项目的7种强大的开源工具
功能强大的数据项目开源工具将使企业的业务更加无缝和功能化。无论是数据科学专业人士还是想要帮助企业成功地完成数据科学项目的IT部门，需要使用一些必不可少的数据科学工具。

2019-10-22 11:11:16

大数据工具容器
使用DC/OS为企业数据科学加速！ 译文
这篇逐步介绍的教程介绍了使用Tensorflow将DC/OS Data Science Engine设置成PaaS，用于支持分布式多节点多GPU模型训练。

2019-10-22 08:00:22

数据科学AWSDC
数据及分析的未来是增强分析？
2019年，在澳大利亚悉尼举行的Gartner数据与分析峰会上，Gartner将增强分析作为今年十大战略趋势、整体IT十大战略趋势之一推到了公众面前。在Gartner 最新发布的魔力象限报告中，明确指出增强型分析功能是 BI 产品发展的最重要、也是最显著的发展趋势之一。

2019-10-21 13:12:41

数据分析增强分析人工智能
从关系型数据库到分布式机器学习，揭秘腾讯大数据十年发展历程
大数据技术在过去10多年中极大改变了企业对数据的存储、处理和分析方式。如今，大数据技术逐渐成熟，涵盖了计算、存储、数仓、数据集成、可视化、NOSQL、OLAP分析、机器学习等丰富领域。在未来，大数据技术还会往引擎容器化、大数据机器学习、数据湖等方面不断延伸。

2019-10-21 12:09:26

腾讯大数据数据库
区块链与大数据不得不说的互补关系
区块链和大数据都是新一代信息技术，它们的概念不同，应用领域也有着一定的区别。区块链和大数据也是两种正在蓬勃发展的技术，同样也是两种互补的技术。

2019-10-21 10:18:29

区块链大数据
Python爬虫44万条数据揭秘：如何成为网易音乐评论区的网红段子手
获取数据,其实逻辑并不复杂：爬取歌单列表里的所有歌单url、进入每篇歌单爬取所有歌曲url，去重、进入每首歌曲首页爬取热评，汇总。

2019-10-18 15:36:24

网易歌单热评
谷歌首席科学家：搞研究的痛苦，搞工程的人不懂
谷歌首席科学家、谷歌大脑技术负责人Vincent Vanhoucke(万努克)最近发出的一篇“劝退文”，引发海外科研学者的热议。

2019-10-18 15:07:14

数据科学职业生涯万努克
面试问：Kafka为什么速度那么快？该怎么回答
Kafka的消息是保存或缓存在磁盘上的，一般认为在磁盘上读写数据是会降低性能的，因为寻址会比较消耗时间，但是实际上，Kafka的特性之一就是高吞吐率。

2019-10-18 14:54:04

Kafka写入磁盘
对PB级非结构化数据的要求
IT专业人员在试图找到支持PB级非结构化数据集的存储基础设施时面临的挑战之一是，必须将需求作为一个整体来考虑，因为所有元素都需要协同工作。

2019-10-18 13:07:14

PB数据非结构化数据数据集
数据科学中一些不常用但很有用的Python库
提到数据科学的python包，大家想到的估计是numpy，pandas，scikit-learn之类的，这里给大家介绍一些不常用，但是非常有用的python包，就像是痒痒挠，虽然大部分时间用不上，但是真要用起来，还是挺爽的。

2019-10-18 09:25:45

Python苹果公司算法
大数据和人工智能如何协同工作
人工智能和机器学习如何帮助组织从大数据中获得更好的业务见解?需要了解人工智能和大数据分析的下一步发展。大数据技术并不像几年前那样广受关注，但这并不意味着大数据技术没有得到发展。如果说有什么不同的话，那就是大数据的规模正在变得越来越大。

2019-10-17 11:13:27

大数据人工智能
如何使Pandas来加速你的代码？
Pandas是为一次性处理整个行或列的矢量化操作而设计的—循环遍历每个单元格、行或列并不是这个库的设计用途。因此，在使用Pandas时，你应该考虑到矩阵操作是高度并行化的。

2019-10-17 09:57:08

Python设计电脑
使用Spark Streaming SQL进行PV/UV统计
使用Spark Streaming SQL，并结合Redis可以很方便进行PV/UV的统计。本文将介绍通过Streaming SQL消费Loghub中存储的用户访问信息，对过去1分钟内的数据进行PV/UV统计，将结果存入Redis中。

2019-10-17 09:25:56

Spark StreaPVUV
大数据时代下如何打造“智慧交通”
当今时代，数据已经渗透到每一个行业和业务职能领域，对于海量数据的挖掘和运用，因为近年来，互联网和信息行业的发展而进一步引发关注。仅从交通管理角度出发，探索在大数据时代背景下，如何在智能交通的基础上进一步打造智慧交通警务

2019-10-17 09:19:49

大数据智慧交通
一文详解被阿里腾讯视作核心机密的大数据平台架构
提到大数据分析平台，不得不说Hadoop系统，Hadoop到现在也超过10年的历史了，很多东西发生了变化，版本也从0.x进化到目前的2.6版本。

2019-10-17 08:26:21

大数据平台架构腾讯
如何成为大数据领域的佼佼者？
在2019年，数据分析是企业发展需求最大的、最热门的的工作之一。数据分析需要的技术领域包括Python、C ++和Java等编程语言，机器学习和AI经验、定量分析能力、数据挖掘以及SQL / NoSQL数据库和算法开发等技能。

2019-10-16 19:03:09

大数据大数据技术
商业数据可视化可不是比谁图画得漂亮，这些常见误区你了解吗
数据可视化是指利用数据分析工具增加数据的视觉化效果，表达对数据信息的见解。商业领域是使用数据分析最多的地方，销售人员利用可视化数据向客户展示不同的产品，分析人员通过数据画像研究客户的偏好，企业的管理者也需要根据企业经营状况的绩效指标推算经营目标。

2019-10-16 16:40:17

数据可视化数据图表
互联网大数据与物联网大数据的区别 你有必要了解下
互联网大数据和物联网大数据的最大区别是：互联网大数据来源更加广泛，数据也更加多样;物联网大数据的数据格式会比互联网大数据更加规范标准;互联网大数据产生者主要是人，物联网大数据产生者是物。

2019-10-15 15:30:03

互联网大数据物联网
Python处理大数据的2个神奇操作
Python有个处理大数据的库，结合xlrd库，在做一些大数据的处理统计工作的时候很好用，譬如做性能测试，你的结果数据如何统计，python有个库pandas，这个就很擅长做这个工作，这里就讲2个pandas的骚操作。

2019-10-15 15:15:31

Python大数据函数
机器学习与预测分析的区别在何处？
如今，认知学习的应用比以往更为普遍。通常意义上讲，认知学习与认知计算就是涉及AI技术与信号处理的操作过程或技术平台。

2019-10-14 16:57:19

机器学习预测分析 区别
5大数据分析方法，小白也能挑战的数据分析
在数据分析中，三种核心数据分析思维是框架型的指引，实际应用中还是需要很多技巧工具的，这里详细地介绍了7种数据分析技巧，它们分别是象限法，多维法，假设法，指数法，二八法。

2019-10-14 15:57:36

数据分析多维度二八法
微软数据可视化工具SandDance已经开源
SandDance是微软研究院很受欢迎的数据可视化工具，今年年早些时候微软已经将该工具开源，并在GitHub上发布。今天虫虫就和大家就一起来学习一下该工具。

2019-10-14 15:51:40

可视化技术微软数据库
大盘点：8月Github上7个值得关注的数据科学项目
本文带你来看看GitHub上创建于2019年8月的7个数据科学项目。笔者所选项目的范围十分广泛，涉及从机器学习到强化学习的诸多领域。

2019-10-14 15:41:37

数据科学GitHub机器学习
Apache Hive VS Spark：不同目的，同样成功
Hive和Spark凭借其在处理大规模数据方面的优势大获成功，换句话说，它们是做大数据分析的。本文重点阐述这两种产品的发展史和各种特性，通过对其能力的比较，来说明这两个产品能够解决的各类复杂数据处理问题。

2019-10-14 10:09:28

ApacheHiveSpark
2019年六个不错的数据分析工具
数据科学家是21世纪的热门工作。工欲善其事必先利其器。数据分析工具何其多，究竟用哪样才合适?Lewis Chou在Medium上分析了3类6种工具的特点和适用场景，看完这篇文章，相信你就可以知道了。

2019-10-12 14:47:58

Excel大数据数据库
如何为数据集选择正确的聚类算法
应用聚类算法比选择最佳算法要容易得多。 每种类型都有其优缺点，如果您想要一个整洁的集群结构，就必须认真考虑。本文介绍了最广泛的聚类算法及其深入阐述。根据每种方法的特殊性，提供了对使用其应用的建议。

2019-10-12 10:11:02

数据集聚类算法
物联网解决方案中的大数据处理
物联网和大数据正在走向胜利之路。不过，要想从这一创新中获益，还需要解决一些挑战和问题。在本文中，我们很高兴与大家分享多年来在物联网咨询领域积累的知识。

2019-10-12 05:17:11

物联网大数据IOT
Python分析信用卡反欺诈！骗我程序员，不存在的
本文试着从数据分析师的角度，设想“拿到数据该如何寻找规律、选哪种模型来构建反欺诈模型?”的角度来分析，以业务导向为主，不深究算法原理;

2019-10-11 19:51:19

Python数据结构信用卡
SparkSQL访问Hive遇到的问题及解决方法
SparkSQL访问Hive遇到的问题及解决方法，需要先将hadoop的core-site.xml，hive的hive-site.xml拷贝到project中。

2019-10-11 19:45:28

SparkSQLHiveHadoop
大数据世界中7种灾难性的网络安全错误
在人们生活的这个大数据世界中，需要防范一些网络安全错误。如今，大数据正在以多种方式改变世界。企业依靠数据来提供高效的服务，但也必须担心网络安全风险。

2019-10-11 14:36:47

大数据网络安全软件
Hadoop已死？Hadoop万岁！
各种博客文章、杂志投稿中，“Hadoop已死”的说法死灰复燃，且又开始甚嚣尘上。近年来，Cloudera不再满足于Hadoop开源平台的身份，转而以企业数据公司的身份进行营销。

2019-10-11 08:58:21

Hadoop开源云
大数据分享：60多个有用的数据可视化图形库
在开源世界中，某些库为数据可视化提供了许多可能性，包括图形或网络表示。其他库仅专注于网络图表示。通常，这些库比通用库提供更多的功能。您还将找到商业图形可视化库。商业图书馆的优势在于可以保证持续的技术支持和先进的性能。

2019-10-10 18:57:49

数据可视化图形可视化库
企业选择数据湖架构的5大理由
随着大数据的重要性和接受度的提高，人们也越来越需要考虑如何组织和托管大数据。答案之一是数据湖，在数据准备和组织方面最广泛的数据体系结构系统。

2019-10-10 18:11:32

数据湖数据存储企业
详解大数据处理中的Lambda架构和Kappa架构
在本文中，我们简述了 Lambda 架构和 Kappa 架构这两种大规模数据处理架构，它们都各自有着自身的优缺点。我们需要按照实际情况来权衡利弊，看看在业务中到底需要使用到哪种架构。

2019-10-10 17:53:36

大数据平台架构LambdaKappa
大数据分析师学习入门，10个数据可视化技巧
在这篇文章，我想和大家分享 10 个基本的中级和高级的绘图工具。我发现在现实生活中，当涉及到绘图解释你的数据时，这些工具非常有用。

2019-10-10 17:40:54

数据科学可视化绘图
从源码解密Spark内存管理
我们都知道spark之所以比mapreduce计算的快，是因为他是基于内存的，不用每次计算完都写磁盘，再读取出来进行下一次计算，spark直接把内存作为数据的临时储存介质。所以mapreduce就没有强调内存管理，而spark需要管理内存。

2019-10-10 16:20:23

spark内存管理
智能数据降低业务成本的7种方法
智能数据可以通过许多有用且功能强大的方式降低企业的运营成本。智能化设备和产品如今构成了现代生活的大部分。人们拥有智能手机、智能扬声器、智能汽车以及无处不在的物联网设备，旨在使人们的工作和生活更轻松、更直观。

2019-10-10 10:19:23

智能数据大数据软件
辨析BI、数据仓库、数据湖和数据中台内涵及差异点
随着大数据技术的不断更新和迭代，数据管理工具得到了飞速的发展，相关概念如雨后春笋一般应运而生，如从最初决策支持系统(DSS)到商业智能(BI)、数据仓库、数据湖、数据中台等。

2019-10-09 16:38:50

数据平台架构
文旅部将出台规定 在线旅游“大数据杀熟”或被处罚
据文化和旅游部网站消息，近日，文化和旅游部在官网发布《在线旅游经营服务管理暂行规定（征求意见稿）》（以下简称《暂行规定》），向社会公开征求意见。

2019-10-09 15:45:29

大数据IT互联网
上一页 1 ··· 8182838485 ··· 187
点赞

51CTO技术栈公众号

业务
速览
在线客服