51CTO首页
AI.x社区
博客
学堂
精品班
直播训练营
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

大数据

8791内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 8791 条
5个大数据处理/数据分析/分布式工具
Hadoop是一个开源框架，它允许在整个集群使用简单编程模型计算机的分布式环境存储并处理大数据。它的目的是从单一的服务器到上千台机器的扩展，每一个台机都可以提供本地计算和存储。

2018-08-24 10:28:41

大数据数据分析工具
高性能Spark作业基础：你必须知道的调优原则及建议
笔者根据之前的Spark作业开发经验以及实践积累，总结出了一套Spark作业的性能优化方案。本文作为Spark性能优化指南的基础篇，主要讲解开发调优以及资源调优。

2018-08-24 07:17:41

Spark大数据调优
带着问题学习分布式系统之数据分片
本文主要讨论数据分片的三个问题：(1)如何做数据分片，即如何将数据映射到节点；(2)数据分片的特征值，即按照数据中的哪一个属性(字段)来分片；(3)数据分片的元数据的管理，如何保证元数据服务器的高性能、高可用，如果是一组服务器，如何保证强一致性。

2018-08-24 07:03:45

分布式系统数据分片元数据
8个Python高效数据分析的技巧
这篇文章介绍了8个使用Python进行数据分析的方法，不仅能够提升运行效率，还能够使代码更加“优美”。

2018-08-23 17:15:10

编程语言Python数据分析
HDFS你一定要知道，要考的
HDFS它的设计目标就是把超大的数据集存储到多台普通计算机上，并且可以提供高可靠性和高吞吐量的服务，支持通过添加节点的方式对集群进行扩容。

2018-08-23 16:25:29

HadoopHDFS存储
关于数据分析那些事，看这一篇文章就够了
数据分析是基于商业目的，有目的的进行收集、整理、加工和分析数据，提炼有价信息的一个过程。其过程概括起来主要包括：明确分析目的与框架、数据收集、数据处理、数据分析、数据展现和撰写报告等6个阶段。

2018-08-23 16:22:40

数据分析薪酬数据工程师
Python测算女朋友还完花呗多久后吃土
利用刚学会的蒙特卡洛原理，我决定建立收入支出模型进行测算：如果当月全部花费全部由花呗支付，当当月花呗欠款大于当月可支出收入时，就要“吃土了”。预设计算120个月(十年)，假如十年都没能够吃上土，那就代表愿望成真。

2018-08-23 13:04:48

Python月薪支出
IDC：2022年大数据和业务分析解决方案将达到2600亿美元
大数据的热潮已经涌起，近日，IDC发布了一份全球半年度大数据和支出分析指南，根据指南的最新预测，到2022年全球大数据和业务分析(BDA)解决方案的收入将达到2600亿美元，2017年到2022年期间的复合年增长率(CAGR)为11.9%。2018年BDA的收入预计将达到1660亿美元，比2017年增长11.7%。

2018-08-23 08:00:39

大数据业务分析企业
Uber永久定位系统实时数据分析过程实践！
本文，我们将讨论在数据处理管道中使用Spark Structured Streaming对Uber事件数据进行聚类分析，以检测和可视化用户位置实践。(注：本文所用数据并非Uber内部实际用户数据，文末附具体代码或者示例获取渠道)

2018-08-23 07:40:58

Spark流处理数据流
一文解读合成数据在机器学习技术下的表现
本文将通过介绍两个分布模型，并运用它们到合成数据过程中，来分析合成数据在不同机器学习技术下的表现。

2018-08-23 04:26:54

合成数据机器学习数据集
一文读懂数据架构的进化史
近期看到很多企业在设计自己的数据平台，以及选型一些数据分析工具，正好拜读了数据仓库之父的《数据架构：大数据、数据仓库以及Data Vault》一书，有些许感触，就来聊一下个人思考吧。

2018-08-22 17:58:01

数据平台数据仓库架构
盘点：数据可视化的八个标志性例子
我们生活在数据时代，从全球气温到购物习惯，新技术使得收集、存储和访问信息的速度比历史上任何时候都要容易。但是我们对这些技术的使用也侵蚀了我们的注意力范围，并加剧了“后真相”的误解。那么，我们如何快速准确地将思维展示出来呢?研究数据可视化的专业人员经常创新巧妙的移动解决方案。

2018-08-22 17:53:19

数据可视化数据信息
中数经纬CEO林道进：把无序变有序 让数据有价值 原创
中国数据科技集团、中数经纬科技(北京)有限公司董事长兼总裁林道进教授在开幕式上作了“把无序变有序让数据有价值”的主旨演讲，通过数据、场景、技术三个角度切入，详细论述了企业大数据应用和媒体服务三大解决方案，演绎了大数据的精髓与核心价值。

2018-08-22 13:11:35

中数经纬舆情监测中央厨房
大数据时代如何使用数据分析来找女朋友？
大数据时代的我们，一切都要与时俱进，找对象也是如此。本文的小柯今年25岁，单身男，热衷大数据，并决定认真钻研，用数据分析来实现自己的“脱单计划”。

2018-08-21 22:31:04

数据分析单身女朋友
12个ggplot2拓展程序助你强化R可视化
如果你是世界上众多ggplot2爱好者之一，你可能有时会发现自己正在寻找出色的软件包来拓展其功能。本文将为大家简要介绍12个ggplot2拓展程序，包括它们让R可视化更强大的原因以及相应的具体示例。

2018-08-21 21:46:57

ggplot2可视化拓展程序
Python爬取北京二手房数据，分析北漂族买得起房吗？ | 附完整源码
本文主要分为两部分：Python爬取赶集网北京二手房数据，R对爬取的二手房房价做线性回归分析，适合刚刚接触Python&R的同学们学习参考。

2018-08-21 21:13:32

爬虫Python住房
如何用Python进行大数据挖掘和分析？快速入门路径图！
大数据无处不在。在时下这个年代，不管你喜欢与否，在运营一个成功的商业的过程中都有可能会遇到它。

2018-08-21 07:50:06

Python 大数据编程语言
清理数据成数据科学家最大挑战
最近，IT项目众包公司CrowdFlower的数据科学家进行了一项调查(需要注册可查看)。调查发现，三分之二的分析人员认为清理和组织数据是它们最费时的工作，52%称他们最大的障碍是数据质量差。

2018-08-20 19:24:40

数据科学数据清理数据分析
应对程序员面试，你必须知道的八大数据结构
无论你是初入职场的新兵(刚从大学或者编程培训班毕业)，还是拥有几十年经验的职场老鸟。几乎所有的问题都需要面试者对数据结构有深刻的理解。

2018-08-20 09:58:01

数据结构程序员面试数据
深度解析数据分析、大数据工程师和数据科学家的区别
数据越来越多的影响并塑造着那些我们每天都要交互的系统。我们赋予了数据如此大的转变的能力，也难怪近几年越来越多的数据相关的角色被创造出来。本文我们将讨论不同的数据相关的角色，他们如何组合在一起，并且帮你找出那些角色是适合你自己的。

2018-08-19 15:39:56

数据分析数据科学数据工程师
七夕：大数据分析看如何成为美人
这篇文章探讨的是女性吸引力，但没有通常看到的照片分析之类的东西。相反，我们采用过去的女人图片，分析她在男同胞们头脑里产生的反应。

2018-08-19 14:30:42

女性分析网站
大数据研究常用软件工具与应用场景
本文针对研究人员(非技术人员)的实际情况，介绍当前大数据研究涉及的一些主要工具软件(因为相关软件众多，只介绍常用的)，并进一步阐述其应用特点和适合的场景，以便于研究人员能有的放矢的学习和使用。

2018-08-17 16:13:52

大数据工具分析
Google首席决策师告诉你AI和数据科学团队需要哪10种角色？
如果你想要通过智能的工程决策方法使数据变得有用，并且希望从事相关的职业，那么下面我对团队发展中的角色顺序(从0开始)提出的看法或许对你会有帮助。

2018-08-17 09:35:19

数据团队数据科学工程师
大数据和人工智能领域实用且不能错过的10大网站
本文整理出大数据和人工智能领域最实用，质量最高的10大技术网站信息，既可以用于丰富技术知识，也可以用于学术研究。

2018-08-16 21:06:27

大数据人工智能网站
Python数据分析基础：异常值检测和处理
一般异常值的检测方法有基于统计的方法，基于聚类的方法，以及一些专门检测异常值的方法等，下面对这些方法进行相关的介绍。

2018-08-16 10:05:07

机器学习异常检测离群点
【Kaggle入门级竞赛top5%排名经验分享】— 分析篇
本篇，博主将会从零开始介绍这个项目，教你如何一步一步的把这个项目做好。由于大部分星球的朋友们已经完成了分析部分的实战练习，因此将这部分内容拿出来进行简单的分享。

2018-08-15 13:56:47

Kaggle数据挖掘项目
转行数据分析的一份学习清单
本篇内容是针对所有想转行数据分析人员的，内容深浅不一。若内容过于简单，可直接略过，若内容过于复杂，也不必担忧。

2018-08-15 13:49:06

数据分析学习Python
Python 爬取了马蜂窝的出行数据，告诉你这个夏天哪里最值得去！
正值火辣的暑假，朋友圈已经被大家的旅行足迹刷屏了，真的十分惊叹于那些把全国所有省基本走遍的朋友们。与此同时，也就萌生了写篇旅行相关的内容，本次数据来源于一个对于爬虫十分友好的旅行攻略类网站：蚂蜂窝。

2018-08-15 08:52:49

爬虫出行城市数据
从三个方向去预测大数据发展的未来趋势
技术的发展，让这个世界每天都在源源不断地产生数据，随着大数据概念被提出，这个技术逐渐发展成为一个行业，并被不断看好。那么大数据行业的未来发展如何?三个方向预测大数据技术发展未来趋势。

2018-08-14 11:51:05

大数据物联网分布式
数据处理的9大编程语言
有关大数据的话题一直很火热。伴随着信息的爆炸式增长，大数据渗透到了各行各业，广泛应用于公司中，同时也使得传统的软件比如 Excel 看起来很笨拙。数据分析不再只是书呆子的事，同时其对高复杂性分析、实时处理的需求也比以往更加庞大。

2018-08-14 11:05:25

语言数据Python
从零转行数据分析的亲身经历
有些朋友对于是否该转行一直抱有迟疑态度，转行会不会有风险啊，转行以后万一后悔了怎么办啊，转行是不是要重新学啊，等等一系列的问题。这些问题大多数人都想过，博主也想过。毕竟工作是人生大事，转行当然也需要万分的谨慎。

2018-08-14 11:00:13

面试职场薪水
扫盲：Hadoop分布式文件系统（HDFS）基础概念讲解！
本文为您带来通过shell命令管理Hadoop HDFS的十大基本操作，这些操作对于管理HDFS集群上的文件非常有用。出于测试目的，你可以使用Cloudera或者Hortonworks等中的某些VM调用此命令，或者用于伪分布式集群设置。

2018-08-14 10:44:58

HadoopHDFS命令
斯坦福开源Weld：高效实现数据分析的端到端优化
Weld 是斯坦福大学 DAWN 实验室的一个开源项目，在 CIDR 2017 论文中描述了它的初始原型。Weld 用于对结合了数据科学库和函数的现有工作负载进行优化，而无需用户修改代码。

2018-08-13 21:19:07

Weld开源数据
数据工程师必看：分析数据时常见的 7 类统计陷阱
我们会发生各种极有可能出现的混淆，数据抽取之后“迷恋”于数字，脑子里没有分析的目标，自己的局限影响指标选择......当分析数据的时候我们都很容易犯错。

2018-08-13 17:22:04

数据开发统计
必看的考研数据分析报告！官方发布！
近日研招网(中国研究生招生信息网)发布了“2015-2018硕士研究生报考数据分析报告”，从硕士报考总人数、各省报考人数、应届生往届生报考比例、学硕专硕比例、男女比例、全日制和非全日制、热门报考专业、热门高校各专业报录比这8个方面，统计了2015-2018年的研究生报考数据。

2018-08-10 22:29:03

数据分析招生考研
TOP 3大开源Python数据分析工具！
在大数据库领域，Python是最常被使用的编程语言，因此了解与其相关的数据分析工具是很有必要的。如果你正在使用virtualenv、pyenv或其他变体在自己的环境中运行Python，那么，可以尝试本文推荐的三大开源工具。

2018-08-10 14:44:01

Python数据工具
想当数据科学家的你这13个错误可别犯
当你看这篇文章的时候，我们知道你已经决定把数据科学当作你的工作。当下越来越多的企业需要数据支持其决策，世界也变得越来越紧密，几乎每个企业都需要大量的数据科学实践。

2018-08-10 08:35:49

数据科学家错误
掌握这五类数据科学项目，找到一份好工作
也许你一直在MOOC平台上学习数据科学，也熟读了一大堆教科书，但要获得数据科学相关的职位，你还需要向雇主展示自己的技能水平。最好的方式是作品集，你可以借此向雇主表明你所一直学习的技能能够用于工作中，为公司创造价值。

2018-08-09 22:20:05

数据科学Python工作
数据可视化的七大趋势
ProPublica的调查记者兼开发者Lena Groeger，以及金融时报的数据可视化记者Jane Pong在全球深度报道大会上分享了他们对当前数据可视化趋势的一些看法。

2018-08-09 22:16:35

可视化数据集Groeger
Apache Spark 统一内存管理模型详解
本文将对 Spark 的内存管理模型进行分析，下面的分析全部是基于 Apache Spark 2.2.1 进行的。为了让下面的文章看起来不枯燥，我不打算贴出代码层面的东西。文章仅对统一内存管理模块(UnifiedMemoryManager)进行分析。

2018-08-09 11:06:39

Apache Spar内存模型
耗时两个月，国内传统企业对Hadoop到底什么态度？
前有Gartner报告对Hadoop发行版的看衰论断，后有加拿大皇家银行和美国富国银行对Hadoop应用的不看好，到底国内传统企业对Hadoop持什么态度?是否与国内的互联网企业一致呢?Hadoop生态中哪些组件获一致好评?哪些组件被群嘲?

2018-08-09 09:00:34

Hadoop制造行业国内企业
深入浅出 带你看懂数据可视化「美」的历程
技术的进步，让我们能够采集到比以前多得多的信息，数据规模不断成指数量级的增长，数据的内容和类型也比以前要丰富得多，改变了人们分析和研究世界的方式，也给人们提供了新的可视化素材，推动了数据可视化领域的发展。

2018-08-08 20:49:55

可视化工具分析
为什么说位置数据扼住了物联网应用的咽喉？
如果说互联网只是让我们注意到了位置信息，那么，物联网作为对互联网在现实世界中的延伸，它便是真真切切让我们从感官上体验到了位置信息。

2018-08-08 06:40:50

位置数据物联网IOT
大数据公司挖掘数据价值的49个典型案例（值得收藏）
本文是近年来不同行业、不同领域的大数据公司的一些经典案例总结。尽管有些已经是几年前的案例，但其中的深层逻辑对于未来仍有启发。

2018-08-07 15:31:32

大数据挖掘数据
一文详解大规模数据计算处理原理及操作重点
大数据技术主要针对的是大规模数据的计算处理问题，那么要想解决的这一问题，首先要解决的就是大规模数据的存储问题。大规模数据存储要解决的核心问题有三个方面。

2018-08-07 11:27:59

大数据MapReduceHadoop
数据分析或成释放制造业IoT价值的关键所在
曾有专家预测，2020年对制造商来说是重要的一年。接下来，我们将共同了解一下IoT的业务价值，以及制造商如何从中获益。

2018-08-06 22:26:54

数据分析制造业IoT
别跟风了！你的公司根本不需要数据科学家
企业管理者如果能从全局出发部署数据战略，才能真正解决当下数据科学家的痛点，这样数据科学家才能发挥作用解决公司的痛点。

2018-08-06 16:04:31

数据科学家数据库数据分析
对Spark的那些【魔改】
这两年做 streamingpro 时，不可避免的需要对Spark做大量的增强。就如同我之前吐槽的，Spark大量使用了new进行对象的创建，导致里面的实现基本没有办法进行替换。

2018-08-06 12:10:57

SparkRPC Server代码
Kaggle放大招：简单几步实现海量数据分析及可视化
近期，Kaggle发布了新的数据分析及可视化工具——Kaggle Kerneler bot，用户只需上传数据集，便可用Python为用户自动获取相关的深度数据分析结果。本文将带领读者体验一下这款便捷而又高效的工具。

2018-08-06 11:26:10

Kaggle数据集分析
Oracle与Hadoop对比：一致性和高性能不可兼得！
提起Hadoop，我们就可以想到大数据;提起Oracle，我们就可以想到数据库。国内确实有不少企业习惯于将Hadoop作为数据库使用，因此将其与数据库领域同样占据重要位置的Oracle进行对比是有意义的。

2018-08-06 09:30:14

OracleHadoop数据库
上一页 1 ··· 8889909192 ··· 176
点赞

51CTO技术栈公众号

业务
速览
在线客服