51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
信创认证
公众号矩阵
移动端
视频课免费课排行榜短视频直播课软考学堂
全部课程软考信创认证华为认证厂商认证IT技术PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9331内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9331 条
Apache Spark 统一内存管理模型详解
本文将对 Spark 的内存管理模型进行分析，下面的分析全部是基于 Apache Spark 2.2.1 进行的。为了让下面的文章看起来不枯燥，我不打算贴出代码层面的东西。文章仅对统一内存管理模块(UnifiedMemoryManager)进行分析。

2018-08-09 11:06:39

Apache Spar内存模型
耗时两个月，国内传统企业对Hadoop到底什么态度？
前有Gartner报告对Hadoop发行版的看衰论断，后有加拿大皇家银行和美国富国银行对Hadoop应用的不看好，到底国内传统企业对Hadoop持什么态度?是否与国内的互联网企业一致呢?Hadoop生态中哪些组件获一致好评?哪些组件被群嘲?

2018-08-09 09:00:34

Hadoop制造行业国内企业
深入浅出 带你看懂数据可视化「美」的历程
技术的进步，让我们能够采集到比以前多得多的信息，数据规模不断成指数量级的增长，数据的内容和类型也比以前要丰富得多，改变了人们分析和研究世界的方式，也给人们提供了新的可视化素材，推动了数据可视化领域的发展。

2018-08-08 20:49:55

可视化工具分析
为什么说位置数据扼住了物联网应用的咽喉？
如果说互联网只是让我们注意到了位置信息，那么，物联网作为对互联网在现实世界中的延伸，它便是真真切切让我们从感官上体验到了位置信息。

2018-08-08 06:40:50

位置数据物联网IOT
大数据公司挖掘数据价值的49个典型案例（值得收藏）
本文是近年来不同行业、不同领域的大数据公司的一些经典案例总结。尽管有些已经是几年前的案例，但其中的深层逻辑对于未来仍有启发。

2018-08-07 15:31:32

大数据挖掘数据
一文详解大规模数据计算处理原理及操作重点
大数据技术主要针对的是大规模数据的计算处理问题，那么要想解决的这一问题，首先要解决的就是大规模数据的存储问题。大规模数据存储要解决的核心问题有三个方面。

2018-08-07 11:27:59

大数据MapReduceHadoop
数据分析或成释放制造业IoT价值的关键所在
曾有专家预测，2020年对制造商来说是重要的一年。接下来，我们将共同了解一下IoT的业务价值，以及制造商如何从中获益。

2018-08-06 22:26:54

数据分析制造业IoT
别跟风了！你的公司根本不需要数据科学家
企业管理者如果能从全局出发部署数据战略，才能真正解决当下数据科学家的痛点，这样数据科学家才能发挥作用解决公司的痛点。

2018-08-06 16:04:31

数据科学家数据库数据分析
对Spark的那些【魔改】
这两年做 streamingpro 时，不可避免的需要对Spark做大量的增强。就如同我之前吐槽的，Spark大量使用了new进行对象的创建，导致里面的实现基本没有办法进行替换。

2018-08-06 12:10:57

SparkRPC Server代码
Kaggle放大招：简单几步实现海量数据分析及可视化
近期，Kaggle发布了新的数据分析及可视化工具——Kaggle Kerneler bot，用户只需上传数据集，便可用Python为用户自动获取相关的深度数据分析结果。本文将带领读者体验一下这款便捷而又高效的工具。

2018-08-06 11:26:10

Kaggle数据集分析
Oracle与Hadoop对比：一致性和高性能不可兼得！
提起Hadoop，我们就可以想到大数据;提起Oracle，我们就可以想到数据库。国内确实有不少企业习惯于将Hadoop作为数据库使用，因此将其与数据库领域同样占据重要位置的Oracle进行对比是有意义的。

2018-08-06 09:30:14

OracleHadoop数据库
NBA球星是如何投篮的？把詹姆斯、库里的投篮数据图3D打印出来
2018年是个”只要有体育就有数据“的年代。NBA也不例外，其为我们提供了所有球员、球队、比赛、进球的数据，还有服务于开发者的API接口。

2018-08-05 05:32:47

3D图数据数据可视化
数据告诉你，中国的房子是不是已经“够”了
今天我们就用这个道理来验证下大家最关心的房地产存量房问题（就是房子究竟有没有过多、有没有泡沫的问题）。

2018-08-03 16:41:23

数据房子存量
实时数据平台设计：解决从OLTP到OLAP实时流转缺失
本文我们探讨了实时数据平台RTDP的相关概念背景和架构设计方案。在架构设计方案中，我们尤其着重讲了RTDP的定位和目标，整体设计架构，以及涉及到的具体问题和考量思路。

2018-08-03 15:28:51

数据平台数据仓库OLTP
想做大数据可视化？来看腾讯高手的实战案例！
在过去一年中，潘洛斯(Penrose)团队参与了「灵鲲」态势感知系统、「麒麟」系统、「鹰眼」反电话诈骗系统等14个大数据可视化产品的设计。随着产品不断的探索和迭代，积累了一些行之有效的大数据可视化设计的心得和方法。基于「灵鲲」这个案例，分享一下我们在大数据可视化方向的设计和思考。

2018-08-03 13:19:10

大数据灵鲲可视化
美团R语言数据运营实战
本文将基于美团到店餐饮技术部的精细化数据运营实践，介绍R在数据分析与可视化方面的工程能力，希望能够抛砖引玉，也欢迎业界同行给我们提供更多的建议。

2018-08-03 11:58:07

美团分布式数据处理可视化
《狄仁杰之四大天王》影评分析（爬虫+词云+热力图）
作为徐老怪的忠实影迷，《狄仁杰之四大天王》肯定是要去看的，看豆瓣评分和前两部相差不多，但其实胡萝卜酱并不是很喜欢前两部，所以在犹豫要不要去看，受到糖甜甜甜的《我不是药神》推送影响，于是也简单去分析了一下《狄仁杰》的影评。

2018-08-02 14:12:16

影评分析狄仁杰之四大天王
大数据解读：金融理财、虚假兼职等四大高危骗局你了解吗？
近日，360互联网安全中心发布《2017年第三季度网络诈骗趋势研究报告》(下称《报告》)，从类型、地域、性别等多个维度总结分析了2018年上半年的网络诈骗形势。

2018-08-01 16:24:56

诈骗虚假兼职分析
图文教程，8步教你变身数据科学家
那么数据科学家是干什么的呢?哪些地方需要数据科学家?怎么样才能成为数据科学家?如果你正因为这些问题而犹豫要不要开始学习数据科学，那么我可以告诉你，成为数据科学家其实非常简单。

2018-08-01 15:22:36

数据科学家数据科学分析
数据科学领域你不容错过的TOP 15个社区
我们带来了下面这张数据科学和机器学习社区的清单，我们梳理了联系方式和信息。来吧，注册然后花点时间和同行们讨论在工作流中阻碍你的问题，需要避免的陷阱以及使生活更轻松一点的窍门。

2018-08-01 14:57:57

数据科学机器学习社区
Gartner预测：90％的数据湖将毫无用处
Gartner此前曾预计，到2018年，90%的数据湖将毫无用处，因为它们充满了原始数据，很少有人会使用这些技术。在当前的技术领域，没有什么能像人工智能(AI)那样引起人们的好奇和兴奋。而AI的潜在优势，也刚刚开始在企业内显现出来。

2018-08-01 14:15:28

数据湖AI人工智能
美国的数据传输计划，是互联网数据大共享的开端吗？
最近，一项由谷歌、微软、Facebook、Twitter四家美国科技巨头共同推出的数据传输计划引起了大家的关注。目前“数据传输计划”还处于白皮书阶段，白皮书中写到：这项计划的目的是打造跨平台数据迁移的新模式和新标准，实现让用户直接将数据从一个服务迁移到另外一个服务，无需重新下载和上传。

2018-08-01 14:02:49

数据传输互联网数据迁移
分析了20万场吃鸡数据后，我有这些发现！
最近老板爱上了吃鸡（手游：全军出击），经常拉着我们开黑，只能放弃午休的时间，陪老板在沙漠里奔波。

2018-08-01 09:50:47

数据吃鸡采集
干货 ：数据分析师的完整流程与知识结构体系
作为数据分析师，无论最初的职业定位方向是技术还是业务，最终发到一定阶段后都会承担数据管理的角色。因此，一个具有较高层次的数据分析师需要具备完整的知识结构。

2018-07-31 14:39:00

数据分析数据库数据存储
Hadoop生态组件Yarn之长期运行服务支持篇！
众所周知，Yarn是大数据核心调度组件，其使用覆盖率非常高。在“Hadoop是否已失宠”的选题调研中，不少专家都对Yarn这一核心组件的生命力表达了自己的看法。

2018-07-31 14:24:02

HadoopYarn服务框架
干货：如何将Hadoop存储容量提升4倍？
本文主要介绍如何通过Federation使用多个独立的Namenodes/Namespaces水平扩展命名空间。Namenodes彼此独立，互不通信，可以共享相同的Datanode存储。

2018-07-30 15:05:26

Hadoop大数据集群
3天破9亿！上万条评论解读《西虹市首富》是否值得一看
纵观近几年的国产电影市场，“开心麻花“似乎已经成为了票房的保证。从《夏洛特烦恼》、《羞羞的铁拳》到最新上映的《西虹市首富》都引爆了票房。本期我们会根据从猫眼电影网爬取到的上万条评论为你解读《西虹市首富》是否值得一看。

2018-07-30 11:18:54

西虹市首富电影数据
对比解读五种主流大数据架构的数据分析能力
数据分析工作虽然隐藏在业务系统背后，但是具有非常重要的作用，数据分析的结果对决策、对业务发展有着举足轻重的作用。基于大数据架构的数据分析平台侧重于从以下几个维度去解决传统数据仓库做数据分析面临的瓶颈。

2018-07-30 09:06:46

大数据Hadoop数据架构
残酷！如果你35岁破产，你还有多大可能逆袭？（数据分析）
房间里有100个人，每人都有100元钱，他们在玩一个游戏。每轮游戏中，每个人都要拿出一元钱随机给另一个人，最后这100个人的财富分布是怎样的？

2018-07-28 15:15:58

破产逆袭数据分析
数据分析师还吃香吗？用数据告诉你
有人说，这个时代，只要站在了风口，猪都能飞起来，尤其互联网行业，千变万化，日异月殊，一不小心就错过了风口，有人甚至用币圈一日互联网十年来形容虚拟币和区块链的火爆，如果单从热点看，大数据貌似有点out了，那究竟如何呢?

2018-07-27 14:04:24

数据分析薪资数据分析师
不想去健身房的我，最后被贝叶斯分析说服了...
作者从小被人说体型瘦小，于是他用了贝叶斯分析最终得出了自己的体重确实低于本国平均水平的结论。这篇文章将叙述一个在线性回归理论中应用贝叶斯分析的有趣试验。

2018-07-27 13:55:12

贝叶斯分析线性回归数据
7000字深度总结：运营必备的数据分析方法
提起数据分析，大家往往会联想到一些密密麻麻的数字表格，或是高级的数据建模手法，再或是华丽的数据报表。其实，“ 分析 ”本身是每个人都具备的能力;比如根据股票的走势决定购买还是抛出，依照每日的时间和以往经验选择行车路线;购买机票、预订酒店时，比对多家的价格后做出最终选择。

2018-07-26 16:46:44

数据分析用户企业
数据可视化发现[吃鸡]秘密
今天跟朋友玩了几把吃鸡，经历了各种死法，还被嘲笑说论女生吃鸡的100种死法。这种游戏对我来说就是一个让我明白原来还有这种死法的游戏。但是玩归玩，还是得假装一下我沉迷学习，所以今天就用吃鸡比赛的真实数据来看看如何提高你吃鸡的概率。

2018-07-26 16:32:31

数据吃鸡游戏
高德地图宣布易行平台升级 发布一站式全域出行服务平台
在今日举行的2018未来交通峰会上，高德地图宣布易行平台全面升级，推出一站式全域出行服务平台，可以为用户提供包含“去哪儿”“怎么去”以及目的地服务在内的出行全周期服务。同时，为了让易行平台2.0更好地落地，高德还将推出“易行助手”，实现全程智能语音交互，提供一站式全域出行服务。

2018-07-26 15:44:32

高德地图全域
高德地图公布中国十大堵点，北京大山子当选“最堵点”
2018年7月26日，在今日举行的2018未来交通峰会上，高德地图公布了网友票选的中国十大堵点，其中大山子——望京街路口、珠江北岸-沿江西路、无影山-小清河南路获得票数最多，分别成为北京、广州、济南的“最堵点”。

2018-07-26 15:42:04

高德地图北京堵点
大数据时代，传统数据仓库技术是否已经过时？
传统数据仓库由源系统、ODS、EDW、Data Mart这几部分组成，源系统就是业务系统、生产系统，ODS是操作数据存储，EDW是企业级数据仓库，Data Mart是数据集市。

2018-07-26 10:26:09

大数据传统数据
大数据处理引擎Spark与Flink大比拼
正在Spark如日中天高速发展的时候，2016年左右Flink开始进入大众的视野并逐渐广为人知。为什么呢?原来在人们开始使用Spark之后，发现Spark虽然支持各种常见场景，但并不是每一种都同样好用。而Flink凭借更优的流处理引擎，同时也支持各种处理场景，成为Spark的有力挑战者。

2018-07-25 15:31:51

SparkFlink大数据
《邪不压正》究竟算不算好电影？通过爬取豆瓣上万条影评告诉你
今年的暑期《我不是药神》一骑绝尘，而姜文的《邪不压正》却褒贬不一，虽然上映当天豆瓣评分便由8.2跌到7.1，但单日票房却依旧过亿。作为掌握技术Pythoner，我们除了关注彭于晏的屁股，还应该关注许晴的臀部，啊不是，应该透过现象去看清本质。

2018-07-25 13:47:51

彭于晏邪不压正Python
使用Numpy和Opencv完成基本图像的数据分析（Part I）
随着科技的进步，使用Python包访问数字图像的内部变得更容易理解其属性和性质，掌握对数字图像处理的能力显得是十分有必要。下面将向大家介绍如何使用NumPy和OpenCV对数字图像进行简单的处理方法。

2018-07-24 16:05:58

NumpyOpencv数字图像
使用Numpy和Opencv完成图像的基本数据分析（Part II）
本文主要介绍使用Numpy和Opencv完成图像的基本数据分析后续部分，主要包含逻辑运算符操作、掩膜以及卫星图像数据分析等操作。

2018-07-24 16:00:38

NumpyOpencv数字图像
收集和存储数据——数据仓库
数据产品的工作比较杂，从数据仓库建模，指标体系建立，到数据产品工具的设计，再到偶尔一些数据分析报告的撰写，甚至一些机器学习的预测模型都要有所了解。

2018-07-24 09:28:18

存储数据仓库
搞懂5种数据可视化方法，胜任90%热门信息图设计
借助于图形化的手段，清晰、快捷有效的传达与沟通信息。从用户的角度，数据可视化可以让用户快速抓住要点信息，让关键的数据点从人类的眼睛快速通往心灵深处。数据可视化一般会具备以下几个特点：准确性、创新性 和 简洁性。

2018-07-23 16:54:09

数据可视化图形数据
推荐 ：大数据下的用户与价值分析
RFM方法是国际上最成熟、最为接受的客户价值分析方法，RFM实际上是一整套分析方法中的部分内容，但最具代表性，其它还包括客户购买行为随机模型、马可夫链状态移转矩阵方法、贝氏机率推导状态移转概率方法、回归拟合方法等。 它具体的技术原理又是如何呢?

2018-07-23 16:45:36

数据分析RFM方法
用Python做数据科学时容易忘记的八个要点！
网上搜索答案是一种懒惰的行为，虽然在短期内它可能是最简便的途径，但它终究不利于你的成长，并且会降低工作效率和对语法的熟知能力。下面，我们就来总结一下用Python做数据科学时容易忘记的八个要点！

2018-07-23 14:53:44

Python数据科学函数
大数据时代，如何防止“数据裸奔”？
“每个人在网络中都无所遁形。”中国互联网协会个人信息保护工作委员会秘书长李美燕谈到，“数据爬虫”爬进了千家万户，人们发出的每一条信息，浏览的每一个痕迹，都不再是自己独有的存储记录，而是变成他人接近你的路标。国内外频频高发的个人信息保护事件，使个人信息保护态势更加严峻。

2018-07-23 14:51:22

大数据个人信息隐私
让传达更有效！7个提升数据可视化的实用技巧
今天的文章不长，但是干货还是不少的。对于数据可视化，我觉得在设计原理上其实是相通的，都是为了更好的传达信息。所以，同样的，关注核心信息，剔除信息杂质，就能使数据表信息的传达更有效。

2018-07-23 13:02:30

数据可视化颜色数据
《邪不压正》评分持续走低，上万条网友评论揭秘，是救救姜文还是救救观众？
万众期待的《邪不压正》已上映有一周时间。接下来，我们将会跟你一起用猫眼上万条评论数据来分析，网友对这部电影的反响究竟如何？整体思路，将会从数据获取、数据处理、数据可视化三部曲来进行。

2018-07-22 15:57:00

数据可视化大数据数据分析
年薪百万的大数据开发工程师的入门书单
大数据开发工程师是当今技术行业中最受欢迎的工作之一。事实上，如今这些专家供不应求，如果你打算在大数据领域开展职业生涯，不妨先看看这些书，在本文中，我罗列了云计算、大数据、Hadoop和Apache Spark的最佳书籍，希望对大家有帮助

2018-07-20 16:57:51

大数据书单工程师
大数据专业成新宠，232所高校竞相布局大数据相关专业
站在互联网数字经济时代的“风口”，聚焦大数据、人工智能、无人驾驶汽车、中国制造2025、“互联网+”等公认的“暴涨”行业，直接催热了国内各大高校的大数据专业。大数据专业悄无声息的就一下子成为了大学的"新宠"，232所高校竞相布局大数据相关专业，抢抓新机遇，立求在大数据时代占有自己独有的一席之地。

2018-07-20 16:48:11

大数据教育部数据科学
大数据的核心是云技术和BI
整体来看，未来的趋势是，云计算作为计算资源的底层，支撑着上层的大数据处理，而大数据的发展趋势是，实时交互式的查询效率和分析能力，当前的大数据处理一直在向着近似于传统数据库体验的方向发展。

2018-07-19 20:35:42

大数据云计算BI
上一页 1 ··· 99100101102103 ··· 187
点赞

51CTO技术栈公众号

业务
速览
在线客服