51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术25年5月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9080内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9080 条
农村电商大数据发展现状、问题、应用及应对策略
随着信息技术的突飞猛进和互联网应用的迅速普及，大数据正逐步发展成为一个独立的产业形态，正逐渐成为经济发展的驱动力，成为高质量发展的新引擎。发展农村电商同样重视大数据，利用大数据实现农产品的精准生产和营销，实现精准扶贫，为农村产业调整指明方向，从而将农村电商推向新的发展阶段。

2018-12-11 13:46:54

农村电商大数据数据管理
聚焦大数据应用与治理 2018中关村大数据日成功举办
12月11日，第七届中关村大数据日——大数据应用与治理高峰会议在中关村国家自主创新示范区会议中心顺利举行。本届中关村大数据日围绕“大数据应用与治理”这一主题进行深度研究和剖析，打磨大数据产业发展的亮点，挖掘大数据产业推进的技术和机制痛点，促进大数据产业良性快速的健康发展。来自高校、科研机构、行业学会和组织、行业机构以及行业领先企业的专家代表，从大数据的实际应用、数字经济的发展、数据治理和地方实践经验等话题在现场进行分享和探讨，力图梳理我国大数据产业的应用现状，探索大数据治理的有效途径。

2018-12-11 12:39:17

大数据中关村大数据日
9个鲜为人知的Python数据科学库
在本文中，我们将看到 Python 库中的一些数据科学工具，而不是那些常用的工具，如 pandas、scikit-learn 和 matplotlib。虽然像 pandas、scikit-learn 这样的库是机器学习中最常想到的，但是了解这个领域的其他 Python 库也是非常有帮助的。

2018-12-10 19:30:45

Python数据科学库编程语言
用Python分析统计必胜客餐厅
在之前的一篇文章100行代码爬取全国所有必胜客餐厅信息，我讲到如何爬取必胜客官网中全国各大城市餐厅的信息。虽然餐厅数据信息被抓取下来，但是数据一直在硬盘中“躺尸”。不曾记得，自己已经第 n 次这么做了。说到这里，要追溯到自己的大学时光。

2018-12-10 15:53:41

Python必胜客数据分析
Gartner：有87％企业的BI和分析成熟度还很低
Gartner的一项调查显示，超过87%的组织被归类为商业智能(BI)和分析成熟度较低，这给那些希望提高数据资产价值和利用新兴分析技术如机器学习的企业组织带来了巨大障碍。

2018-12-10 14:47:03

Gartner分析BI
大数据技术学习，深度挖掘大数据的现状分析
其实大数据有趣的是它不是直接可以炒作的东西。能够获得广泛兴趣的产品和服务往往是那些人们可以触摸和感受到的，比如：移动应用，社交网络，可穿戴设备，虚拟现实等。但大数据，从根本上说是“管道”。

2018-12-07 14:59:37

大数据数据分析数据科学
大数据处理基本过程
什么是大数据：大数据(big data)，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

2018-12-07 14:50:35

大数据数据采集数据库
公民数据科学家的时代已经到来
数据科学家的身价很高，以至于雇佣他们对于除了谷歌、Facebook、亚马逊和苹果以外的任何企业来说都是一个挑战。而那些有幸从大型科技公司挖走他们或者能够从学术界吸引到他们的CIO们将可以自豪地谈论他们将与他们的数据专家所产生的所有商业见解。

2018-12-06 13:08:30

数据科学家大数据数据科学
都是数据科学家，为什么TA薪水比你高？
同样做数据科学，为什么有人赚得多，有人赚的少?为了科学地回答这个问题，Kaggle 进行了一项系统的调查，从 2018 年 Kaggle ML & DS 调查问卷中总结出 124 条「该做」和「不该做」之事。

2018-12-06 08:56:38

数据科学家数据科学数据
全年盘点：2018年炙手可热的10家数据分析初创公司
随着对业务分析工具的需求不断攀升，不少初创公司都在开发具有新功能的下一代商业智能产品。下面就来看看这10家引起我们关注的数据分析初创公司。

2018-12-06 08:19:27

数据分析初创公司智能技术
全年盘点：2018年炙手可热的10家大数据初创公司
现在，越来越多的初创公司不断开发出创新的大数据产品，以满足数据管理者、数据科学家、数据分析师和其他人的需求，下面就来看看2018年这10家引起我们关注的大数据初创公司吧。

2018-12-06 05:44:57

大数据初创公司大数据技术
分析了6000款App，竟有这么多佳软神器没用过
如今移动互联网越来越发达，各式各样的 App 层出不穷，也就产生了优劣之分，相比于普通 App，我们肯定愿意去使用那些良心佳软，但去发现这些 App 并不太容易，本文使用 Scrapy 框架爬取了著名应用下载市场「酷安网」上的 6000 余款 App，通过分析，发现了各个类别领域下的佼佼者，这些 App 堪称真正的良心之作。

2018-12-05 14:29:22

APP分析网页
【Python爬虫+数据分析】2018年电影，你看了几部？
12月已开始了，离2018年的结束也就半个多月的时间了，还记得年初立下的flag吗?完成了多少?相信很多人和我一样，抱头痛哭...本次利用猫眼电影，实现对2018年的电影大数据进行分析。

2018-12-05 13:59:45

电影分析爬虫
大数据处理的关键技术及应用
数据处理是对纷繁复杂的海量数据价值的提炼，而其中最有价值的地方在于预测性分析，即可以通过数据可视化、统计模式识别、数据描述等数据挖掘形式帮助数据科学家更好的理解数据，根据数据挖掘的结果得出预测性决策。

2018-12-04 15:32:09

数据处理大数据数据分析
大数据时代，区块链在数据安全领域有什么样的表现？
根据网络安全方案供应商詹博网的研究，到2022年，网络犯罪将对全球经济产生8万亿美元的影响，改善各行业的网络安全，使数据免受网络攻击成了当务之急。而区块链作为很多行业的颠覆者，在数据安全领域却蕴藏着巨大的发展潜力。

2018-12-04 12:30:18

区块链大数据数据安全
新一代大数据与人工智能基础架构技术的发展与趋势
2018年是开源软件历史上最精彩的一年，2个IPO加上5个并购，开源技术到达新的高度。回溯过去大数据时代的15年，开源技术的创新潮流，包括集群技术，流计算，数据库，容器技术和机器学习，可谓一波接着一波。

2018-12-03 16:52:22

大数据IT人工智能
Python数据可视化：浅谈数据分析岗
本次通过对BOSS直聘，拉勾网数据分析岗数据分析，了解数据分析岗的行业情况，也以此来了解从事数据分析所需要的技能。

2018-12-03 16:50:23

数据可视化数据分析薪水
Splunk宣布与全新的Amazon Web Services Security Hub集成
致力于将数据转化为行动和价值的 Splunk公司(NASDAQ：SPLK)今天宣布与新推出的Amazon Web Services(AWS)Security Hub集成。AWS Security Hub提供全面的视图来管理安全警报并为AWS客户自动处理合规检查。

2018-12-03 15:03:39

Splunk安全监控
高手总结的15个技巧，让你轻松玩转数据可视化！
大数据时代，数据驱动决策。处理不好庞大、复杂的数据，其价值将大打折扣。那如何缩短数据与用户的距离?让用户一眼抓到重点?让老板为你的汇报方案鼓掌?本文通过连环15关，层层深入，传你数据匹配图形神功，让数据可视化更高效。

2018-11-30 15:44:49

可视化图表数据
高德一站式智能出行解决方案A+Box发布 奥迪成为首个合作品牌
11月30日，高德在2018汽车客户大会上发布了智行战略，高德将从智能出行、智能驾驶、共享出行三个方面助力合作伙伴智能化升级。针对智能出行，高德地图汽车事业部总裁韦东宣布推出一站式解决方案——A+Box。

2018-11-30 11:07:11

高德智能出行奥迪
Python数据可视化：Python大佬有哪些？
之前讲了代理池以及Cookies的相关知识，这里针对搜狗搜索微信公众号文章的爬取，将它俩实践一下。在崔大的书里面，他是用代理IP来应对搜狗的反爬措施，因为同一IP访问网页过于频繁，就会跳转验证码页面。

2018-11-30 10:28:44

Python反爬网页
想成为数据科学家？先做到这6点吧！
《未来简史》中说道“未来，数据为王，谁掌握了数据，谁就处于领先。”2018年即将过去，2019年即将到来。如果你想成为一名数据科学家，本文提出6点建议，希望你在新的一年里能够尽量完成。

2018-11-29 13:30:15

数据科学家项目数据
深入大数据平台心脏：饿了么调度系统全解
随着饿了么在大数据应用的不断深入，需要解决任务数量增长快、任务多样化、任务关系复杂、任务执行效率低及任务失败不可控等问题。

2018-11-29 09:36:56

大数据调度系统
解读|华为云DWS入选Forrester云数据仓库报告
近期，权威IT咨询机构Forrester发布了"The Forrester WaveTM: Cloud Data Warehouse Q4 2018"研究报告，华为云企业级数据仓库成功上榜。

2018-11-28 17:25:47

华为云
Commvault荣膺2018年Gartner Peer Insights“数据中心备份和恢复解决方案”客户最佳选择奖
全球公认的混合环境数据备份、恢复、云和数据管理领导者Commvault(纳斯达克代码：CVLT)今日宣布荣膺2018年Gartner Peer Insights数据中心备份和恢复解决方案客户最佳选择奖。

2018-11-28 16:20:15

数据中心备份恢复
安防AI大数据全流程解析
对于安防AI，看上去是AI，实际上最后是大数据，大数据才是智能化的基础。人工智能、深度学习、机器学习、大数据应用在安防AI中， 说到底都是对大数据的采集、建模和应用。本文大致说一下安防AI中，对于大数据的运用过程与环节，让大家有个大致的印象。

2018-11-28 15:15:52

大数据AI安防
爬取点评成都数据，只为告诉你哪家火锅好吃
冬天到了，天气越来越冷，小编起床越来越困难了，每一天都想吃辣辣的火锅。那么如何选择火锅店呢?最简单的肯定是在美团、大众点评上找一找啊。所以，本文就从大众点评上爬取了成都的火锅数据，来进行了分析。

2018-11-28 13:16:39

火锅数据爬虫
全国41611个景点，用Python告诉你哪些地方更值得一游！
都知道中国地广人不稀，旅游资源非常丰富，古文化遗址、抗战遗址、山川、河流等等，在选择目的地的时候，不少人都会非常纠结，不知道去哪更好。为了以后不再纠结，笔者打算深度解析全国的旅游景点分布。

2018-11-28 10:23:01

Python旅游景点数据
从6730个微信用户中分析出大家的手机使用习惯
今天给大家分享一篇从小程序用户使用网络/微信版本/手机型号/屏幕样式/微信字体大小等方面来分析大家的手机使用习惯。

2018-11-28 09:54:04

微信数据手机
公交车总迟到？你大概掉进了“等待时间悖论”
在等待平均10分钟一班的公交车时，你的平均等待时间将为10分钟。这就叫等待时间悖论。

2018-11-27 05:46:10

等待时间悖论公交车数据分析
100行代码爬取全国所有必胜客餐厅信息
数据分析的前提是有数据可分析。如果没有数据怎么办?一是可以去一些数据网站下载相关的数据，不过数据内容可能不是自己想要的。二是自己爬取一些网站数据。今天，我就爬取全国各地所有的必胜客餐厅信息，以便后续做数据分析。

2018-11-26 18:57:58

Python数据分析爬取
Python数据可视化的四种简易方法
数据可视化是任何数据科学或机器学习项目的一个重要组成部分。人们常常会从探索数据分析(EDA)开始，来深入了解数据，并且创建可视化确实有助于让问题更清晰和更容易理解，尤其是对于那些较大的高维度数据集。本文讲述了热图、二维密度图、蜘蛛图、树形图这四种Python数据可视化方法。

2018-11-26 18:45:22

数据可视化绘图可视化
如何与医生更有效地进行数据沟通？
近期，有团队在开展了一项深入研究，旨在观察医生们对临床诊断差异的认知以及哪些因素会影响医生们对药物和诊治手段的选择。

2018-11-26 07:23:08

数据数据数据分析
HBase在人工智能场景的使用
近几年来，人工智能逐渐火热起来，特别是和大数据一起结合使用。人工智能的主要场景又包括图像能力、语音能力、自然语言处理能力和用户画像能力等等。这些场景我们都需要处理海量的数据，处理完的数据一般都需要存储起来，这些数据的特点主要有如下几点。

2018-11-22 13:37:49

HBase人工智能数据
以内部视角来观察10个数据分析的成功案例
如果把数据看成是一种新的石油，那么知道如何将其提炼成可操作的情报则是释放其潜力的关键。为此，首席信息官们正在利用预测分析、精心设计的机器学习算法和久经考验的分析解决方案来追求提升业务效率和服务客户的新方法。

2018-11-22 12:51:43

大数据首席信息官数据分析
现代数据架构的7个关键技术
企业IT基础设施平台的重新构建是一项复杂的任务。重新构建平台通常由一系列变化的关键业务驱动因素引发，现在情况正是如此。简而言之，主导企业IT技术的近30年的平台无法再满足推动业务发展所需的工作负载的需求。

2018-11-21 14:44:33

数据库容器数据架构
Python数据可视化：2018年电影分析
双11已经过去，双12即将来临，离2018年的结束也就2个月不到，还记得年初立下的flag吗?完成了多少?相信很多人和我一样，抱头痛哭...本次利用猫眼电影，实现对2018年的电影大数据进行分析。

2018-11-21 14:38:09

分析在数据电影
Python数据可视化：2018年北上广深空气质量分析（附完整代码）
就在这周偶然看到一个学弟吐槽天津的空气，不禁想起那段厚德载雾，自强不吸的日子。这回先对2017年天津的空气质量情况进行分析，然后再是北上广深。

2018-11-21 14:09:31

可视化天气雾霾
从睫毛膏到太空垃圾，2018年度值得推荐的数据可视化作品都在这了！
为了致敬世界各地为数据可视化作出贡献的艺术家和设计师们，我们收集了2018年最优秀的一批数据可视化作品。当然，其中也包含了一些2017年以及更早些的，因为它们真的赏心悦目，不容错过。

2018-11-21 11:01:01

数据可视化数据分析数据
入门数据分析的一些建议
最近经常被问到怎么入门数据分析，可能很多同学对怎么开始学习还是比较困惑的。我回想自己学习数据分析的经历，总结了一些建议，希望能给到大家帮助。

2018-11-20 14:24:46

数据分析数据库统计
为什么你不应该成为一名数据科学通才
似乎，数据科学家涉及的领域越广，越能突出数据科学这份职业的价值。但是，情况恰恰相反！有着丰富的数据科学经验的SharpestMinds联合创始人Jeremie Harris告诉你，千万不要成为一个数据科学通才！

2018-11-20 14:03:17

数据科学数据分析数据科学家
Hadoop架构已凋谢吗 ？
坦率地说，Hadoop走下坡路似乎找不到一个最根本的理由。相反，Hadoop架构人气下滑可能归咎于几个不同的因素。一些IT专业人员对于自己无法在Hadoop集群上执行任何有意义的数据分析颇为沮丧。

2018-11-19 15:14:46

Hadoop架构公共云
大数据方向的安全技术研究
近年来，随着大数据应用的爆发性增长，大数据衍生出独特架构，并推动存储、网络及计算机技术的发展，同时也引发了新的安全问题。国际社会已经将大数据安全列入国家信息网络安全战略，国内学术界、信息安全界、产业界也正逐步关注大数据的发展。

2018-11-19 13:44:39

大数据信息安全数据安全
公安大数据的下一个风口： 数据分析报告应用探析
本文从三个方面对公安数据分析报告的含义和应用进行探讨，第一部分介绍其内涵，第二、三部分别分取两个方向的应用进行分析。

2018-11-19 13:00:56

公安大数据数据分析安全
大数据相关的十大技术
大数据技术指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

2018-11-19 12:58:47

大数据技术Java
这8个Python小细节，让你在大数据领域如鱼得水
学习数据科学的过程，从来就不是一帆风顺的。在写代码的时候，你是否也经常不得不反复搜索同一个问题，同一个概念，甚至同一个语法结构的特性呢?对，你不是一个人在战斗。

2018-11-19 11:43:13

Python数据函数
用大白话告诉你小白都能看懂的Hadoop架构原理
Hadoop 是目前大数据领域最主流的一套技术体系，包含了多种技术，例如 HDFS（分布式文件系统），YARN（分布式资源调度系统），MapReduce（分布式计算系统）等等。

2018-11-19 08:34:22

Hadoop架构HDFS
我，一个数据科学家的三大弱点
通过定位我在数据科学方面的弱点——软件工程，扩展分析/模型，深度学习——我的目标是高自己，鼓励他人思考自己的弱点，并向你展示想成为成功的数据科学家并不必要学习所有知识。

2018-11-19 06:00:32

数据科学家数据科学数据科学
用Spark 来做大规模图形挖掘：第一部分
对于数据科学家，图形是一个非常令人着迷的研究课题，标记数据的方法在处理机器学习问题并不总是有效。图形在无监督上下文中非常强大，因为它们通过利用数据的基础子结构来充分利用您拥有的数据。

2018-11-15 14:52:15

Spark数据机器学习
MapReduce运行原理
MapReduce是一种编程模型，用于大规模数据集(大于1TB)的并行运算。MapReduce采用”分而治之”的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。

2018-11-14 14:33:33

MapReduce数据集计算
上一页 1 ··· 8990919293 ··· 182
点赞

51CTO技术栈公众号

业务
速览
在线客服