51CTO首页
内容精选
博客
学堂
精培
企业培训
CTO训练营
智能汽车
开源基础软件社区
WOT全球技术创新大会
公众号矩阵
移动端
免费课程课程排行直播课软考学堂
精品班厂商认证IT技术2023年软考PMP项目管理
在线学习企业服务
CTO训练营技术经理研习营LeaTech峰会
文章资源问答开源课堂专栏直播
51CTO
开源基础软件社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
开源基础软件社区订阅号
51CTO学堂APP
51CTO学堂企业版APP
开源基础软件社区视频号
账号设置 退出

大数据

8135内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 8135 条
Hadoop运行在Kubernetes平台实践
Hadoop与Kubernetes就好像江湖里的两大绝世高手，一个是成名已久的长者，至今仍然名声远扬，一个则是初出茅庐的青涩少年，骨骼惊奇，不走寻常路，一出手便惊诧了整个武林。

2018-12-16 16:21:08

HadoopKubernetes容器
起薪2万的爬虫工程师，Python需要学到什么程度才可以就业？
爬虫工程师的的薪资为20K起，当然，因为大数据，薪资也将一路上扬。那么，Python需要学到什么程度呢?今天我们来看看3位前辈的回答。

2018-12-16 16:16:26

Python爬虫工程师
还在抱怨Pandas运行速度慢？这几个方法会颠覆你的看法
当大家谈到数据分析时，提及最多的语言就是Python和SQL。Python之所以适合数据分析，是因为它有很多第三方强大的库来协助，pandas就是其中之一。

2018-12-14 15:51:47

Pandas数据数据结构
新零售风口之下，大数据及人工智能有哪些应用？
对零售企业来说，其核心竞争力在于“提销量，控成本”，即开源与节流。新零售企业的发展，得益于越来越多新技术的落地应用，得益于将新技术不断应用在开源和节流这两个方面上。下面是大数据及人工智能在新零售行业的一些主要应用方向，拿走不谢!

2018-12-14 10:40:27

大数据人工智能新零售
我爬取分析美团网，原来北京上海Top10美食是它们
工作需求需要采集OTA网站的美食数据，某个城市的饭店类型情况等。对于老饕来说这不算个事。。。然而最后的结果是中午晚饭都没有时间去吃了。。。情况如下

2018-12-13 10:48:15

数据数据爬取分析
大数据和人工智能成战略性新兴专业
日前，教育部发布《教育部关于加快建设高水平本科教育全面提高人才培养能力的意见》(教高[2018]2号)文件，文件的第六个方面“大力推进一流专业建设”中，第22条提出要动态调整专业结构。

2018-12-13 10:40:14

人工智能大数据
世界各主要国家及组织的大数据战略
由于大数据自身内涵发展迅速，随着存储设备、记录工具和分析技术的不断发展，其应用的深度与影响力也日新月异，各国在大数据战略也是基于国家整体发展趋势进行布局。

2018-12-12 15:53:13

大数据大数据战略欧盟
企业如何实现对工业大数据的预处理？
数据分析，包括大数据分析，在企业的业务中，特别是在传统的商务行业，已有多年的应用实践，在消费者市场的营销中已成了必不可缺的技术。随着工业互联网和智能制造的兴起和发展，工业大数据技术也越来越受到各方关注。

2018-12-12 14:57:17

大数据制造工业互联网
如何破解大数据的三大困境 直达成果？ 原创
来自第三方的调查报告显示，分析技术正在成长为价值2000亿美元的产业，然而74%的企业决策者表示分析技术过于复杂，42%的受访者认为企业员工难以使用或理解分析技术，更有高达79%的受访者表示他们需要获得更多企业数据，才能高效完成任务。现有的分析产品在使用过程中仍然存在诸多问题，该如何改进呢?

2018-12-11 18:25:58

大数据数据分析Teradata Va
用Python分析了1w场吃鸡数据，原来吃鸡要这么玩！
绝地求生在国内火的一塌糊涂的时候，一款名叫Fortnite的游戏在国外刮起了堡垒旋风，这款同样为大逃杀玩法的沙盒类游戏，在绝地求生逐渐走低的形势下，堡垒之夜却夺得多项提名，众多明星主播转战堡垒!

2018-12-11 14:07:44

Python分析游戏
农村电商大数据发展现状、问题、应用及应对策略
随着信息技术的突飞猛进和互联网应用的迅速普及，大数据正逐步发展成为一个独立的产业形态，正逐渐成为经济发展的驱动力，成为高质量发展的新引擎。发展农村电商同样重视大数据，利用大数据实现农产品的精准生产和营销，实现精准扶贫，为农村产业调整指明方向，从而将农村电商推向新的发展阶段。

2018-12-11 13:46:54

农村电商大数据数据管理
聚焦大数据应用与治理 2018中关村大数据日成功举办
12月11日，第七届中关村大数据日——大数据应用与治理高峰会议在中关村国家自主创新示范区会议中心顺利举行。本届中关村大数据日围绕“大数据应用与治理”这一主题进行深度研究和剖析，打磨大数据产业发展的亮点，挖掘大数据产业推进的技术和机制痛点，促进大数据产业良性快速的健康发展。来自高校、科研机构、行业学会和组织、行业机构以及行业领先企业的专家代表，从大数据的实际应用、数字经济的发展、数据治理和地方实践经验等话题在现场进行分享和探讨，力图梳理我国大数据产业的应用现状，探索大数据治理的有效途径。

2018-12-11 12:39:17

大数据中关村大数据日
9个鲜为人知的Python数据科学库
在本文中，我们将看到 Python 库中的一些数据科学工具，而不是那些常用的工具，如 pandas、scikit-learn 和 matplotlib。虽然像 pandas、scikit-learn 这样的库是机器学习中最常想到的，但是了解这个领域的其他 Python 库也是非常有帮助的。

2018-12-10 19:30:45

Python数据科学库编程语言
用Python分析统计必胜客餐厅
在之前的一篇文章100行代码爬取全国所有必胜客餐厅信息，我讲到如何爬取必胜客官网中全国各大城市餐厅的信息。虽然餐厅数据信息被抓取下来，但是数据一直在硬盘中“躺尸”。不曾记得，自己已经第 n 次这么做了。说到这里，要追溯到自己的大学时光。

2018-12-10 15:53:41

Python必胜客数据分析
Gartner：有87％企业的BI和分析成熟度还很低
Gartner的一项调查显示，超过87%的组织被归类为商业智能(BI)和分析成熟度较低，这给那些希望提高数据资产价值和利用新兴分析技术如机器学习的企业组织带来了巨大障碍。

2018-12-10 14:47:03

Gartner分析BI
大数据技术学习，深度挖掘大数据的现状分析
其实大数据有趣的是它不是直接可以炒作的东西。能够获得广泛兴趣的产品和服务往往是那些人们可以触摸和感受到的，比如：移动应用，社交网络，可穿戴设备，虚拟现实等。但大数据，从根本上说是“管道”。

2018-12-07 14:59:37

大数据数据分析数据科学
大数据处理基本过程
什么是大数据：大数据(big data)，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

2018-12-07 14:50:35

大数据数据采集数据库
公民数据科学家的时代已经到来
数据科学家的身价很高，以至于雇佣他们对于除了谷歌、Facebook、亚马逊和苹果以外的任何企业来说都是一个挑战。而那些有幸从大型科技公司挖走他们或者能够从学术界吸引到他们的CIO们将可以自豪地谈论他们将与他们的数据专家所产生的所有商业见解。

2018-12-06 13:08:30

数据科学家大数据数据科学
都是数据科学家，为什么TA薪水比你高？
同样做数据科学，为什么有人赚得多，有人赚的少?为了科学地回答这个问题，Kaggle 进行了一项系统的调查，从 2018 年 Kaggle ML & DS 调查问卷中总结出 124 条「该做」和「不该做」之事。

2018-12-06 08:56:38

数据科学家数据科学数据
全年盘点：2018年炙手可热的10家数据分析初创公司
随着对业务分析工具的需求不断攀升，不少初创公司都在开发具有新功能的下一代商业智能产品。下面就来看看这10家引起我们关注的数据分析初创公司。

2018-12-06 08:19:27

数据分析初创公司智能技术
全年盘点：2018年炙手可热的10家大数据初创公司
现在，越来越多的初创公司不断开发出创新的大数据产品，以满足数据管理者、数据科学家、数据分析师和其他人的需求，下面就来看看2018年这10家引起我们关注的大数据初创公司吧。

2018-12-06 05:44:57

大数据初创公司大数据技术
分析了6000款App，竟有这么多佳软神器没用过
如今移动互联网越来越发达，各式各样的 App 层出不穷，也就产生了优劣之分，相比于普通 App，我们肯定愿意去使用那些良心佳软，但去发现这些 App 并不太容易，本文使用 Scrapy 框架爬取了著名应用下载市场「酷安网」上的 6000 余款 App，通过分析，发现了各个类别领域下的佼佼者，这些 App 堪称真正的良心之作。

2018-12-05 14:29:22

APP分析网页
【Python爬虫+数据分析】2018年电影，你看了几部？
12月已开始了，离2018年的结束也就半个多月的时间了，还记得年初立下的flag吗?完成了多少?相信很多人和我一样，抱头痛哭...本次利用猫眼电影，实现对2018年的电影大数据进行分析。

2018-12-05 13:59:45

电影分析爬虫
大数据处理的关键技术及应用
数据处理是对纷繁复杂的海量数据价值的提炼，而其中最有价值的地方在于预测性分析，即可以通过数据可视化、统计模式识别、数据描述等数据挖掘形式帮助数据科学家更好的理解数据，根据数据挖掘的结果得出预测性决策。

2018-12-04 15:32:09

数据处理大数据数据分析
大数据时代，区块链在数据安全领域有什么样的表现？
根据网络安全方案供应商詹博网的研究，到2022年，网络犯罪将对全球经济产生8万亿美元的影响，改善各行业的网络安全，使数据免受网络攻击成了当务之急。而区块链作为很多行业的颠覆者，在数据安全领域却蕴藏着巨大的发展潜力。

2018-12-04 12:30:18

区块链大数据数据安全
新一代大数据与人工智能基础架构技术的发展与趋势
2018年是开源软件历史上最精彩的一年，2个IPO加上5个并购，开源技术到达新的高度。回溯过去大数据时代的15年，开源技术的创新潮流，包括集群技术，流计算，数据库，容器技术和机器学习，可谓一波接着一波。

2018-12-03 16:52:22

大数据IT人工智能
Python数据可视化：浅谈数据分析岗
本次通过对BOSS直聘，拉勾网数据分析岗数据分析，了解数据分析岗的行业情况，也以此来了解从事数据分析所需要的技能。

2018-12-03 16:50:23

数据可视化数据分析薪水
Splunk宣布与全新的Amazon Web Services Security Hub集成
致力于将数据转化为行动和价值的 Splunk公司(NASDAQ：SPLK)今天宣布与新推出的Amazon Web Services(AWS)Security Hub集成。AWS Security Hub提供全面的视图来管理安全警报并为AWS客户自动处理合规检查。

2018-12-03 15:03:39

Splunk安全监控
高手总结的15个技巧，让你轻松玩转数据可视化！
大数据时代，数据驱动决策。处理不好庞大、复杂的数据，其价值将大打折扣。那如何缩短数据与用户的距离?让用户一眼抓到重点?让老板为你的汇报方案鼓掌?本文通过连环15关，层层深入，传你数据匹配图形神功，让数据可视化更高效。

2018-11-30 15:44:49

可视化图表数据
高德一站式智能出行解决方案A+Box发布 奥迪成为首个合作品牌
11月30日，高德在2018汽车客户大会上发布了智行战略，高德将从智能出行、智能驾驶、共享出行三个方面助力合作伙伴智能化升级。针对智能出行，高德地图汽车事业部总裁韦东宣布推出一站式解决方案——A+Box。

2018-11-30 11:07:11

高德智能出行奥迪
Python数据可视化：Python大佬有哪些？
之前讲了代理池以及Cookies的相关知识，这里针对搜狗搜索微信公众号文章的爬取，将它俩实践一下。在崔大的书里面，他是用代理IP来应对搜狗的反爬措施，因为同一IP访问网页过于频繁，就会跳转验证码页面。

2018-11-30 10:28:44

Python反爬网页
想成为数据科学家？先做到这6点吧！
《未来简史》中说道“未来，数据为王，谁掌握了数据，谁就处于领先。”2018年即将过去，2019年即将到来。如果你想成为一名数据科学家，本文提出6点建议，希望你在新的一年里能够尽量完成。

2018-11-29 13:30:15

数据科学家项目数据
深入大数据平台心脏：饿了么调度系统全解
随着饿了么在大数据应用的不断深入，需要解决任务数量增长快、任务多样化、任务关系复杂、任务执行效率低及任务失败不可控等问题。

2018-11-29 09:36:56

大数据调度系统
解读|华为云DWS入选Forrester云数据仓库报告
近期，权威IT咨询机构Forrester发布了"The Forrester WaveTM: Cloud Data Warehouse Q4 2018"研究报告，华为云企业级数据仓库成功上榜。

2018-11-28 17:25:47

华为云
Commvault荣膺2018年Gartner Peer Insights“数据中心备份和恢复解决方案”客户最佳选择奖
全球公认的混合环境数据备份、恢复、云和数据管理领导者Commvault(纳斯达克代码：CVLT)今日宣布荣膺2018年Gartner Peer Insights数据中心备份和恢复解决方案客户最佳选择奖。

2018-11-28 16:20:15

数据中心备份恢复
安防AI大数据全流程解析
对于安防AI，看上去是AI，实际上最后是大数据，大数据才是智能化的基础。人工智能、深度学习、机器学习、大数据应用在安防AI中， 说到底都是对大数据的采集、建模和应用。本文大致说一下安防AI中，对于大数据的运用过程与环节，让大家有个大致的印象。

2018-11-28 15:15:52

大数据AI安防
爬取点评成都数据，只为告诉你哪家火锅好吃
冬天到了，天气越来越冷，小编起床越来越困难了，每一天都想吃辣辣的火锅。那么如何选择火锅店呢?最简单的肯定是在美团、大众点评上找一找啊。所以，本文就从大众点评上爬取了成都的火锅数据，来进行了分析。

2018-11-28 13:16:39

火锅数据爬虫
全国41611个景点，用Python告诉你哪些地方更值得一游！
都知道中国地广人不稀，旅游资源非常丰富，古文化遗址、抗战遗址、山川、河流等等，在选择目的地的时候，不少人都会非常纠结，不知道去哪更好。为了以后不再纠结，笔者打算深度解析全国的旅游景点分布。

2018-11-28 10:23:01

Python旅游景点数据
从6730个微信用户中分析出大家的手机使用习惯
今天给大家分享一篇从小程序用户使用网络/微信版本/手机型号/屏幕样式/微信字体大小等方面来分析大家的手机使用习惯。

2018-11-28 09:54:04

微信数据手机
公交车总迟到？你大概掉进了“等待时间悖论”
在等待平均10分钟一班的公交车时，你的平均等待时间将为10分钟。这就叫等待时间悖论。

2018-11-27 05:46:10

等待时间悖论公交车数据分析
100行代码爬取全国所有必胜客餐厅信息
数据分析的前提是有数据可分析。如果没有数据怎么办?一是可以去一些数据网站下载相关的数据，不过数据内容可能不是自己想要的。二是自己爬取一些网站数据。今天，我就爬取全国各地所有的必胜客餐厅信息，以便后续做数据分析。

2018-11-26 18:57:58

Python数据分析爬取
Python数据可视化的四种简易方法
数据可视化是任何数据科学或机器学习项目的一个重要组成部分。人们常常会从探索数据分析(EDA)开始，来深入了解数据，并且创建可视化确实有助于让问题更清晰和更容易理解，尤其是对于那些较大的高维度数据集。本文讲述了热图、二维密度图、蜘蛛图、树形图这四种Python数据可视化方法。

2018-11-26 18:45:22

数据可视化绘图可视化
如何与医生更有效地进行数据沟通？
近期，有团队在开展了一项深入研究，旨在观察医生们对临床诊断差异的认知以及哪些因素会影响医生们对药物和诊治手段的选择。

2018-11-26 07:23:08

数据数据数据分析
HBase在人工智能场景的使用
近几年来，人工智能逐渐火热起来，特别是和大数据一起结合使用。人工智能的主要场景又包括图像能力、语音能力、自然语言处理能力和用户画像能力等等。这些场景我们都需要处理海量的数据，处理完的数据一般都需要存储起来，这些数据的特点主要有如下几点。

2018-11-22 13:37:49

HBase人工智能数据
以内部视角来观察10个数据分析的成功案例
如果把数据看成是一种新的石油，那么知道如何将其提炼成可操作的情报则是释放其潜力的关键。为此，首席信息官们正在利用预测分析、精心设计的机器学习算法和久经考验的分析解决方案来追求提升业务效率和服务客户的新方法。

2018-11-22 12:51:43

大数据首席信息官数据分析
现代数据架构的7个关键技术
企业IT基础设施平台的重新构建是一项复杂的任务。重新构建平台通常由一系列变化的关键业务驱动因素引发，现在情况正是如此。简而言之，主导企业IT技术的近30年的平台无法再满足推动业务发展所需的工作负载的需求。

2018-11-21 14:44:33

数据库容器数据架构
Python数据可视化：2018年电影分析
双11已经过去，双12即将来临，离2018年的结束也就2个月不到，还记得年初立下的flag吗?完成了多少?相信很多人和我一样，抱头痛哭...本次利用猫眼电影，实现对2018年的电影大数据进行分析。

2018-11-21 14:38:09

分析在数据电影
Python数据可视化：2018年北上广深空气质量分析（附完整代码）
就在这周偶然看到一个学弟吐槽天津的空气，不禁想起那段厚德载雾，自强不吸的日子。这回先对2017年天津的空气质量情况进行分析，然后再是北上广深。

2018-11-21 14:09:31

可视化天气雾霾
从睫毛膏到太空垃圾，2018年度值得推荐的数据可视化作品都在这了！
为了致敬世界各地为数据可视化作出贡献的艺术家和设计师们，我们收集了2018年最优秀的一批数据可视化作品。当然，其中也包含了一些2017年以及更早些的，因为它们真的赏心悦目，不容错过。

2018-11-21 11:01:01

数据可视化数据分析数据
入门数据分析的一些建议
最近经常被问到怎么入门数据分析，可能很多同学对怎么开始学习还是比较困惑的。我回想自己学习数据分析的经历，总结了一些建议，希望能给到大家帮助。

2018-11-20 14:24:46

数据分析数据库统计
上一页 1 ··· 7071727374 ··· 163
点赞

51CTO技术栈公众号

业务
速览
在线客服