51CTO首页
AI.x社区
博客
学堂
精品班
直播训练营
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

大数据

8797内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 8797 条
Hive实践分享之存储和压缩的坑
在学习大数据技术的过程中，HIVE是非常重要的技术之一，但我们在项目上经常会遇到一些存储和压缩的坑，本文通过科多大数据的武老师整理，分享给大家。

2018-12-19 13:45:56

Hive实践存储
Spark 静态内存管理详解
spark从1.6开始引入了动态内存管理模式，即执行内存和存储内存之间可以互相抢占。spark提供两种内存分配模式：静态内存管理和动态内存管理。

2018-12-18 14:37:26

Spark内存管理
Python数据科学：方差分析
本次介绍：方差分析：一个多分类分类变量与一个连续变量间的关系。其中分类个数大于两个，分类变量也可以有多个。当分类变量为多个时，对分类个数不做要求，即可以为二分分类变量。

2018-12-18 13:32:37

方差分析数据分析教育
人工智能、大数据投身体育赛场 是搅局还是颠覆？
获取训练场及体育赛场上的数据、根据球员的特点制定赛前战术、赛后对技战术进行复盘……虽然AI在不断证明为体育产业带来增值的能力，但很多人还是不相信，AI短期内能代替人类教练。

2018-12-18 11:00:31

大数据人工智能体育
中数经纬CEO林道进：运用智慧大数据 助力海南大发展
中数经纬CEO林道进教授今天在“首届中国大数据创新发展论坛”上，发表题为“运用智慧大数据助力海南大发展”精彩演讲。

2018-12-18 10:43:26

中数经纬林道进
中数经纬林师授：如何用数据驱动企业运营创新 原创
会上，中国数据科技集团副总裁、市场运营部总经理林师授分享了《如何用数据驱动企业运营创新》的演讲。

2018-12-18 10:29:10

林师授中数经纬
用Python分析“女神大会”，码农很想娶的女星竟然是......
笔者作为一位喜爱足球的球迷，“懂球帝”一定会是款必不可少的 App，即使是只有 16G 的空间，也从未将其卸载。

2018-12-18 09:43:18

Python码农女星
大数据和人工智能的未来将殊途同归
Charles Araujo是一名业界知名的分析师，是国际上公认的数字企业权威，也是《IT的量子时代：为什么对IT的一切都知道要改变》一书的作者。作为Intellyx公司的首席分析师，他还是数字转换研究所的创始人。

2018-12-17 13:06:25

数据人工智能分析
助你事半功倍的数据科学工具大集合 译文
本文向您介绍那些可被用于进行数据收集、分析和可视化的顶级数据科学工具。

2018-12-17 09:00:00

大数据数据科学工具
小白上路？工程师转型？应届毕业生？三种“圈外人”的数据科学入行指南
这篇文章中，本文作者将针对三种不同的、想要进入数据科学领域的人群，给出自己的经验，帮助他们迅速有效入行。

2018-12-17 05:03:22

数据科学机器学习软件工程
Hadoop运行在Kubernetes平台实践
Hadoop与Kubernetes就好像江湖里的两大绝世高手，一个是成名已久的长者，至今仍然名声远扬，一个则是初出茅庐的青涩少年，骨骼惊奇，不走寻常路，一出手便惊诧了整个武林。

2018-12-16 16:21:08

HadoopKubernetes容器
起薪2万的爬虫工程师，Python需要学到什么程度才可以就业？
爬虫工程师的的薪资为20K起，当然，因为大数据，薪资也将一路上扬。那么，Python需要学到什么程度呢?今天我们来看看3位前辈的回答。

2018-12-16 16:16:26

Python爬虫工程师
还在抱怨Pandas运行速度慢？这几个方法会颠覆你的看法
当大家谈到数据分析时，提及最多的语言就是Python和SQL。Python之所以适合数据分析，是因为它有很多第三方强大的库来协助，pandas就是其中之一。

2018-12-14 15:51:47

Pandas数据数据结构
新零售风口之下，大数据及人工智能有哪些应用？
对零售企业来说，其核心竞争力在于“提销量，控成本”，即开源与节流。新零售企业的发展，得益于越来越多新技术的落地应用，得益于将新技术不断应用在开源和节流这两个方面上。下面是大数据及人工智能在新零售行业的一些主要应用方向，拿走不谢!

2018-12-14 10:40:27

大数据人工智能新零售
我爬取分析美团网，原来北京上海Top10美食是它们
工作需求需要采集OTA网站的美食数据，某个城市的饭店类型情况等。对于老饕来说这不算个事。。。然而最后的结果是中午晚饭都没有时间去吃了。。。情况如下

2018-12-13 10:48:15

数据数据爬取分析
大数据和人工智能成战略性新兴专业
日前，教育部发布《教育部关于加快建设高水平本科教育全面提高人才培养能力的意见》(教高[2018]2号)文件，文件的第六个方面“大力推进一流专业建设”中，第22条提出要动态调整专业结构。

2018-12-13 10:40:14

人工智能大数据
世界各主要国家及组织的大数据战略
由于大数据自身内涵发展迅速，随着存储设备、记录工具和分析技术的不断发展，其应用的深度与影响力也日新月异，各国在大数据战略也是基于国家整体发展趋势进行布局。

2018-12-12 15:53:13

大数据大数据战略欧盟
企业如何实现对工业大数据的预处理？
数据分析，包括大数据分析，在企业的业务中，特别是在传统的商务行业，已有多年的应用实践，在消费者市场的营销中已成了必不可缺的技术。随着工业互联网和智能制造的兴起和发展，工业大数据技术也越来越受到各方关注。

2018-12-12 14:57:17

大数据制造工业互联网
如何破解大数据的三大困境 直达成果？ 原创
来自第三方的调查报告显示，分析技术正在成长为价值2000亿美元的产业，然而74%的企业决策者表示分析技术过于复杂，42%的受访者认为企业员工难以使用或理解分析技术，更有高达79%的受访者表示他们需要获得更多企业数据，才能高效完成任务。现有的分析产品在使用过程中仍然存在诸多问题，该如何改进呢?

2018-12-11 18:25:58

大数据数据分析Teradata Va
用Python分析了1w场吃鸡数据，原来吃鸡要这么玩！
绝地求生在国内火的一塌糊涂的时候，一款名叫Fortnite的游戏在国外刮起了堡垒旋风，这款同样为大逃杀玩法的沙盒类游戏，在绝地求生逐渐走低的形势下，堡垒之夜却夺得多项提名，众多明星主播转战堡垒!

2018-12-11 14:07:44

Python分析游戏
农村电商大数据发展现状、问题、应用及应对策略
随着信息技术的突飞猛进和互联网应用的迅速普及，大数据正逐步发展成为一个独立的产业形态，正逐渐成为经济发展的驱动力，成为高质量发展的新引擎。发展农村电商同样重视大数据，利用大数据实现农产品的精准生产和营销，实现精准扶贫，为农村产业调整指明方向，从而将农村电商推向新的发展阶段。

2018-12-11 13:46:54

农村电商大数据数据管理
聚焦大数据应用与治理 2018中关村大数据日成功举办
12月11日，第七届中关村大数据日——大数据应用与治理高峰会议在中关村国家自主创新示范区会议中心顺利举行。本届中关村大数据日围绕“大数据应用与治理”这一主题进行深度研究和剖析，打磨大数据产业发展的亮点，挖掘大数据产业推进的技术和机制痛点，促进大数据产业良性快速的健康发展。来自高校、科研机构、行业学会和组织、行业机构以及行业领先企业的专家代表，从大数据的实际应用、数字经济的发展、数据治理和地方实践经验等话题在现场进行分享和探讨，力图梳理我国大数据产业的应用现状，探索大数据治理的有效途径。

2018-12-11 12:39:17

大数据中关村大数据日
9个鲜为人知的Python数据科学库
在本文中，我们将看到 Python 库中的一些数据科学工具，而不是那些常用的工具，如 pandas、scikit-learn 和 matplotlib。虽然像 pandas、scikit-learn 这样的库是机器学习中最常想到的，但是了解这个领域的其他 Python 库也是非常有帮助的。

2018-12-10 19:30:45

Python数据科学库编程语言
用Python分析统计必胜客餐厅
在之前的一篇文章100行代码爬取全国所有必胜客餐厅信息，我讲到如何爬取必胜客官网中全国各大城市餐厅的信息。虽然餐厅数据信息被抓取下来，但是数据一直在硬盘中“躺尸”。不曾记得，自己已经第 n 次这么做了。说到这里，要追溯到自己的大学时光。

2018-12-10 15:53:41

Python必胜客数据分析
Gartner：有87％企业的BI和分析成熟度还很低
Gartner的一项调查显示，超过87%的组织被归类为商业智能(BI)和分析成熟度较低，这给那些希望提高数据资产价值和利用新兴分析技术如机器学习的企业组织带来了巨大障碍。

2018-12-10 14:47:03

Gartner分析BI
大数据技术学习，深度挖掘大数据的现状分析
其实大数据有趣的是它不是直接可以炒作的东西。能够获得广泛兴趣的产品和服务往往是那些人们可以触摸和感受到的，比如：移动应用，社交网络，可穿戴设备，虚拟现实等。但大数据，从根本上说是“管道”。

2018-12-07 14:59:37

大数据数据分析数据科学
大数据处理基本过程
什么是大数据：大数据(big data)，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

2018-12-07 14:50:35

大数据数据采集数据库
公民数据科学家的时代已经到来
数据科学家的身价很高，以至于雇佣他们对于除了谷歌、Facebook、亚马逊和苹果以外的任何企业来说都是一个挑战。而那些有幸从大型科技公司挖走他们或者能够从学术界吸引到他们的CIO们将可以自豪地谈论他们将与他们的数据专家所产生的所有商业见解。

2018-12-06 13:08:30

数据科学家大数据数据科学
都是数据科学家，为什么TA薪水比你高？
同样做数据科学，为什么有人赚得多，有人赚的少?为了科学地回答这个问题，Kaggle 进行了一项系统的调查，从 2018 年 Kaggle ML & DS 调查问卷中总结出 124 条「该做」和「不该做」之事。

2018-12-06 08:56:38

数据科学家数据科学数据
全年盘点：2018年炙手可热的10家数据分析初创公司
随着对业务分析工具的需求不断攀升，不少初创公司都在开发具有新功能的下一代商业智能产品。下面就来看看这10家引起我们关注的数据分析初创公司。

2018-12-06 08:19:27

数据分析初创公司智能技术
全年盘点：2018年炙手可热的10家大数据初创公司
现在，越来越多的初创公司不断开发出创新的大数据产品，以满足数据管理者、数据科学家、数据分析师和其他人的需求，下面就来看看2018年这10家引起我们关注的大数据初创公司吧。

2018-12-06 05:44:57

大数据初创公司大数据技术
分析了6000款App，竟有这么多佳软神器没用过
如今移动互联网越来越发达，各式各样的 App 层出不穷，也就产生了优劣之分，相比于普通 App，我们肯定愿意去使用那些良心佳软，但去发现这些 App 并不太容易，本文使用 Scrapy 框架爬取了著名应用下载市场「酷安网」上的 6000 余款 App，通过分析，发现了各个类别领域下的佼佼者，这些 App 堪称真正的良心之作。

2018-12-05 14:29:22

APP分析网页
【Python爬虫+数据分析】2018年电影，你看了几部？
12月已开始了，离2018年的结束也就半个多月的时间了，还记得年初立下的flag吗?完成了多少?相信很多人和我一样，抱头痛哭...本次利用猫眼电影，实现对2018年的电影大数据进行分析。

2018-12-05 13:59:45

电影分析爬虫
大数据处理的关键技术及应用
数据处理是对纷繁复杂的海量数据价值的提炼，而其中最有价值的地方在于预测性分析，即可以通过数据可视化、统计模式识别、数据描述等数据挖掘形式帮助数据科学家更好的理解数据，根据数据挖掘的结果得出预测性决策。

2018-12-04 15:32:09

数据处理大数据数据分析
大数据时代，区块链在数据安全领域有什么样的表现？
根据网络安全方案供应商詹博网的研究，到2022年，网络犯罪将对全球经济产生8万亿美元的影响，改善各行业的网络安全，使数据免受网络攻击成了当务之急。而区块链作为很多行业的颠覆者，在数据安全领域却蕴藏着巨大的发展潜力。

2018-12-04 12:30:18

区块链大数据数据安全
新一代大数据与人工智能基础架构技术的发展与趋势
2018年是开源软件历史上最精彩的一年，2个IPO加上5个并购，开源技术到达新的高度。回溯过去大数据时代的15年，开源技术的创新潮流，包括集群技术，流计算，数据库，容器技术和机器学习，可谓一波接着一波。

2018-12-03 16:52:22

大数据IT人工智能
Python数据可视化：浅谈数据分析岗
本次通过对BOSS直聘，拉勾网数据分析岗数据分析，了解数据分析岗的行业情况，也以此来了解从事数据分析所需要的技能。

2018-12-03 16:50:23

数据可视化数据分析薪水
Splunk宣布与全新的Amazon Web Services Security Hub集成
致力于将数据转化为行动和价值的 Splunk公司(NASDAQ：SPLK)今天宣布与新推出的Amazon Web Services(AWS)Security Hub集成。AWS Security Hub提供全面的视图来管理安全警报并为AWS客户自动处理合规检查。

2018-12-03 15:03:39

Splunk安全监控
高手总结的15个技巧，让你轻松玩转数据可视化！
大数据时代，数据驱动决策。处理不好庞大、复杂的数据，其价值将大打折扣。那如何缩短数据与用户的距离?让用户一眼抓到重点?让老板为你的汇报方案鼓掌?本文通过连环15关，层层深入，传你数据匹配图形神功，让数据可视化更高效。

2018-11-30 15:44:49

可视化图表数据
高德一站式智能出行解决方案A+Box发布 奥迪成为首个合作品牌
11月30日，高德在2018汽车客户大会上发布了智行战略，高德将从智能出行、智能驾驶、共享出行三个方面助力合作伙伴智能化升级。针对智能出行，高德地图汽车事业部总裁韦东宣布推出一站式解决方案——A+Box。

2018-11-30 11:07:11

高德智能出行奥迪
Python数据可视化：Python大佬有哪些？
之前讲了代理池以及Cookies的相关知识，这里针对搜狗搜索微信公众号文章的爬取，将它俩实践一下。在崔大的书里面，他是用代理IP来应对搜狗的反爬措施，因为同一IP访问网页过于频繁，就会跳转验证码页面。

2018-11-30 10:28:44

Python反爬网页
想成为数据科学家？先做到这6点吧！
《未来简史》中说道“未来，数据为王，谁掌握了数据，谁就处于领先。”2018年即将过去，2019年即将到来。如果你想成为一名数据科学家，本文提出6点建议，希望你在新的一年里能够尽量完成。

2018-11-29 13:30:15

数据科学家项目数据
深入大数据平台心脏：饿了么调度系统全解
随着饿了么在大数据应用的不断深入，需要解决任务数量增长快、任务多样化、任务关系复杂、任务执行效率低及任务失败不可控等问题。

2018-11-29 09:36:56

大数据调度系统
解读|华为云DWS入选Forrester云数据仓库报告
近期，权威IT咨询机构Forrester发布了"The Forrester WaveTM: Cloud Data Warehouse Q4 2018"研究报告，华为云企业级数据仓库成功上榜。

2018-11-28 17:25:47

华为云
Commvault荣膺2018年Gartner Peer Insights“数据中心备份和恢复解决方案”客户最佳选择奖
全球公认的混合环境数据备份、恢复、云和数据管理领导者Commvault(纳斯达克代码：CVLT)今日宣布荣膺2018年Gartner Peer Insights数据中心备份和恢复解决方案客户最佳选择奖。

2018-11-28 16:20:15

数据中心备份恢复
安防AI大数据全流程解析
对于安防AI，看上去是AI，实际上最后是大数据，大数据才是智能化的基础。人工智能、深度学习、机器学习、大数据应用在安防AI中， 说到底都是对大数据的采集、建模和应用。本文大致说一下安防AI中，对于大数据的运用过程与环节，让大家有个大致的印象。

2018-11-28 15:15:52

大数据AI安防
爬取点评成都数据，只为告诉你哪家火锅好吃
冬天到了，天气越来越冷，小编起床越来越困难了，每一天都想吃辣辣的火锅。那么如何选择火锅店呢?最简单的肯定是在美团、大众点评上找一找啊。所以，本文就从大众点评上爬取了成都的火锅数据，来进行了分析。

2018-11-28 13:16:39

火锅数据爬虫
全国41611个景点，用Python告诉你哪些地方更值得一游！
都知道中国地广人不稀，旅游资源非常丰富，古文化遗址、抗战遗址、山川、河流等等，在选择目的地的时候，不少人都会非常纠结，不知道去哪更好。为了以后不再纠结，笔者打算深度解析全国的旅游景点分布。

2018-11-28 10:23:01

Python旅游景点数据
从6730个微信用户中分析出大家的手机使用习惯
今天给大家分享一篇从小程序用户使用网络/微信版本/手机型号/屏幕样式/微信字体大小等方面来分析大家的手机使用习惯。

2018-11-28 09:54:04

微信数据手机
公交车总迟到？你大概掉进了“等待时间悖论”
在等待平均10分钟一班的公交车时，你的平均等待时间将为10分钟。这就叫等待时间悖论。

2018-11-27 05:46:10

等待时间悖论公交车数据分析
上一页 1 ··· 8384858687 ··· 176
点赞

51CTO技术栈公众号

业务
速览
在线客服