51CTO首页
内容精选
博客
学堂
精培
企业培训
CTO训练营
开源基础软件社区
LeaTech全球CTO领导力峰会
公众号矩阵
移动端
51CTO
开源基础软件社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
开源基础软件社区订阅号
51CTO学堂APP
51CTO学堂企业版APP
开源基础软件社区视频号
账号设置 退出

大数据

8799内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 8799 条
用于大数据处理高性能计算的4个实现步骤
如果企业需要采用处理其大数据的高性能计算，则在内部部署运营可能效果最佳。以下是企业需要了解的内容，其中包括高性能计算和Hadoop的不同之处。在大数据领域，并非每家公司都需要高性能计算(HPC)，但几乎所有使用大数据的企业都采用了Hadoop式分析计算。

2018-03-08 12:17:38

大数据HPCHadoop
一行代码，Pandas秒变分布式，快速处理TB级数据
刚刚在Pandas上为十几KB的数据做好了测试写好了处理脚本，上百TB的同类大型数据集摆到了面前。这时候，你可能面临着一个两难的选择：继续用Pandas?可能会相当慢，上百TB数据不是它的菜。

2018-03-08 11:43:18

PandasTB级数据Spark
Hadoop和企业信息管理：利用大数据的解决方案
今天，Hadoop可以提供一个能容纳大型复杂的业务应用程序数据处理基础设施。以大数据为处理模型的核心，运行在Hadoop上的典型业务系统包括三个不同的层：基础结构层、数据层和分析层。

2018-03-08 11:09:29

Hadoop大数据数据仓库
大数据：企业的潜在机遇和风险
大数据意味着企业需要每天处理大量的结构化数据与非结构化数据。据专家介绍，大数据和数据分析在全球企业和组织的成功中起着关键作用。

2018-03-08 09:57:15

大数据机遇风险
如何让顾客愿意分享个人数据？
将个人数据用于改善客户体验，在关键时刻让顾客产生信任，你可以让顾客放心地将个人数据交给公司。多年以来，品牌实践者、学院人士和咨询顾问都有一个共同的呼声：品牌的表达不应局限于创意宣传，它必须以产品或服务的体验为载体。

2018-03-07 11:36:20

数据互联网消费者
Python拉勾网数据采集与可视化
本文是先采集拉勾网上面的数据，采集的是Python岗位的数据，然后用Python进行可视化。主要涉及的是爬虫&数据可视化的知识。先用Python来抓取拉勾网上面的数据，采用的是简单好用的requests模块。

2018-03-07 11:35:49

Python可视化数据
企业使用大数据技术的5种主要方式
大数据的概念是围绕着过去几十年来的全球信息革命所开展的。如今，数据驱动型企业在很大程度上依赖于从行业各个领域收集的信息，这些信息包括客户需求、产品规格、调查数据等等。全球各地的企业都热衷于以创新的方式将大数据整合到他们的平台中。

2018-03-07 11:00:26

大数据技术企业客户
大数据行业洞察：未来2-3年或迎数据时代的真正高潮
无论是数据积累的量变到质变，还是数据到认知层面的过渡，大数据已经开始在一些特定领域和场景下为客户解决实际问题，创造价值。本文将从产业链、市场、误区、挑战四个部分对大数据市场现状以及下一步的发展提出自己的观点与洞察。

2018-03-07 10:32:46

大数据产业链数据
Wikibon：云将成为收获大数据分析财富的催化剂
尽管大数据分析(BDA)已经成为董事会会议讨论的话题，但讨论往往最终归结到一个难题："为什么我们不能产生预期的回报?"科技行业终于在回答这个问题上取得了进展。

2018-03-07 10:14:14

DBA数据分析公有云
数据分布式了，计算也得跟上!
框架自然是把基础设施做好，把重复的工作都做了，让用户写的程序越简单越好，我们的框架会把程序1和程序2分布到各个机器上并行运行，还会监控他们的状态。 还有那个所谓的分组操作，也得我们处理，所以这必然是个框架，我想可以把它叫做MapReduce。”

2018-03-06 16:24:14

数据分布式计算
数据科学研究的现状与趋势全解
大数据时代的到来催生了一门新的学科——数据科学。首先，本文探讨了数据科学的内涵、发展简史、学科地位及知识体系等基本问题，并提出了专业数据科学与专业中的数据科学之间的区别与联系。

2018-03-06 13:48:59

数据科学数据科学家大数据
这5种数据可视化方式是数据科学家标配！
数据可视化是数据科学家工作的重要组成部分。在项目的早期阶段，你通常会进行探索性数据分析(EDA)以获取对数据的一些洞察。

2018-03-06 11:02:43

数据可视化标配
不是技术也能看懂云计算，大数据，人工智能
我今天要讲这三个话题，一个是云计算，一个大数据，一个人工智能，我为什么要讲这三个东西呢?因为这三个东西现在非常非常的火，它们之间好像互相有关系，一般谈云计算的时候也会提到大数据，谈人工智能的时候也会提大数据，谈人工智能的时候也会提云计算。

2018-03-06 10:38:23

云计算大数据人工智能
数据中心能耗问题待解 边缘计算或开启新蓝海
近两年，物联网、人工智能、5G等新技术的不断涌现和发展，一直推动着数据中心的新一轮变革。而关于数据中心的能耗问题，是当前业内亟待解决的难题。不过随着技术的成熟发展，2018年我们或将成为边缘数据中心的发展年。

2018-03-06 10:30:35

数据中心边缘数据中心云计算
两会大数据，00后成新关注者
全国政协十三届一次会议于2018年3月3日在北京开幕，这也标志着一年一度的全国两会工作正式拉开帷幕。那么在两会召开前，各年龄段人群都关注哪些热点议题?

2018-03-05 18:00:48

大数据两会00后
Apache Spark 2.3重要特性介绍
为了继续实现 Spark 更快，更轻松，更智能的目标，Spark 2.3 在许多模块都做了重要的更新，比如 Structured Streaming 引入了低延迟的连续处理(continuous processing)等。

2018-03-05 17:29:52

SparkApache SparSpark 2.3
欧美顶尖大学是如何使用大数据的？
从学费个性化到成绩管理，高校运营日益受到数据的驱动。“你可以说它大胆、疯狂，甚至傲慢自大。但我觉得：如果乔治亚州立大学要做一件大事，就应当以此为目标——一旦实现，就将改变世界。”

2018-03-05 17:23:04

美国高校大数据数据分析
让大数据可视化，艺术家想用它帮我们选择更好的朋友
对于大数据，我们经常听到一些可怕的消息，比如大公司或者政府侵犯个人隐私。不过，往好的方面想，假如我们自己能够运用这些数据让我们生活变得更好呢?

2018-03-05 11:19:19

数据可视化艺术家弗里克
数据分析——2018年企业不可缺少的能力
去年，可谓是新科技术快速发展的一年，世界上大多数国家都沉浸在诸如人工智能、机器学习、物联网和自动化等新技术的演进中。尽管这些技术被证明是促进业务增长的催化剂，但许多小企业领导人却决定将大部分投资集中在数据分析上。

2018-03-02 11:46:35

数据分析中小型企业云
数化万物 智在融合——2018数博会将于五月开幕
今年数博会的年度主题是“数化万物 智在融合”，将于5月26日—29日在贵州贵阳举办。会议期间，贵州省委常委、常务副省长、贵阳市委书记李再勇先生介绍了本届数博会的情况，涉及大会方向、年度主题、活动内容等方面。

2018-03-01 17:22:47

数化万物智在融合2018
人工智能将加快银行业转型！大数据会对每个用户进行信用评级！
在将来的某一天，人工智能是否会彻底替代380余万银行工作人员？人工智能和机器人的“威胁”将改变，未来5年内，银行业30%的工作岗位将会消失！

2018-03-01 17:18:58

人工智能大数据银行
Hadoop分布式文件系统--HDFS的诞生
：这篇文章介绍了HDFS的一些关键设计理念，已经属于非常简化的情况了，没有考虑数据的完整性，节点失效等更多细节。

2018-03-01 16:26:30

HDFSHadoop系统
关于数据科学家面试的那些事儿
数据科学是技术领域中最不明确的领域之一，但是数据科学行业的人才需求确实空前的，无论是应聘者还是招聘人员，这篇文章可能会给你下一次面试带来启发!

2018-03-01 15:34:20

数据科学面试招聘
Hadoop进入寒冬期，崛起的会是Spark吗?
年初的调查中，Hadoop被列为2018年大数据领域的“渐冻”趋势之一，Gartner的调查也揭示了Hadoop使用量的下滑，不少人将Hadoop称作“倒下的大象”，比如Lucidworks首席执行官Will Hayes。如果Hadoop开始进入寒冬期，率先崛起的会是呼声最高的Spark吗?

2018-03-01 14:56:11

HadoopSpark大数据
每个数据科学家都应该知道的六个概率分布
本文重点介绍了日常生活中经常能遇到的六个重要分布，并解释了它们的应用。现在，你已经能够识别、关联和区分这些分布了。

2018-03-01 14:30:22

数据科学概率分布
外媒速递：Hadoop对Spark的正面比拼报告 原创
每一年，市场上都持续出现各类拥有不同数据管理规模、类型与速度表现的分布式系统。在这类方案当中，Hadoop与Spark无疑是最令人瞩目的两款。然而，二者到底孰强孰弱?

2018-03-01 08:39:34

HadoopSpark加密货币
看了数据你就知道中国人有多能花
元宵节来临之际，盘点今年狗年春节，国人爱去哪里度假 爱看哪部电影 青睐什么样的美食 消费支出分布在哪些大类，相比往年又是否花得更多 拥有4500多万流通户的招商银行信用卡发布春节消费大数据显示：国民在购物、旅游交通、餐饮和生活休闲上的消费支出，同比2017年大幅增长，春节消费越发呈现品质化、多样化等特点。

2018-02-28 16:51:47

春节大数据在移动支付
如何成为数据科学家？ 数据科学家的职责技能要求和薪水构成
数据科学是一个快速增长和利润丰厚的行业，BLS预测到这个行业职位将在2024年前增长11%。数据科学家目前正是一个热门的职业。在Glassdoor的美国50年最佳职位报告中，数据科学家的职位空缺，薪水和总体满意度评级，在各行业中均名列前茅。

2018-02-28 15:03:03

数据科学家数据分析职业
公厕大数据：东莞覆盖率最高北京数量最多
近日，在“厕所革命”新三年行动计划的开端，国家旅游局联合高德地图推出中国全域旅游厕所导航系统，切实推进“厕所革命”的落地。从舆情监测数据显示，厕所导航系统的推出在解决民生需求方面所发挥的作用，利用科技手段提升服务效果的思路，以及创新旅游信息服务的方式上均得到社会的高度认可。

2018-02-27 14:50:20

大数据公厕城市
批处理ETL已死，Kafka才是数据处理的未来？
在 QCon 旧金山会议上，Neha Narkhede 做了“ETL 已死，而实时流长存”的演讲，并讨论了企业级数据处理领域所面临的挑战。该演讲的核心前提是开源的 Apache Kafka 流处理平台能够提供灵活且统一的框架，支持数据转换和处理的现代需求。

2018-02-27 14:22:38

ETLKakfa数据集
管理者在数据分析上常犯的9个错误
数据是人类的发明。人类定义了他们想要测量的现象，设计系统收集数据，在分析之前进行清理和预处理，最后选择如何解释结果。即使使用相同的数据集，两个人也可以得出截然不同的结论。这是因为数据本身并不是“地面真实”——能够反应客观现实的、可观察的、可证明的数据。

2018-02-27 13:48:01

大数据管理者数据
如何选择大数据应用程序
为了充分利用大量的数据支出，供应商在各种不同的产品和服务上打上了“大数据”标签。这种产品的扩散会使组织很难找到合适的大数据应用程序来满足他们的需求。专家建议，企业开始选择大数据应用程序的一个好方法是精确地确定自己所需要什么类型的应用程序。

2018-02-27 13:45:01

大数据软件应用程序
云计算是否会减少数据中心的工作机会
云计算是否会减少数据中心工作机会要追溯到2005年，当时Capital One通过将其数据中心业务外包给IBM而淘汰了170个工作岗位，2015年游戏公司Zynga通过关闭数据中心并将工作负载迁移到AWS裁员360个数据中心人员。

2018-02-27 13:42:11

云计算数据中心IT
Gartner：2018年大数据分析平台魔力象限
Gartner近日发布了2018年版面向分析的数据管理解决方案魔力象限。 Gartner特别指出，由于某些因素变得明朗化，具体来说涉及云计算、Hadoop逻辑数据仓库的采用以及中国厂商，这个市场在发生一些变化。面向分析的数据管理解决方案(DMSA)被定义为“支持和管理一个或多个文件管理系统(通常是数据库)中数据的完整软件系统。”

2018-02-27 13:09:00

Hadoop数据仓库魔力象限
大数据告诉你：逃离北上广的人最后都去了哪里？
实际上，长期以来作为“人口抽水机”的一线城市，已隐现人口拐点迹象。据官方统计数据，2015年北京城六区、上海城区常住人口均由正转负，去年北京城六区常住人口再度同比下降3%。

2018-02-26 17:42:58

大数据一线城市北上广深
文本分析了4000万条Stack Overflow讨论帖，这些是程序员最推荐的编程书（附代码）
程序员们都看什么书?他们会向别人推荐哪些书?本文作者分析了Stack Overflow上的4000万条问答，找出了程序员们最常讨论的书，同时非常慷慨地公开了数据分析代码。让我们来看看作者是怎么说的吧。

2018-02-26 17:11:11

程序员开发者书
基于Python实现的微信好友数据分析
今天这篇文章会基于 Python 对微信好友进行数据分析，这里选择的维度主要有：性别、头像、签名、位置，主要采用图表和词云两种形式来呈现结果，其中，对文本类信息会采用词频分析和情感分析两种方法。常言道：工欲善其事，必先利其器也。

2018-02-26 08:44:35

Python微信数据分析
2018年一定要收藏的20款免费预测分析软件！
本文推荐一些免费的预测分析软件，它们主要用于分析统计使用，机器学习和数据挖掘来寻找关于客户行为，市场趋势和原始数据集中其他领域的线索的相关性和模式。其中一些预测建模解决方案可通过许可，免费获得开源或社区版本;其中一些预测分析软件是商业版本的免费版或社区版，但提供的功能较少。

2018-02-25 11:40:43

预测分析分析工具数据分析
这几种语言最合适数据分析
在巨大的数据集中进行筛选的最好工具是什么 通过和数据骇客的交流，我们知道了他们用于硬核数据分析最喜欢的语言和工具包。

2018-02-25 10:37:26

语言数据分析工具
大数据告诉你：中国人春节花掉9260亿，钱都花哪了？
商务部监测数据显示，2018年除夕至正月初六(2月15日至21日，下称“春节假期”)，中国零售和餐饮企业实现销售额约9260亿元，超过此前预测的9000亿元;比去年同期增长10.2%，增幅较去年下降1.2个百分点。西藏、云南、青海、四川等中西部地区零售企业的销售额保持快速增长。

2018-02-25 09:42:16

大数据春节春节消费
又是数据与分析，研究发现60%的高管认为他们在分析方面的支出将会提升
知名研究机构IDG Research于不久前发布了其“CIO Tech Poll: Tech Priorities 2018”研究, 该研究一共涉及到186名IT高管，其中67%属于高管层(C-level)，20%为公司董事，还有10%是公司执行或高级VP。IDG发现，分析，云计算和物联网(IoT)将在未来三到五年内将对组织产生最大的影响力。

2018-02-25 08:15:47

数据分析企业IT高管
大数据在云端的应用需要改变IT技能集
调研机构Enterprise Strategy Group的高级分析师Mike Leone表示，总体而言，云计算中的大数据可以降低内部部署数据中心的成本，并非运行在云端的大数据工作负载或项目都需要企业拥有一名大数据专家，但也有一些企业需要数据专家的帮助，例如涉及Hadoop。

2018-02-24 22:26:51

大数据云计算数据中心
5年大数据，看互联网下的“花样”春节
春节正在成为中国社会发展的一个缩影，特别是近年来，互联网模式的深入推进，网购年货、好友助力抢车票、旅游式过年、搭顺风车回家、手机红包送祝福……春节的玩法变得越来越新颖、多样。

2018-02-24 21:44:05

互联网大数据春节
【干货】全球大数据领域开源工具汇总
本文汇总了全球大数据领域顶级开源工具，大数据技术从业人员必读。

2018-02-23 16:38:58

大数据开源工具
大数据的提升：Hadoop即服务的迅猛发展
Haadoop是一个基于开放源代码的软件框架，能够跨分布式集群高吞吐量处理大数据量。利基市场几年前就开始进入主流市场。随着数字化运动的快速扩展，Hadoop提供了充足的使用案例，允许使用普通商品硬件进行大数据处理。

2018-02-09 15:34:57

HadoopSaas云服务
政府大数据治理与区块链技术应用探析
政府大数据的价值是潜在的，只有结合一定的应用需求和应用场景，由合适的对象用适当的方法加以开发和利用，才能发挥出来，否则就只能是一笔“沉睡”的资产。因此，政府部门如何盘活和管理这笔数据资产就显得尤为重要，政府大数据治理就是要解决这一问题。

2018-02-09 15:10:26

大数据治理区块链政府大数据
思科：3年后几乎所有数据中心工作负载都将是基于云的
近日发布的最新思科全球云指数(Cisco Global Cloud Index)显示，商业和消费应用正在推动云服务的增长。因此，数据中心治理和数据控制方面有所改进，思科预测，到2021年94%的工作负载和实例将由云数据中心处理。届时，企业数据中心环境中的专用服务器将越来越少。

2018-02-09 15:01:35

数据中心云物联网
外媒速递：将在2018年全面袭来的四大数据分析趋势 原创
与社交、移动与云一起，分析与数据相关技术已经成为数字化时代下核心业务的颠覆者。随着企业在2017年开始逐步由数据生成组织转向数据驱动型组织，数据收集与分析也越来越多地成为各类企业的关注重点。

2018-02-09 08:39:02

大数据分析WiFiAI
大数据和BI商业智能有何区别？有何相关？
大数据 ≠BI商业智能，大数据也不是传统商业智能的简单升级。当然纯粹从思想的角度讲，两者在概念上是可以实现统一的，都遵循数据-信息-知识-智慧这个脉络，甚至在更高的层次，两者也是可以统一的。

2018-02-09 07:47:47

大数据BI商业智能
一个Spark缓存的使用示例
之前一直不是非常理解Spark的缓存应该如何使用. 今天在使用的时候, 为了提高性能, 尝试使用了一下Cache, 并收到了明显的效果。关于Cache的一些理论介绍, 网上已经很多了. 但是貌似也没有一个简单的例子说明。

2018-02-08 18:00:49

Spark文件测试
上一页 1 ··· 979899100101 ··· 176
点赞

51CTO技术栈公众号

业务
速览
在线客服