51CTO首页
AI.x社区
博客
学堂
精品班
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

大数据

8917内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 8917 条
大数据垄断怎么破：打破数据壁垒，实现数据开放
两会议程过半，大数据开放成了热门词。这一热点背后，是中国大数据发展处在起步阶段，不少基础性、关键性数据仍被众多部门和机构束之高阁，少数大型互联网垄断企业为追求利益最大化，以安全和企业机密等原因拒绝向社会提供关键数据，整个国家数据共享开放程度不高。

2018-03-15 10:36:30

大数据数据开放数据平台
大数据揭秘区块链人才大迁徙：那个你身边悄悄离职的人去哪儿了？
2018年开头，冰火两重天。2月初，全球股市大跌，人们蓦然发现离上一场经济危机已过去十年，按周期律，“崩盘”预测不绝于耳;而另一边，加密数字货币和区块链热潮却一枝独秀，让许多急于补课的人度过了一个史上最繁忙春节。

2018-03-15 10:24:56

大数据区块链VC
5种快速易用的Python Matplotlib数据可视化方法
在项目的早期阶段，我们通常需要进行探索性数据分析来获得对数据的洞察。通过数据可视化可以让该过程变得更加清晰易懂，尤其是在处理大规模、高维度数据集时。本文我们介绍了最基本的5种数据可视化图表，在展示了它们的优劣点后，我们还提供了绘制对应图表的Matplotlib代码。

2018-03-15 09:57:00

PythonMatplotlib数据可视化
大数据时代的三大趋势和三大困境
一家公司的数字化改造应该从清晰的趋势和障碍出发，更好地规划出一条通往其所寻求业务成果的路线。考虑到这一点，以下是我们关注的三大数据趋势，以及在数字时代可能出现在企业和成功之间的三大困境。

2018-03-15 09:53:48

大数据机器学习云服务
用2600条文本数据，为你揭秘TED受欢迎的真正原因！
这次分享主要是想通过文本分析重新认识TED，探究TED为何如此受欢迎?我将以案例分析形式向大家展示，如何利用自己已有的文本数据，运用NLP(自然语言处理)的方法，从不同维度来探究TED是一个怎样的存在。

2018-03-15 09:00:28

TED文本分析NLP
关于Hive数据仓库的那些事儿--数据存储结构
在Row-based数据库中，一行记录中的每一列都是紧挨着另一列存放在硬盘中的，行之间也成线性存储。这样的模式十分适用于OLTP工作，由于每次操作对象都是某几行记录，每次查询只需要从硬盘中加载最少的数据。

2018-03-15 08:50:46

Hive-数据存储
【大数据】20个运维案例，完美部署全分布式Hadoop集群！
20个生产环境的运维案例，实操练习大数据运维——全面学会如何部署一个完全可用于实际生产的全分布式Hadoop集群，具备IT企业大数据部门中级水平的运维能力。

2018-03-13 15:23:47

大数据hadoop系统运维
数据分析如何识别工作环境中是否存在负面因素
我们一直研究，发现了一个令人惊讶的趋势，被称为“漏桶问题”。当企业希望建立一个多元化的员工队伍时，他们通常会关注于招聘工作。但问题往往存在于其职位的持续性：具体而言，出于各种原因，少数族裔群体的离职率特别高。

2018-03-13 13:38:53

数据Visier公司管理者
全球工作大数据：中国的工作效率高位列全球第四
近日，Priceonomics网站利用Redbooth的数据，梳理统计出过去三年，40个国家所有行业的生产和任务完成情况。结果显示，中国的工作效率高，完成一项任务平均需要13.4天，位列全球第四。

2018-03-13 13:13:09

大数据工作效率
Python数据预处理：使用Dask和Numba并行化加速
本文是针对Python设计一种并行处理数据的解决方案——使用Dask和Numba并行化加速运算速度。案例对比分析了几种不同方法的运算速度，非常直观，可供参考。

2018-03-13 12:51:12

Python数据函数
Java专业人员如何利用Hadoop的力量？
数据来自不同的来源--无论是Twitter更新还是不断的社交媒体数据，这些数据在形式上都是高度非结构化的。传统关系数据库用来将所有数据存储在关系表中的时代已经过去了。公司越来越多地将Java开发角色外包给其他方面。

2018-03-13 12:37:59

JavaHadoop大数据
这份调查显示：大数据对企业愈发重要，但数据驱动还是空谈
连续六年来，NewVantage Partners每年都做了一项关于大型企业高管如何看待数据的调查。调查的反响愈加热烈，而结果也反映了管理层高效使用数据的要求越来越迫切。今年，调查结果喜忧参半，既有鼓舞人心的一面，也暴露了比过去都更让人忧心的地方。

2018-03-13 12:00:17

大数据数据驱动AI
如何成为一名数据科学家？或许你该听听这些知名数据科学家们给出的建议
最近，我在读Sebastian Gutierrez’s “Data Scientists at Work”这本书，他采访16个不同行业的16位数据科学家了解他们如何从理论思考问题和如何解决实际问题，数据是怎样发挥作用，并且是如此成功。

2018-03-12 12:44:59

数据科学家人工智能数据科学
Hadoop 分布式存储与传统SQL存储比较及存储操作描述
Hadoop 读时模式（Schema on read）,传统SQL是 写时模式（Schema on write）.传统数据库存储时对数据进行检查，需要检查表结构定义等必须匹配后才让存储（write），否则就报错。Hadoop 是你拿过任何数据格式我都给你存储，只要你给我读取这些数据的接口程序，在用到这些数据时（read），才会检查。

2018-03-12 08:33:34

Hadoop存储
现代数据架构的7个关键技术
企业IT基础设施平台的重新构建是一项复杂的任务。重新构建平台通常由一系列变化的关键业务驱动因素引发，现在情况正是如此。简而言之，主导企业IT技术的近30年的平台无法再满足推动业务发展所需的工作负载的需求。

2018-03-09 12:00:02

数字化数据库容器
Ness SES首席技术官：最终，Hadoop老了！
对于Hadoop飘忽不定的未来，Ness SES的首席技术官(CTO)Moshe Kranc写下了这篇文章。计算机世界充斥着大量先动者的产品，但最终都会被追随者所取代，后来者从创新者的错误中学习并继续发展。我相信这是Hadoop的命运，因为Spark和Cassandra等已经在大数据社区获得了持续发展的动力。

2018-03-09 11:41:09

大数据HadoopSpark
两会大数据：90后更关注收入，70后更关注教育
近日，今日头条发布当天的两会阅读大数据。当天，《政府工作报告》相关内容仍然是网民关心的热点。数据显示，全社会对两会相关内容保持高度关注，但是在不同的年龄段中，关注的侧重点出现了差异。

2018-03-09 11:24:40

两会大数据教育
用于大数据处理高性能计算的4个实现步骤
如果企业需要采用处理其大数据的高性能计算，则在内部部署运营可能效果最佳。以下是企业需要了解的内容，其中包括高性能计算和Hadoop的不同之处。在大数据领域，并非每家公司都需要高性能计算(HPC)，但几乎所有使用大数据的企业都采用了Hadoop式分析计算。

2018-03-08 12:17:38

大数据HPCHadoop
一行代码，Pandas秒变分布式，快速处理TB级数据
刚刚在Pandas上为十几KB的数据做好了测试写好了处理脚本，上百TB的同类大型数据集摆到了面前。这时候，你可能面临着一个两难的选择：继续用Pandas?可能会相当慢，上百TB数据不是它的菜。

2018-03-08 11:43:18

PandasTB级数据Spark
Hadoop和企业信息管理：利用大数据的解决方案
今天，Hadoop可以提供一个能容纳大型复杂的业务应用程序数据处理基础设施。以大数据为处理模型的核心，运行在Hadoop上的典型业务系统包括三个不同的层：基础结构层、数据层和分析层。

2018-03-08 11:09:29

Hadoop大数据数据仓库
大数据：企业的潜在机遇和风险
大数据意味着企业需要每天处理大量的结构化数据与非结构化数据。据专家介绍，大数据和数据分析在全球企业和组织的成功中起着关键作用。

2018-03-08 09:57:15

大数据机遇风险
如何让顾客愿意分享个人数据？
将个人数据用于改善客户体验，在关键时刻让顾客产生信任，你可以让顾客放心地将个人数据交给公司。多年以来，品牌实践者、学院人士和咨询顾问都有一个共同的呼声：品牌的表达不应局限于创意宣传，它必须以产品或服务的体验为载体。

2018-03-07 11:36:20

数据互联网消费者
Python拉勾网数据采集与可视化
本文是先采集拉勾网上面的数据，采集的是Python岗位的数据，然后用Python进行可视化。主要涉及的是爬虫&数据可视化的知识。先用Python来抓取拉勾网上面的数据，采用的是简单好用的requests模块。

2018-03-07 11:35:49

Python可视化数据
企业使用大数据技术的5种主要方式
大数据的概念是围绕着过去几十年来的全球信息革命所开展的。如今，数据驱动型企业在很大程度上依赖于从行业各个领域收集的信息，这些信息包括客户需求、产品规格、调查数据等等。全球各地的企业都热衷于以创新的方式将大数据整合到他们的平台中。

2018-03-07 11:00:26

大数据技术企业客户
大数据行业洞察：未来2-3年或迎数据时代的真正高潮
无论是数据积累的量变到质变，还是数据到认知层面的过渡，大数据已经开始在一些特定领域和场景下为客户解决实际问题，创造价值。本文将从产业链、市场、误区、挑战四个部分对大数据市场现状以及下一步的发展提出自己的观点与洞察。

2018-03-07 10:32:46

大数据产业链数据
Wikibon：云将成为收获大数据分析财富的催化剂
尽管大数据分析(BDA)已经成为董事会会议讨论的话题，但讨论往往最终归结到一个难题："为什么我们不能产生预期的回报?"科技行业终于在回答这个问题上取得了进展。

2018-03-07 10:14:14

DBA数据分析公有云
数据分布式了，计算也得跟上!
框架自然是把基础设施做好，把重复的工作都做了，让用户写的程序越简单越好，我们的框架会把程序1和程序2分布到各个机器上并行运行，还会监控他们的状态。 还有那个所谓的分组操作，也得我们处理，所以这必然是个框架，我想可以把它叫做MapReduce。”

2018-03-06 16:24:14

数据分布式计算
数据科学研究的现状与趋势全解
大数据时代的到来催生了一门新的学科——数据科学。首先，本文探讨了数据科学的内涵、发展简史、学科地位及知识体系等基本问题，并提出了专业数据科学与专业中的数据科学之间的区别与联系。

2018-03-06 13:48:59

数据科学数据科学家大数据
这5种数据可视化方式是数据科学家标配！
数据可视化是数据科学家工作的重要组成部分。在项目的早期阶段，你通常会进行探索性数据分析(EDA)以获取对数据的一些洞察。

2018-03-06 11:02:43

数据可视化标配
不是技术也能看懂云计算，大数据，人工智能
我今天要讲这三个话题，一个是云计算，一个大数据，一个人工智能，我为什么要讲这三个东西呢?因为这三个东西现在非常非常的火，它们之间好像互相有关系，一般谈云计算的时候也会提到大数据，谈人工智能的时候也会提大数据，谈人工智能的时候也会提云计算。

2018-03-06 10:38:23

云计算大数据人工智能
数据中心能耗问题待解 边缘计算或开启新蓝海
近两年，物联网、人工智能、5G等新技术的不断涌现和发展，一直推动着数据中心的新一轮变革。而关于数据中心的能耗问题，是当前业内亟待解决的难题。不过随着技术的成熟发展，2018年我们或将成为边缘数据中心的发展年。

2018-03-06 10:30:35

数据中心边缘数据中心云计算
两会大数据，00后成新关注者
全国政协十三届一次会议于2018年3月3日在北京开幕，这也标志着一年一度的全国两会工作正式拉开帷幕。那么在两会召开前，各年龄段人群都关注哪些热点议题?

2018-03-05 18:00:48

大数据两会00后
Apache Spark 2.3重要特性介绍
为了继续实现 Spark 更快，更轻松，更智能的目标，Spark 2.3 在许多模块都做了重要的更新，比如 Structured Streaming 引入了低延迟的连续处理(continuous processing)等。

2018-03-05 17:29:52

SparkApache SparSpark 2.3
欧美顶尖大学是如何使用大数据的？
从学费个性化到成绩管理，高校运营日益受到数据的驱动。“你可以说它大胆、疯狂，甚至傲慢自大。但我觉得：如果乔治亚州立大学要做一件大事，就应当以此为目标——一旦实现，就将改变世界。”

2018-03-05 17:23:04

美国高校大数据数据分析
让大数据可视化，艺术家想用它帮我们选择更好的朋友
对于大数据，我们经常听到一些可怕的消息，比如大公司或者政府侵犯个人隐私。不过，往好的方面想，假如我们自己能够运用这些数据让我们生活变得更好呢?

2018-03-05 11:19:19

数据可视化艺术家弗里克
数据分析——2018年企业不可缺少的能力
去年，可谓是新科技术快速发展的一年，世界上大多数国家都沉浸在诸如人工智能、机器学习、物联网和自动化等新技术的演进中。尽管这些技术被证明是促进业务增长的催化剂，但许多小企业领导人却决定将大部分投资集中在数据分析上。

2018-03-02 11:46:35

数据分析中小型企业云
数化万物 智在融合——2018数博会将于五月开幕
今年数博会的年度主题是“数化万物 智在融合”，将于5月26日—29日在贵州贵阳举办。会议期间，贵州省委常委、常务副省长、贵阳市委书记李再勇先生介绍了本届数博会的情况，涉及大会方向、年度主题、活动内容等方面。

2018-03-01 17:22:47

数化万物智在融合2018
人工智能将加快银行业转型！大数据会对每个用户进行信用评级！
在将来的某一天，人工智能是否会彻底替代380余万银行工作人员？人工智能和机器人的“威胁”将改变，未来5年内，银行业30%的工作岗位将会消失！

2018-03-01 17:18:58

人工智能大数据银行
Hadoop分布式文件系统--HDFS的诞生
：这篇文章介绍了HDFS的一些关键设计理念，已经属于非常简化的情况了，没有考虑数据的完整性，节点失效等更多细节。

2018-03-01 16:26:30

HDFSHadoop系统
关于数据科学家面试的那些事儿
数据科学是技术领域中最不明确的领域之一，但是数据科学行业的人才需求确实空前的，无论是应聘者还是招聘人员，这篇文章可能会给你下一次面试带来启发!

2018-03-01 15:34:20

数据科学面试招聘
Hadoop进入寒冬期，崛起的会是Spark吗?
年初的调查中，Hadoop被列为2018年大数据领域的“渐冻”趋势之一，Gartner的调查也揭示了Hadoop使用量的下滑，不少人将Hadoop称作“倒下的大象”，比如Lucidworks首席执行官Will Hayes。如果Hadoop开始进入寒冬期，率先崛起的会是呼声最高的Spark吗?

2018-03-01 14:56:11

HadoopSpark大数据
每个数据科学家都应该知道的六个概率分布
本文重点介绍了日常生活中经常能遇到的六个重要分布，并解释了它们的应用。现在，你已经能够识别、关联和区分这些分布了。

2018-03-01 14:30:22

数据科学概率分布
外媒速递：Hadoop对Spark的正面比拼报告 原创
每一年，市场上都持续出现各类拥有不同数据管理规模、类型与速度表现的分布式系统。在这类方案当中，Hadoop与Spark无疑是最令人瞩目的两款。然而，二者到底孰强孰弱?

2018-03-01 08:39:34

HadoopSpark加密货币
看了数据你就知道中国人有多能花
元宵节来临之际，盘点今年狗年春节，国人爱去哪里度假 爱看哪部电影 青睐什么样的美食 消费支出分布在哪些大类，相比往年又是否花得更多 拥有4500多万流通户的招商银行信用卡发布春节消费大数据显示：国民在购物、旅游交通、餐饮和生活休闲上的消费支出，同比2017年大幅增长，春节消费越发呈现品质化、多样化等特点。

2018-02-28 16:51:47

春节大数据在移动支付
如何成为数据科学家？ 数据科学家的职责技能要求和薪水构成
数据科学是一个快速增长和利润丰厚的行业，BLS预测到这个行业职位将在2024年前增长11%。数据科学家目前正是一个热门的职业。在Glassdoor的美国50年最佳职位报告中，数据科学家的职位空缺，薪水和总体满意度评级，在各行业中均名列前茅。

2018-02-28 15:03:03

数据科学家数据分析职业
公厕大数据：东莞覆盖率最高北京数量最多
近日，在“厕所革命”新三年行动计划的开端，国家旅游局联合高德地图推出中国全域旅游厕所导航系统，切实推进“厕所革命”的落地。从舆情监测数据显示，厕所导航系统的推出在解决民生需求方面所发挥的作用，利用科技手段提升服务效果的思路，以及创新旅游信息服务的方式上均得到社会的高度认可。

2018-02-27 14:50:20

大数据公厕城市
批处理ETL已死，Kafka才是数据处理的未来？
在 QCon 旧金山会议上，Neha Narkhede 做了“ETL 已死，而实时流长存”的演讲，并讨论了企业级数据处理领域所面临的挑战。该演讲的核心前提是开源的 Apache Kafka 流处理平台能够提供灵活且统一的框架，支持数据转换和处理的现代需求。

2018-02-27 14:22:38

ETLKakfa数据集
管理者在数据分析上常犯的9个错误
数据是人类的发明。人类定义了他们想要测量的现象，设计系统收集数据，在分析之前进行清理和预处理，最后选择如何解释结果。即使使用相同的数据集，两个人也可以得出截然不同的结论。这是因为数据本身并不是“地面真实”——能够反应客观现实的、可观察的、可证明的数据。

2018-02-27 13:48:01

大数据管理者数据
如何选择大数据应用程序
为了充分利用大量的数据支出，供应商在各种不同的产品和服务上打上了“大数据”标签。这种产品的扩散会使组织很难找到合适的大数据应用程序来满足他们的需求。专家建议，企业开始选择大数据应用程序的一个好方法是精确地确定自己所需要什么类型的应用程序。

2018-02-27 13:45:01

大数据软件应用程序
云计算是否会减少数据中心的工作机会
云计算是否会减少数据中心工作机会要追溯到2005年，当时Capital One通过将其数据中心业务外包给IBM而淘汰了170个工作岗位，2015年游戏公司Zynga通过关闭数据中心并将工作负载迁移到AWS裁员360个数据中心人员。

2018-02-27 13:42:11

云计算数据中心IT
上一页 1 ··· 99100101102103 ··· 179
点赞

51CTO技术栈公众号

业务
速览
在线客服