51CTO首页
AI.x社区
博客
学堂
精品班
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

大数据

8917内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 8917 条
百 PB 级 Hadoop 集群存储空间治理
现在这个世道，随便什么公司什么人都张嘴闭嘴大数据，连做个几十人的问卷都敢叫大数据调查分析。真是无知者无畏。

2019-04-26 15:38:34

Hadoop集群存储
数据工程师和数据科学家有什么不同
我们最近在Reddit上做了问答活动。有个最常见的问题是数据科学家和数据工程师之间的区别。因此，我们想在这个主题上下写一篇文章来深入探讨下这个话题。

2019-04-26 14:27:07

大数据数据科学数据工程师
“数据分析岗位”招聘情况分析！| Excel版
为了练习Excel技能，以及实践数据分析的流程。我用Web Scraper爬取了前程无忧4月16日全国发布的约2500条数据分析的职位信息，对数据分析岗位的招聘情况进行简单的分析。整个过程分为五个步骤：明确目的，观察数据，清洗数据，分析过程，得出结论。

2019-04-26 13:13:47

Excel数据分析招聘信息
4大数据分析要素 “套路”方法要学会！
要做一名优秀数据分析师，首先对数据分析岗位有基本的概念，其次，要明白数据分析中有哪些套路和方法，如此，才能举一反三，才能不同场景数据分析切换自如。下面我们高屋建瓴，抽茧剥丝般讲讲数据分析四大要素。

2019-04-25 14:20:56

数据分析套路工具
从主数据到大数据 企业数字化转型的必由之路
近年来，在很多行业和企业中，在讨论或谋求数字化转型升级，但是显得有些浮躁，潮流的概念也层出不穷，德国工业4.0、中国制造2025、数字化转型、两化融合等热词和口号喊的很多，但距离实际发展方向和目标感觉差的很远，其中原因我认为主要是数字化的基础没有打好。

2019-04-25 14:16:37

主数据工业4.0物联网
联通大数据赵越：大数据是“智能经济”时代的源动力
4月23日，2019上海5G创新发展峰会暨中国联通全球产业链合作伙伴大会在上海世博中心正式拉开帷幕。

2019-04-24 15:04:18

大数据上海智能经济
浅谈大数据开发工程师的两年工作经验总结
今天呢，博主主要回顾这两年来，在大数据行业公司从事大数据类的前端开发的工作。最近刚刚换了一份工作，把我的经验稍作总结分享给大家，有什么建议大家在评论区踊跃。 谢谢。

2019-04-24 13:28:17

大数据大数据开发可视化
大数据：学Hadoop好还是Spark好？
相信看这篇文章的你们，都和我一样对Hadoop和Apache Spark的选择有一定的疑惑，今天查了不少资料，我们就来谈谈这两种 平台的比较与选择吧，看看对于工作和发展，到底哪个更好。

2019-04-24 13:07:16

HadoopSpark分布式架构
数据分析师、大数据开发、Hadoop开发工程师等各路人才薪资怎么样？
根据中国商业联合会数据分析专业委员会统计，未来中国基础性数据分析人才缺口将达到1400万，而在BAT企业招聘的职位里，60%以上都在招大数据人才。

2019-04-24 12:45:00

大数据就业平均工资
适用于物联网应用的强大数据可视化工具
在这篇文章里，我将介绍一些用于物联网应用程序数据可视化的最强大的工具，并讨论选择相关的选择标准。

2019-04-23 15:54:04

物联网数据可视化IOT
Hadoop大数据分析平台的介绍性讨论
Hadoop是迄今为止MapReduce最主流的执行，是一个完全开源的平台，用于处理大数据。它具有足够的适应性，能够同时处理各种数据源，或者汇集不同的信息源(记住进行大规模处理的最终目标)或者从数据库中读取数据以便运行处理器 - 学习机器学习的工作。

2019-04-23 15:35:53

Hadoop大数据数据处理
大数据应用案例：Dealer Tire通过大数据预测消费者何时需要轮胎
利用大量交易数据和别的数据来增加收入的策略比比皆是。为了实现这些大数据目标，各大公司正在投资分析项目，这些项目的核心工具包括可以清理、组织和对数据进行建模的软件，以培养业务洞察力。IDC的市场调研称，大数据和商业分析软件在全球的收入将在2022年达到2,600亿美元，从2017年到2022年的复合年增长率为12%。

2019-04-23 11:38:30

数据科学Dealer Tire轮胎
强推！十大顶级大数据可视化工具
要使数据分析真正有价值和有洞察力，就需要高质量的可视化工具。市场上有很多产品，特点和价格各不相同，本文列出了一些广泛认可的工具。

2019-04-23 08:00:25

大数据可视化工具数据分析
大数据开发：剖析Hadoop和Spark的Shuffle过程差异
本文旨在剖析Hadoop和Spark的Shuffle过程，并对比两者Shuffle的差异。Shuffle描述的是数据从Map端到Reduce端的过程，大致分为排序(sort)、溢写(spill)、合并(merge)、拉取拷贝(Copy)、合并排序(merge sort)这几个过程。

2019-04-22 15:24:24

HadoopSuffleMap端
你应该知道的HBase基础，都在这儿了
2006 年10 月Google 发布三架马车之一的《Bigtable：A Distributed Storage System for Strctured Data》论文之后，Powerset 公司就宣布 HBase 在 Hadoop 项目中成立，作为子项目存在。今天，蚂蚁金服的南俊从基础开始讲起，希望有助于增强大家在实际业务中对 HBase 的理解。

2019-04-22 14:12:12

HBase集群Google
企业如何实现对工业大数据的预处理？
数据分析，包括大数据分析，在企业的业务中，特别是在传统的商务行业，已有多年的应用实践，在消费者市场的营销中已成了必不可缺的技术。随着工业互联网和智能制造的兴起和发展，工业大数据技术也越来越受到各方关注。

2019-04-19 15:00:29

工业大数据数据分析企业
大数据行业步入快车道？忽视了它最终要被大浪淘沙
Gartner一份分析报告指出：使用先进的大数据分析系统的企业将比未使用的企业盈利能力高出20%，更多的企业开始将大数据分析作为公司盈利能力增强的潜在手段而进行摸索。

2019-04-19 14:28:16

大数据数据分析数据科学
大数据应成为大学课程的重中之重
随着技术的进步，越来越多的公司正在生产大量数据，作为其日常运营的副产品。虽然专家并不认为“大多数企业实际上已经淹没”数据海洋，但可以说，想要长期未来的公司最好开始认真对待大数据。

2019-04-19 14:09:36

大数据数据科学教育
大规模集群下的Hadoop NameNode
本文我们来看看，如果大量客户端对NameNode发起高并发(比如每秒上千次)访问来修改元数据，此时NameNode该如何抗住?

2019-04-18 11:37:49

NameNodeHDFS架构
大数据生态系统入门必看：Pig、Hive、Hadoop、Storm等白话诠释
大数据本身是个很宽泛的概念，Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。

2019-04-18 10:30:50

大数据Hadoop数据分析
医疗大数据：如何实现商业化变现？
医疗大数据的火，早在2018年已有据可循，截止去年12月医疗大数据赛道，累积有600+创业公司，193个融资项目，230+家投资机构争相入场，创与投量级增长背后是全行业的蓄势待发。

2019-04-18 09:04:32

医疗大数据AI医疗大数据
一篇文章看懂 Spark RDD
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。它产生于 UC Berkeley AMP Lab，继承了 MapReduce 的优点，但是不同于 MapReduce 的是，Spark 可以将结果保存在内存中，一直迭代计算下去，除非遇到 shuffle 。

2019-04-17 15:16:00

Sparkshuffle算法
从源码解密Spark内存管理
我们都知道spark之所以比mapreduce计算的快，是因为他是基于内存的，不用每次计算完都写磁盘，再读取出来进行下一次计算，spark直接把内存作为数据的临时储存介质。所以mapreduce就没有强调内存管理，而spark需要管理内存。

2019-04-17 14:44:42

Spark内存源码
大数据告诉你，996戳中了谁又戳痛了谁？
“工作996，生病ICU”，一句原本程序员之间的自嘲，在最近一个月却突然引起全社会的关注。先来看看近一个月“996工作制”在网络上的热度走势。

2019-04-17 14:36:38

大数据工作996制员工
DaaS能否帮助企业从数据湖中获益？
数据即服务(DaaS)从2015年开始被使用，是一项较新的技术。它通过各种API将数据按需交付给消费者，以避免需要获取和存储大型数据资产，然后在数据资产中搜索所需信息。

2019-04-17 09:10:00

DaaS数据湖云计算
如何11步转行数据科学家 (适用数据员/ MIS / BI分析师)
我经常遇到一些优秀的商业智能分析师 (BI)，寻求获得自己人生的第一个数据科学角色。但他们常常因缺乏机会而沮丧。他们中很多人感觉自己的角色是重复的，或者只需要扮演好被要求的角色。

2019-04-16 15:06:41

数据科学职业BI
大数据开发和大数据分析有什么不同？
大数据分析工程师和大数据开发工程师分别能做什么?非要把他俩分开的话，一个是偏向于数据，一个偏向于工程。好比要炒个菜，工程师是烧火、颠勺的那个，偏向于工具的使用。分析师是放调料、掌握火候的那个，偏向菜怎么做好吃。

2019-04-15 15:32:12

大数据开发数据分析数据科学
大数据改变了网络主机市场的两端
大数据已经改变了网络主机市场的两端。文中将讨论这一点的重要性以及应该了解的内容。云计算技术对网络托管行业产生了深远的影响。它主要是由大数据的进步推动的。由于大数据已经彻底改变了网络托管行业，因此有大量新的托管选项可供选择。

2019-04-15 15:13:00

大数据网络托管网络主机
数据分析与可视化：谁是安全圈的吃鸡第一人
安全圈的黑阔大佬们，在不开挂的情况下，谁会是他们之中技术最好的呢？带着这样的疑问，作者试着从数据分析的角度来看看谁会是安全圈的吃鸡第一人。

2019-04-15 14:15:59

web安全数据分析可视化
大数据分析建模及其应用建议
通过对数据的收集、存储、再组织和分析建模，隐藏在数据中的重要价值及规律逐渐展现出来，正成为企业转型升级及可持续发展的重要推动力量。大数据分析建模是大数据应用的核心和重要基础，已成为科技界和企业界关注的热点话题。

2019-04-15 13:40:47

大数据分析建模数据数据分析
16个用于数据科学和机器学习的顶级平台
调研机构Gartner公司将数据科学和机器学习平台定义为“具有凝聚力的软件应用程序，它提供了创建多种数据科学解决方案以及将这些解决方案合并到业务流程、周围基础设施和产品中所必需的基本构建块的混合体。”

2019-04-15 13:25:29

数据科学机器学习Gartner
像数据科学家一样思考：12步指南（上）
目前，数据科学家正在受到很多关注，因此，有关数据科学的书籍正在激增。我看过很多关于数据科学的书籍，在我看来他们中的大多数更关注工具和技术，而不是数据科学中细微问题的解决。

2019-04-11 18:00:40

数据数据科学项目
大数据和人工智能的关系，超全解析
在PaaS层中一个复杂的通用应用就是大数据平台。大数据是如何一步一步融入云计算的呢?首先我们来看一下大数据里面的数据，就分三种类型，一种叫结构化的数据，一种叫非结构化的数据，还有一种叫半结构化的数据。

2019-04-11 17:44:08

大数据人工智能机器
给有抱负的数据科学家的六条建议
对于一个想转行开始数据科学生涯的毕业生或数据分析人员来说，要在这个领域做一些事来展现自己的技能是很有挑战的。我会同时站在企业招聘数据科学家的角度和求职者应聘数据科学家的角度，来谈一谈这个职业需要的几点关键经验。

2019-04-11 17:24:48

数据科学可视化白皮书
如何做一枚合格的数据产品经理
对于任何产品团队，都需要一个人来对产品生命周期的负责。换句话说，我们需要一个数据科学产品经理。而且，由于当时的组织结构有变动，我不得不暂时接盘这个职位。下面是我对如何成功地做一枚数据产品经理的理解。

2019-04-11 14:16:31

数据产品经理数据科学数据
2019值得关注的数据可视化工具TOP5
数据可视化在数据分析过程中的扮演着非常重要的角色。对于数据科学家或数据分析师来说，以更直观、便于查看、甚至更吸引人的视觉效果来呈现数据是很重要的。

2019-04-11 11:03:30

数据可视化工具
大数据带给保险业的三大挑战
回顾历史，互助共济的思想古已有之，但漫长的农耕文明却没有让它破土成长;航海技术的突破、国际市场的拓展催生了保险婴儿，市场经济的勃兴为它搭建起广阔的舞台，人人为我、我为人人，保险制度在凝聚爱心、播洒亲情、弘扬人性的美好中，走向了灿烂与辉煌。人类正加速走向大数据时代，对保险这种制度将带来什么影响?保险机制与大数据是相生还是相克?

2019-04-10 19:01:01

大数据保险业医疗保险
大数据与人工智能，你都分不清楚，居然还要走向人生巅峰
大数据vs.人工智能是一种公平的比较吗?在某种程度上，它是，但首先让我们先厘清它们之间的区别。

2019-04-10 15:20:51

人工智能大数据算法
除Kaggle外，还有哪些顶级数据科学竞赛平台
除了Kaggle，其实还有不少类似的平台，下面文摘菌就给大家盘点一下这些顶级竞争数据科学平台。

2019-04-10 09:44:05

Kaggle数据科学数据集
数据科学岗位将在未来5年内重新洗牌，你准备好转型了吗？
计算器的工作曾经由人来做;网站管理员曾经是热门职业;中层管理人员也曾配备过秘书。技术的迭代变革了一批又一批职业，数据科学家也不会例外……

2019-04-09 21:00:55

数据科学职业数据工程师
必看！大数据技术学习，深度挖掘大数据的现状分析
其实大数据有趣的是它不是直接可以炒作的东西。能够获得广泛兴趣的产品和服务往往是那些人们可以触摸和感受到的，比如：移动应用，社交网络，可穿戴设备，虚拟现实等。但大数据，从根本上说是“管道”。

2019-04-09 20:55:30

大数据数据挖掘数据分析
读懂工业大数据 这篇文章不得不看
对于企业而言，了解工业大数据产生的背景，归纳工业企业大数据的分类和特点，从数据流推动工业价值创造的视角看待、重造工业价值流程，将具有很强的现实意义。文章最后，笔者分享几个在工业领域数据驱动价值创造的案例，希望起到抛砖引玉的作用。

2019-04-09 13:10:44

工业大数据互联网工业生产
初级数据科学家常犯的十大编程错误 译文
数据科学家是“比任何软件工程师更擅长统计方法，又比任何统计学家更擅长软件工程的人”。许多数据科学家学过统计学，但在软件工程方面经验很少。我是一名高级数据科学家，接触过许多(初级)数据科学家。下面是我经常看到的10个常见错误。

2019-04-09 09:00:01

数据科学代码编写
大数据平台常见开源工具
此片文章整理出了大数据平台常见的一些开源工具，并且依据其主要功能进行分类，以便大数据学习者及应用者快速查找和参考。

2019-04-08 17:16:43

大数据开源工具
大数据计算框架Spark之任务调度
Spark有几种资源调度设施。每个Spark Application(SparkContext实例)独立地运行在一组executor进程内。cluster manager为应用间的调度提供设施。在每个Spark应用内，如果将多个job(多个spark action)提交给不同的线程，那么他们会并行运行

2019-04-08 17:11:46

大数据框架Spark
一个鲜为人知却可以保护隐私的训练方法：联合学习
无论是国内还是国外，公众对隐私保护的意识越来越强烈。尤其是医疗数据，因为大部分病人不愿意将自己的诊断结果等这类隐私信息拿出来，所以机器学习在疾病诊断和探索潜力被大大压制。

2019-04-04 09:43:25

联合学习机器学习数据
用数据分析大家都喜欢什么类型的抖音视频
之前有个朋友提到了抖音数据的获取。问我这样的行业前景如何，说实话我哪知道啊...不过也算是给我提供了一些分析思路，感谢。

2019-04-03 14:12:19

抖单分析可视化
只需0行代码 | 文科生也能画词云图！
词云图，也叫文字云，是对文本中出现频率较高的“关键词”予以视觉化的展现，词云可以过滤掉大量的低频的文字信息，这样做可以使得用户一眼就能抓住文本的核心。

2019-04-03 10:24:28

词云图工具词云
7个已经为预测分析做好准备的项目
预测分析的先进技术正在得到广泛应用，几乎所有企业都能借此获得强大的预测能力。以下是一些预测分析可以产生影响的关键领域。

2019-04-03 09:48:49

预测分析IT数据
运营商大数据：构建城市大脑的智慧基础
3月30日，由中国科学院上海高等研究院、上海浦东临港智慧城市发展中心和阿里云计算有限公司主办的“2019年第一届中国(上海)城市大脑技术国际研讨会”在上海成功召开。

2019-04-02 14:43:16

运营商大数据云计算
上一页 1 ··· 8182838485 ··· 179
点赞

51CTO技术栈公众号

业务
速览
在线客服