51CTO首页
AI.x社区
博客
学堂
精品班
直播训练营
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

大数据

8793内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 8793 条
从源码解密Spark内存管理
我们都知道spark之所以比mapreduce计算的快，是因为他是基于内存的，不用每次计算完都写磁盘，再读取出来进行下一次计算，spark直接把内存作为数据的临时储存介质。所以mapreduce就没有强调内存管理，而spark需要管理内存。

2019-04-17 14:44:42

Spark内存源码
大数据告诉你，996戳中了谁又戳痛了谁？
“工作996，生病ICU”，一句原本程序员之间的自嘲，在最近一个月却突然引起全社会的关注。先来看看近一个月“996工作制”在网络上的热度走势。

2019-04-17 14:36:38

大数据工作996制员工
DaaS能否帮助企业从数据湖中获益？
数据即服务(DaaS)从2015年开始被使用，是一项较新的技术。它通过各种API将数据按需交付给消费者，以避免需要获取和存储大型数据资产，然后在数据资产中搜索所需信息。

2019-04-17 09:10:00

DaaS数据湖云计算
如何11步转行数据科学家 (适用数据员/ MIS / BI分析师)
我经常遇到一些优秀的商业智能分析师 (BI)，寻求获得自己人生的第一个数据科学角色。但他们常常因缺乏机会而沮丧。他们中很多人感觉自己的角色是重复的，或者只需要扮演好被要求的角色。

2019-04-16 15:06:41

数据科学职业BI
大数据开发和大数据分析有什么不同？
大数据分析工程师和大数据开发工程师分别能做什么?非要把他俩分开的话，一个是偏向于数据，一个偏向于工程。好比要炒个菜，工程师是烧火、颠勺的那个，偏向于工具的使用。分析师是放调料、掌握火候的那个，偏向菜怎么做好吃。

2019-04-15 15:32:12

大数据开发数据分析数据科学
大数据改变了网络主机市场的两端
大数据已经改变了网络主机市场的两端。文中将讨论这一点的重要性以及应该了解的内容。云计算技术对网络托管行业产生了深远的影响。它主要是由大数据的进步推动的。由于大数据已经彻底改变了网络托管行业，因此有大量新的托管选项可供选择。

2019-04-15 15:13:00

大数据网络托管网络主机
数据分析与可视化：谁是安全圈的吃鸡第一人
安全圈的黑阔大佬们，在不开挂的情况下，谁会是他们之中技术最好的呢？带着这样的疑问，作者试着从数据分析的角度来看看谁会是安全圈的吃鸡第一人。

2019-04-15 14:15:59

web安全数据分析可视化
大数据分析建模及其应用建议
通过对数据的收集、存储、再组织和分析建模，隐藏在数据中的重要价值及规律逐渐展现出来，正成为企业转型升级及可持续发展的重要推动力量。大数据分析建模是大数据应用的核心和重要基础，已成为科技界和企业界关注的热点话题。

2019-04-15 13:40:47

大数据分析建模数据数据分析
16个用于数据科学和机器学习的顶级平台
调研机构Gartner公司将数据科学和机器学习平台定义为“具有凝聚力的软件应用程序，它提供了创建多种数据科学解决方案以及将这些解决方案合并到业务流程、周围基础设施和产品中所必需的基本构建块的混合体。”

2019-04-15 13:25:29

数据科学机器学习Gartner
像数据科学家一样思考：12步指南（上）
目前，数据科学家正在受到很多关注，因此，有关数据科学的书籍正在激增。我看过很多关于数据科学的书籍，在我看来他们中的大多数更关注工具和技术，而不是数据科学中细微问题的解决。

2019-04-11 18:00:40

数据数据科学项目
大数据和人工智能的关系，超全解析
在PaaS层中一个复杂的通用应用就是大数据平台。大数据是如何一步一步融入云计算的呢?首先我们来看一下大数据里面的数据，就分三种类型，一种叫结构化的数据，一种叫非结构化的数据，还有一种叫半结构化的数据。

2019-04-11 17:44:08

大数据人工智能机器
给有抱负的数据科学家的六条建议
对于一个想转行开始数据科学生涯的毕业生或数据分析人员来说，要在这个领域做一些事来展现自己的技能是很有挑战的。我会同时站在企业招聘数据科学家的角度和求职者应聘数据科学家的角度，来谈一谈这个职业需要的几点关键经验。

2019-04-11 17:24:48

数据科学可视化白皮书
如何做一枚合格的数据产品经理
对于任何产品团队，都需要一个人来对产品生命周期的负责。换句话说，我们需要一个数据科学产品经理。而且，由于当时的组织结构有变动，我不得不暂时接盘这个职位。下面是我对如何成功地做一枚数据产品经理的理解。

2019-04-11 14:16:31

数据产品经理数据科学数据
2019值得关注的数据可视化工具TOP5
数据可视化在数据分析过程中的扮演着非常重要的角色。对于数据科学家或数据分析师来说，以更直观、便于查看、甚至更吸引人的视觉效果来呈现数据是很重要的。

2019-04-11 11:03:30

数据可视化工具
大数据带给保险业的三大挑战
回顾历史，互助共济的思想古已有之，但漫长的农耕文明却没有让它破土成长;航海技术的突破、国际市场的拓展催生了保险婴儿，市场经济的勃兴为它搭建起广阔的舞台，人人为我、我为人人，保险制度在凝聚爱心、播洒亲情、弘扬人性的美好中，走向了灿烂与辉煌。人类正加速走向大数据时代，对保险这种制度将带来什么影响?保险机制与大数据是相生还是相克?

2019-04-10 19:01:01

大数据保险业医疗保险
大数据与人工智能，你都分不清楚，居然还要走向人生巅峰
大数据vs.人工智能是一种公平的比较吗?在某种程度上，它是，但首先让我们先厘清它们之间的区别。

2019-04-10 15:20:51

人工智能大数据算法
除Kaggle外，还有哪些顶级数据科学竞赛平台
除了Kaggle，其实还有不少类似的平台，下面文摘菌就给大家盘点一下这些顶级竞争数据科学平台。

2019-04-10 09:44:05

Kaggle数据科学数据集
数据科学岗位将在未来5年内重新洗牌，你准备好转型了吗？
计算器的工作曾经由人来做;网站管理员曾经是热门职业;中层管理人员也曾配备过秘书。技术的迭代变革了一批又一批职业，数据科学家也不会例外……

2019-04-09 21:00:55

数据科学职业数据工程师
必看！大数据技术学习，深度挖掘大数据的现状分析
其实大数据有趣的是它不是直接可以炒作的东西。能够获得广泛兴趣的产品和服务往往是那些人们可以触摸和感受到的，比如：移动应用，社交网络，可穿戴设备，虚拟现实等。但大数据，从根本上说是“管道”。

2019-04-09 20:55:30

大数据数据挖掘数据分析
读懂工业大数据 这篇文章不得不看
对于企业而言，了解工业大数据产生的背景，归纳工业企业大数据的分类和特点，从数据流推动工业价值创造的视角看待、重造工业价值流程，将具有很强的现实意义。文章最后，笔者分享几个在工业领域数据驱动价值创造的案例，希望起到抛砖引玉的作用。

2019-04-09 13:10:44

工业大数据互联网工业生产
初级数据科学家常犯的十大编程错误 译文
数据科学家是“比任何软件工程师更擅长统计方法，又比任何统计学家更擅长软件工程的人”。许多数据科学家学过统计学，但在软件工程方面经验很少。我是一名高级数据科学家，接触过许多(初级)数据科学家。下面是我经常看到的10个常见错误。

2019-04-09 09:00:01

数据科学代码编写
大数据平台常见开源工具
此片文章整理出了大数据平台常见的一些开源工具，并且依据其主要功能进行分类，以便大数据学习者及应用者快速查找和参考。

2019-04-08 17:16:43

大数据开源工具
大数据计算框架Spark之任务调度
Spark有几种资源调度设施。每个Spark Application(SparkContext实例)独立地运行在一组executor进程内。cluster manager为应用间的调度提供设施。在每个Spark应用内，如果将多个job(多个spark action)提交给不同的线程，那么他们会并行运行

2019-04-08 17:11:46

大数据框架Spark
一个鲜为人知却可以保护隐私的训练方法：联合学习
无论是国内还是国外，公众对隐私保护的意识越来越强烈。尤其是医疗数据，因为大部分病人不愿意将自己的诊断结果等这类隐私信息拿出来，所以机器学习在疾病诊断和探索潜力被大大压制。

2019-04-04 09:43:25

联合学习机器学习数据
用数据分析大家都喜欢什么类型的抖音视频
之前有个朋友提到了抖音数据的获取。问我这样的行业前景如何，说实话我哪知道啊...不过也算是给我提供了一些分析思路，感谢。

2019-04-03 14:12:19

抖单分析可视化
只需0行代码 | 文科生也能画词云图！
词云图，也叫文字云，是对文本中出现频率较高的“关键词”予以视觉化的展现，词云可以过滤掉大量的低频的文字信息，这样做可以使得用户一眼就能抓住文本的核心。

2019-04-03 10:24:28

词云图工具词云
7个已经为预测分析做好准备的项目
预测分析的先进技术正在得到广泛应用，几乎所有企业都能借此获得强大的预测能力。以下是一些预测分析可以产生影响的关键领域。

2019-04-03 09:48:49

预测分析IT数据
运营商大数据：构建城市大脑的智慧基础
3月30日，由中国科学院上海高等研究院、上海浦东临港智慧城市发展中心和阿里云计算有限公司主办的“2019年第一届中国(上海)城市大脑技术国际研讨会”在上海成功召开。

2019-04-02 14:43:16

运营商大数据云计算
干货 ：送你12个关于数据科学学习的关键提示（附链接）
根据Glassdoor在美国区的统计，“数据科学家”排名为2019年最诱人的工作。平均基础工资为$108k，工作满意度为4.3–5★，加上被预测有大量空缺，这个结果一点都不令人吃惊。

2019-04-01 14:27:12

数据科学工作技能
用数据分析网络暴力有多可怕
故事源于潘长江在某个综艺节目上没认出蔡徐坤，然后潘长江老师的微博评论区就炸锅了。最后搞得两边都多多少少受到网络暴力的影响。直至今日，这条微博的评论区还在更新着。不得不说微博的黑粉，强行带节奏，真的很可怕。

2019-04-01 13:51:41

数据分析网络暴力代码
R语言有多强大？十个你不知道的功能
有些业界从业人士对R语言的价值并不认可，他们认为R语言只针对统计分析。在本文中，我将给大家介绍那些不为人知，却又好用到难以置信的R语言功能。

2019-04-01 06:37:12

R语言数据分析数据
小心大数据专业，一哄而上后的“一地鸡毛！”
人工智能，大数据，智能机器人，这些专业，今年火遍大江南北。下面是我的一些数据分析，愿能给大家选专业时，带来一点帮助。

2019-03-30 14:18:14

数据分析大数据数据科学
大数据行业有多少种工作岗位，各自的技能需求是什么？
大数据的技术是一个技术群落，想全部学习短期内是不现实的，那么我们怎么样科学的有逻辑有规划的来学习，怎么进行大数据的入门学习呢?我们得了解大数据行业里，有哪些岗位?

2019-03-29 17:55:33

大数据岗位数据工程师
大数据是大问题?组织需要为数据管理负责
专业人士了解数据管理的复杂性。现在是让企业决策者对他们在确保适当监督方面的作用负责的时候了。以下是组织在负责任的数据管理方面应优先考虑的三种解决方案。

2019-03-29 14:44:15

数据管理大数据人工智能
大数据的十大流行误区，你中了几个？
作为一项不断发展的技术和相对较新的概念，大数据其实存在极少的误区。但是，如果我们不理清这一些极少的误区，那么不正确的理解可能会导致严重后果。

2019-03-28 14:19:18

大数据误区数据
分享一些容易被忽视的Hadoop面试题及答案
大数据已经无处不在，随之而来的就是大数据技术人才的急需，以下是关于大数据技术的面试问题，大家可以再面试前参考。

2019-03-28 13:50:47

大数据面试Hadoop
深度 | 应用架构日趋复杂的今天，如何重构数据库和应用边界？（见文中答案）
20年间，应用架构不断发生变化。从两层架构到多层架构，从集中式应用到分布式应用，应用架构的日趋复杂也带来了使用、开发维护方面的诸多问题……

2019-03-28 13:44:02

数据库
数据科学的下一个「超能力」：模型可解释性
很多人重视重视模型的预测能力，却忽略了模型可解释性的重要性，只知其然而不知其所以然。为什么说模型的可解释性这么重要呢？作者就5个方面对此进行了阐述。

2019-03-28 09:26:26

数据科学模型机器学习
招聘行业大数据应用场景分析
多年前应他人所邀，对其所关注的招聘行业在大数据方面的应用方向进行了简要分析：主要从技术架构与应用模式两个层面进行展开。鄙人水平有限，下文的内容纯属一家之言，如有不妥之处，请各位看官谅解。

2019-03-27 15:35:35

大数据招聘互联网
人人都说大数据，那你知道它的核心价值吗？
近些年来，大数据已成为了大家茶余饭后讨论的热门话题，像数据安全、数据挖掘、数据分析等围绕大数据的一系列技术也深受市场的喜爱。那么，在这样一个满城尽谈大数据的时代背景下，大数据的核心价值究竟是什么?今天就让我们一起来探讨下。

2019-03-27 14:20:27

大数据核心价值数据分析
中国移动研究院常耀斌：商用大数据平台的研发之路
我是中国移动研究院的资深架构师常耀斌。今天有幸分享商用大数据平台研发经验，让大数据知识图谱在各位的脑海里转起来，并形成商用产品的作战体系，这是“作为架构师，何谓正确?”的行动基础。我分享四大部分：知识分类，系统架构，核心技术，经验分享。

2019-03-26 09:28:05

大数据部署架构
数据科学难在实践，有哪些弯路可以不走？
Blue Yonder，一个成立于2008年的大数据分析平台，用他8年的数据科学经验告诉你，什么是真正的数据科学、有哪些弯路可以不走。

2019-03-26 09:18:54

数据科学数据数据分析
这些数据科学家必备的技能，你拥有哪些？
88%的数据科学家受过高等教育且拥有硕士学位，其中46%拥有博士学位。虽然有些人是例外，但通常需要非常强大的教育背景才能拥有成为数据科学家所必需的知识深度。

2019-03-25 21:18:41

数据科学家大数据技能
大数据入门学习必读好书推荐，请收藏！
为了跟上技术更迭的节奏，不落人后，合适的方式是继续刷新自己的知识，同时保持上手的经验。在这行业中要取得成功，需要丰富的项目经验和技能组合。尽管网上有大量的资源，我们仍要专门推荐一些好的实体书籍。

2019-03-25 21:15:39

大数据数据科学书单
企业监控员工绩效的7个大数据工具
大数据正在改变和塑造工作场所。这一点尤其适用于新的专注于数字化、远程团队的工作场所。通过大数据的简化，数据技术对企业工作场所的积极变化和消极变化都有贡献。

2019-03-25 20:49:38

大数据工具监控员工
什么是大数据架构?
大数据架构是用于摄取和处理大量数据(通常称为“大数据”)的总体系统，因此可以针对业务目的进行分析。该架构可视为基于组织业务需求的大数据解决方案的蓝图。大数据架构旨在处理以下类型的工作。

2019-03-22 13:53:07

大数据架构数据源数据质量
大数据告诉你：2019年值得选择的100家互联网企业排名
近来，boss直聘平台发布了最受人才关注的100家互联网公司排名，数据综合2018年的各项指标进行系统排名，可以作为未来择业的参考。

2019-03-21 12:42:35

大数据互联网排名
从HDFS和MapReduce两方面了解Hadoop
本文主要从 HDFS 和 MapReduce 两个大的方面讲解了 Hadoop 的相关知识，并且编写了一个简单的 MapReduce 程序，最后还深入了解了一下 MapReduce 程序的运行原理以及 Shuffle 相关的内容。

2019-03-21 11:03:47

HDFSMapReduceHadoop
2019 年，Python 数据科学该怎么学
最近看到一篇叫「2019 年学习数据科学是什么感受」的文章，深有感触。作者是 Thomas Nield，美国西南航空公司的商务顾问，著有《Getting Started with SQL (O'Reilly) 》等书，经验丰富的 IT 大牛。文章中他 以一问一答的形式，给那些想要踏上数据科学之路的人，提了一些中肯的建议。

2019-03-20 14:17:21

数据科学PythonSQL
Gartner报告：正处于数据科学与机器学习工具 “大爆炸”的时代
日前， Gartner 发布了 2019 年版面向数据科学与机器学习工具的魔力象限。Gartner 的魔力象限是在某一特定时间内对市场情况进行的图形化描述，根据 Gartner 的定义，它描述了 Gartner 依据标准对该市场内的厂商所进行的分析。

2019-03-20 10:33:05

工具性能数据
上一页 1 ··· 7980818283 ··· 176
点赞

51CTO技术栈公众号

业务
速览
在线客服