51CTO首页
AI.x社区
博客
学堂
精品班
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

大数据

8917内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 8917 条
Spark streaming中持久保存的RDD/有状态的内存
以spark streaming为例，就是希望有个数据集能够在当前批次中更新，再下个批次后又可以继续访问。一个最简单的实现是在driver的内存中，我们可以自行保存一个大的内存结构。这种hack的方式就是我们无法利用spark提供的分布式计算的能力。

2018-04-18 08:54:28

RDD内存Spark
Hadoop 3中的磁盘管理大招解密
DataNode 使用基于轮询的策略写入新块。但是，在长期运行的集群中，由于 HDFS 中大规模文件删除或通过磁盘热交换特性添加新 DataNode 磁盘等事件，DataNode 仍然可能创建了显著不平衡的卷。

2018-04-18 08:24:24

磁盘管理解密
12个顶级大数据工具
许多大数据分析工具最初像大数据软件框架Hadoop一样都是开源项目，但商业实体迅速涌现，为开源产品提供了新工具或商业的支持和开发。根据这个行业领域的专家顾问的建议，以下列出一系列主要的大数据分析工具，并列出三个主​​要类别。

2018-04-17 12:58:52

大数据工具大数据数据可视化
世界顶尖战略咨询公司常用数据分析模型
波特的五种竞争力分析模型被广泛应用于很多行业的战略制定。这五种竞争力就是企业间的竞争、潜在新竞争者的进入、潜在替代品的开发、供应商的议价能力、购买者的议价能力。这五种竞争力量决定了企业的盈利能力和水平。

2018-04-17 11:43:59

竞争分析波士顿
预计2021年中国大数据市场规模将达到898亿元
随着移动互联网、智能终端和数据传感器的出现，数据正以超出想象的速度快速增长。据相关数据报告显示，2014年全球数据总量为6.2ZB(万亿GB)，2015年全球数据总量达8.6ZB。目前全球数据的增长速度在每年40%左右，预计到2020年全球的数据总量将达到40ZB。

2018-04-17 10:56:10

大数据互联网规模
大数据之谜Spark基础篇，核心RDD特征分析讲解
RDD(Resilient Distributed Datasets)弹性分布式数据集，是分布式内存的一个抽象概念。我们可以抽象的代表对应一个HDFS上的文件，但是他实际上是被分区的，分为多个分区撒落在Spark集群中的不同节点上。

2018-04-17 09:03:01

SparkRDD大数据
DataHunter打造数据协作平台，加速驱动企业数字化转型
DataHunter是一家专注于业务数据可视化分析展示的科技公司，该公司近日宣布，已完成千万级A轮融资，投资方为Ventech China(银泰资本)。

2018-04-16 16:25:18

DataHunter数字化转型数据
大数据工程师面试题集锦：互联网公司篇！
大数据工程师是近几年异常火爆的职位，市场需求旺盛，众多互联网公司都打出了高薪招聘的广告，本文整理了网络上部分技术人员分享的各大互联网公司大数据类(Hadoop、Spark等)面试题以及面试时需要注意的一些问题，希望对各位技术人员有所帮助。

2018-04-16 12:38:37

大数据工程师面试
数据科学简介：通过对数据分类进行预测（二）
机器学习已成功应用于许多预测和分类问题，包括航班晚点、信用评分和股票价格。在这里，我将探讨两种重要算法：概率神经网络和基于密度的聚类 (DBSCAN)。

2018-04-16 12:14:34

数据科学机器学习神经网络
数据科学简介：分数据、结构和数据科学管道（一）
本文探讨了一种用于机器学习的通用数据管道，其中涵盖了数据工程、模型学习和操作。本系列的下一篇文章将探讨使用公有数据集进行预测的两种机器学习模型。

2018-04-16 11:11:56

数据科学管道数据分析数据整理
深入理解HBase的系统架构
物理上来说，HBase是由三种类型的服务器以主从模式构成的。这三种服务器分别是：Region server，HBase HMaster，ZooKeeper。其中Region server负责数据的读写服务。用户通过沟通Region server来实现对数据的访问。

2018-04-16 11:04:23

HBaseRegion Serv数据库
做大数据项目最头痛的是什么
启动项目前至少要落实五个问题。其实我个人并不是正儿八经的大数据开发，然而这些年太多项目都挂个“大数据”的头衔，以至于我也被拖下水了。所以处理具体需求时会格外谨慎。这两年大数据淡了，人工智能又开始喧嚣了，各位同仁继续打起精神警惕起来哇。

2018-04-15 21:39:04

大数据项目应用
数据分析技术给商业模式带来颠覆的五种方式
近年来，越来越多大型企业开始投资数据分析技术，希望借此证明“我可以做得更好”。而云计算的兴起，也使得规模有限的初创企业也可拥有将大数据技术与高级数据分析加以结合的能力。在今天的文章中，我们将共同探讨数据分析技术给商业模式带来颠覆的五种方式。

2018-04-15 15:27:26

数据分析大数据技术云计算
【WOT2018】易观智库CTO郭炜：Lambda架构已死，新一代去ETL化的IOTA架构 原创
2018WOT全球软件与运维技术峰会重量级嘉宾，拥有13年大数据工作经验的资深专家——易观智库CTO郭炜将在5月18日的2018WOT峰会上分享他的最新观点，那就是Lambda架构已死，新一代去ETL化的IOTA架构才是未来，郭炜将就Lambda与Kappa架构的发展及优缺点展开，分享IOTA大数据架构的思路及优缺点，以及易观在IOTA架构领域的实践经验，以下为郭炜先生整理出的实践心得，供大家先睹为快。

2018-04-13 15:34:50

大数据架构WOT2018
OpenStack如何在大数据用例中扮演关键角色
OpenStack 控制计算、存储和网络资源池。本文主要关注 OpenStack 如何在大数据用例中扮演关键角色。现在，数据随处生成，数据量呈指数增长。来自 Web 服务器、应用程序服务器、数据库服务器的数据以用户信息、日志文件和系统状态信息的形式提供。

2018-04-12 18:00:43

OpenStack大数据容器
大数据、人工智能与云计算的融合与应用
人工智能、大数据与云计算三者有着密不可分的联系。人工智能从1956年开始发展，在大数据技术出现之前已经发展了数十年，几起几落，但当遇到了大数据与分布式技术的发展，解决了计算力和训练数据量的问题，开始产生巨大的生产价值

2018-04-12 16:58:15

大数据人工智能云计算
DataHunter完成千万级A轮融资 加速拓展行业布局
4月11日，国内领先的业务数据协作平台DataHunter正式宣布，已完成千万级A轮融资，投资方为Ventech China。本次融资将帮助DataHunter进一步加强在数据可视化分析展示领域的市场布局，并为公司产品研发和行业拓展提供重要驱动力。

2018-04-12 12:28:56

DataHunter融资数据
大数据领域的12大工具，试试看哪个更好用 译文
为了满足旺盛需求，大数据工具在迅速遍地开花。在大数据这一概念和业务战略出现以来的十年间，市面上出现了成千上万执行各种任务和流程的工具，它们都承诺可为你节省时间和资金，发掘业务洞察力从而实现创收。显然，一个不断增长的市场呈现在大数据分析工具的面前。

2018-04-12 10:02:57

大数据领域工具
大数据与区块链：一对桴鼓相应的搭档
大数据能够对海量信息资产通过高效的处理模式来进行捕捉、管理和处理，而区块链本身作为分布式计算的一种，还有去中心化以及不可篡改等特性，两者之间，似乎天然就有合作的可能性。

2018-04-11 15:33:59

大数据块链去中心化
常用的几种大数据架构剖析
数据分析工作虽然隐藏在业务系统背后，但是具有非常重要的作用，数据分析的结果对决策、业务发展有着举足轻重的作用。总的来说，目前围绕Hadoop体系的大数据架构大概有以下几种。

2018-04-11 06:31:24

大数据架构数据分析Hadoop
中国邮政大数据平台建设之总体架构与实现
人工智能、大数据与云计算三者有着密不可分的联系。人工智能从1956年开始发展，在大数据技术出现之前已经发展了数十年，几起几落，但当遇到了大数据与分布式技术的发展，解决了计算力和训练数据量的问题，开始产生巨大的生产价值。

2018-04-10 14:49:03

大数据平台云架构人工智能
大数据创新应用:高速公路的数据存储及处理
随着经济社会的发展，城市人口持续增长，数量持续增长的车辆给交通基础设施通行能力带来极大压力。交通拥堵、交通事故、环境污染及能源短缺已成为目前面临的重要问题，尤其在高速公路交通管理尤其变得更加明显。

2018-04-10 14:25:30

大数据高速公路数据存储
高端大气的“数据科学家”，竟然成了离职率最高的职位之一
每一份工作都很有趣。但是做到优秀却很难，因为这不仅关于技术本身，也关乎职场的复杂性。本文作者Jonny Brooks-Bartlett在“Here’s why so many data scientists are leaving their jobs”一文中讲述了数据科学家遭遇挫败的4大原因。

2018-04-10 13:42:47

数据科学家离职大数据
“你中有我，我中有你”，人工智能想和大数据谈一场恋爱！
如今，没有什么流行词比大数据和人工智能更常见了。很多数据分析表示将从根本上重塑人类的日常生活。事实上，对于围绕人工智能和大数据的讨论，很少有人提到这两种新兴技术的融合，尤其是在解释人工智能为什么迫切需要大数据以取得成功的时候。

2018-04-10 13:32:24

人工智能大数据数据分析
如何避免HBase写入过快引起的各种问题
整个写入流程从客户端调用API开始，数据会通过protobuf编码成一个请求，通过scoket实现的IPC模块被送达server的RPC队列中。最后由负责处理RPC的handler取出请求完成写入操作。

2018-04-10 13:02:51

HBase写入流程数据
数据分析秘籍在这里：Kaggle六大比赛最全面解析（上）
本文将以 Kaggle 上 6 个不同的比赛为例，介绍常见的三类数据(结构化数据，NLP 数据，图像数据)分析经验，以助力大家提升数据分析能力。此文为上篇，主要介绍结构化数据和 NLP 数据，包含 Titanic 比赛，房价预测比赛，恶意评论分类，恐怖小说家身份识别。

2018-04-10 12:51:09

大数据Kaggle可视化
Tech Neo技术沙龙第19期专题回顾 ——容器技术实践（含视频、PPT）

2018-04-10 10:22:07

TechNeo／沙龙／
如何将分析用于有效的内容营销
企业研究数字营销活动是否成功，其最有效方法之一是简单衡量自己的定性和定量结果。本文来分析为什么在评估企业的营销活动时应该将定性和定量分析结合在一起的原因。

2018-04-09 13:02:03

分析数字营销企业
Spark及Spark Streaming核心原理及实践
本文依次从spark生态，原理，基本概念，spark streaming原理及实践，还有spark调优以及环境搭建等方面进行介绍，希望对大家有所帮助。

2018-04-09 12:25:11

SparkSpark Strea大数据
多平台被质疑大数据杀熟 新技术不应跨越伦理界限
习惯了用App预订酒店、演出票的你，有没有想过会被某些“比你更懂你”的网络平台“杀熟”而无知无觉?近期，网络平台“大数据杀熟”的问题日益引起消费者关注。不少网友发现，自己经常购物的网站、App，消费越多、得到的优惠越少，甚至价格越贵。

2018-04-09 12:00:44

大数据杀熟消费
数据科学项目失败最常见的4个原因
大多数失败可以追溯到四个主要的陷阱：从错误的问题开始;使用错误的数据;缺乏利益相关者的认同;以及缺乏多样化的专业知识。预先认识到这些常见的危害，会让首席信息官和IT主管更好地领导数据科学项目，这些项目将推动有价值的洞察力，并为组织的全面成功的数字变革做出贡献。

2018-04-09 11:20:40

数据科学项目数据
Hadoop将死？Cloudera CEO怒怼Gartner
大数据已经过了炒作阶段，但即使是现在，提到大数据很多人首先会想到hadoop，但最近多份分析报告和趋势预测的文章所传递出的声音，让Hadoop再度成为了争议的焦点。年初的调查，Hadoop被列为2018年大数据领域的“渐冻”趋势之一，不少人将Hadoop称作“倒下的大象”，比如Lucidworks首席执行官Will Hayes。

2018-04-08 15:32:47

Hadoop大数据Gartner
精英数据科学家应该具备这些能力和特质
成为数据科学家需要具备哪些条件呢?下面就是我们根据IT领导者、行业分析师、数据科学家的看法，总结出的一些重要属性和技能。

2018-04-08 14:50:31

数据科学家企业技能
数据的本质和核心是什么？
几千年来，人类习惯了生存在信息稀缺的年代，大数据与人工智能则为人们带来了曙光，同时也引发了担忧。暂且撇开我们会不会被机器人侵略这个问题，人类真的已经充分利用了自己的潜能了吗?数据是一种信仰, 我们应该善用这个宝藏, 为人类创造更美好的世界。

2018-04-04 14:29:33

大数据人工智能数据
Hadoop中理论与工程的错位
Hadoop是当前重要的大数据计算平台，它试图摒弃传统数据库的理念，重新构建一套新的大数据体系。但是，这并不是件很容易的事，在Hadoop的设计和实现中能看到一些先天不足的地方，其中一点就是把理论问题和工程问题给搞拧了。

2018-04-04 13:24:08

HadoopMapReduce大数据
航空大数据告诉你如何挑选航班
提到“航班”一词，首先会想到的便是航班延误，航班准点率是影响旅客舒适度评价的重要标准。与此同时，越来越多的旅客也渐渐开始关注航空出行的时间、机型、座位、航司服务等指标。本期汪瑞，他将从航班延误、座椅舒适度、接机时间等方面出发，分享航班挑选的秘密。

2018-04-04 12:54:51

航空大数据航班延误
大数据和Hadoop的培训计划能产生多大的影响?
大数据通常被描述为大量的数据。然而，数据量实际上并不重要，而是可以在数据上执行的分析，以便做出更好的决定和其他商业活动。Hadoop是另一种为大数据更好地处理而开发的技术。由于Hadoop开发人员能够以更好的方式执行分析，因此企业对Hadoop开发人员的需求也正在增长。

2018-04-03 14:32:00

大数据Hadoop课程
结构化数据 vs. 非结构化数据
结构化数据 vs. 非结构化数据：结构化数据由明确定义的数据类型组成，其模式可以使其易于搜索。而非结构化数据通常由不容易搜索的数据组成，其中包括音频、视频和社交媒体发布等格式。

2018-04-03 14:00:03

结构化数据非结构化数据数据库
一文读懂征信“大数据”
征信机构在积累征信数据的同时，也需要提升自身的数据存储能力，丰富所积累数据的维度，提升数据分析挖掘、处理速度等各方面能力，从而促进征信业向一个崭新的数字化时代迈进——大数据征信时代。

2018-04-03 13:08:31

大数据征信信用
使用Pandas&NumPy进行数据清洗的6大常用方法
数据科学家花了大量的时间清洗数据集，并将这些数据转换为他们可以处理的格式。事实上，很多数据科学家声称开始获取和清洗数据的工作量要占整个工作的80%。

2018-04-03 12:07:53

数据清洗PandasNumpy
Hadoop分布式存储与传统SQL存储比较及存储操作描述
Google 为了应对快速增长的数据处理，开发了一套算法。后来有人根据算法的思想，开发出开源的软件框架 ，就是Hadoop， 随着越来越多的组织和个人开发者在框架开发中不断贡献改进，Hadoop 已经形成一套家族产品，成为当下最成功最流行的分布式大数据处理框架。

2018-04-03 09:07:07

Hadoop存储SQL存储
纯技术之间的争夺 大数据会被区块链摧毁吗
你随便搜索一下“大数据 区块链”会发现，大数据与区块链的结合几乎是所有人都看好的。笔者并不反对这个观点，但如果从当下来看，大数据与区块链之间仍然存在着一些分歧，而这些分歧从某种意义上让大数据与区块链处在了对立的位置。

2018-04-02 13:56:56

大数据区块链隐私
“数据引导你的行为”：大数据背后的权力与不公
国内有网友发现，同样的商品或服务，老客户看到的价格反而比新客户要贵出许多，在机票、酒店、电影、电商、出行等多个价格有波动的平台都存在类似情况。这在互联网行业被称作“大数据杀熟”。

2018-04-02 13:42:36

大数据数据泄露监管
大数据是什么？怎么学？这里有答案
大数据，又称巨量资料，指的是所涉及的数据资料量规模巨大到无法通过人脑甚至主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。

2018-04-02 11:22:31

大数据Hadoop数据处理
为什么你的大数据项目瞬间就”凉”了？
企业正努力在产品中部署大数据，这一点是毋庸置疑的。但是，根据Gartner在2016年下半年发布的新闻稿：只有15%的企业将其大数据项目部署到生产中。“Gartner在选词时非常谨慎，这并不意味着剩下的企业没有实践，或者数据科学家没有发现使用大数据技术的优势，只是剩下的85%的项目并没有真正投入生产。

2018-04-02 10:58:28

大数据sqoop大数据项目
让每一次出行都更加温暖—高德推出顺风车业务 原创
对此，高德推出了公益顺风车业务，成都、武汉两地率先上线，同时开启北京、上海、广州、深圳、杭州等城市的车主招募，之后将逐步扩展到全国更多城市，高德希望做真的公益和真的顺风车。

2018-03-30 14:40:47

高德公益顺风车
一条数据的HBase之旅，简明HBase入门教程-开篇
本文将以一条数据在HBase中的“旅程”为线索，介绍HBase的核心概念与流程，几乎每一部分都可以展开成一篇独立的长文，但本文旨在让读者能够快速的了解HBase的架构轮廓，所以很多特性/流程被被一言带过，但这些特性在社区中往往经历了漫长的开发过程。

2018-03-30 09:42:05

数据库HBaseNoSQL
本周六与京东、微博、华为等实战专家与你共同探讨容器技术实践！

2018-03-30 09:30:58

TechNeo／沙龙／
Web 开发员 vs 数据科学家：谁将统治 Python？
2017 年末，Python 软件基金会与 JetBrains 一起开展了 Python 开发人员调查，目标是确定最新趋势，并深入了解 Python 在开发界的使用情况。

2018-03-30 08:58:34

Web 开发Python
大数据杀熟？揭秘争议背后的真问题
虽然许多平台都否认自己利用大数据“杀熟”，但此类事件的吐槽和爆料总在发生。普通消费者关心的是，这类情况是否是业内普遍现象?是否利用了用户的个人隐私数据?

2018-03-29 16:05:23

大数据杀熟运营商
上一页 1 ··· 979899100101 ··· 179
点赞

51CTO技术栈公众号

业务
速览
在线客服