51CTO首页
AI.x社区
博客
学堂
精品班
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

Hadoop

836内容  
涵盖Hadoop相关研究热点、技术难点与应用场景，让用户更加深入地学习这一大数据基础技术。
文章 博文
共 836 条
Hadoop生态系统应用状况大调查：互联网篇！
国内外对Hadoop生态系统的生存状况争论不休，既然如此，我们不妨摸底调查一番，看看国内一线互联网公司(具备自我搭建大数据平台能力的厂商)的大数据平台是如何搭建的?是否基于Hadoop生态系统?Hadoop的存在感有多少?庞大的Hadoop生态系统中又有哪些组件真正脱颖而出了呢?

2018-03-19 15:17:37

Hadoop大数据数据
【大数据】20个运维案例，完美部署全分布式Hadoop集群！
20个生产环境的运维案例，实操练习大数据运维——全面学会如何部署一个完全可用于实际生产的全分布式Hadoop集群，具备IT企业大数据部门中级水平的运维能力。

2018-03-13 15:23:47

大数据hadoop系统运维
Java专业人员如何利用Hadoop的力量？
数据来自不同的来源--无论是Twitter更新还是不断的社交媒体数据，这些数据在形式上都是高度非结构化的。传统关系数据库用来将所有数据存储在关系表中的时代已经过去了。公司越来越多地将Java开发角色外包给其他方面。

2018-03-13 12:37:59

JavaHadoop大数据
Hadoop 分布式存储与传统SQL存储比较及存储操作描述
Hadoop 读时模式（Schema on read）,传统SQL是 写时模式（Schema on write）.传统数据库存储时对数据进行检查，需要检查表结构定义等必须匹配后才让存储（write），否则就报错。Hadoop 是你拿过任何数据格式我都给你存储，只要你给我读取这些数据的接口程序，在用到这些数据时（read），才会检查。

2018-03-12 08:33:34

Hadoop存储
Ness SES首席技术官：最终，Hadoop老了！
对于Hadoop飘忽不定的未来，Ness SES的首席技术官(CTO)Moshe Kranc写下了这篇文章。计算机世界充斥着大量先动者的产品，但最终都会被追随者所取代，后来者从创新者的错误中学习并继续发展。我相信这是Hadoop的命运，因为Spark和Cassandra等已经在大数据社区获得了持续发展的动力。

2018-03-09 11:41:09

大数据HadoopSpark
Hadoop和企业信息管理：利用大数据的解决方案
今天，Hadoop可以提供一个能容纳大型复杂的业务应用程序数据处理基础设施。以大数据为处理模型的核心，运行在Hadoop上的典型业务系统包括三个不同的层：基础结构层、数据层和分析层。

2018-03-08 11:09:29

Hadoop大数据数据仓库
Hadoop分布式文件系统--HDFS的诞生
：这篇文章介绍了HDFS的一些关键设计理念，已经属于非常简化的情况了，没有考虑数据的完整性，节点失效等更多细节。

2018-03-01 16:26:30

HDFSHadoop系统
Hadoop进入寒冬期，崛起的会是Spark吗?
年初的调查中，Hadoop被列为2018年大数据领域的“渐冻”趋势之一，Gartner的调查也揭示了Hadoop使用量的下滑，不少人将Hadoop称作“倒下的大象”，比如Lucidworks首席执行官Will Hayes。如果Hadoop开始进入寒冬期，率先崛起的会是呼声最高的Spark吗?

2018-03-01 14:56:11

HadoopSpark大数据
外媒速递：Hadoop对Spark的正面比拼报告 原创
每一年，市场上都持续出现各类拥有不同数据管理规模、类型与速度表现的分布式系统。在这类方案当中，Hadoop与Spark无疑是最令人瞩目的两款。然而，二者到底孰强孰弱?

2018-03-01 08:39:34

HadoopSpark加密货币
大数据的提升：Hadoop即服务的迅猛发展
Haadoop是一个基于开放源代码的软件框架，能够跨分布式集群高吞吐量处理大数据量。利基市场几年前就开始进入主流市场。随着数字化运动的快速扩展，Hadoop提供了充足的使用案例，允许使用普通商品硬件进行大数据处理。

2018-02-09 15:34:57

HadoopSaas云服务
自建Hadoop集群迁移到EMR之数据迁移篇
自建集群要迁移到EMR集群，往往需要迁移已有数据。本文主要介绍hdfs数据和hive meta数据如何迁移。需要自建集群和EMR各个节点网络互通。同为VPC网络只需要同一个安全组，不同的安全组需要设置安全组互通。

2018-02-02 16:15:02

Hadoop数据迁移集群
基于Hadoop生态SparkStreaming的大数据实时流处理平台的搭建
本人准备开始着手改造原系统中的数据处理方式，重新搭建一个实时流处理平台，主要是基于hadoop生态，利用Kafka作为中转，SparkStreaming框架实时获取数据并清洗，将结果多维度的存储进HBase数据库。

2018-01-31 21:26:48

HadoopSparkStream大数据
Hadoop 3.0: YARN Resource自定义资源配置说明
yarn支持可扩展资源类型 所有节点、应用程序、队列，默认情况下Yarn使用 CPU和内存。资源定义可以扩展为任意的“countable”资源。一个countable 资源，container运行的时候，将会被暂用，完毕后将会释放。

2018-01-23 11:00:10

Hadoop3.0Yarn资源
大数据处理为何选择Spark，而不是Hadoop
Spark是一个用来实现快速而通用的集群计算的平台。在速度方面，Spark扩展了广泛使用的MapReduce计算模型，而且高效地支持更多计算模式，包括交互式查询和流处理。

2018-01-22 08:33:28

SparkHadoop计算
后Hadoop时代的大数据技术思考：数据即服务
每一种技术都有它的应用场景，在这篇文章里我们想要讨论的是一种操作型大数据解决方案，所以我们花了不少笔墨在NoSQL并认为MongoDB是一个非常不错的选择。NewSQL或许会是一个潜在的选择，如果不是因为现在它还没发展成熟。况且，NewSQL对半结构化、非结构化数据的需求支持估计也还是无法很好满足， 所以我们拭目以待。

2018-01-12 16:19:41

Hadoop数据库MySQL
Hadoop和Spark之间有什么区别，现工业界都在使用何种技术?
谈到大数据，相信大家对hadoop和Apache Spark这两个名字并不陌生。然而，最近业界有一些人正在大张旗鼓的宣扬Hadoop将死，Spark将立。他们究竟是危言耸听?哗众取宠?还是眼光独到堪破未来呢?与Hadoop相比，Spark技术如何?现工业界大数据技术都在使用何种技术?如果现在想要参加大数据培训的话，应该从哪一种开始呢?

2017-12-27 14:39:07

HadoopSpark大数据
编译Hadoop2.9源码并搭建环境
因为以前安装hadoop编译版的时候遇到过问题，时间比较久了，具体问题有些描述不清了，建议大家下载源码自己编译安装，如果遇到bug自己直接可以修改安装。本文的实验系统是mac，但是其他环境类似。

2017-12-22 10:51:04

Hadoop编译环境
Apache Hadoop 3.0.0 GA版正式发布，可以部署到线上
日前Apache Hadoop 3.0.0 GA 版本正式发布，这意味着我们就可以正式在线上使用 Hadoop 3.0.0 了!这个版本是 Apache Hadoop 3.0.0 的第一个稳定版本，有很多重大的改进，比如支持 EC、支持多于2个的NameNodes、Intra-datanode均衡器等等。下面是关于 Apache Hadoop 3.0.0 GA 的正式介绍。

2017-12-17 16:49:44

Apache HadoYarnHadoop
Hadoop将死，图数据库成为新趋势？看数据库业内大佬如何回顾2017展望2018
科技行业向来是以技术发展速度快著称，时值岁末，我们和多位数据库领域的业内大佬进行了深度交流，分享了他们眼中2017年的小惊喜和2018年的大展望。

2017-12-13 14:20:36

数据库Hadoop数据库新趋势
多位大佬大胆预测：Hadoop将死，图数据库成为新趋势！
科技行业向来是以技术发展速度快著称，时值岁末，我们和多位数据库领域的业内大佬进行了深度交流，分享了他们眼中2017年的小惊喜和2018年的大展望。

2017-12-11 10:22:40

数据库云计算区块链
教你玩转Hadoop分布式集群搭建，进击大数据
终于要开始玩大数据了，之前对haoop生态几乎没有太多的了解，现在赶鸭子上架，需要完全使用它来做数据中心，这是我的haoop第一篇文章，以后估计会写很多大数据相关的文章。

2017-12-07 15:24:10

Hadoop大数据服务器
大数据架构师必看：常见的七种Hadoop和Spark项目案例
如果你的Hadoop项目将有新的突破，那么它必定与下边介绍的七种常见项目很相像。有一句古老的格言是这样说的，如果你向某人提供你的全部支持和金融支持去做一些不同的和创新的事情，他们最终却会做别人正在做的事情。

2017-11-27 14:12:34

大数据Hadoop数据分析
Hadoop面试，有它就够了
Apache Hadoop 是一个开源软件框架，可安装在一个商用机器集群中，使机器可彼此通信并协同工作，以高度分布式的方式共同存储和处理大量数据。最初，Hadoop 包含以下两个主要组件：Hadoop Distributed File System (HDFS) 和一个分布式计算引擎，该引擎支持以 MapReduce 作业的形式实现和运行程序。

2017-11-22 14:35:02

Hadoop数据Reduce
你需要了解关于Hadoop与大数据的12个事实
人们在谈论Hadoop的时候，常常把它当做单一产品来看待，但事实上它由多个不同的产品共同组成。而且“千万别以为Hadoop是免费的或者很便宜，它背后的隐性开销你是一下子看不到的。”

2017-11-16 18:48:48

Hadoop数据库数据处理
深度解析：Spark优于Hadoop吗？
对于任何一个进入大数据世界的人来讲，大数据和Hadoop 就成了同义词。随着人们学习了大数据生态系统及其工具和运作原理，他们更能理解大数据的实际意义以及Hadoop 在生态系统中所扮演的角色。

2017-11-13 13:39:24

SparkHadoop大数据
如何为Hadoop集群选择正确的硬件
虽然Hadoop被设计为可以运行在标准的X86硬件上，但在选择具体服务器配置的时候其实没那么简单。为已知的工作负载或者应用场景选择硬件时，往往都要综合考虑性能因素和性价比，才能选择合适的硬件。

2017-11-09 08:51:28

Hadoop集群硬件
嫌弃Hadoop?可能是你的打开方式有问题
关于 Hadoop 所谓的消亡，以及它跌落神坛的报道数不胜数。有很多人放马后炮说，Hadoop 从一开始就没有意义。还有人说“Hadoop 对于小型，临时的工作来说很慢”、“ Hadoop 很难”、“ Hadoop 已经死了，Spark 才是胜者”等等。那么事实真的如此吗?

2017-11-06 16:06:05

大数据Hadoop打开方式
大数据时代和Hadoop时代的维度建模和Kimball数据集市
维度建模是数据建模的一种特殊方法。维度建模有两个同义词，数据集市和星型结构。星型结构是为了更好地进行数据分析，参考下面图示的维度模型，可以有一个很直观的理解。通过它可以立即知道如何通过客户、产品、时间对订单进行分割，如何通过度量的聚集和比较对订单业务过程进行绩效评估。

2017-10-26 09:31:14

Hadoop维度建模Kimball
Hadoop伪分布式搭建操作步骤指南
本文主要分享Hadoop伪分布式搭建的操作步骤，包括准备工作、Hadoop环境部署-JDK部分和Hadoop伪分布式环境部署-Hadoop部分，希望对大家有所帮助。

2017-10-25 18:25:40

Hadoop伪分布式环境部署
大数据和Hadoop时代的维度建模和Kimball数据集市
在 Hadoop，例如 Hive、SparkSQL 上建立维度模型，要很好地理解一个技术上的核心特征，就是它和分布式关系型数据库(MPP)上的建立方式是不一样的。在 MPP 中的节点上分布数据，可以控制每条数据记录的位置。

2017-10-25 14:15:55

大数据Hadoop维度建模
关于Hadoop技术的HA机制学习
网上关于Hadoop HA的资料多集中于怎么搭建HA，对于HA为什么要这么做描述甚少，所以本文对于HA是如何搭建的暂不介绍，主要是介绍HA是怎么运作，QJM又是怎么发挥功效的。

2017-10-23 14:14:26

HadoopHadoop HAQJM
Hadoop技术之Hadoop HA 机制学习
最近分享过一次关于Hadoop技术主题的演讲，由于接触时间不长，很多技术细节认识不够，也没讲清楚，作为一个技术人员，本着追根溯源的精神，还是有必要吃透，也为自己的工作沉淀一些经验总结。

2017-10-19 15:34:52

Hadoop技术机制学习
大数据前景分析：Hadoop将被Spark替代？
谈到大数据，相信大家对hadoop和Apache Spark这两个名字并不陌生。然而，最近业界有一些人正在大张旗鼓的宣扬Hadoop将死，Spark将立。与Hadoop相比，Spark技术如何?现工业界大数据技术都在使用何种技术?

2017-10-19 08:28:15

大数据HadoopSpark
荣之联DataZoo大数据平台：基于hadoop但不仅仅只是hadoop
近年来，数据已经成为非常重要的企业资产，通过大数据分析改善管理、提升业务、促进行业转型在业界已达成共识，在此背景下，荣之联自主研发的DataZoo大数据平台应运而生。

2017-09-28 17:20:17

荣之联DataZoohadoop
10道Hadoop面试真题及解题思路
本文主要介绍10道关于Hadoop的面试真题以及解题思路，希望对大家有所帮助。

2017-09-28 15:19:53

Hadoop面试题解题思路
干货 | 98道常见Hadoop面试题及答案解析（一）
这是一篇hadoop的测试题及答案解析，题目种类挺多，一共有98道题，题目难度不大，对于高手来说，90分以上才是你的追求。

2017-09-25 10:00:18

Hadoop面试题答案解析
关于Hadoop你需要知道的一些事项
全名Apache Hadoop,是一个在通用低成本的硬件上处理存储和大规模并行计算的一个开源框架。从2011年他的面世,他已经成为大数据领域最出名的平台。

2017-09-18 18:31:08

Hadoop
基于Hadoop大数据分析应用场景与实战
为了满足日益增长的业务变化，京东的京麦团队在京东大数据平台的基础上，采用了Hadoop等热门的开源大数据计算引擎，打造了一款为京东运营和产品提供决策性的数据类产品-北斗平台。

2017-09-18 17:59:23

Hadoop数据分析
hadoop生态圈列式存储系统--kudu介绍及安装配置
介绍Kudu 是一个针对 Apache Hadoop 平台而开发的列式存储管理器。Kudu 共享 Hadoop 生态系统应用的常见技术特性: 它在 commodity hardware(商品硬件)上运行，horizontally scalable(水平可扩展)，并支持 highly available(高可用)性操作。

2017-08-22 09:34:38

hadoop存储系统
如何在CentOS上安装Apache Hadoop
Apache Hadoop 软件库是一个框架，它允许使用简单的编程模型在计算机集群上对大型数据集进行分布式处理。Apache™ Hadoop® 是可靠、可扩展、分布式计算的开源软件。本文将帮助你逐步在 CentOS 上安装 hadoop 并配置单节点 hadoop 集群。

2017-08-15 11:58:15

LinuxCentOSApache Hado
玩转Hadoop分布式集群搭建
Hadoop的搭建有三种方式，单机版适合开发调试;伪分布式版，适合模拟集群学习;完全分布式，生产使用的模式。这篇文件介绍如何搭建完全分布式的hadoop集群，一个主节点，三个数据节点为例来讲解。

2017-08-10 10:17:32

Hadoop分布式搭建
华为服务器助力全球最大私有Hadoop集群发力大数据
FusionServer硬盘驱动器密度最高且可节能20% 经过几个月的使用和评估，我们决定将华为的FusionServer纳入我们全球采购目录，让华为成为我们的一个主要硬件供应商。所以自2016年初以来，我们在美国，欧洲和亚太地区持续采购华为服务器……华为提供构建强大数据中心所需的全系列产品。我们可以从一个供应商处购买到模块化集装箱、服务器和网络交换机，这一点对我们来说非常有吸引力。 ——Matthieu BlumbergCriteo基础设施业务工程总监

2017-08-08 16:39:49

华为
HADOOP1.X中HDFS工作原理
HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS(Google File System)Google 文件系统(中文，英文)。

2017-08-03 10:38:32

HADOOP1.XHDFSHadoop
分布式数据库和Hadoop都不够好，于是我们设计了分布式SQL计算系统
为了解决分布式数据库下，复杂的 SQL难以实现的问题;在有了一些分布式数据库和 Hadoop 实际应用经验的基础上，对比两者的优点和不足，加上自己的一些提炼和思考, 设计了一套综合两者的系统，利用两者的优点， 补充两者的不足。具体的说， 使用数据库水平分割的思想实现数据存储，使用 MapReduce的思想实现 SQL 计算。

2017-07-20 13:17:35

大数据数据库SQL计算
听Cloudera首席架构师Doug Cutting谈Hadoop与人工智能 原创
Doug Cutting是开源界的技术大神，无论是2000年的Lucene，还是后来基于Lucene衍生的企业级搜索项目Solr以及ElasticSearch，当然还包括后来风靡全球的Hadoop，他经手的每个开源项目都影响甚广并表现出色，尽管笔者不是长期奋战在技术一线的程序员，但也久闻大名，这次采访让笔者期待已久。

2017-07-20 10:31:33

ClouderaDoug CuttinHadoop
Hadoop会取代数仓吗？看硅谷专家怎么说
一想数据管理世界中的那个伟大的存在–数据仓库吧。在过去的二十年中，尽管其他的系统和软件在许许多多的迭代、变革中演进，甚至完全被新模型所抛弃，数据仓库这个老骨干却安然屹立。她可能会偷偷地给自己的面颊，皱纹整容，也可能会激起一些不那么令人深刻的模仿，但是没有什么能长期的吸引她的注意力。

2017-07-13 09:48:22

Hadoop数据仓库
hadoop hbase集群断电数据块被破坏无法启动
集群机器意外断电重启，导致hbase 无法正常启动，抛出reflect invocation异常，可能是正在执行的插入或合并等操作进行到一半时中断，导致部分数据文件不完整格式不正确或在hdfs上block块不完整。

2017-07-04 10:39:21

hadoop hbas数据块启动
大数据框架Hadoop主要模块介绍
本文涉及到的所有模块，都是属于Apache组织，不包括其他第三方的模块。

2017-07-03 13:11:39

大数据Hadoop模块介绍
Hadoop+数据仓库到底是梦幻组合还是命中的宿敌？
现在。自从Hadoop出现在舞台上之后，一直有人嘀咕说，这个闪亮的新星正在为一些最好的数据管理角色提供服务–这些角色就是，在几年前，数据仓库已稳操胜券。

2017-06-30 09:29:00

Hadoop数据仓库
一步一步学习大数据：Hadoop生态系统与场景
2008年1月, Hadoop成为Apache的开源项目。Hadoop的出现解决了互联网时代的海量数据存储和处理，其是一种支持分布式计算和存储的框架体系。假如把Hadoop集群抽象成一台机器的话，理论上我们的硬件资源(CPU、Memoery等)是可以无限扩展的。

2017-06-23 21:07:15

大数据HadoopHBase
上一页 1 23456 ··· 17
点赞

51CTO技术栈公众号

业务
速览
在线客服