直播训练营

鸿蒙开发者社区

WOT技术大会

AIGC创新中国行

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 2024年软考 PMP项目管理软考资讯

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO题库小程序

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

账号设置退出

Hadoop

835内容

关注

涵盖Hadoop相关研究热点、技术难点与应用场景，让用户更加深入地学习这一大数据基础技术。

共 161 条

kafka分区扩容和修改三个副本数

Kafka是Apache旗下的一款分布式流媒体平台，Kafka是一种高吞吐量、持久性、分布式的发布订阅的消息队列系统。它最初由LinkedIn(领英)公司发布，使用Scala语言编写，与2010年12月份开源，成为Apache的顶级子项目。它主要用于处理消费者规模网站中的所有动作流数据。动作指(网页浏览、搜索和其它用户行动所产生的数据)。消息系统分类我们知道常见的消息系统有Kafka、Rabbi

2021-10-27 11:28:04

cloudera jar kafka

耗时一个月，整理出这份Hadoop吐血宝典

本文目录：一、HDFS\二、MapReduce\三、Yarn\四、Hadoop3.x新特性\五、Hadoop大厂面试真题解析Hadoop涉及的知识点如下图所示，本文将逐一讲解：!(https://s4.51cto.com/images/blog/202110/22145555_6172607b946f17173.png?xossprocess=image/watermark,size_14,tex

2021-10-22 14:57:18

hadoop 大数据

Dolphinscheduler1.3.8集群部署

1.集群节点规划及说明主机部署服务说明172.16.53.179masterserver,alertserver,zookeeper,mysql数据库也在该主机172.16.53.180zookeeperzk172.16.53.181apiserver,zookeeperweb服务端口:12345172.16.53.182masterserver172.16.53.183workserver172

2021-10-13 20:44:42

各组件配置LDAP认证手册

注：本手册以CM&CDH5.7.6为例1、Hive配置LDAP认证目前单个Hive Server2只能支持一种客户端认证方式，或者是Kerberos认证，或者是LDAP认证，所以要在一个集群内部同时支持两种认证方式，必须配置两个HiveServer 2。注：目前新版本CDH已经可以同时支持两种认证方式，在CDH5.14.4上已验证过。1.1、开启“启用LDAP身份验证”搜索“启用 LDAP

2021-10-13 15:45:10

hue hive impala

Hadoop面试题总结（二）——HDFS

1、HDFS中的block默认保存几份？默认保存3份2、HDFS默认BlockSize是多大？默认64MB3、负责HDFS数据存储的是哪一部分？DataNode负责数据存储4、SecondaryNameNode的目的是什么？他的目的使帮助NameNode合并编辑日志，减少NameNode启动时间5、文件大小设置，增大有什么影响？HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置

2021-10-13 12:54:57

0009 - 基于MapReduce的应用案例

大数据梦工厂（0009基于MapReduce的应用案例）(https://mp.weixin.qq.com/s/NTxTX5bcpI5DGDVp6toBg)1MapReduce词频统计案例1.1样本数据这是一个经典的词频统计的案例：统计如下样本数据中每个单词出现的次数。bashroot@hadoop01catinput.txtSparkHBaseAzkabanFlumeHiveFlinkStorm

2021-09-23 23:17:37

Hadoop MapReduce 大数据

0007 - MapReduce入门指南

大数据梦工厂（0007MapReduce入门指南）(https://mp.weixin.qq.com/s/1T1OsqIPSNCGbaDpy0laZQ)1MapReduce简介HadoopMapReduce是一个分布式计算框架（也称为编程模型）。基于它编写的应用程序能够以一种可靠、容错的方式在大规模集群（数千个节点）上并行处理TB级别的海量数据集。MapReduceTask过程分为两个处理阶段：M

2021-09-13 23:00:58

Hadoop MapReduce 大数据

CDH 集群使用 JindoFS SDK 访问 OSS

CDH 集群使用 JindoFS SDK 访问 OSS CDH（Cloudera's Distribution, including Apache Hadoop）是众多Hadoop发行版本中的一种，本文以CDH 5.16.2为例介绍如何配置CDH支持使用JindoFS SDK访问OSS。步骤 1. 安装 jar 包下载最新的jar包 jindofs-sdk-x.x.x.jar (下载页面)，

2021-09-13 13:38:45

0006 - Hadoop&HDFS命令指南大全

大数据梦工厂（0006Hadoop&HDFS命令指南大全）(https://mp.weixin.qq.com/s/5piYpuvjCxjaxXvnLXivQ)1Hadoop命令指南1.1archive创建一个Hadoop归档文件，其扩展名是.har。创建archive是一个Map/Reduce任务。Usage:hadooparchive<archiveName<NAME.har<p<parentp

2021-09-12 16:39:18

Hadoop MapReduce 大数据

0005 - Hadoop-Shell命令指南大全

大数据梦工厂（0005HadoopShell命令指南大全）(https://mp.weixin.qq.com/s/0wn5rWeQSA3RPSxOqvzHlA)1HadoopShell命令简介bash适用于任何文件系统hadoopfs<args只能用于HDFS分布式文件系统hadoopdfs<args（推荐）和上面的命令作用相同，当使用hadoopdfs时内部会被转为hdfsdfs命令hdfsdf

2021-09-06 22:06:04

0004 - DataNode工作机制解析

大数据梦工厂（0004DataNode工作机制解析）(https://mp.weixin.qq.com/s/Xxcu9p6t7h3fi6xcvawhw)1基本描述DataNode通常是群集中每个节点部署一个，用于存储数据，负责提供客户端的读写请求，并且根据NameNode的指令执行数据块的创建、删除、追加和复制等操作。DataNode三大功能：负责管理所在节点上存储数据的读写，及存储每个文件的数据

2021-09-05 09:30:21

Hadoop HDFS DataNode

Hadoop之常用概念

Hadoop中常用概念，机架感知策略、写数据流程、降副本后删除冗余数据时间和心跳机制

2021-09-04 22:58:07

机架感知策略 Hadoop写数据流程降副本后删除冗余数据时

0003 - NameNode工作机制解析

大数据梦工厂（0003NameNode工作机制解析）(https://mp.weixin.qq.com/s/D6XLWpm5VvZkIoPyk4F2w)1基本描述NameNode是HDFS的核心服务，它管理和维护着整个HDFS分布式文件系统，主要有以下作用：负责接收客户端的操作请求；负责管理文件系统命名空间（NameSpace）、集群配置信息及存储块的复制等；负责文件目录树的维护以及文件对应Blo

2021-08-29 22:37:01

Hadoop HDFS NameNode

Atlas2.1.0集成CDH6.3.0部署

Atlas 是什么? Atlas是一组可扩展和可扩展的核心基础治理服务，使企业能够有效地满足Hadoop中的合规性要求，并允许与整个企业数据生态系统集成。 Apache Atlas为组织提供了开放的元数据管理和治理功能，以建立其数据资产的目录，对这些资产进行分类和治理，并为数据科学家，分析师和数据治理团队提供围绕这些数据资产的协作功能。如果没有Atlas大数据表依赖问题不好解决，元数据管理需要自

2021-08-21 15:46:53

大数据—— YARN

源码见：https://github.com/hiszm/hadooptrainYARN产生背景ApacheYARN(YetAnotherResourceNegotiator)是hadoop2.0引入的集群资源管理系统。用户可以将各种服务框架部署在YARN上，由YARN进行统一地管理和资源分配。ThefundamentalideaofMRv2istosplitupthetwomajorfuncti

2021-08-10 14:18:32

#导入MD文档图片#学完大数据,来测测你大数据技术掌握程度?

问题1：Rowkey如何设计，设计规则是什么？ - 业务原则：贴合业务，保证前缀是最常用的查询字段 - 唯一原则：每条rowkey唯一表示一条数据 - 组合原则：常用的查询条件组合作为Rowkey - 散列原则：rowkey构建不能连续 - 长度原则：满足业务需求越短越好

2021-08-07 11:27:18

大数据面试题

CDH6.3.0上配置各种对象存储

cm-hdfs: ufile: 还需添加jar包 S3:是自带jar包 OSS: CDH6不需要下载包, CDH5需要 core-site.xml 的群集范围高级配置代码段（安全阀） fs.oss.endpoint oss-eu-west-1.aliyuncs.com #oss的外网地址fs.oss.accessKeyId fs.

2021-07-27 17:54:03

Hadoop基础-12-Hive

源码见：https://github.com/hiszm/hadoop-train Hive概述 http://hive.apache.org/ Hive是什么 The Apache Hive ™ data warehouse software facilitates reading, writing, and managing large datasets residing in distr

2021-07-27 15:44:36

数据库大数据 hadoop

Hadoop 官方WordCount案例带你手把手的解析

package wordcount_hdfs;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;public class WordCountMapper extends Mapp

2021-07-09 17:26:04

# hadoop hadoop

超级经典的SQL练习题（MySQL版本），你还怕SQL不过关吗？

微信搜索公众号【C you again】，回复“SQL”下载无水印PDF版本，方便收藏 ## 1 数据表 #### 1.1 学生表 Student（SId，Sname，Sage，Ssex） > SId 学生编号，Sname 学生姓名，Sage 出生年月，Ssex 学生性别 #### 1.2 课程表 Course（CId，Cname，TId） > CId 课程编号，Cname 课程名称，

2021-07-09 13:36:50

flume的集群部署与测试

flume的集群部署标签（空格分隔）：协作框架[toc]##一：flume介绍：1.1flume的介绍Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。当前Flume有两个版本Flume0.9X版本的统称Flume

2021-05-26 16:30:24

数栈技术分享：一文带你了解Flink jm、tm启动过程和资源分配

一、JM启动过程1、从日志角度分析启动流程1）client生成jobGraph详情请参考：https://www.bilibili.com/video/BV13K4y1P7ri2）Yarn RM接收到请求(和yarn交互不重点分析)3）在被分配的节点上的工作目录下启动launch_container.sh4）在perJob模式下，最终调用的是YarnJobClusterEntrypoint5）初始

2021-05-26 11:15:33

flink 大数据开源项目

部署完全分布式高可用 Hadoop hdfs HA + yarn HA

部署完全分布式高可用HadoophdfsHA+yarnHA标签（空格分隔）：大数据运维专栏一：hadoopHDFSHA与yarnHA的概述二：部署环境概述三：部署zookeeper四：部署HDFSHA与yarnHA五：关于HA的测试一：hadoopHDFSHA与yarnHA的概述1.1HA的概述HA概述1）所谓HA（HighAvailable），即高可用（7*24小时不中断服务）。2）实现高可用最

2021-05-13 06:06:27

hadoop HA yarn HA

OLAP引擎：基于Druid组件进行数据统计分析

与现在相对热门的Clickhouse引擎相比，Druid对高并发的支持相对较好和稳定，但是Clickhouse在任务队列模式中的数据查询能力十分出色，但是对高并发支持不够友好，需要做好很多服务监控和预警。大数据组件中OLAP引擎的选型有很多，在数据的查询引擎层通常都具有两种或者以上的OLAP引擎，选择合适的组件解决业务需求是优先原则。

2021-04-05 11:09:29

Druid OLAP 大数据

数据调度组件：基于Azkaban协调时序任务执行

Azkaban是由Linkedin公司推出的可以管理批量工作流任务的调度器，用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban使用job配置文件建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。

2021-03-30 08:26:23

Azkaban 大数据任务调度

记录一次事故处理50%kudu表无法进行正常访问

记录一次事故处理50%kudu表无法进行正常访问测试环境kudu集群事故，影响：测试效果，测试进度，生产发布延迟，需警惕，特此写出过程操作需谨慎！操作需谨慎！操作需谨慎！任务环境都要以生产环境而对待！事故原因：昨天于上午10点，业务说kudu表无法使用后，影响测试，无法正常发布。去scm平台发现kudu_tablet挂了5台运维查看信息日志后，做近一步处理1.重启kudu—tablet发现无法启动

2020-12-21 15:27:43

kudu表无法访问 kudu规范 kudu_tablet

prometheus + grafana 对flink 进行监控

prometheus+grafana对flink进行监控标签（空格分隔）：flink系列一：flink监控简介二：Flink的Metric架构三：prometheus+grafana的对flink的监控部署构建一：flink监控简介1.1前言Flink提供的Metrics可以在Flink内部收集一些指标，通过这些指标让开发人员更好地理解作业或集群的状态。由于集群运行后很难发现内部的实际状况，跑得慢

2020-12-18 09:37:32

flink prometheus grafana

CDH6.3.2 集成 Freeipa 的kerberos

CDH6.3.2集成Freeipa的kerberos标签（空格分隔）：大数据运维专栏一：系统环境二：CDH6.3.2集成freeipa的Kerberos一：系统环境1.2系统配置要求大数据的所有主机注入到FreeIPA当中cdh最低版本为CDH6.3.2版本二：CDH6.3.2集成freeipa的Kerberos2.1修改Kerberos的krb5.conf文件vim/etc/krb5.conf-

2020-12-16 09:29:59

FreeIPA kerberos cdh6.3.2

将大数据学习门槛降到了地平线

可能是Hadoop hdfs mapreduce最亲民的介绍

2020-10-29 21:14:14

hadoop hdfs mapreduce

大数据PAZR集成ldap实操！what？

大数据PAZR集成ldap实操！what？ p:presto a:allixop z:zeppelin r:rancher

2020-07-07 17:45:03

CDH运维 zeppline presto

Hadoop 之 HDFS

1HDFS概述1.1HDFS产出背景及定义随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。HDFS（HadoopDistributedFileSystem），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式

2019-09-07 00:55:36

大数据采集、清洗、处理：使用MapReduce进行离线数据分析完整案例

大数据采集、清洗、处理：使用MapReduce进行离线数据分析完整案例

2018-04-08 22:36:04

大数据 Hadoop MapReduce

详解Linux运维工程师高级篇（大数据安全方向）

详解linux运维工程师高级篇（大数据安全方向）

2018-02-07 18:57:15

大数据安全 kerberos

Hadoop运维记录系列(二十一)

Zeppelin启用https过程和Hack内核以满足客户需求的记录。原因是这客户很有意思，该客户中国分公司的人为了验证内网安全性，从国外找了一个渗透测试小组对Zeppelin和其他产品进行黑客测试，结果发现Zeppelin主要俩问题，一个是在内网没用https，一个是zeppelin里面可以执行shell命令和python语句。其实这不算大问题，zeppelin本来就是干这个用的。但是渗透小组不

2017-11-02 19:25:32

hadoop zeppelin hack

大数据实践总结－－两个故障的处理及思路总结

已经有一段时间没有更新实践内容了，不是因为没有在学习。而是工作上出现一个新的挑战，又在忙论文查重，论文也是大数据方向的，主要是ICT方向的一个技术（若有人感兴趣，我会另开一个帖子来详细谈这个内容）。而且最近，把之前所有的实践环境换了一台电脑来重新搭建。按理说会很顺利，但没想到，还是出了许多问题。一些简单的问题就直接解决了，但仍是有两

2017-09-26 23:24:31

实践大数据

Apache Bigtop再论与卖书求生存

快一年没写博客了，终于回来了，最近因公司业务需要，要基于cdh发行版打包自定义patch的rpm，于是又搞起了bigtop，就是那个hadoop编译打包rpm和deb的工具，由于国内基本没有相关的资料和文档，所以觉得有必要把阅读bigtop源码和修改的思路分享一下。我记得很早以前，bigtop在1.0.0以前版本吧，是用make进行打包的，其实这个0.9.0以前的版本，搁我觉得就不应该出现在apa

2016-12-30 15:22:50

apache hadoop bigtop

hadoop源码解析---INodeReference机制

本文主要介绍了hadoop源码中hdfs的INodeReference机制。在hdfs2.6版本中，引入了许多新的功能，一些原有的源代码设计也有一定的改造。一个重要的更新就是引入了快照功能。但是当HDFS文件或者目录处于某个快照中，并且这个文件或者目录被重命名或者移动到其他路径时，该文件或者目录就会存在多条访问路径。INodeReference就是为了解决这个问题产生的。问题描述/a是hdfs中的

2016-07-07 00:27:38

源代码快照 hdfs

logstash将Kafka中的日志数据订阅到HDFS

前言：通常情况下，我们将Kafka的日志数据通过logstash订阅输出到ES，然后用Kibana来做可视化分析，这就是我们通常用的ELK日志分析模式。但是基于ELK的日志分析，通常比较常用的是实时分析，日志存个十天半个月都会删掉。那么在一些情况下，我需要将日志数据也存一份到我HDFS，积累到比较久的时间做半年、一年甚至更长时间的大数据分析。下面就来说如何最简单的通过logstash将kafka中

2016-07-06 11:18:14

hadoop logstash kafka

hadoop+zookepper实现namenode的高可用

Hadoop+zookeepker安装与配置:在hadoop-env.sh中添加export JAVA的环境变量修改hostname文件的名称，/etc/hosts文件配置主机名和ip的映射关系，将mstaer，slave的主机名和ip地址都添加进来配置ssh免密钥配置Ssh-keygen –t rsa在./.ssh文件中生成两个文件id_rsa（私钥），id_rsa.pu

2016-02-05 11:38:09

HA hadoop zookeeper

Hadoop运维记录系列(十七)

上个月通过email，帮朋友的朋友解决了一个Cloudera的Spark-SQL无法访问HBase做数据分析的问题，记录一下。

2015-11-13 19:00:35

运维 hadoop spark

使用flume替代原有的scribe服务

以前很多业务都是用scribe做日志收集的支撑的，后来fb停止了对scribe的开发支持。而且scribe在机器上编译一次的代价太大了，各种坑，正好后来flume从1.3.0开始加入了对scribe的支持。就可以把原来scribe上面接入的数据转用flume收集了。虽然我很喜欢scribe，但是失去了官方支持毕竟还是很闹心的。agent.channels=c1 agent.channels.c1.

2015-07-13 14:50:53

日志收集 hadoop

去除Hadoop-Streaming行末多余的TAB

单位有一组业务一直都是使用Streaming压缩文本日志，大体上就是设置作业输出为BZ2格式，怎么输入就怎么输出，没有任何处理功能在里面。但是每行结尾都多出来一个TAB。终于，有一个业务需要使用TAB前的最后一个字段，不去掉不行了。虽然是个小问题，但是网上搜了一圈，也没有很好的解决。很多人都遇到了，但是单位的业务比较特殊，只有map没有red

2015-01-10 23:45:27

hadoop streaming 去除多余的Tab

hadoop jetty的应用

在hadoop中很多地方都用到了servlet，并且使用jetty作为servlet的容器来提供http的服务，其主要是通过org.apache.hadoop.http.HttpServer类实现的，HttpServer类是对Jetty的简单封装，通过调用HttpServer类的addServlet方法增加可以实现增加servlet到jetty的功能：publ

2014-12-22 21:57:20

使用shell并发上传文件到hdfs

从本地到hdfs的并发脚本相关说明及代码实现。

2014-12-14 16:09:08

shell put hadoop

利用开源日志收集软件fluentd收集日志到HDFS文件系统中

利用开源的日志收集系统fluentd，把日志写入到HDFS文件系统中！

2014-12-04 16:27:46

hadoop hdfs 日志收集

DataNode与NameNode交互机制相关代码分析

HDFS Federation是为解决HDFS单点故障而提出的NameNode水平扩展方案，该方案允许HDFS创建多个Namespace以提高集群的扩展性和隔离性。在Federation中新增了block-pool的概念，block-pool就是属于单个Namespace的一组block,每个DataNode为所有的block-pool存储block

2014-11-25 11:23:18

DataNode文件系统源码分析

在DataNode的本地存储空间上，与存储服务密切相关的，比如创建数据块，恢复数据块，数据块校验等相关的代码都在org.apache.hadoop.hdfs.server.datanode.fsdataset包下(代码版本CDH5.1)首先说下org.apache.hadoop.hdfs.server.

2014-11-12 10:36:04

hadoop 源码分析

利用pig分析cdn访问日志内指定时间段的url访问次数

利用pig分析cdn访问日志，找到指定时间段内，各个url访问次数，并且按照从大到小的次序排列！

2014-11-03 09:55:03

MRv2内存监控强杀Container问题解决

线上某个hive job运行失败,报错如下Container[pid=28474,containerID=container_1411897705890_0181_01_000012]isrunningbey

2014-10-24 14:27:40

sudo bug导致的zabbix断图问题

线上使用zabbix的host update来监测监控值是否完整（关于host update的实现请参考：http://caiguangguang.blog.51cto.com/1652935/1345789）一直发现有机器过一段时间update值就会莫名其妙变低，之前一直没有找到rc，只是简单通过重启agent来进行修复，最近同事细心地发现可能是和sudo的bug有关系。回过头再来

2014-10-22 23:53:02

sudo bug zabbix丢失值

上一页 1 2 3 4 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区

教育

51CTO学堂精培企业培训 CTO训练营