51CTO首页
内容精选
博客
学堂
精培
企业培训
CTO训练营
开源基础软件社区
元宇宙大会
AISummit人工智能大会
公众号矩阵
移动端
博客 论坛
免费课程 课程排行 直播课 软考学堂
精品班 厂商认证 IT技术 2022年软考 PMP项目管理
在线学习 企业服务
CTO训练营 技术经理研习营 LeaTech峰会
文章 资源 问答 开源课堂 专栏 直播
51CTO
开源基础软件社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
开源基础软件社区订阅号
51CTO学堂APP
51CTO学堂企业版APP
开源基础软件社区视频号
社区编辑申请
注册/登录

大数据

6055内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 194 条
CDH6.3.2 集成 Freeipa 的kerberos
CDH6.3.2集成Freeipa的kerberos标签（空格分隔）：大数据运维专栏一：系统环境二：CDH6.3.2集成freeipa的Kerberos一：系统环境1.2系统配置要求大数据的所有主机注入到FreeIPA当中cdh最低版本为CDH6.3.2版本二：CDH6.3.2集成freeipa的Kerberos2.1修改Kerberos的krb5.conf文件vim/etc/krb5.conf-

2020-12-16 09:29:59

FreeIPAkerberoscdh6.3.2
Flink从入门到真香(16、Flink内置的一些Process Function)
之前的转换算子是无法访问事件的时间戳信息和水位线信息的，而这在一些应用场景下，极为重要。例如MapFunction这样子的map转换算子就无法访问时间戳或者当前事件的事件事件。基于此，DataStreamAPI提供了一系列LOW-LEVEL的转换算子调用。可以访问时间戳，watermark以及注册定时事件，还可以输出特定的一些事件，例如超时时间等。processfunction用来构建事件驱动的应

2020-11-25 21:54:42

Flink checkcheckpoint状态后端
将大数据学习门槛降到了地平线
可能是Hadoop hdfs mapreduce最亲民的介绍

2020-10-29 21:14:14

hadoophdfsmapreduce
大数据PAZR集成ldap实操！what？
大数据PAZR集成ldap实操！what？ p:presto a:allixop z:zeppelin r:rancher

2020-07-07 17:45:03

CDH运维zepplinepresto
Hadoop 之 HDFS
1HDFS概述1.1HDFS产出背景及定义随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。HDFS（HadoopDistributedFileSystem），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式

2019-09-07 00:55:36

HDFS
生产SparkStreaming数据零丢失最佳实践(含代码)
生产上保证数据零丢失(断批还原)

2019-06-22 09:14:33

SparkSpark Strea
Spark on Yarn with Hive实战案例与常见问题解决
Spark on Yarn with Hive实战案例与常见问题解决

2018-10-09 11:14:27

SparkYarnHive
大数据采集、清洗、处理：使用MapReduce进行离线数据分析完整案例
大数据采集、清洗、处理：使用MapReduce进行离线数据分析完整案例

2018-04-08 22:36:04

大数据HadoopMapReduce
详解Linux运维工程师高级篇（大数据安全方向）
详解linux运维工程师高级篇（大数据安全方向）

2018-02-07 18:57:15

大数据安全kerberos
Hadoop运维记录系列(二十一)
Zeppelin启用https过程和Hack内核以满足客户需求的记录。原因是这客户很有意思，该客户中国分公司的人为了验证内网安全性，从国外找了一个渗透测试小组对Zeppelin和其他产品进行黑客测试，结果发现Zeppelin主要俩问题，一个是在内网没用https，一个是zeppelin里面可以执行shell命令和python语句。其实这不算大问题，zeppelin本来就是干这个用的。但是渗透小组不

2017-11-02 19:25:32

hadoop zeppelin hack
大数据实践总结－－两个故障的处理及思路总结
已经有一段时间没有更新实践内容了，不是因为没有在学习。而是工作上出现一个新的挑战，又在忙论文查重，论文也是大数据方向的，主要是ICT方向的一个技术（若有人感兴趣，我会另开一个帖子来详细谈这个内容）。 而且最近，把之前所有的实践环境换了一台电脑来重新搭建。按理说会很顺利，但没想到，还是出了许多问题。一些简单的问题就直接解决了，但仍是有两

2017-09-26 23:24:31

实践大数据
Apache Bigtop再论与卖书求生存
快一年没写博客了，终于回来了，最近因公司业务需要，要基于cdh发行版打包自定义patch的rpm，于是又搞起了bigtop，就是那个hadoop编译打包rpm和deb的工具，由于国内基本没有相关的资料和文档，所以觉得有必要把阅读bigtop源码和修改的思路分享一下。我记得很早以前，bigtop在1.0.0以前版本吧，是用make进行打包的，其实这个0.9.0以前的版本，搁我觉得就不应该出现在apa

2016-12-30 15:22:50

apachehadoopbigtop
hadoop源码解析---INodeReference机制
本文主要介绍了hadoop源码中hdfs的INodeReference机制。在hdfs2.6版本中，引入了许多新的功能，一些原有的源代码设计也有一定的改造。一个重要的更新就是引入了快照功能。但是当HDFS文件或者目录处于某个快照中，并且这个文件或者目录被重命名或者移动到其他路径时，该文件或者目录就会存在多条访问路径。INodeReference就是为了解决这个问题产生的。问题描述/a是hdfs中的

2016-07-07 00:27:38

源代码快照hdfs
logstash将Kafka中的日志数据订阅到HDFS
前言：通常情况下，我们将Kafka的日志数据通过logstash订阅输出到ES，然后用Kibana来做可视化分析，这就是我们通常用的ELK日志分析模式。但是基于ELK的日志分析，通常比较常用的是实时分析，日志存个十天半个月都会删掉。那么在一些情况下，我需要将日志数据也存一份到我HDFS，积累到比较久的时间做半年、一年甚至更长时间的大数据分析。下面就来说如何最简单的通过logstash将kafka中

2016-07-06 11:18:14

hadooplogstashkafka
hadoop+zookepper实现namenode的高可用
Hadoop+zookeepker安装与配置:在hadoop-env.sh中添加export JAVA的环境变量修改hostname文件的名称，/etc/hosts文件配置主机名和ip的映射关系，将mstaer，slave的主机名和ip地址都添加进来配置ssh免密钥配置Ssh-keygen –t rsa在./.ssh文件中生成两个文件id_rsa（私钥），id_rsa.pu

2016-02-05 11:38:09

HAhadoopzookeeper
Hadoop运维记录系列(十七)
上个月通过email，帮朋友的朋友解决了一个Cloudera的Spark-SQL无法访问HBase做数据分析的问题，记录一下。

2015-11-13 19:00:35

运维hadoopspark
使用flume替代原有的scribe服务
以前很多业务都是用scribe做日志收集的支撑的，后来fb停止了对scribe的开发支持。而且scribe在机器上编译一次的代价太大了，各种坑，正好后来flume从1.3.0开始加入了对scribe的支持。就可以把原来scribe上面接入的数据转用flume收集了。虽然我很喜欢scribe，但是失去了官方支持毕竟还是很闹心的。agent.channels=c1 agent.channels.c1.

2015-07-13 14:50:53

日志收集hadoop
记录一则Spark读写和Lost Excutor错误的分析和解决过程
一、概述 上篇blog记录了些在用spark-sql时遇到的一些问题，今天继续记录用Spark提供的RDD转化方法开发公司第一期标签分析系统（一部分scala作业逻辑代码后面blog再给大家分享）遇到的一些SPARK作业错误信息。其中有些问题可能一些数据量或者shuffle量比较小的作业时不会遇到的，我们整套标签系统的初级输入数据大概是8T左右，这里也是个参考。(下面的Spark部署模

2015-02-27 18:10:20

hadoopspark
去除Hadoop-Streaming行末多余的TAB
单位有一组业务一直都是使用Streaming压缩文本日志，大体上就是设置作业输出为BZ2格式，怎么输入就怎么输出，没有任何处理功能在里面。但是每行结尾都多出来一个TAB。终于，有一个业务需要使用TAB前的最后一个字段，不去掉不行了。 虽然是个小问题，但是网上搜了一圈，也没有很好的解决。很多人都遇到了，但是单位的业务比较特殊，只有map没有red

2015-01-10 23:45:27

hadoopstreaming去除多余的Tab
hadoop jetty的应用
在hadoop中很多地方都用到了servlet，并且使用jetty作为servlet的容器来提供http的服务，其主要是通过org.apache.hadoop.http.HttpServer类实现的，HttpServer类是对Jetty的简单封装，通过调用HttpServer类的addServlet方法增加可以实现增加servlet到jetty的功能：publ

2014-12-22 21:57:20

hadoop jett
使用shell并发上传文件到hdfs
从本地到hdfs的并发脚本相关说明及代码实现。

2014-12-14 16:09:08

shellputhadoop
利用开源日志收集软件fluentd收集日志到HDFS文件系统中
利用开源的日志收集系统fluentd，把日志写入到HDFS文件系统中！

2014-12-04 16:27:46

hadoophdfs日志收集
DataNode与NameNode交互机制相关代码分析
HDFS Federation是为解决HDFS单点故障而提出的NameNode水平扩展方案，该方案允许HDFS创建多个Namespace以提高集群的扩展性和隔离性。在Federation中新增了block-pool的概念，block-pool就是属于单个Namespace的一组block,每个DataNode为所有的block-pool存储block

2014-11-25 11:23:18

hadoop
DataNode文件系统源码分析
在DataNode的本地存储空间上，与存储服务密切相关的，比如创建数据块，恢复数据块，数据块校验等相关的代码都在org.apache.hadoop.hdfs.server.datanode.fsdataset包下(代码版本CDH5.1)首先说下org.apache.hadoop.hdfs.server.

2014-11-12 10:36:04

hadoop源码分析
利用pig分析cdn访问日志内指定时间段的url访问次数
利用pig分析cdn访问日志，找到指定时间段内，各个url访问次数，并且按照从大到小的次序排列！

2014-11-03 09:55:03

hadooppig
MRv2内存监控强杀Container问题解决
线上某个hive job运行失败,报错如下Container[pid=28474,containerID=container_1411897705890_0181_01_000012]isrunningbey

2014-10-24 14:27:40

hadoop
sudo bug导致的zabbix断图问题
线上使用zabbix的host update来监测监控值是否完整（关于host update的实现请参考：http://caiguangguang.blog.51cto.com/1652935/1345789）一直发现有机器过一段时间update值就会莫名其妙变低，之前一直没有找到rc，只是简单通过重启agent来进行修复，最近同事细心地发现可能是和sudo的bug有关系。回过头再来

2014-10-22 23:53:02

sudo bug zabbix丢失值
hadoop插件sqoop使用案例
sqoop是hadoop项目中一个插件，可以把分布式文件系统hdfs中内容导入到mysql指定表里面，也可以把mysql中内容导入到hdfs文件系统中进行后续操作。测试环境说明：hadoop版本：hadoop-0.20.2sqoop版本：sqoop-1.2.0-CDH3B4java版本：jdk1.7.0_67mysql版本：5.1.65特别说明：因为我安装的是hadoop-0.20.2版本，sqo

2014-10-22 16:41:47

mysqlhadoophdfs
你用pig分析access_log日志中ip访问次数
你用pig分析web访问日志demo

2014-10-14 13:52:43

hadooppig
Hadoop1.x和2.X的HDFS fsimage和edits文件运行机制对比
一、概述之前写过一篇非常详细的,利用QJM在HDFS2.0部署HA策略的文章，主要说了利用QJM进行HA部署以及其原理（http://zengzhaozheng.blog.51cto.com/8219051/1441170）。但是，其中没有详细描述HADOOP2.x通过QJM部署HA完毕之后，ActiveNamenode和StandbyN

2014-10-09 11:06:28

hadoopeditshadoop Ha
基于MapReduce的ItemBase推荐算法的共现矩阵实现（一）
一、概述这2个月研究根据用户标签情况对用户的相似度进行评估，其中涉及一些推荐算法知识，在这段时间研究了一遍《推荐算法实践》和《Mahout in action》，在这里主要是根据这两本书的一些思想和自己的一些理解对分布式基于ItemBase的推荐算法进行实现。其中分两部分，第一部分是根据共现矩阵的方式来简单的推算出用户的推荐项，第二部分则是通过传统的

2014-09-22 18:40:29

hadoopitembase推荐算法
Datax与hadoop2.x兼容部署与实际项目应用工作记录分享
一、概述Hadoop的版本更新挺快的，已经到了2.4，但是其周边工具的更新速度还是比较慢的，一些旧的周边工具版本对hadoop2.x的兼容性做得还不完善，特别是sqoop。最近，在为hadoop2.2.0找适合的sqoop版本时遇到了很多问题。尝试了多个sqoop1.4.x版本的直接简单粗暴的报版本不兼容问题，其中测了sqoop-1.4.4.bin_

2014-08-15 15:51:20

hadoopsqoopdatax
利用QJM实现HDFS的HA策略部署与验证工作记录分享
1、概述 Hadoop2.X中的HDFS(Vsersion2.0)相比于Hadoop1.X增加了两个重要功能，HA和Federation。HA解决了Hadoop1.X Namenode中一直存在的单点故障问题，HA策略通过热备的方式为主NameNode提供一个备用者，并且这个备用者的状态一直和主Namenode的元数据保持一致

2014-07-22 09:09:15

HAmapreducehadoop
sqoop2基本架构、部署和个人使用感受
一、概述随着公司集群升级到2.x，hadoop周边的一些工具也进行了版本的更新。这次主要说说sqoop2的升级和部署，其中sqoop1和sqoop2基本框架和用法发生翻天覆地的改变，其对版本的向下兼容做的十分不好，接下来慢慢说，总之各种值得吐槽的地方。二、sqoop2的基本框架，以及部署(1)首先说说sqoop1和sqoop2区别&nbs

2014-06-28 13:28:24

mapreducehadoopsqoop2
hadoop 1.x升级至hadoop-2.2.0记录
一、概述公司hadoop集群从1.2.1升级到2.2.0已经有一段时间，这篇blog将总结一下我前段时间在升级至hadoop2.2.0版本过程中遇到的一些问题，以及具体的升级步骤。二、升级过程(1)停掉hadoop1.x集群。(2)备份namenode原数据，即备份dfs.namenode.name.dir指向的路径。以免造成由于升级版本带来的风险。

2014-06-18 15:28:23

hadoopyarnMRv2
Hadoop2的ResourceManager高可用配置
Hadoop 2.2没怎么关注过，太新，bug太多。2.4出来以后关注了一些东西，比如2.4里面直接带了ResourceManager的高可用，这点比较吸引人。之前2.2没注意有没有，貌似是没有，然后CDH自己出了一个解决方案，这次2.4的更新直接自己带了，还不错，这样就全了，Namenode有HA和Federation，RM也有了HA，而且也可以通过ZKFC自动做故障切换。大概从2.4开始，Ha

2014-06-06 23:04:15

运维hahadoop
Hadoop运维记录系列(十三)
记录一下在2.x里面不会很常见的报错。只是在测试集群中发生，生产集群大概很少有人会去重启Namenode吧，特别是做了HA的。场景是在2.x里做好了Namenode HA，以Namespace URI方式访问HDFS时，报错，然后两个Namenode貌似都是standby，然后历史任务服务器无法启动，HBase的Master也无法启动。其实这个故障很简单。2014-06-0517:20

2014-06-05 17:57:33

部署开发运维
namenode gc导致的故障一例
周末处理的一次故障，这里简单记录下。故障现象：6点1分左右开始，Hadoop集群异常，所有的hdfs操作都出现问题。几十个job报以下错FAILED: RuntimeException org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException)

2014-05-29 00:10:25

namenode gc
海量数据解决思路之BitMap
一、概述 本文将讲述Bit-Map算法的相关原理,Bit-Map算法的一些利用场景，例如BitMap解决海量数据寻找重复、判断个别元素是否在海量数据当中等问题.最后说说BitMap的特点已经在各个场景的使用性。二、Bit-Map算法先看看这样的一个场景：给一台普通PC，2G内存，要求处理一个包含40亿个不重复并且没有排过序的无符号的int整数，给出一个整数，问如果快速地判断这个整数是

2014-04-28 17:19:38

mapreducehadoopbitmap
cdh4.6.0升级测试2-distribute cache bug fix
distribute cache purge阻塞task的bug测试。cdh4.2.0:测试方法：local.cache.size=650因为cachedir size和count是存在内存中的HashMap中的，把local.cache.size值设置的足够小，在每次job运行时都会触发delete distribute cache的操作。又因为是private的，是同步删除，会造成task阻塞

2014-04-23 22:46:17

cdh4.2.0 di
给刚玩Hadoop的朋友一些建议
随着两会中间央视新闻天天说大数据，很多人纷纷开始关注大数据和Hadoop以及数据挖掘和数据可视化了，我现在创业，遇到很多传统数据行业往Hadoop上面去转型的公司和个人，提了很多问题，大多数问题还都是差不多的。所以我想整理一些，也可能是很多人都关注的问题。关于Hadoop版本的选择？ 目前为止，作为半只脚迈进Hadoop大门的人，我建议大家还是

2014-04-17 17:42:16

部署开发运维
Ubuntu下利用Myeclipse开发hadoop程序
开发的大环境是Ubuntu11.04，hadoop0.20.2，myeclipse9.1首先要安装Myeclipse，在Ubuntu下安装Myeclipse和windows环境下安装的方法一样，下载myeclipse-9.1-offline-installer-linux.run然后双击运行就ok了。接下来安装Myeclipse的Hadoop插件，在hadoop的安装路径里找到hadoop的ecl

2014-04-13 21:37:44

myeclipse h
hadoop中MapReduce多种join实现实例分析
一、概述对于RDBMS中的join操作大伙一定非常熟悉，写sql的时候要十分注意细节，稍有差池就会耗时巨久造成很大的性能瓶颈，而在Hadoop中使用MapReduce框架进行join的操作时同样耗时，但是由于hadoop的分布式设计理念的特殊性，因此对于这种join操作同样也具备了一定的特殊性。本文主要对MapReduce框架对表之间的join操作的

2014-04-09 17:05:55

joinmapreducemap join
su And sudo提权
1.su与sudo命令详解命令：su功能：切换用户语法：su [选项]... [-] [USER [ARG]...]选项：-, -l, --login：切换至目标用户，其用户权限，环境变量都会随之切换至目标用户；若无此选项，则只有用户的权限切换至目标用户-c, --command=COMMAND：以指定用户的身份执行一次命令，就立即退出-m, --preserve-environment：-m和-

2014-04-06 21:26:45

su sudo提权
impala集成kerberos问题一例
最近在折腾hadoop+kerberos，由于线上使用的组件比较多，遇到不少问题，记录下来，碰到同样问题的同学可以参考下。在hdfs+mapred+kerberos运行正常后，开始尝试集成impala.其中statestore的参数：export IMPALA_STATE_STORE_ARGS=${IMPALA_STATE_STORE_ARGS:- -log_dir=${IMPALA_LOG_DI

2014-03-21 23:05:20

impala kerb
hadoop之MapReduce自定义二次排序流程实例详解
一、概述MapReduce框架对处理结果的输出会根据key值进行默认的排序，这个默认排序可以满足一部分需求，但是也是十分有限的。在我们实际的需求当中，往往有要对reduce输出结果进行二次排序的需求。对于二次排序的实现，网络上已经有很多人分享过了，但是对二次排序的实现的原理以及整个MapReduce框架的处理流程的分析还是有非常大的出入，而且部分分析

2014-03-18 20:44:45

map端数据流向hadoop二次排序
zabbix value type导致的断图一例
最近老毕在加hbase的监控，发现生成的graph有断图的情况。。因为之前有次zabbix断图定位到了是proxy的性能问题，通过调整相应的参数解决掉了。。再看这次的情况，发现有些item的graph是ok的，也就排除了proxy性能问题。。看来还是和item相关。整个数据链路是agent---proxy(db)----server(db)，从上游数据库开始入手：1.找出正常的和断图

2014-03-15 03:17:15

zabbix 断图 v
Hadoop连载系列之四：数据收集分析系统Chukwa
系列前三篇文章中介绍了分布式存储和计算系统Hadoop以及Hadoop集群的搭建、Zookeeper集群搭建、HBase分布式部署等。当Hadoop集群的数量达到1000+时，集群自身的信息将会大量增加。Apache开发出一个开源的数据收集和分析系统—Chukwa来处理Hadoop集群的数据。Chukwa有几个非常吸引人的特点：它架构清晰，部署简单；收集的数据类型广泛，

2014-03-14 11:18:27

Chukwa
记一则Hadoop DataNode OOM故障,以及解决方案
一、故障症状 最近公司一个集群跑大任务时，datanode日志报DataXceiveServer: Exiting due to:java.lang.OutOfMemoryError: unable to create new native thread异常，然后计算节点上的DataNode直接挂掉。DataNode异常日志截图如下：2014-03-06 03:41:05

2014-03-08 02:43:56

hadoopDataNode OO
写几个Hadoop部署用到的小脚本
最近抛弃非ssh连接的hadoop集群部署方式了，还是回到了用ssh key 验证的方式上了。这里面就有些麻烦，每台机器都要上传公钥。恰恰我又是个很懒的人，所以写几个小脚本完成，只要在一台机器上面就可以做公钥的分发了。首先是生成ssh key脚本#!/bin/sh ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cp ~/.ssh/id_rsa.pub ~/.ss

2014-03-07 18:44:31

shellhadoopdeploy
上一页 1 23 4

全部话题

大数据
数据分析
数据可视化
商业智能
Hadoop
Spark
数据湖
数据仓库
人工智能 云计算 开源 网络 安全 系统
全部话题

相关专题 更多

直播：昇腾AI开发者创享日·南京站
直播：昇腾AI开发者创享日·南京站
SUSE，相信开源的力量
SUSE，相信开源的力量
2022-08-11 16:39:38
论剑“网络风云” 共享“体验至上”
论剑“网络风云” 共享“体验至上”
2022-08-11 16:39:38
点赞

51CTO技术栈公众号

业务
速览
在线客服